Albero di decisione

Nella teoria delle decisioni (per esempio nella gestione dei rischi), un albero di decisione è un grafo di decisioni e delle loro possibili conseguenze, (incluso i relativi costi, risorse e rischi) utilizzato per creare un 'piano di azioni' (plan) mirato ad uno scopo (goal). Un albero di decisione è costruito al fine di supportare l'azione decisionale (decision making).

Nel machine learning un albero di decisione è un modello predittivo, dove ogni nodo interno rappresenta una variabile, un arco verso un nodo figlio rappresenta un possibile valore per quella proprietà e una foglia il valore predetto per la variabile obiettivo a partire dai valori delle altre proprietà, che nell'albero è rappresentato dal cammino (path) dal nodo radice (root) al nodo foglia. Normalmente un albero di decisione viene costruito utilizzando tecniche di apprendimento a partire dall'insieme dei dati iniziali (data set), il quale può essere diviso in due sottoinsiemi: il training set sulla base del quale si crea la struttura dell'albero e il test set che viene utilizzato per testare l'accuratezza del modello predittivo così creato.

Nel data mining un albero di decisione viene utilizzato per classificare le istanze di grandi quantità di dati (per questo viene anche chiamato albero di classificazione). In questo ambito un albero di decisione descrive una struttura ad albero dove i nodi foglia rappresentano le classificazioni e le ramificazioni l'insieme delle proprietà che portano a quelle classificazioni. Di conseguenza ogni nodo interno risulta essere una macro-classe costituita dall'unione delle classi associate ai suoi nodi figli.

Il predicato che si associa ad ogni nodo interno (sulla base del quale avviene la ripartizione dei dati) è chiamato condizione di split.

In molte situazioni è utile definire un criterio di arresto (halting), o anche criterio di potatura (pruning) al fine di determinarne la profondità massima. Questo perché il crescere della profondità di un albero (ovvero della sua dimensione) non influisce direttamente sulla bontà del modello. Infatti, una crescita eccessiva della dimensione dell'albero potrebbe portare solo ad aumento sproporzionato della complessità computazionale rispetto ai benefici riguardanti l'accuratezza delle previsioni/classificazioni.

Una sua evoluzione è la tecnica della foresta casuale (random forest).

Parametri di split e pruning

I parametri più largamente usati per le condizioni di split sono:

  • Tasso d'errore nella classificazione (misclassification error).
  • Indice di Gini (Gini index): utilizzato da CART (Classification and Regression Trees)

I G ( i ) = 1 − ∑ j = 1 m f ( i , j ) 2 {\displaystyle I_{G}(i)=1-\sum _{j=1}^{m}f(i,j)^{2}} L'indice di Gini raggiunge il suo minimo (zero) quando il nodo appartiene ad una singola categoria.

  • Variazione di entropia (nota anche come entropy deviance): utilizzata da C4.5 e C5.0, è basata sul concetto di entropia definito in teoria dell'informazione.

I E ( i ) = − ∑ j = 1 m f ( i , j ) log ⁡ f ( i , j ) {\displaystyle I_{E}(i)=-\sum _{j=1}^{m}f(i,j)\log f(i,j)}

In entrambe le formule f rappresenta la frequenza del valore j nel nodo i.

L'indice di Gini e la variazione di entropia sono i parametri che vengono usualmente utilizzati per guidare la costruzione dell'albero, mentre la valutazione del tasso di errore nella classificazione viene utilizzato per effettuare una ottimizzazione dell'albero nota come processo di pruning ("potatura" dei nodi superflui). Poiché, in generale, in un buon albero di decisione i nodi foglia dovrebbero essere il più possibile puri (ovvero contenere solo istanze di dati che appartengono ad una sola classe), un'ottimizzazione dell'albero consiste nel cercare di minimizzare il livello di entropia man mano che si scende dalla radice verso le foglie. In tal senso, la valutazione dell'entropia determina quali sono, fra le varie scelte a disposizione, le condizioni di split ottimali per l'albero di classificazione.

Voci correlate

  • Data mining
  • Algoritmo ID3

Altri progetti

Altri progetti

  • Wikibooks
  • Wikimedia Commons
  • Collabora a Wikibooks Wikibooks contiene testi o manuali su albero di decisione
  • Collabora a Wikimedia Commons Wikimedia Commons contiene immagini o altri file su albero di decisione

Collegamenti esterni

  • (EN) decision tree, su Enciclopedia Britannica, Encyclopædia Britannica, Inc. Modifica su Wikidata
  • Teoria delle decisioni sull'enciclopedia Treccani, su treccani.it. URL consultato il 4 gennaio 2013 (archiviato dall'url originale il 1º luglio 2013).
Controllo di autoritàGND (DE) 4347788-4 · J9U (EN, HE) 987007541962905171
  Portale Informatica
  Portale Statistica