Aprenentage basat en arbres de decisió

Archiu:CART tree titanic survivors KOR.png

Aprenentage basat en arbres de decisió utilisa un arbre de decisió com un model predictiu que mapea observacions sobre un artícul a conclusions sobre el valor objectiu de l'artícul. És un dels enfocaments de modelació predictiva utilisades en estadístiques, mineria de senyes i aprenentage automàtic. Els models d'arbre, a on la variable de destí pot prendre un conjunt finito de valors es denominen arbres de classificació. En estes estructures d'arbre, els fulls representen etiquetes de classe i les branques representen les conjuncions de característiques que conduïxen a eixes etiquetes de classe. Els arbres de decisió, a on la variable de destí pot prendre valors continus (per lo general número real) es diuen arbres de regressió. Els arbres de decisió es troben entre els algoritmes populars per la seua simplicitat.

En anàlisis de decisió, un arbre de decisió es pot utilisar per a representar visualment i de forma explícita decisions i presa de decisions. En mineria de senyes, un arbre de decisió descriu senyes, pero no les decisions; més be l'arbre de classificació resultant pot ser un usat com a entrada per a la presa de decisions. Esta pàgina s'ocupa dels arbres de decisió en la mineria de senyes.^[1]^[2]

General

Un arbre que mostra la supervivència dels passagers del Titanic ("sibsp" és el número de cònjuges o germans a bordo). Les sifres baix dels fulls mostren la provabilitat de supervivència i el percentage d'observacions en el full.

Aprenentage basat en arbres de decisió és un método comunament utilisat en la mineria de senyes. L'objectiu és crear un model que prediu el valor d'una variable de destí en funció de diverses variables d'entrada. Un eixemple es mostra a la dreta. Cada nodo interior correspon a una de les variables d'entrada; hi ha vores als chiquets per a cada u dels possibles valors de la variable d'entrada. Cada full representa un valor de la variable de destí donats els valors de les variables d'entrada representats pel camí des de la raïl al full.

Un arbre de decisió és una representació simple per a classificar eixemples. Aprenentage basat en arbres de decisió és una de les tècniques més eficaces per a la classificació supervisada^{cita requerida}. Per a esta secció, se supon que totes les funcions tenen dominis discrets finitos, i existix una sola característica de destí anomenat la classificació. Cada element del domini de la classificació es diu classe. Un arbre de decisió o un arbre de classificació és un arbre en el que cada nodo intern (no full) està etiquetat en una funció d'entrada. Els arcs procedents d'un nodo etiquetat en una característica estan etiquetats en cada u dels possibles valors de la característica. Cada full de l'arbre es marca en una classe o una distribució de provabilitat sobre les classes.

Un arbre pot ser "deprés" per mig del fraccionament del conjunt inicial en subconjunts basats en una prova de valor d'atribut. Este procés es repetix en cada subconjunt derivat d'una manera recursiva cridada particionamiento recursivo. La recursividad termina quan el subconjunt en un nodo té tot el mateix valor de la variable objectiu, o quan la partició ya no agrega valor a les prediccions. Este procés de inducció top-down dels arbres de decisió (ITDAD)^[3] és un eixemple d'un algoritme voraç, i és, en molt, l'estratègia més comuna per a deprendre arbres de decisió a partir de senyes.

En mineria de senyes, els arbres de decisió es poden descriure també com la combinació de tècniques matemàtiques i computacionals per a ajudar a la descripció, la categorisació i la generalisació d'un conjunt donat de senyes.

Les senyes provenen en registres de la forma:

(𝐱, Y) = (x_{1}, x_{2}, x_{3}, ..., x_{k}, Y)

La variable depenent, I, és la variable objectiu que estem tractant d'entendre, classificar o generalisar. El vector x es compon de les variables d'entrada, x₁, x₂, x₃ etc., que s'utilisen per a eixa tasca.

Tipos

Els arbres de decisió utilisats en la mineria de senyes són de dos tipos principals:

Arbres de classificació és quan el resultat predit és la classe a la que pertanyen les senyes.
Arbres de regressió és quan el resultat predit es pot considerar un número real (per eixemple, el preu d'una casa, o el número de dies d'estància d'un pacient en un hospital).

El terme Arbres de Classificació i Regressió (ACR) és un terme genèric utilisat per a referir-se a abdós dels procediments anteriors, introduït per primera volta per Breiman et al. Els arbres utilisats per a la regressió i els arbres utilisats per a la classificació tenen algunes similituts - pero també alguns diferències, tals com el procediment utilisat per a determinar a on dividir.

Algunes tècniques, a sovint cridats métodos conjuntoshíbridos, construïxen més d'un arbre de decisió:

Bagging, un método de conjunt, construïx múltiples arbres de decisió fent repetidament remuestreo de les senyes d'entrenament en substitució, i votant els arbres per a trobar una predicció de consens.^[4]

Un classificador Random Forest utilisa una série d'arbres de decisió, en la finalitat de millorar la taxa de classificació. Els Arbres Impulsats es poden utilisar per a problemes de regressió i de classificació.^[5]^[6]

Rotation Forest En el que cada arbre de decisió és entrenat aplicant primer anàlisis de components principals (ACP) en un subconjunt aleatori de les característiques d'entrada.^[7]

Aprenentage basat en arbres de decisió és la construcció d'un arbre de decisió a partir de tuplas d'entrenament, cada una etiquetada en la seua corresponent classe. Un arbre de decisió és similar a una estructura de diagrama de fluix, a on cada nodo intern (no full) denota una prova en un atribut, cada branca representa el resultat d'una prova, i cada full (o terminal) nodo té una etiqueta de classe. El nodo superior en un arbre és el nodo raïl.

Hi ha molts algoritmes específics d'arbre de decisions. Entre els més destacats estan:

ID3 (Iterative Dichotomiser 3)

C4.5 (Successor de ID3)
ACR (Arbres de Classificació i Regressió)
CHAID (Detector automàtic de Chi-quadrat d'interacció). Realisa divisions de múltiples nivells en calcular els arbres de classificació.^[8]
MARS: Estén els arbres de decisió per a manejar millor senyes numèriques.
Arbres d'Inferència Condicional. Enfocament que utilisa proves no paramètriques com a criteris de divisió, corregits per a múltiples proves per a evitar el sobreajuste. Este enfocament es traduïx en la selecció d'un predictor imparcial i no requerix poda.^[9]^[10]

ID3 i ACR es varen inventar de forma independent en la mateixa época (entre 1970 i 1980)^{cita requerida}, pero abdós seguixen un enfocament similar per a l'aprenentage basat en arbres de decisió a partir de tuplas d'entrenament.

Vore també

Referències

↑ Wu, Xindong. “Top 10 algorithms in data mining” (en). Knowledge and Information Systems 14 (1): 1–37. doi:10.1007/s10115-007-0114-2. ISSN 0219-3116.
↑ Piryonesi S. Madeh. “Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index”. Journal of Infrastructure Systems 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512.
↑ Quinlan, J. R., (1986). Induction of Decision Trees. Machine Learning 1: 81-106, Kluwer Academic Publishers
↑ Breiman, L. (1996). Bagging Predictors. "Machine Learning, 24": pp. 123-140.
↑ Friedman, J. H. (1999). Stochastic gradient boosting. Stanford University.
↑ Hastie, T., Tibshirani, R., Friedman, J. H. (2001). The elements of statistical learning : Data mining, inference, and prediction. New York: Springer Verlag.
↑ Rodriguez, J.J. and Kuncheva, L.I. and Alonso, C.J. (2006), Rotation forest: A new classifier ensemble method, IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(10):1619-1630.
↑ “An exploratory technique for investigating large quantities of categorical data” (1980). Applied Statistics 29 (2): 119–127. doi:10.2307/2986296.
↑ “Unbiased Recursive Partitioning: A Conditional Inference Framework” (2006). Journal of Computational and Graphical Statistics 15 (3): 651–674. doi:10.1198/106186006X133933.
↑ “An Introduction to Recursive Partitioning: Rationale, Application and Characteristics of Classification and Regression Trees, Bagging and Random Forests” (2009). Psychological Methods 14 (4): 323–348. doi:10.1037/a0016973.

Referències

Este artícul conté una traducció derivada de «Aprendizaje basado en árboles de decisión» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.

[1] Wu, Xindong. “Top 10 algorithms in data mining” (en). Knowledge and Information Systems 14 (1): 1–37. doi:10.1007/s10115-007-0114-2. ISSN 0219-3116.

[:1-2] Piryonesi S. Madeh. “Data Analytics in Asset Management: Cost-Effective Prediction of the Pavement Condition Index”. Journal of Infrastructure Systems 26 (1): 04019036. doi:10.1061/(ASCE)IS.1943-555X.0000512.

[Quinlan86-3] Quinlan, J. R., (1986). Induction of Decision Trees. Machine Learning 1: 81-106, Kluwer Academic Publishers

[4] Breiman, L. (1996). Bagging Predictors. "Machine Learning, 24": pp. 123-140.

[5] Friedman, J. H. (1999). Stochastic gradient boosting. Stanford University.

[6] Hastie, T., Tibshirani, R., Friedman, J. H. (2001). The elements of statistical learning : Data mining, inference, and prediction. New York: Springer Verlag.

[7] Rodriguez, J.J. and Kuncheva, L.I. and Alonso, C.J. (2006), Rotation forest: A new classifier ensemble method, IEEE Transactions on Pattern Analysis and Machine Intelligence, 28(10):1619-1630.

[8] “An exploratory technique for investigating large quantities of categorical data” (1980). Applied Statistics 29 (2): 119–127. doi:10.2307/2986296.

[Hothorn2006-9] “Unbiased Recursive Partitioning: A Conditional Inference Framework” (2006). Journal of Computational and Graphical Statistics 15 (3): 651–674. doi:10.1198/106186006X133933.

[Strobl2009-10] “An Introduction to Recursive Partitioning: Rationale, Application and Characteristics of Classification and Regression Trees, Bagging and Random Forests” (2009). Psychological Methods 14 (4): 323–348. doi:10.1037/a0016973.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]