Selecció de variable
En aprenentage de màquina i estadística, selecció de característica, també coneguda com a selecció de variable, selecció d'atribut o selecció de subconjunt variable, és el procés de seleccionar un subconjunt de característiques pertinents (variables, predictores) per al seu us en construcció de models. Les tècniques de selecció de la característica són utilisades per quatre raons:
- Simplificació de models en la finalitat de fer-les més senzilles d'interpretar per als usuaris/investigadors,[1]
- Temps d'entrenament més curt,
- Per a evitar la maldicció de la dimensió (curse of dimensionality),
- Generalisació realçada per reduir overfitting[2] (formalment, reducció de varianza)
La premissa central quan s'utilisa una tècnica de selecció de característiques és que la senya conté moltes redundantes o irrellevants, i aixina poden ser remogudes sense incórrer en molta pèrdua de l'informació. Les característiques redundantes o irrellevants són dos nocions distintes, puix una característica rellevant pot ser redundante en la presència d'una atra característica rellevant en la que està fortament correlacionada.
Les tècniques de selecció de característiques deuen ser distinguides de l'extracció de característica, la qual crea característiques noves a partir de funcions de les característiques originals, mentres que la selecció de característica torna un subconjunt de les característiques. Les tècniques de selecció de la característica són a sovint utilisades en dominis a on hi ha moltes característiques i comparativament poques mostres (o punts de senya). Els casos arquetípicos per a l'aplicació de la selecció de característica inclou l'anàlisis de senyes de microarrays d'ADN i texts escrits, a on hi ha varis mils de característiques, i unes quantes decenes a centenars de mostres.
Introducció
[editar | editar còdic]Un algoritme de selecció de característiques pot ser vist com la combinació d'una tècnica de busca per a propondre nous subconjunts de característiques, junt en una evaluació medix quin puntua els diferents subconjunts de característiques. L'algoritme més senzill prova cada subconjunt possible de les característiques trobant la que minimisa l'índex d'error, lo que és una busca exhaustiva de l'espai, i és computacionalment intractable llevat para els conjunts de característica més menuts. L'elecció de l'evaluació mètrica influïx fortament en l'algoritme, i són estes evaluacions mètriques les que distinguixen entre les tres categories principals d'algoritmes de selecció de característiques: envoltura (wrappers), filtres i métodos embebidos.[3]
- Els métodos envolvedores (wrapper methods) utilisen un model predictiu per a puntuar subconjunts de característica. Cada subconjunt nou sol entrenar un model, el qual està provat en un conjunt de resistència (hold-out set). Contant el número d'errors fa en el conjunt de resistència triat (l'índex d'error del model) dona la puntuació per a eixe subconjunt. Com els métodos envolvedores, entrena un nou model per a cada subconjunt, és computacionalment molt intensiu, pero usualment proporciona el conjunt de característiques de millor comportament per a aquell tipo particular de model.
- Els métodos de filtrat utilisen una proxy de mida en lloc de l'índex d'error per a puntuar un subconjunt de característiques. Esta mida és triada para siga ràpit de computar, mentres encara est'a capturant l'utilitat del conjunt de característiques. Les mides comunes inclouen l'informació mútua, l'informació mútua puntual, el Coeficient de correlació de Pearson, inter/intra distancia de classe o les puntuacions de proves d'importància per a cada combinació classe/característica. Els filtres són normalment menys intensius computacionalment que els wrappers, pero produïxen un conjunt de característiques que no està relacionat en un tipo específic de model predictiu. Esta carència significa que un conjunt de característiques resultant d'un filtre és més general que el conjunt resultant d'un wrapper, normalment donant rendiment de predicció més baix que un wrapper. Aixina i tot el conjunt de característica no conté les suposicions d'un model de predicció, i aixina és més útil per a expondre les relacions entre les característiques. Molts filtres proporcionen una característica rànquing en lloc d'un millor subconjunt de característica explícit, i el punt de tall en el rànquing és triat via validació creuada. Els métodos de filtre també han segut utilisats com un pas de preprocesamiento per a métodos wrappers, deixant que un wrapper siga utilisat en problemes més grans.[4][5]
- Els métodos embebidos són un grup de tècniques atrapa-tot que realisen selecció de característiques com a part del procés de construcció del model. L'eixemplar d'esta aproximació és el método LASSO per a construir un model llineal, el qual penalisa els coeficients de regressió en una penalidad L1, disminuint molts d'ells a zero. Qualsevol característica en coeficient de regressió diferent de zero és elegit per l'algoritme LASSO. Millores al LASSO inclouen Bolasso qué potencia les mostres, i FeaLect que puntua totes les característiques basant-se en anàlisis combinatori dels coeficients de regressió. Una atra aproximació popular és l'algoritme d'Eliminació de Característica Recursivo, generalment utilisat en Màquines de Soport Vectorial para repetidament construir un model i traure característiques en pesos baixos. Estes aproximacions tendixen aser entre filtres i wrappers en térmens de complexitat computacional.[6][7]
En estadística tradicional, la forma més popular de seleccionar característiques és la regressió pas a pas, que és un tècnica de wrapper. És un algoritme greedy que afig la millor característica (o elimina la pijor) en cada ronda. El problema principal de control és decidir quàn parar l'algoritme. En aprenentage de màquina, açò és típicament fet per validació creu. En estadístiques, alguns criteris estan optimisats. Açò es deu al problema inherent d'anidación. Métodos més robusts han segut explorats, com ramificació i poda i ret llineal per parts.
Selecció de subconjunt
[editar | editar còdic]La selecció de subconjunts evalua un subconjunt de característiques com un grup per conveniència. Els algoritmes de selecció del subconjunt poden ser separats en Wrappers, Filtres i Embebidos. Els wrappers utilisen un algoritme de busca per a buscar a través de l'espai de característiques possibles i evaluar cada subconjunt corrent un model en el subconjunt. Els wrappers poden ser computacionalment complexos i tindre un risc de overfitting per al model. Els filtres són similars als wrappers en l'aproximació de busca, pero en lloc d'evaluar contra un model, evalua un filtre més senzill. Les tècniques embebidas són embebidas per a un model específic.
Molts aproximacions de busca populars utilisen escalada de cerro codicioso, el qual de manera iterativa evalua un subconjunt de candidat de característiques, llavors modifica el subconjunt i evalua si el subconjunt nou és una millora sobre el vell. L'evaluació dels subconjunts requerix una puntuat mètric que medix un subconjunt de característiques. La busca exhaustiva és generalment poc pràctica, per lo que si algun implementador (o operador) definix un punt de parada, el subconjunt de característiques en la puntuació més alta descoberta fins al moment és seleccionat com el subconjunt de característica satisfactori. El criteri de parada varia per a cada algoritme; els criteris possibles inclouen: una puntuació de subconjunt supera un llindar, el màxim permés de temps d'eixecució del programa va ser superat, etc.
Les tècniques de busca alternatives estan basades en la busca de proyecció d'un objectiu que troba proyeccions de baixa dimensió de la senya en major puntuació: les característiques que té les proyeccions més grans en l'espai de menor dimensió són les elegides.
Aproximacions de busca inclouen:
- Exhaustiu
- Millor primer
- Recocido Simulat
- Algoritme genètic
- Selecció cap a avant codicioso
- Eliminació cap a arrere codicioso[8][9]
- Optimisació d'eixam de la partícula[10]
- Busca de proyecció apuntada
- Busca Dispersa[11]
- Busca per Entorns Variables[12][13]
Dos mètriques de filtres populars per a problemes de classificació són correlació i informació mútua, a pesar de que tampoc és són mètriques exactes o 'mides de distància' en el sentit matemàtic, com fallen per a complir la desigualtat triangular i aixina no computar qualsevol 'distància' real – tindrien que ser considerats 'puntuacions'. Estes puntuacions estan computades entre un candidat a característica (o conjunt de característiques) i la categoria de producció desijada. Aixina i tot, hi ha certes mètriques que són simplement una funció de l'informació mútua; veu ací.[14]
Atres seleccions de filtres són:
- Separació de classes
- Provabilitat d'error
- Distancia entre classes
- Distancia provabilista
- Entropía
- Selecció de característica basada en consitencia
- Selecció de característica basada en correlació
Vore també
[editar | editar còdic]- Anàlisis de clusters
- Mineria de senyes
- Reducció de dimensionalidad
- Ingenieria de característiques
- Optimisació de hiperparámetros
Referències
[editar | editar còdic]- ↑ (2013) An Introduction to Statistical Learning, Springer, p. 204.
- ↑ (2015).«Application of high-dimensional feature selection: evaluation for genomic prediction in man».Sci. Rep..5
- ↑ (2003).«An Introduction to Variable and Feature Selection».JMLR.3
- ↑ (2003).«An extensive empirical study of feature selection metrics for text classification».Journal of Machine Learning Research.3
- 1289–1305.
- ↑ «Divergence-based feature selection for separate classes».Neurocomputing.ELSEVIER.101(4)
- 32-42.
- ↑ «Bolasso: model consistent lasso estimation through the bootstrap».Proceedings of the 25th international conference on Machine learning.
- 33–40.doi:10.1145/1390156.1390161.
- ↑ «Scoring relevancy of features based on combinatorial analysis of Lasso with application to lymphoma diagnosis».BMC Genomics.14
- S14.doi:10.1186/1471-2164-14-S1-S14.
- ↑ «Exploring effective features for recognizing the user intent behind web queries».Computers in Industry.68
- 162–169.doi:10.1016/j.compind.2015.01.005.
- ↑ «Category-specific models for rànquing effective paraphrases in community Question Answering».Expert Systems with Applications.41
- 4730–4742.doi:10.1016/j.eswa.2014.02.004.
- ↑ “Binary PSO with Mutation Operator for Feature Selection using Decision Tree applied to Spam Detection” . Knowledge-Based Systems 64: 22–31. doi:.
- ↑ F.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. Solving feature subset selection problem by a Parallel Scatter Search, European Journal of Operational Research, vol. 169, no. 2, pp. 477–489, 2006.
- ↑ F.C. Garcia-Lopez, M. Garcia-Torres, B. Melian, J.A. Moreno-Perez, J.M. Moreno-Vega. Solving Feature Subset Selection Problem by a Hybrid Metaheuristic. In First International Workshop on Hybrid Metaheuristics, pp. 59–68, 2004.
- ↑ M. Garcia-Torres, F. Gomez-Vés-la, B. Melian, J.M. Moreno-Vega. High-dimensional feature selection via feature grouping: A Variable Neighborhood Search approach, Information Sciences, vol. 326, pp. 102-118, 2016.
- ↑ Alexander Kraskov, Harald Stögbauer, Ralph G. Andrzejak, and Peter Grassberger, "Hierarchical Clustering Based on Mutual Information", (2003) ArXiv q-bio/0311039
Referències
[editar | editar còdic]
- Este artícul conté una traducció derivada de «Selección de variable» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.