Reducció de dimensionalidad

En aprenentage automàtic i estadística reducció de dimensionalidad o reducció de la dimensió és el procés de reducció del número de variables aleatòries que es tracte, i es pot dividir en selecció de funció i extracció de funció.Els métodos de reducció de dimensionalidad s'utilisen habitualment en métodos matemàtic-estadístics d'anàlisis de components principals (PCA), anàlisis de factors (FA) i atres procediments d'anàlisis multivariante de senyes.

Anàlisis de components principals de freqüències de haplogrupos mitocondrials. Les llínees interiors a traços indiquen les variables incloses en l'estudi. Totes elles es poden reduir a tan sol dos variables latents, denominades components principals.

Selecció de variable

Artícul principal → Selecció de variable.

Els distints enfocaments per a la selecció de variable tracten de trobar un subconjunt de les variables originals (també cridats característiques o atributs). Hi ha tres estratègies; filtre (per eixemple, guany d'informació) i bolic (per eixemple, busques guiades per precisió) enfocaments, i incrustat (característiques són seleccionats per a afegir o retirar mentres que la construcció del model sobre la base dels errors de predicció). Vore també problemes d'optimisació combinatòria.

En alguns casos, anàlisis de senyes tal com regressió o classificació es pot fer en l'espai reduït en més precisió que en l'espai original.

Extracció de característiques

L'extracció de característiques transforma les senyes en l'alta dimensió espai per a un espai de menor dimensió. La transformació de senyes pot ser llineal, com en anàlisis de components principals (PCA), pero també existixen moltes tècniques de reducció de dimensionalidad no llineal. Per a les senyes multidimensionales, tensoriales la representació pot ser utilisada en la reducció de dimensionalidad a través de l'aprenentage de subespacio multilineal.

La tècnica llineal principal per a la reducció de dimensionalidad, anàlisis de components principals, realisa un mapage llineal de les senyes a un espai inferior-dimensional de tal manera que la varianza de les senyes en la representació de poques dimensions s'maximizar. En la pràctica, la matriu de correlació de les senyes es construïx i en esta matriu es calcula els autovectores. Els vectores propis que corresponen als valors propis més grans (els components principals) es poden utilisar ara per a reconstruir una gran fracció de la varianza de les senyes originals. Per una atra part, els primers vectores propis a sovint poden ser interpretats en térmens del comportament físic a gran escala del sistema. L'espai original (en la dimensió de la cantitat de punts) s'ha reduït (en la pèrdua de senyes, pero és d'esperar que conserva la varianza més important) a l'espai comprés per un parell de vectores propis.

Anàlisis de components principals es pot amprar d'una manera no llineal per mig del truc del kernel. La tècnica resultant és capaç de construir assignació no llineals que maximizar la varianza en les senyes. La tècnica resultant es titula kernel PCA. Atres tècniques no llineals prominents inclouen aprenentage de colector, tècniques com Isomap, incrustadores localment llineals (LLE), Hesse LLE, automapeo Laplaciano, i espai tangente local d'alliniació (CSALP). Estes tècniques construïxen una representació de senyes de poques dimensions utilisant una funció de cost que conserva les propietats locals de les senyes, i es pot vore com la definició d'un núcleu basat en el gràfic de Kernel PCA. Més recentment, s'han propost tècniques que, en lloc de definir un núcleu fix, tractar de deprendre el núcleu usant programació semidefinida. L'eixemple més destacat d'una tècnica tal és desplegament de varianza màxima (MVU). L'idea central de MVU és preservar exactament totes les distàncies per parells entre els veïns més propencs (en l'espai del producte interior), a l'hora que maximizar les distàncies entre els punts que no són veïns més propencs. Una tècnica de reducció de dimensionalidad que s'utilisa a voltes en neurociencia és les dimensions informatives al màxim, que troba una representació de menor dimensió d'un conjunt de senyes de tal manera que tant informació mútua com siga possible sobre l'original les senyes es conserva.

Un enfocament alternatiu a la preservació barri és a través de la minimisació d'una funció de cost que medix les diferències entre les distàncies en els espais d'entrada i d'eixida. Eixemples importants de tals tècniques inclouen: clàssica escalamiento multidimensional, que és idèntic a el PCA; Isomap, que utilisa distàncies geodèsiques en l'espai de senyes; mapa de difusió, que utilisen distàncies de difusió en l'espai de senyes; incrustamiento de veí estocàstic t-distribuït (t-SNE), que reduïx al mínim la divergència entre les distribucions més parells de punts; i l'anàlisis de components curvilínea.

Un enfocament diferent a la reducció de dimensionalidad no llineal és per mig de l'us de autoencoders, un tipo especial de feed-forward ret neuronal en una capa amagada de coll de botella. La formació dels codificadores de profunditat es porta a terme típicament usant un pre-formació de capa sapient codicioso (per eixemple, usant una pila de màquina de Boltzmann restringida) que és seguida per una etapa Ajuste fi basat en backpropagation.

Vore també

• Incrustación de veïns estocàstics distribuïts en t (t-SNE)

Referències

• Fodor,I. (2002) "A survey of dimension reduction techniques". Center for Applied Scientific Computing, Lawrence Livermore National, Technical Report UCRL-ID-148494
• Cunningham, P. (2007) "Dimension Reduction" University College Dublin, Technical Report UCD-CSI-2007-7
• (2011) «Nonlinear Dimensionality Reduction Methods for Use with Automatic Speech Recognition», Speech Technologies. doi:10.5772/16863. ISBN 978-953-307-996-7.