Anàlisis discriminante llineal

Anàlisis Discriminante Llineal (ADL, o LDA per les seues sigles en anglés) és una generalisació del discriminante llineal de Fisher, un método utilisat en estadística, reconeiximent de patrons i aprenentage automàtic per a trobar una combinació llineal de traces que caracterisen o separen dos o més classes d'objectes o events. La combinació resultant pot ser utilisada com un classificador llineal, o, més comunament, per a la reducció de dimensions abans de la posterior classificació.

LDA està estretament relacionat en l'anàlisis de varianza (ANOVA) i l'anàlisis de regressió, el qual també intenta expressar una variable depenent com la combinació llineal d'atres característiques o mides. No obstant, ANOVA usa variables independents categòriques i una variable depenent contínua, mentres que l'anàlisis discriminante té variables independents contínues i una variable depenent categòrica (o siga, l'etiqueta de classe). La regressió llogística i la regressió probit són més paregudes a ADL que ANOVA, puix també expliquen una variable categòrica pels valors de variables independents contínues. Estos atres métodos són preferibles en aplicacions a on no és raonable assumir que les variables independents estan normalment distribuïdes, lo que és una suposició fonamental del método ADL.

ADL està també estretament relacionat en l'anàlisis de component principal (ACP) i l'anàlisis factorial en que abdós busquen combinacions llineals de variables que expliquen millor les senyes. ADL explícitament intenta modelar la diferència entre les classes de senyes. ACP per un atre costat no pren en conte qualsevol diferència entre les classes, i l'anàlisis factorial construïx les combinacions de característiques basades en les diferències en lloc de les semblances. L'anàlisis discriminante és també diferent de l'anàlisis factorial en que no és una tècnica d'independència: una distinció entre les variables independents i les variables depenents (també cridades variables de criteri) deu estar feta.

ADL funciona quan les mides fetes sobre les variables independents per a cada observació són valors continus. En ocupar-se de variables independents categòriques, la tècnica equivalent és l'anàlisis discriminante de correspondència.

ADL per a dos classes

Considere un conjunt d'observacions $\overrightarrow{x}$ (també cridades característiques, atributs, variables o mides) per a cada mostra d'un objecte o event en classe coneguda i. Este conjunt de mostres és conegut com a conjunt de formació. El problema de classificació consistix en trobar a un bon estimador per a la classe i de qualsevol eixemple en la mateixa distribució (no necessàriament del conjunt de formació) donada solament una observació $\overrightarrow{x}$.

ADL enfronta el problema assumint que les funcions de densitat de les provabilitats condicionals $p(\overrightarrow{x}|y=0)$ i $p(\overrightarrow{x}|y=1)$ seguixen una distribució normal en paràmetros de mija i covarianza $({\overrightarrow{\mu }}_0,{\Sigma }_0)$$({\overrightarrow{\mu }}_1,{\Sigma }_1)$, respectivament. Baixe esta suposició, la solució òptima de Bayes és predir punts com en la segona classe si el registre de les proporcions de provabilitat està baix d'algun llindar T, de tal modo que:

$(\overrightarrow{x}-{\overrightarrow{\mu }}_0{)}^T{\Sigma }_0^{-1}(\overrightarrow{x}-{\overrightarrow{\mu }}_0)+\ln |{\Sigma }_0|-(\overrightarrow{x}-{\overrightarrow{\mu }}_1{)}^T{\Sigma }_1^{-1}(\overrightarrow{x}-{\overrightarrow{\mu }}_1)-\ln |{\Sigma }_1|>T$

Més allà de qualsevol suposició el classificador resultant és referit com a anàlisis discriminante quadràtic (ADC).

ADL en lloc d'això fa la suposició simplificadora adicional d'homocedasticidad (les covarianza de les classe són idèntiques, en ${\Sigma }_0={\Sigma }_1=\Sigma$ ) i que les covarianza tinguen ranc complet. En este cas, varis térmens es cancelen:

${\overrightarrow{x}}^T{\Sigma }_0^{-1}\overrightarrow{x}={\overrightarrow{x}}^T{\Sigma }_1^{-1}\overrightarrow{x}$

${\overrightarrow{x}}^T{{\Sigma }_i}^{-1}\overrightarrow{{\mu }_i}={\overrightarrow{{\mu }_i}}^T{{\Sigma }_i}^{-1}\overrightarrow{x}$ puix ${\Sigma }_i$ és Hermitiano

i l'anteriorment citat criteri de decisió es convertix en un llindar en el producte dot

$\overrightarrow{w}\cdot \overrightarrow{x}>c$

per a alguna constant de llindar c, a on

$\overrightarrow{w}={\Sigma }^{-1}({\overrightarrow{\mu }}_1-{\overrightarrow{\mu }}_0)$

$c=\frac{1}{2}(T-{\overrightarrow{{\mu }_0}}^T{\Sigma }_0^{-1}\overrightarrow{{\mu }_0}+{\overrightarrow{{\mu }_1}}^T{\Sigma }_1^{-1}\overrightarrow{{\mu }_1})$

Açò vol dir que el criteri de l'entrada $\overrightarrow{x}$, sent i una classe, és purament una funció d'esta combinació llineal de les observacions conegudes.

Açò és freqüentment útil per a vore esta conclusió en térmens geomètrics: el criteri d'una entrada $\overrightarrow{x}$ en una classe i és purament una funció de proyecció de punts $\overrightarrow{x}$ en l'espai-multidimensional sobre el vector $\overrightarrow{w}$ (aixina, solament es considera la seua direcció). En atres paraules, l'observació forma part d'i, si la corresponent $\overrightarrow{x}$ està ubicada en un cert costat d'un hiperplano perpendicular a $\overrightarrow{w}$. La localisació del pla està definida pel llindar c.

Anàlisis discriminante canònic per a k classes

L'anàlisis discriminante canònic (ADC) busca els eixos (k – 1 coordenades canòniques, a on k és el número de classes) que millor separen les categories. Estes funcions llineals no estan correlacionadas i definixen, en efecte, un espai òptim k – 1 a través del conjunt n-dimensional de senyes que millor separa (les proyeccions en eixe espai) els k grups. Vore ADL multiclase davall per a més detalls.

Vore també

• Mineria de senyes
  
• Aprenentage basat en arbres de la decisió
• Anàlisis factorial
• Logit (Para regressió llogística)
• Escalamiento multidimensional
  
• Reconeiximent de patrons
• Perceptrón