Autocodificador

Un autocodificador és un tipo de ret neuronal artificial utilisada per a deprendre codificació eficients de senyes no etiquetades (aprenentage no supervisat). El autocodificador deprén dos funcions, la primera és aquella que transforma les senyes d'entrada i la segona és la funció de decodificación que recrea les senyes d'entrada a partir de la representació codificada. El autocodificador deprén una representació eficient (codificació) per a un conjunt de senyes, normalment para reduir la dimensionalidad.

Existixen variants l'objectiu de les quals és forçar a les representacions depreses a assumir propietats útils. Alguns eixemples són els autocodificadores regularisats (Sparse, Denoising i Contractive), que són eficaços en l'aprenentage de representacions per a tasques de classificació posteriors, i els autocodificadores variacionales, en aplicacions com models generativos. Els autocodificadores poden ser aplicats en molts problemes, incloent el reconeiximent facial, la detecció de característiques, la detecció d'anomalies i l'adquisició del significat de les paraules. Els autocodificadores també són models generativos que poden generar aleatoriamente noves senyes que són similars a les senyes d'entrada (senyes d'entrenament).

Principis matemàtics

Definició

Un autocodificador es definix pels següents components:

• Dos conjunts: l'espai dels mensages descodificados $𝒳$; l'espai dels mensages codificats $𝒵$. Casi sempre, abdós $𝒳$ i $𝒵$ són espais euclidianos, és dir, $𝒳={ℝ}^m,𝒵={ℝ}^n$ per a alguns $m,n$.
• Dos famílies de funcions parametrizadas: la família de codificadores $E_{\varphi }:𝒳\to 𝒵$ parametrizado per $\varphi$ i la família de decodificadores $D_{\theta }:𝒵\to 𝒳$, parametrizado per $\theta$.

Per a qualsevol $x\in 𝒳$, normalment escrivim $z=E_{\varphi }(x)$, i nos referirem a ell com el còdic variable latent, la representació latent, el vector latent, etc. A l'inversa, per a qualsevol $z\in 𝒵$, normalment escrivim $x^{\prime }=D_{\theta }(z)$ i nos referir-nos a ell com el mensage (descodificado).

Usualment, tant el codificador com el descodificador es definixen com perceptrones de múltiples capes. Per eixemple, un codificador MLP d'una capa $E_{\varphi }$ és:

$E_{\varphi }(𝐱)=\sigma (Wx+b)$

A on $\sigma$ és una funció d'activació per elements, com una funció sigmoideo o una unitat llineal rectificada, $W$ és una matriu denominada "pes", i $b$ és un vector cridat "biaix".

Entrenament d'un autocodificador

Un autocodificador, per sí mateixa, és simplement una tupla de dos funcions. Per a jujar la seua calitat, necessitem una tasca. Una tasca es definix per mig d'una distribució de provabilitat de referència ${\mu }_{ref}$ sobre $𝒳$ i una funció de "calitat de la reconstrucció $d:𝒳\times 𝒳\to [0,\mathrm{\infty }]$ de manera que $d(x,x^{\prime })$ medix quant $x^{\prime }$ diferix de $x$.

En ells, podem definir la funció de pèrdua per al autocodificador com:

$L(\theta ,\varphi ):={𝔼}_{x\sim {\mu }_{ref}}[d(x,D_{\theta }(E_{\varphi }(x)))]$

El autocodificador òptim per a una tasca determinada $({\mu }_{ref},d)$ és llavors $\arg \underset{\theta ,\varphi }{\min }L(\theta ,\varphi )$. La busca del autocodificador òptim pot portar-se a terme per mig de qualsevol tècnica matemàtica d'optimisació, pero normalment és realisat per mig del descens de gradient. Este procés de busca es denomina "entrenament del autocodificador". En la majoria de les situacions, la distribució de referència és simplement la distribució empírica donada per un conjunt de senyes $\{x_1,\mathrm{...},x_N\}\subset 𝒳$, de manera que:

${\mu }_{ref}=\frac{1}{N}\sum _{i=1}^N{\delta }_{x_i}$

A on ${\delta }_{x_i}$ és la mida de Dirac, i la funció de calitat és només la pèrdua L2: $d(x,x^{\prime })=\Vert x-x^{\prime }{\Vert }_2^2$ i $\Vert \cdot {\Vert }_2$ és la norma euclidiana. Llavors, el problema de buscar el autocodificador òptim no és més que una optimisació per mínims quadrats:

$\underset{\theta ,\varphi }{\min }L(\theta ,\varphi ),\text{where }L(\theta ,\varphi )=\frac{1}{N}\sum _{i=1}^N\Vert x_i-D_{\theta }(E_{\varphi }(x_i)){\Vert }_2^2$

Interpretació

Archiu:Autoencoder schema.png

Esquema d'un autocodificador bàsic

Un autocodificador consta de dos parts principals, una part que convertix el mensage en un còdic i una part que reconstruïx el mensage a partir del còdic. Un autocodificador òptim realisaria una reconstrucció lo més perfecta possible, definida com "casi perfecta" per la funció de calitat de la reconstrucció $d$.

La forma més senzilla de realisar perfectament la tasca de còpia seria duplicar la senyal. Per a suprimir este comportament, l'espai del còdic $𝒵$ sol tindre menys dimensions que l'espai de mensages $𝒳$.

Un autocodificador d'este tipo es denomina subcompleto. Pot interpretar-se com una compressió del mensage o una reducció de la seua dimensionalidad.

En el llímit d'un autocodificador incomplet ideal, cada còdic possible $z$ en l'espai del còdic s'utilisa per a codificar un mensage $x$ que realment apareix en la distribució ${\mu }_{ref}$ i el decodificador també és perfecte: $D_{\theta }(E_{\varphi }(x))=x$. Este autocodificador ideal pot utilisar-se per a generar mensages indistinguibles dels reals, alimentant el seu decodificador en còdic arbitrari $z$ i obtindre $D_{\theta }(z)$, que és un mensage que realment apareix en la distribució ${\mu }_{ref}$.

Si l'espai de còdic $𝒵$ té una dimensió major (sobrecompleta) o igual a l'espai de mensages $𝒳$, o les unitats amagades tenen suficient capacitat, un autocodificador pot deprendre la funció d'identitat i tornar-se inútil. No obstant, els resultats experimentals han demostrat que els autocodificadores sobrecompletos poden deprendre característiques útils.

En un escenari ideal, la dimensió del còdic i la capacitat del model podrien establir-se en funció de la complexitat de la distribució de senyes que es desija modelar. Una forma estàndar de fer-ho és afegir modificacions al autocodificador bàsic, que es detallaran a continuació.

Història

El autocodificador va ser propost per primera volta per Kramer com una generalisació no llineal del anàlisis de components principals (ACP) . El autocodificador també ha segut cridat autoasociador, o ret Diábolo. Les seues primeres aplicacions daten de principis dels anys 90. La seua aplicació més tradicional va ser la reducció de dimensionalidad o l'aprenentage de característiques, pero el concepte es va generalisar per a l'aprenentage de models generativos de senyes. Algunes de les IA més potents de la década de 2010 involucraven autoencoders apilats dins de rets neuronals profundes.