Ret neuronal residual

Archiu:ResBlock.png

Un Bloc Residual en una Ret Residual profunda. Ací la conexió residual es bota dos capes.

Una ret neuronal residual (també coneguda com a ret residual, ResNet) és un model d'aprenentage profunt en el que les capes de pesos deprenen funcions residuals en referència a les entrades de les capes. Una ret residual és una ret en conexions de bot que realisen mapages d'identitat, fusionades en les eixides de les capes per adició. Es comporta com una Highway Network (Autopista de l'informació) les portes del qual s'òbrin per mig de pesos de biaix fortament positiu. Açò permet que els models d'aprenentage profunt en decenes o centenars de capes s'entrenen fàcilment i s'aproximen a una major precisió en profundisar. Les conexions de bot d'identitat, a sovint denominades "conexions residuals", també s'utilisen en les rets LSTM (memòria a curt-llarc determini) de 1997, els models de transformador (per eixemple, BERT, models GPT com ChatGPT), el sistema AlphaGo Zero, el sistema AlphaStar i el sistema AlphaFold.

Les rets residuals varen ser desenrollades per Kaiming He, Xiangyu Zhang, Shaoqing Ren i Jian Sun, que varen guanyar el concurs ImageNet 2015.

Formulació

Antecedents

El model AlexNet desenrollat en 2012 per a ImageNet era una ret neuronal convolucional de 8 capes. Les rets neuronals desenrollades en 2014 pel Visual Geometry Group (VGG) de l'Universitat d'Oxford es varen aproximar a una profunditat de 19 capes apilant capes convolucionales de 3 en 3. Pero apilar més capes va provocar una ràpida reducció de la precisió de l'entrenament, lo que es coneix com el problema de la "degradació".

Una ret més profunda no deuria produir una major pèrdua d'entrenament que la seua homòloga menys profunda, si esta ret més profunda pot construir-se per mig de la seua homòloga menys profunda apilada en capes adicionals. Si les capes adicionals poden establir-se com a mapages d'identitat, la ret més profunda representaria la mateixa funció que el homòloga menys profunda. El hipòtesis és que el optimizador no és capaç d'aproximar-se als mapages d'identitat per a les capes parametrizadas.

Aprenentage residual

En un model de ret neuronal multicapa, considere una subred en un número determinat (per eixemple, 2 o 3) de capes apilades. Denotem la funció subjacent realisada per esta subred com $H(x)$, a on $x$ és l'entrada a esta subred. L'idea de "aprenentage residual" re-parametriza esta subred i deixa que les capes de paràmetros representen una funció residual $F(x):=H(x)-x$. El resultat $y$ d'esta subred es representa com:$\begin{array}{cc}y& =F(x)+x\end{array}$

Est és també el principi de la computació celular LSTM de 1997 $y_{t+1}=F(x_t)+x_t$, que es convertix en $y=F(x)+x$ durant la retropropagaació en el temps.

La funció $F(x)$ sol representar-se per mig de multiplicació de matrius entrellaçada en la funció d'activació i operacions de normalisació (per eixemple, normalisació per lots o normalisació per capes).

Esta subred es denomina "bloc residual". Una ret residual profunda es construïx apilant una série de blocs residuals.

El funcionament de "$+x$" en "$y=F(x)+x$" s'aborda per mig d'una conexió de bot que realisa el mapage d'identitat i conecta l'entrada d'un bloc residual en la seua eixida. Esta conexió sol denominar-se "conexió residual" en treballs posteriors.

Propagació de la senyal

L'introducció de mapages d'identitat facilita la propagació de la senyal tant en els trayectes cap a davant com cap a arrere.

Propagació cap a davant

Si l'eixida del bloc residual $\ell$-ésimo és l'entrada al bloc residual $(\ell +1)$-ésimo (és dir, suponent que no hi ha funció d'activació entre blocs), tenim:

$\begin{array}{cc}{x}_{\ell +1}& =F(x_{\ell })+x_{\ell }\end{array}$

Aplicant esta formulació de forma recursiva, per eixemple:

$\begin{array}{c}{x}_{\ell +2}=F(x_{\ell +1})+x_{\ell +1}=F(x_{\ell +1})+F(x_{\ell })+x_{\ell }\end{array}$, tenim:

$\begin{array}{cc}{x}_L& =x_{\ell }+\sum _{i=l}^{L-1}F(x_i)\\ \end{array}$

A on $L$ és l'índex de qualsevol bloc residual posterior (per eixemple, l'últim bloc) i $\ell$ és l'índex de qualsevol bloc anterior. Esta formulació sugerix que sempre hi ha una senyal que s'envia directament des d'un bloc menys profunt $\ell$ a un bloc més profunt $L$.

Propagació cap a arrere

La formulació de l'aprenentage residual oferix la ventaja afegida de resoldre en certa mida el problema del gradient de fuga. No obstant, és crucial reconéixer que el problema del gradient de fuga no és la causa principal del problema de degradació, ya que ya s'ha abordat per mig de l'us de capes de normalisació. Prenent la derivada sobre $x_{\ell }$d'acort en la propagació cap a avant anterior, tenim:

$\begin{array}{cc}\frac{\partial ℰ}{\partial x_{\ell }}& =\frac{\partial ℰ}{\partial x_L}\frac{\partial x_L}{\partial x_{\ell }}\\ & =\frac{\partial ℰ}{\partial x_L}(1+\frac{\partial }{\partial x_{\ell }}\sum _{i=l}^{L-1}F(x_i))\\ & =\frac{\partial ℰ}{\partial x_L}+\frac{\partial ℰ}{\partial x_L}\frac{\partial }{\partial x_{\ell }}\sum _{i=l}^{L-1}F(x_i)\\ \end{array}$ 

Ací $ℰ$ és la funció de pèrdua que deu minimisar-se.

Esta formulació sugerix que el càlcul del gradient d'una capa menys profunda $\frac{\partial ℰ}{\partial x_{\ell }}$ sempre té un terme $\frac{\partial ℰ}{\partial x_L}$ que s'afig directament. Encara que els gradient de el $F(x_i)$ són chicotets, el gradient total $\frac{\partial ℰ}{\partial x_{\ell }}$ no desapareix gràcies al terme afegit $\frac{\partial ℰ}{\partial x_L}$.

Relació en les equacions diferencials

L'actualisació d'una ret residual pot expressar-se esquemáticament com

$h_{k+1}=h_k+\Delta tf(h_k,t_k,{\theta }_k),$

a on $h_k$ representa l'estat de la ret en la capa $k$ i $f$ és la transformació residual parametrizada. Reordenando l'expressió,

$\frac{h_{k+1}-h_k}{\Delta t}=f(h_k,t_k,{\theta }_k),$

s'obté una forma equivalent a una discretizaació per mig del método de Euler de l'equació diferencial ordinària

$\frac{dh(t)}{dt}=f(h(t),t,\theta ).$

Esta interpretació relaciona les rets residuals en els sistemes dinàmics i va donar lloc a arquitectura de profunditat contínua, com les equacions diferencials neuronals. En estos models, la successió finita de blocs residuals se substituïx per l'integració numèrica d'una dinàmica contínua parametrizada per una ret neuronal.

La correspondència és una interpretació matemàtica i no implica que qualsevol ret residual siga exactament equivalent a una equació diferencial: una ResNet manté una arquitectura discreta, mentres que una neural ODE definix explícitament una evolució contínua que deu resoldre's per mig d'un integrador numèric.

Vore també

• Circuit neuronal
• Ret neuronal artificial
• Isolation forest