Anar al contingut

Ret neuronal recurrent

De L'Enciclopèdia, la wikipedia en valencià
Erro al crear miniatura:
Visualisació d'una ret neuronal recurrent totalment conectada en 4 neurones

En l'àmbit de les rets neuronals artificials, una ret neuronal recurrent (RNN) és un tipo de ret que conté conexions recurrents, és dir, conexions en les que l'eixida d'una neurona en un instant s'utilisa com a entrada per a una atra neurona en l'instant següent. Açò permet a les RNNs capturar dependències temporals i patrons seqüencials.

Les diferències entre una ret neuronal recurrent i una ret neuronal prealimentada (o feed-forward) es resumixen en la següent taula:

Ret neuronal prealimentada Ret neuronal recurrent
Els vectores d'entrada produïxen vectores d'eixida Tracten senyes seqüencials de forma eficient
No mesclen informació entre eixecucions Recorden les eixides anteriors com a entrada
Tracten una seqüència de senyes d'una sola volta Poden tractar seqüències molt llargues, element a element

Història

Les rets neuronals recurrents varen ser basades en el treball de David Rumelhart en 1986.[1] Les rets d'Hopfield, un tipo especial de ret recurrent, varen ser descobertes per John Hopfield en 1982. En 1993, un sistema compressor d'història neural va resoldre una tasca "Very Deep Learning" que va requerir desplegar més de 1000 capes d'una ret recurrent en un temps donat.[2]

Entrenament

L'entrenament d'una ret neuronal recurrent (RNN) implica un procés computacionalment intensiu per la seua naturalea seqüencial. A diferència de les rets feed-forward tradicionals, a on les operacions es reduïxen principalment a multiplicacions de matrius i transformacions per mig de funcions d'activació, les RNN processen senyes seqüencials mantenint una memòria amagada (hidden state) que s'actualisa en cada pas temporal.

Per a entrenar una RNN, s'aplica la tècnica de "desenrollado" (unrolling), que convertix la ret recurrent en una estructura equivalent a una ret prealimentada en tantes capes com a passos temporals continga la seqüència. Cada capa desenrollada compartix els mateixos paràmetros (pesos i biaix), lo que reduïx la complexitat computacional pero seguix requerint un alt consum de memòria i temps de processament per a seqüències llargues.

L'ajust dels pesos es realisa per mig de backpropagation through clave (BPTT), una adaptació de l'algoritme de retropropagación per a RNN. No obstant, este método enfronta el problema de torba del gradient (vanishing gradient), a on els gradient utilisats per a actualisar els pesos es tornen extremadament chicotets en propagar-se a través de moltes capes temporals, dificultant l'aprenentage de dependències a llarc determini.

Per a mitigar este problema, s'ampren arquitectura especialisades com:

  • Capes LSTM (Long Short-Term Memory): Introduïxen mecanismes de portes (gate) que regulen el fluix d'informació, permetent preservar gradient a lo llarc de seqüències extenses.
  • Capes GRU (Gated Recurrent Unit): Una versió simplificada de LSTM en menys paràmetros, pero igualment efectiva en moltes tasques.

Estes variants faciliten l'aprenentage de relacions temporals distants sense que el gradient es diluïxca, millorant el rendiment en modelació de llenguage o predicció de séries temporals.

LSTM

Les memòries llargues a curt determini (LSTM) varen ser inventades per Hochreiter i Schmidhuber en 1997 i varen establir récorts d'eficiència en distints àmbits d'aplicació.[3]

Al voltant de 2007, les LSTM varen escomençar a revolucionar el reconeiximent del parla, superant certs models tradicionals en el camp.[4] En 2009, una ret LSTM entrenada en Connectionist Temporal Classification (CTC) va ser la primera RNN en guanyar una competició de reconeiximent de patrons, guanyant distintes competicions en reconeiximent de llenguage escrit[5] En 2014, la companyia chinenca Baidu va usar RNNs entrenades en CTC per a trencar el dataset de reconeiximent del parla 2S09 Switchboard Hub5'00[6] sense amprar cap método tradicional de reconeiximent de llenguage parlat.[7]

Les LSTM també han millorat el reconeiximent del parla en vocabulari extens i síntesis de text-to-speech[8] i varen ser utilisades en Google Android.[9] En 2015, el reconeiximent de veu de Google va experimentar una millora en el seu rendiment del 49%, d'acort en les seues fontscita requerida gràcies a una ret LSTM CTC.[10]

Les LSTM varen trencar records en traducció automàtica,[11] modelació de llenguage,[12] i processament de llenguage multilingüe.[13] Una combinació de LSTM en rets neuronals convolucionals (CNNs) va millorar el subtitulat automàtic d'images.[14]

Referències

  1. ↑ Williams, Ronald J.; Hinton, Geoffrey I.; Rumelhart, David I.(October 1986).«Learning representations by back-propagating errors».Nature.323(6088): 533–536.ISSN 1476-4687.doi:10.1038/323533a0.
  2. ↑ Schmidhuber, Jürgen (1993). idsia. ch/pub/juergen/habilitation. pdf Habilitation thesis: System modeling and optimization. Pàgina 150.
  3. ↑ Hochreiter, Sepp; Schmidhuber, Jürgen(1997-11-01).«Long Short-Term Memory».Neural Computation.9(8): 1735–1780.doi:10.1162/neco.1997.9.8.1735.
  4. ↑ Fernández, Santiago; Greus, Alex; Schmidhuber, Jürgen (2007). An Application of Recurrent Neural Networks to Discriminative Keyword Spotting, Berlin, Heidelberg: Springer-Verlag, pp. 220–229. ISBN 978-3-540-74693-5.
  5. ↑ Plantilla:Cite document
  6. ↑ Switchboard Hub5'00 speech recognition dataset
  7. ↑ Plantilla:Cite arxiv
  8. ↑ Fan, Bo; Wang, Lijuan; Soong, Frank K.; Xie, Lei (2015) "Photo-Real Talking Head with Deep Bidirectional LSTM", in Proceedings of ICASSP 2015
  9. ↑ Zen, Heiga; Sak, Haşim (2015). «Unidirectional Long Short-Term Memory Recurrent Neural Network with Recurrent Output Layer for Low-Latency Speech Synthesis». Google. com pàgs. 4470–4474. ICASSP.
  10. ↑ Sak, Haşim; Senior, Andrew; Rao, Kanishka; Beaufays, Françoise (September 2015). «Google voice search: faster and more accurate».
  11. ↑ Sutskever, Ilya; Vinyals, Oriol; Li, Quoc V.(2014).«Sequence to Sequence Learning with Neural Networks».Electronic Proceedings of the Neural Information Processing Systems Conference.27: 5346.
  12. ↑ Plantilla:Cite arxiv
  13. ↑ Plantilla:Cite arxiv
  14. ↑ Plantilla:Cite arxiv
Obtingut de «https://lenciclopedia.org/w/index.php?title=Ret_neuronal_recurrent&oldid=1608721»