Anar al contingut

Ret neuronal artificial

De L'Enciclopèdia, la wikipedia en valencià
Archiu:Neural network.svg
Ret neuronal artificial
Est artícul tracta sobre ret neuronal artificial. Per a atres usos d'este terme vore ret neuronal biològica.

Categoría:Wikipedia:Traducciones para mejorar

Archiu:Colored neural network es.svg
Una ret neuronal artificial és un grup interconectado de nodos similar a la vasta ret de neurones en un cervell biològic. Cada nodo circular representa una neurona artificial i cada flecha representa una conexió des de l'eixida d'una neurona a l'entrada d'una atra.

En l'aprenentage automàtic, una ret neuronal artificial (abreviada ANN o NN) és un model dins dels cridats sistemes conexionistas, inspirat en l'estructura i funció de les rets neuronals biològiques en els cervells animals. Una ANN consta d'unitats o nodos conectats anomenats neurones artificials, que modelen vagament les neurones del cervell. Estes estan conectades per arestes, que modelen les sinapsis del cervell. Cada neurona artificial rep «senyals» de les neurones conectades, després les processa i envia una senyal a atres neurones conectades. La «senyal» és un número real, i l'eixida de cada neurona es calcula per mig d'una funció no llineal de la suma de les seues entrades, cridada funció d'activació. La força de la senyal en cada conexió està determinada per un pes, que s'ajusta durant el procés d'aprenentage.

Per lo general, les neurones s'agrupen en capes. Les diferents capes poden realisar diferents transformacions en les seues entrades. Les senyals viagen des de la primera capa (la capa d'entrada) fins a l'última capa (la capa d'eixida), possiblement passant per múltiples capes intermiges (capes amagades). Una ret es denomina típicament ret neuronal profunda si té a lo manco dos capes amagades.

Capacitació

[editar | editar còdic]

Les rets neuronals s'entrenen típicament a través de la minimisació de riscs empírics. Este método es basa en l'idea d'optimisar els paràmetros de la ret per a minimisar la diferència, o risc empíric, entre el resultat previst i els valors objectiu reals en un conjunt de senyes determinat. Els métodos basats en gradients, com la Retropropagacion o Propagació cap a arrere, s'utilisen generalment per a estimar els paràmetros de la ret.  Durant la fase d'entrenament, les ANN deprenen de les senyes d'entrenament etiquetats, actualisant iterativamente els seus paràmetros per a minimisar una Funció de pèrdua definida.  Les rets neuronals artificials s'utilisen per a diverses tasques, com la modelació predictiva, el control adaptatiu i la resolució de problemes en l'àmbit de l'inteligència artificial. Poden deprendre de l'experiència i extraure conclusions d'un conjunt d'informació complex i aparentment no relacionat. Descollen en àrees a on la detecció de solucions o característiques és difícil d'expressar en la programació convencional. Per a realisar este aprenentage automàtic, normalment, s'intenta minimisar una funció de pèrdua que evalua la ret en el seu total. Els valors dels pesos de les neurones es van actualisant buscant reduir el valor de la funció de pèrdua. Este procés es realisa per mig de la propagació cap a arrere.

Les rets neuronals actuals solen contindre des d'uns mills a uns pocs millons d'unitats neuronals.

Noves investigacions sobre el cervell a sovint estimulen la creació de nous patrons en les rets neuronalscita requerida. Un nou enfocament cita requerida està utilisant conexions que s'estenen molt més allà i capes de processament d'enllaç en lloc d'estar sempre localisat en les neurones adjacents. Una atra investigaciócita requerida està estudiant els diferents tipos de senyal en el temps que els axones es propaguen, com l'aprenentage profunt, interpola una major complexitat que un conjunt de variables booleanas que són simplement encés o apagat.


Les rets neuronals s'han utilisat per a resoldre una àmplia varietat de tasques, com la visió per computador i el reconeiximent de veu, que són difícils de resoldre usant l'ordinària programació basada en regles. Històricament, l'us de models de rets neuronals va marcar un canvi de direcció a finals dels anys huitanta d'alt nivell, que es caracterisa per sistemes experts en coneiximent incorporat en si-llavors les regles, a baix nivell d'aprenentage automàtic, caracterisat pel coneiximent incorporat en els paràmetros d'un model cognitiu en algun sistema dinàmic.

Història

[editar | editar còdic]

Warren McCulloch i Walter Pitts[1] (1943) varen crear un model informàtic per a rets neuronals, que es diu llògica llindar, que es basa en les matemàtiques i els algoritmes. Este model va senyalar el camí per a que l'investigació de rets neuronals es dividixca en dos enfocaments distints. Un enfocament es va centrar en els processos biològics en el cervell i l'atre es va centrar en l'aplicació de rets neuronals per a l'inteligència artificial.

Aprenentage de Hebb

[editar | editar còdic]

A finals de la década de 1940 el sicòlec Donald Hebb[2][3] va crear una hipòtesis d'aprenentage basat en el mecanisme de plasticidad neuronal que ara es coneix com aprenentage de Hebb. Aprenentage de Hebb es considera que és un «típic» d'aprenentage no supervisat i les seues variants posteriors varen ser els primers models de la potenciació a llarc determini. Els investigadors varen escomençar a aplicar estes idees als models computacionals en 1948 en la sugerència de Turing, que el córtex humà infantil és lo que cridava «màquina desorganisada» (també conegut com a «màquina Turing Tipo B»).[4][5]


Farley i Wesley A. Clark[6] (1954) al principi varen utilisar màquines computacionals, que llavors es dien «calculadores», per a simular una ret de Hebb en el MIT. Atres simulacions de rets neuronals per computadora han segut creades per Rochester, Holland, Habit i Dubte (1956).[7]

Frank Rosenblatt[8] (1958) va crear el perceptrón, un algoritme de reconeiximent de patrons basat en una ret d'aprenentage de computadora de dos capes, que utilisava adició i substracció simples. En la notació matemàtica, Rosenblatt també descriu circuitería que no està en el perceptrón bàsic, tal com el circuit d'o-exclusiva, un circuit que no es va poder processar per rets neuronals abans de la creació de l'algoritme de propagació cap a arrere per Paul Werbos (1975).[9]

En 1959, un model biològic propost per dos laureados dels Premis Nobel, David H. Hubel i Torsten Wiesel, estava basat en el seu descobriment de dos tipos de cèlules en la corfa visual primària: cèlules simples i cèlules complexes.[10]

El primer reporte sobre rets funcionals multicapas va ser publicat en 1965 per Ivakhnenko i Tel, i es coneix com el método de agrupamiento per al maneig de senyes.[11][12][13]


L'investigació de rets neuronals es va estancar despuix de la publicació de l'investigació d'aprenentage automàtic per Marvin Minsky i Seymour Papert (1969),[14] que va descobrir dos qüestions fonamentals en les màquines computacionals que processen les rets neuronals. La primera va ser que els perceptrones bàsics eren incapaços de processar el circuit d'o-exclusiu. La segona qüestió important era que els ordenadors no tenien suficient poder de processament per a manejar eficaçment el gran temps d'eixecució requerit per les grans rets neuronals.

Propagació cap a arrere i el resorgiment

[editar | editar còdic]

Un alvanç clau posterior va ser l'algoritme de propagació cap a arrere (en anglés, backpropagation) que resol eficaçment el problema d'o-exclusiu, i en general el problema de la formació ràpida de rets neuronals de múltiples capes (Werbos 1975). El procés de propagació cap a arrere utilisa la diferència entre el resultat produït i el resultat desijat per a canviar els «pesos» de les conexions entre les neurones artificials.[9]

A mitan de la década de 1980, el processament distribuït en paralel es va fer popular en el nom conexionismo. El llibre de David E. Rumelhart i James McClelland (1986) proporciona una exposició completa de l'utilisació de conexionismo en els ordenadors per a simular processos neuronals.[15]

Les rets neuronals, tal com s'utilisen en l'inteligència artificial, han segut considerades tradicionalment com a models simplificats de processament neuronal en el cervell, a pesar de que la relació entre este model i l'arquitectura biològica del cervell es debat; no està clar en quin medida les rets neuronals artificials reflectixen el funcionament cerebral.

Màquines de soport vectorial i atres métodos molt més simples, tals com els classificadors llineals, varen alcançar gradualment popularitat en l'aprenentage automàtic. No obstant, l'us de rets neuronals ha canviat alguns camps, tals com la predicció de les estructures de les proteïnes.[16][17]

En 1992,va ser introduït el max-pooling (una forma de submuestreo, en la que es dividix les senyes en grups de tamanys iguals, que no tenen elements en comú, i es transmet solament el valor màxim de cada grup)per a ajudar en el reconeiximent d'objectes tri-dimensionals.[18]

[19] [20]

En 2010, l'us de max-pooling en la formació per propagació cap a arrere va ser accelerat pels GPUs, i es va demostrar que oferix millor rendiment que atres tipos de agrupamiento.[21]

El problema de la torba del gradient afecta les rets neuronals prealimentadas de múltiples capes, que usen la propagació cap a arrere, i també els rets neuronals recurrents (RNNs).[22][23] Encara que els errors es propaguen d'una capa a una atra, disminuïxen exponencialment en el número de capes, i això impedix l'ajust cap a arrere dels pesos de les neurones basat en eixos errors. Les rets profundes es veuen particularment afectades.

Per a véncer este problema, Schmidhuber adoptava una jerarquia multicapa de rets (1992) preformadas, una capa al mateix temps, per aprenentage no supervisat, i refinat per propagació cap a arrere.[24] Behnke (2003) contava solament en el signe del gradient (Rprop)[25] tractant-se de problemes tals com la reconstrucció d'imàgens i la localisació de cares.


Com a reptes anteriors en rets neuronals profundes de capacitació es varen resoldre en métodos com preformación no supervisada i potència de càlcul incrementada a través de l'us de les GPU i la computació distribuïda, les rets neuronals es varen desplegar de nou a gran escala, sobretot en problemes de processament d'imàgens i de reconeiximent visual. Açò es va conéixer com «aprenentage profunt», encara que l'aprenentage profunt no és estrictament sinònim de rets neuronals profundes.

Dissenys basats en hardware

[editar | editar còdic]

Es varen crear en CMOS dispositius de còmput per a la simulació biofísica de la mateixa manera que per a la còmput neuromórfico. Nanodispositivos[26] para anàlisis de components principals d'escala molt gran i convolución poden crear una classe nova de còmput neuronal, perque són fonamentalment analògics en lloc de digitals (encara que les primeres implementacions puguen utilisar dispositius digitals).[27] Ciresan i els seus colegues (2010)[28] en el grup de Schmidhuber varen mostrar que, a pesar del problema de la torba del gradient, els GPUs fan factible la propagació cap a arrere per a les rets neuronals prealimentadas en múltiples capes.

Vore també

[editar | editar còdic]

Referències

[editar | editar còdic]
  1. (1943).Bulletin of Mathematical Biophysics.5(4)
    115–133.doi:10.1007/BF02478259.
  2. «Llei de Hebb: la base neuropsicológica de l'aprenentage» (en és). Psicologia i ment. Consultat el 24 d'octubre de 2018.
  3. (1949) The Organization of Behavior, Wiley. ISBN 978-1-135-63190-1.
  4. Republicación del artículode Turing de 1948: Turing, A.M. (1992). Collected works of AM Turing — Mechanical Intelligence. (en anglés), Elsevier Science Publishers.
  5. (2012).(5)
    35-43.
    Webster CS. Alan Turing's unorganized machines and artificial neural networks: his remarkable early work and future possibilities. Evolutionary Intelligence 2012: 5; 35-43.
  6. (1954).IRE Transactions on Information Theory.4(4)
    76–84.doi:10.1109/TIT.1954.1057468.
  7. (1956).IRE Transactions on Information Theory.2(3)
    80–93.doi:10.1109/TIT.1956.1056810.
  8. (1958).Psychological Review.65(6)
    386–408.doi:10.1037/h0042519.
  9. 9,0 9,1 (1975) Beyond Regression: New Tools for Prediction and Analysis in the Behavioral Sciences, Harvard University.
  10. Hubel, David H.; Wiesel, {{{nom2}}} (2005). Brain and visual perception: the story of a 25-year collaboration, Oxford University Press US, p. 106. ISBN 978-0-19-517618-6.
  11. (2015).Neural Networks.61
    85–117.doi:10.1016/j.neunet.2014.09.003.
  12. (1973) Cybernetic Predicting Devices, CCM Information Corporation.
  13. Ivakhnenko, A. G. (1967). Cybernetics and forecasting techniques, American Elsevier Pub. Co..
  14. (1969) Perceptrons: An Introduction to Computational Geometry, MIT Press. ISBN 0-262-63022-2.
  15. Rumelhart, D.E; McClelland, {{{nom2}}} (1986). Parallel Distributed Processing: Explorations in the Microstructure of Cognition, MIT Press. ISBN 978-0-262-63110-5.
  16. (1988).Journal of Molecular Biology.202
    865-884.
  17. (1993).Journal of Molecular Biology.232
    584-599.
  18. (1992).Proc. International Joint Conference on Neural Networks.Baltimore, Maryland:1
    576–581.
  19. (1993).Proc. 4th International Conf. Computer Vision.Berlin, Alemània:
    121–128.
  20. (1997).International Journal of Computer Vision.25(2)
    105–139.
  21. (2010).20th International Conference Artificial Neural Networks (ICANN).
    92–101.doi:10.1007/978-3-642-15825-4_10.
  22. S. Hochreiter. Untersuchungen zu dynamischen neuronalen Netzen, Diplomar thesis. Institut f. Informatik, Technische Univ. Munich. Advisor: J. Schmidhuber, 1991.
  23. (15 de giner de 2001) «Gradient flow in recurrent nets: the difficulty of learning long-term dependencies», A Field Guide to Dynamical Recurrent Networks, John Wiley & Sons. ISBN 978-0-7803-5369-5.
  24. J. Schmidhuber. Learning complex, estendre sequences using the principle of history compression. Neural Computation, 4, pp. 234–242, 1992.
  25. Behnke, Sven (2003). Hierarchical Neural Networks for Image Interpretation., Springer.
  26. (2008).Nat. Nanotechnol..3
    429–433.doi:10.1038/nnano.2008.160.
  27. (2008).Nature.453(7191)
    80–83.doi:10.1038/nature06932.
  28. Neural Computation.22(12)
    3207–3220.ISSN 0899-7667.doi:10.1162/neco_a_00052.


Referències

[editar | editar còdic]