Anar al contingut

Teoria de l'aprenentage estadístic

De L'Enciclopèdia, la wikipedia en valencià

La teoria de l'aprenentage estadístic, fonamentada en l'estadística i l'anàlisis funcional.[1] És un marc que brinda les bases per a molts dels algoritmes d'aprenentage automàtic. Desenrollada en un inici en Rússia durant la década de 1960,[2] va guanyar popularitat en els anys noranta despuix de la creació de les màquina de vectores de soport,[3][4] de modo que es va consolidar com el marc estàndar per a l'estudi del reconeiximent de patrons.

Desenroll durant el XX

L'història del de l'investigació sobre el problema de l'aprenentage en el XX poden dividir-se en tres periodos, caracterisats per tres acontenyiments destacats:[5]

  • La construcció de les primeres màquines d'aprenentage
  • El desenroll dels fonaments teòrics
  • El desenroll de les rets neuronals

Desenroll de les primeres màquines d'aprenentage

En 1958 Frank Rosenblatt va propondre el primer model de màquina d'aprenentage, cridat perceptrón.[6] Inspirat en models neurofisiológicos de McCulloch i Pitts, el perceptrón va ser dissenyat per a resoldre problemes de reconeiximent de patrons. En la seua forma més simple, este problema consistix en construir una regla capaç de separar les senyes de dos categories distintes utilisant eixemples prèviament proporcionats.

Perceptrón d'una sola capa

En 1962, Novikoff va demostrar la primera teorema sobre el perceptrón[7] el qual establix que, baix certes condicions, els models d'una capa basats en el perceptrón pot construir un hiperplano que separe les senyes per a la seua classificació. Esta teorema va marcar l'inici de la teoria de l'aprenentage.


Encara que el perceptrón va tindre una gran recepció inicial, en 1969 Marvin Minsky i Seymour Papert varen publicar un famós llibre en el que demostraven que els models d'una sola capa basats en el perceptrón no poden resoldre certs problemes de classificació, com el de la comporta XOR.[8]

Esta etapa es va caracterisar pel desenroll de tècniques per a l'aplicació a problemes, en este sentit Vapnik senyala que la filosofia de l'anàlisis aplicat del procés d'aprenentage es basava que:

Per a obtindre una bona generalisació, n'hi ha prou en elegir els coeficients de la neurona que proporcionen el número mínim d'errors en l'entrenament. El principi de minimisar el número d'errors d'entrenament és un principi inductivo evident per sí mateix i, des d'un punt de vista pràctic, no requerix justificació adicional. L'objectiu principal de l'Anàlisis Aplicat és trobar métodos per a construir simultàneament els coeficients de totes les neurones de modo que la superfície de separació produïxca el mínim número d'errors en les senyes d'entrenament.[9]

Desenroll dels fonaments teòrics

A diferència de l'anàlisis aplicat, en el que des de la creació del perceptrón fins a l'implementació de la retropropagación en 1986.[10] no va haver grans alvanços. No obstant, durant eixe mateix periodo el desenroll de la teoria de l'aprenentage estadístic va ser sumament fructífer. En contrast en l'enfocament aplicat, Vapnik sosté que la filosofia de l'anàlisis teòric dels processos d'aprenentage es fonamenta en la busca de principis inductivos no trivial, que garantisen la major capacitat de generalisació possible:

El principi de minimisar el número d'errors d'entrenament no és evident per sí mateix i requerix justificació. És possible que existixca un atre principi inductivo que proporcione un major nivell de capacitat de generalisació. L'objectiu principal de l'Anàlisis Teòric dels processos d'aprenentage és trobar el principi inductivo en el nivell més alt de capacitat de generalisació i construir algoritmes que materialisen dit principi inductivo.[10]

A inicis de 1968, Vapnik i Chervonenkis varen introduir els conceptes centrals de la teoria de l'aprenentage estadístic: la entropía VC i la dimensió VC[2] En estos conceptes, es varen descriure els processos d'aprenentage en el conjunt de funcions característiques i es varen obtindre els principals criteris per a lgarantizar convergència dels algoritmes. Entre 1976 i 1981, dits resultats —inicialment obtinguts per al conjunt de funcions indicadores— varen ser generalisats al conjunt de funcions reals..

Finalment, en 1989 es varen trobar les condicions necessàries i suficients per a la consistència del principi inductivo de minimisació del risc empíric i del método de màxim verosimilitut, completant aixina l'anàlisis d'inferència inductiva basada en la minimisació del risc empíric.

El desenroll de les rets neuronals

Model multi-capa basat en el perceptrón

Pels resultats de Marvin Minsky i Seymour Papert, se sabia que els models d'una sola capa basats en el perceptrón eren molt llimitats. L'extensió natural d'esta idea va ser aumentar el número de capes. No obstant, per les propietats llineals del perceptrón, un model multicapa construït únicament a partir de perceptrones simples resulta equivalent a un model d'una sola capa. Açò implica que afegir més capes no incrementa la capacitat d'aprenentage. Per a superar esta llimitació, va ser necessari incorporar funcions d'activació no llineals en el perceptrón.

En 1986, de manera independent un método per a construir perceptrones multi-capa en efectes no llineals. Per mig del denominat método de retropropagación (o Back-Propagation en anglés) combinat en el método de descens del gradient, és possible entrenar rets multi-capa. Este alvanç va donar orige a lo que hui es coneix com aprenentage profunt (o deep learnig).

Introducció

Els objectius de l'aprenentage són la comprensió i la predicció. L'aprenentage es dividix en moltes categories: aprenentage supervisat, aprenentage no supervisat, aprenentage en llínea i aprenentage per reforç. Des del punt de vista de la teoria de l'aprenentage estadístic, l'aprenentage supervisat és el que millor s'entén.[11] Cada punt de l'entrenament és un parell d'entrada-eixida, en el que l'entrada s'assigna a una eixida. El problema d'aprenentage consistix en inferir la funció que relaciona l'entrada i l'eixida, de manera que la funció depresa puga utilisar-se per a predir l'eixida a partir d'entrades futures.

Depenent del tipo d'eixida, els problemes d'aprenentage supervisat són problemes de regressió o problemes de classificació. Si l'eixida pren un ranc continu de valors, es tracta d'un problema de regressió. Utilisant la llei de Ohm[12] com a eixemple, es podria realisar una regressió en el voltage com a entrada i la corrent com a eixida. La regressió trobaria que la relació funcional entre el voltage i la corrent és R. de manera que:

V=IR

Els problemes de classificació són aquells per als que l'eixida serà un element d'un conjunt discret d'etiquetes. La classificació és molt comuna en les aplicacions d'aprenentage automàtic.[13] En el reconeiximent facial, per eixemple, una image de la cara d'una persona seria l'entrada, i l'etiqueta d'eixida seria el nom d'eixa persona. L'entrada estaria representada per un gran vector multidimensional els elements del qual representen píxels de l'image.

Despuix de deprendre una funció basada en les senyes del conjunt d'entrenament, eixa funció es valida en un conjunt de senyes de prova, senyes que no apareixien en el conjunt d'entrenament.

Vore també

Referències

  1. ↑ Vapnik; Vapnik, Vladimir Naumovich (1998). Statistical learning theory, Wiley. ISBN 978-0-471-03003-4.
  2. ↑ 2,0 2,1 «On the Uniform Convergence of Relative Frequencies of Events to Their Probabilities».Theory of Probability & Its Applications.16(2)
    264–280.ISSN 0040-585X.doi:10.1137/1116025.Consultat el 2025-10-08.
  3. ↑ Luxburg, Ulrike von; Schölkopf, Bernhard (2011). Statistical Learning Theory: Models, Concepts, and Results (en en), Elsevier, pp. 651–706. doi:10.1016/b978-0-444-52936-7.50016-1. ISBN 978-0-444-52936-7.
  4. ↑ «Support-Vector Networks».Machine Learning.20(3)
    273–297.ISSN 0885-6125.doi:10.1023/A:1022627411411.Consultat el 2025-10-08.
  5. ↑ Vapnik, Vladimir N. (2000). The Nature of Statistical Learning Theory, Springer New York. doi:10.1007/978-1-4757-3264-1. ISBN 978-1-4419-3160-3.
  6. ↑ «The perceptron: A probabilistic model for information storage and organization in the brain.».Psychological Review.65(6)
    386–408.ISSN 1939-1471.doi:10.1037/h0042519.Consultat el 2025-10-08.
  7. ↑ «On convergence proofs on perceptrons».Proceedings of the Symposium on the Mathematical Theory of Automata.Polytechnic Institute of Brooklyn.XII
    615-622.Consultat el 08-10-2025.
  8. ↑ Minsky, Marvin; Papert, Seymour (1972). Perceptrons: an introduction to computational geometry, 2. print. with corr edició, The MIT Press. ISBN 978-0-262-13043-1.
  9. ↑ Vapnik, Vladimir Naumovich (1995). The Nature of Statistical Learning Theory, 1st ed edició, Springer New York, p. 6. ISBN 978-1-4757-2442-4.
  10. ↑ 10,0 10,1 Vapnik, Vladimir Naumovich (1995). The Nature of Statistical Learning Theory, 1st ed edició, Springer New York, p. 7. ISBN 978-1-4757-2442-4.
  11. ↑ «Statistical Learning Theory and Applications».Class 1.
  12. ↑ «Llei de Ohm (GIE)».Universitat de Sevilla.
  13. ↑ «Classificació en machine learning: Introducció».DataCamp.

Bibliografia

  • Abu-Mostafa, Y. S., Magdon-Ismail, M., & Lin, H. (2012). Learning from data: a short course. AMLBook.com
  • Berzal, F. (2018). Rets Neuronals & Deep Learning.
  • Mohri, M., Rostamizadeh, A., & Talwalkar, A. (2018). Foundations of Machine Learning (2.ª ed.). The MIT Press.
  • Vapnik, V. N. (1995). The nature of statistical learning theory. Springer‐Verlag.
  • Vapnik, V. N. (1998). Statistical learning theory. Adaptive and Learning Systems for Signal Processing, Communications, and Control. Wiley.


Referències


Obtingut de «https://lenciclopedia.org/w/index.php?title=Teoria_de_l%27aprenentage_estadístic&oldid=1500893»