Gradient boosting
Gradient boosting o potenciació del gradient, és una tècnica d'aprenentage automàtic utilisat per al anàlisis de la regressió i per a problemes de classificació estadística, el qual produïx un model predictiu en forma d'un conjunt de models de predicció dèbils, típicament arbres de decisió. Construïx el model de forma escalonada com ho fan atres métodos de boosting, i els generalisa permetent l'optimisació arbitrària d'una funció de pèrdua diferenciable.
L'idea de la potenciació del gradient va ser originada en l'observació realisada per Leo Breiman[1] en a on el Boosting pot ser interpretat com un algoritme d'optimisació en una funció de cost adequada. Posteriorment Jerome H. Friedman[2][3] va desenrollar algoritmes d'aument de gradient de regressió explícita, simultàneament en la perspectiva més general de potenciació del gradient funcional de Llew Mason, Jonathan Baxter, Peter Bartlett i Marcus Frean.[4] En els seus últims dos treballs varen presentar la visió abstracta dels algoritmes de potenciació com a algoritmes iterativos de descens de gradient funcionals. És dir, algoritmes que optimisen una funció de cost sobre l'espai de funció per mig de l'elecció iterativa d'una funció (hipòtesis dèbil) que apunta en la direcció del gradient negatiu. Esta visió de gradient funcional de potenciació ha dut al desenroll d'algoritmes de potenciació en moltes àrees del aprenentage automàtic i estadístiques més allà de la regressió i la classificació.
Una característica distintiva del Potenciació del Gradient és la seua capacitat per a manejar diferents tipos de funcions de pèrdua, lo que li permet ser adaptable a una varietat de problemes estadístics i d'aprenentage automàtic. Ademés, la tècnica ampra métodos com el "shrinkage" (reducció de la taxa d'aprenentage) i la potenciació estocàstica per a millorar la precisió i previndre el sobreajuste.[5]
Use
[editar | editar còdic]La potenciació del gradient pot ser utilisat en el camp d'aprenentage de classificació. Els motors de busca de web comercials Yahoo[6] i Yandex[7] utilisen variants de gradient boosting en els seus motors de busca.
Vore també
[editar | editar còdic]Referències
[editar | editar còdic]- ↑ Breiman, L. "Arcing The Edge" (June 1997)
- ↑ Friedman, J. H. "Greedy Function Approximation: A Gradient Boosting Machine." (February 1999)
- ↑ Friedman, J. H. "Stochastic Gradient Boosting.
- Archivat el 1 de agost de 2014 archivat en Wayback Machine." (March 1999)
- ↑ Erro en la seqüencia d'órdens: no existix el mòdul «Citas».
- ↑ https://machinelearningmastery.com/gentle-introduction-gradient-boosting-algorithm-machine-learning/
- ↑ Cossock, David and Zhang, Tong (2008). Statistical Analysis of Bayes Optimal Subset Rànquing
- Archivat el 7 de agost de 2010 archivat en Wayback Machine., page 14.
- ↑ Yandex corporate blog entry about new rànquing model "Snezhinsk" [1] archivat en Wayback Machine. (in Russian)
Referències
[editar | editar còdic]
- Este artícul conté una traducció derivada de «Gradient boosting» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.