Hiperparámetro (aprenentage automàtic)

No confondre en Hiperparámetro (Bayesiano)

En l'aprenentage automàtic, un hiperparámetro és un paràmetro el valor del qual s'utilisa per a controlar el procés d'aprenentage. En canvi, els valors d'atres paràmetros (normalment els pesos dels nodos) s'obtenen per mig de l'entrenament.

Els hiperparámetros poden classificar-se com hiperparámetros del model, que no poden deduir-se mentres es ajusta la màquina al conjunt d'entrenament perque es referixen a la tasca de selecció del model, o hiperparámetros del algoritme, que en principi no influïxen en el rendiment del model pero afecten a la velocitat i la calitat del procés d'aprenentage. Un eixemple de hiperparámetro de model és la topología i el tamany d'una ret neuronal. Eixemples de hiperparámetros de l'algoritme són la taxa d'aprenentage i el tamany del lot, aixina com el tamany del minilote. El tamany del lot pot referir-se a la mostra completa de senyes, mentres que el tamany del minilote seria un conjunt de mostres més menut.

Els distints algoritmes d'entrenament de models requerixen distints hiperparámetros; alguns algoritmes senzills (com la regressió de mínims quadrats ordinaris) no requerixen cap. Donats estos hiperparámetros, l'algoritme d'entrenament deprén els paràmetros a partir de les senyes. Per eixemple, LASSO és un algoritme que afig un hiperparámetro de regularisació a la regressió de mínims quadrats ordinaris, que deu establir-se abans d'estimar els paràmetros per mig de l'algoritme d'entrenament.

Consideracions

El temps necessari per a entrenar i provar un model pot dependre de l'elecció de les seues hiperparámetros. Un hiperparámetro sol ser de tipo continu o sancer, lo que dona lloc a problemes d'optimisació de tipo mixt. L'existència d'alguns hiperparámetros està condicionada pel valor d'uns atres, per eixemple, el tamany de cada capa amagada en una ret neuronal pot estar condicionat pel número de capes.

Paràmetros de difícil aprenentage

Per lo general, encara que no sempre, els hiperparámetros no poden deprendre's en els coneguts métodos basats en el gradient (com el descens del gradient o el LBFGS), que solen amprar-se per a deprendre paràmetros. Estos hiperparámetros són els paràmetros que descriuen la representació d'un model que no poden deprendre's en els métodos d'optimisació habituals pero que, no obstant, afecten a la funció de pèrdua. Un eixemple seria el hiperparámetro de tolerància per a errors en màquines de vectores soport.

Paràmetros impossibles d'entrenar

A voltes, els hiperparámetros no poden deprendre's a partir de les senyes d'entrenament perque aumenten agresivamente la capacitat d'un model i poden espentar la funció de pèrdua a un mínim no desijat (sobreajustándose a les senyes i captant soroll en ells), en lloc d'assignar correctament la riquea de l'estructura de les senyes. Per eixemple, si tractem el grau d'una equació polinòmica que s'ajusta a un model de regressió com un paràmetro entrenable, el grau aumentaria fins que el model s'ajustara perfectament a les senyes, lo que produiria un error d'entrenament baix, pero un rendiment de generalisació pobra.

Ajust

La major part de la variació de rendiment pot atribuir-se a uns pocs hiperparámetros. La sintonizabilidad d'un algoritme, hiperparámetro o hiperparámetros interactuantes és una mida de quant rendiment pot obtindre's sintonizándolo. Per a una LSTM, mentres que la taxa d'aprenentage seguida del tamany de la ret són les seues hiperparámetros més crucials, la dosificació i l'impuls no tenen un efecte significatiu en el seu rendiment.

Encara que algunes investigacions han defés l'us de tamanys de minilotes de mills, atres treballs han trobat el millor rendiment en tamanys de minilotes d'entre 2 i 32.

Robustea

Una estocasticidad inherent a l'aprenentage implica directament que el rendiment empíric dels hiperparámetros no és necessàriament el seu verdader rendiment. Els métodos que no són robusts a simples canvis en els hiperparámetros, llavors aleatòries o inclús diferents implementacions del mateix algoritme no poden integrar-se en sistemes de control de missió crítica sense una simplificació i robustecimiento significatius.

Els algoritmes d'aprenentage per reforç, en particular, requerixen medir el seu rendiment en un gran número de llavors aleatòries, i també medir la seua sensibilitat a l'elecció de hiperparámetros. La seua evaluació en un chicotet número de llavors aleatòries no captura el rendiment adequadament per l'alta varianza. Alguns métodos d'aprenentage per reforç, per eixemple Gradient de política determinista profunt DDPG (Deep Deterministic Policy Gradient), són més sensibles a l'elecció de hiperparámetros que uns atres.

Optimisació

L'optimisació de hiperparámetros troba una tupla de hiperparámetros que produïx un model òptim que minimisa una funció de pèrdua predefinida en senyes de prova donats. La funció objectiu pren una tupla de hiperparámetros i torna la pèrdua associada.

Reproducibilidad

Aparte d'ajustar els hiperparámetros, l'aprenentage automàtic implica almagasenar i organisar els paràmetros i resultats, i assegurar-se de que siguen reproduibles. A falta d'una infraestructura sòlida per a este fi, el còdic d'investigació sol evolucionar ràpidament i compromet aspectes essencials com la contabilitat i la reproducibilidad. Les plataformes de colaboració en llínea per a l'aprenentage automàtic van més allà en permetre als científics compartir, organisar i discutir automàticament experiments, senyes i algoritmes. La reproducibilidad pot ser especialment difícil per als models d'aprenentage profunt.

Vore també

• Hiperheurística
• Crisis de replicació
• Hiperprior
• Interval creible
• Optimisació de hiperparámetros
• Vergonzosamente paralel
• Paràmetro molest
• Aprenentage per conjunts