Dilema biaixe-varianza

En estadística i aprenentage automàtic, el dilema entre biaix i varianza descriu la relació entre la complexitat d'un model, l'exactitut de les seues prediccions i la seua capacitat per a realisar prediccions sobre senyes no observades prèviament que no es varen utilisar per a entrenar el model. En general, a mida que aumentem el número de paràmetros ajustables en un model, este es torna més flexible i pot ajustar-se millor a un conjunt de senyes d'entrenament. Es diu que té menys error o biaix. No obstant, per als models més flexibles, tendirà a haver una major varianza en l'ajust del model cada volta que prengam un conjunt de mostres per a crear un nou conjunt de senyes d'entrenament. Es diu que hi ha una major varianza en els paràmetros estimats del model.

El dilema biaixe-varianza o problema biaixe-varianza és el conflicte en intentar minimisar simultàneament estes dos fonts d'error que impedixen als algoritmes d'aprenentage supervisat generalisar més allà del seu conjunt d'entrenament:^[1]^[2]

L'error de biaix és un error derivat de suposicions errònees en l'algoritme d'aprenentage. Un biaix elevat pot fer que un algoritme no detecte les relacions rellevants entre les característiques i les eixides objectiu (infraajuste).
La varianza és un error de sensibilitat a chicotetes fluctuacions en el conjunt d'entrenament. Una varianza elevada pugues deure's a que un algoritme modele el soroll aleatori de les senyes d'entrenament (sobreajuste).

La descomposició biaixe-varianza és una forma d'analisar l'error de generalisació esperat d'un algoritme d'aprenentage sobre un problema concret com una suma de tres térmens, el biaix, la varianza i una cantitat denominada error irreducible, resultant del soroll en el propi problema.

Motivació

Vore també: Precisió i exactitut

El dilema biaixe i varianza és un problema central en l'aprenentage supervisat. Lo ideal és elegir un model que capte en precisió les regularitat de les senyes d'entrenament i, al mateix temps, generalise ben les senyes no observades. Per desgràcia, sol ser impossible fer abdós coses al mateix temps. Els métodos d'aprenentage d'alta varianza poden representar be el seu conjunt d'entrenament, pero corren el risc de sobreajustarse a senyes d'entrenament sorollosos o poc representatius. Pel contrari, els algoritmes en un biaix elevat solen produir models més simples que poden no captar regularitat importants (és dir, no ajustar-se lo suficient) en les senyes.

És una falàcia freqüent^[3]^[4] supondre que els models complexos deuen tindre una varianza elevada. Els models d'alta varianza són "complexos" en cert sentit, pero ho contrarie no té per qué ser cert.^[5] Ademés, cal anar en conte en la forma de definir la complexitat. En concret, el número de paràmetros utilisats per a descriure el model no és una bona mida de la complexitat. Açò s'ilustra en un eixemple adaptat de:^[6] el model $f_{a, b} (x) = a \sin (b x)$ té solament dos paràmetros ( $a, b$ ) pero pot interpolar qualsevol número de punts oscilant en una freqüència suficientment alta, lo que dona com resultat un biaix i una varianza elevats.

Es pot establir una analogia en la relació entre exactitut i precisió.^[7] L'exactitut és una descripció del biaix i pot millorar-se intuitivamente seleccionant només a partir d'informació local. Per tant, una mostra semblarà precisa (és dir, tindrà un biaix baix) en les condicions de selecció mencionades, pero pot donar lloc a un ajust insuficient. En atres paraules, les senyes de prova poden no coincidir tant en les senyes d'entrenament, lo que indicaria imprecisió i, per tant, una varianza inflada. Un eixemple gràfic seria un ajust de llínea recta a senyes que mostren un comportament quadràtic en general. La precisió és una descripció de la varianza i, per lo general, només pot millorar-se seleccionant informació d'un espai comparativament major. La possibilitat de seleccionar molts punts de senyes en un ampli espai mostral és la condició ideal per a qualsevol anàlisis. No obstant, les restriccions intrínseques (ya siguen físiques, teòriques, computacionals, etc.) sempre eixercitaran un paper llimitador. El cas llímit en el que només se selecciona un número finito de punts de senyes en un ampli espai mostral pot millorar la precisió i reduir la varianza en general, pero també pot donar lloc a una dependència excessiva de les senyes d'entrenament (sobreajuste).^[8] Açò significa que les senyes de prova tampoc coincidirien tant en les senyes d'entrenament, pero en este cas la raó és la inexactitud o l'alt biaix. Prenent prestat de l'eixemple anterior, la representació gràfica apareixeria com un ajust polinòmic d'alt orde a les mateixes senyes que mostren un comportament quadràtic. Observe's que l'error en cada cas es medix de la mateixa manera, pero la raó atribuïda a l'error és diferent depenent de l'equilibri entre biaix i varianza. Per a mitigar la cantitat d'informació que s'utilisa de les observacions veïnes, es pot suavisar un model per mig d'una regularisació explícita, com la contracció.

Descomposició biaixe-varianza de l'error quadràtic mig

Artícul principal → Error quadràtic mig.

Supongam que tenim un conjunt d'entrenament format per un conjunt de punts $x_{1}, \dots, x_{n}$ i valors reals $y_{i}$ associat a cada punt $x_{i}$ . Suponem que les senyes són generades per una funció $f (x)$ tals com $y = f (x) + ε$ , a on el soroll, $ε$ té mija i varianza zero $σ^{2}$ .

Volem trobar una funció $\hat{f} (x; D)$ que s'aproxime a la funció verdadera $f (x)$ lo millor possible, per mig d'algun algoritme d'aprenentage basat en un conjunt de senyes d'entrenament (mostra) $D = {(x_{1}, y_{1}) \dots, (x_{n}, y_{n})}$ . Precisem "lo millor possible" medint l'error quadràtic mig entre $y$ i $\hat{f} (x; D)$ : volem que $(y - \hat{f} (x; D))^{2}$ siga mínim, abdós per a $x_{1}, \dots, x_{n}$ i per a punts fòra de la nostra mostra. Per supost, no podem esperar fer-ho a la perfecció, ya que $y_{i}$ conté soroll $ε$ açò significa que devem estar preparats per a acceptar un error irreductible en qualsevol funció que se nos ocórrega.^[9]

Trobar una $\hat{f}$ que generalise a punts fora del conjunt d'entrenament pot fer-se en qualsevol dels innumerables algoritmes utilisats per a l'aprenentage supervisat. Resulta que qualsevol funció $\hat{f}$ que seleccionem, podem descompondre el seu error esperat en una mostra no vista $x$ (és dir, condicional a x) de la següent manera:^[10]^[11]

$E_{D, ε} [(y - \hat{f} (x; D))^{2}] = ({Bias}_{D} [\hat{f} (x; D)])^{2} + {Var}_{D} [\hat{f} (x; D)] + σ^{2}$

A on ${Bias}_{D} [\hat{f} (x; D)] = E_{D} [\hat{f} (x; D) - f (x)] = E_{D} [\hat{f} (x; D)] - E_{y | x} [y (x)],$

${Var}_{D} [\hat{f} (x; D)] = E_{D} [(E_{D} [\hat{f} (x; D)] - \hat{f} (x; D))^{2}] .$

i

$σ^{2} = E_{y} [(y - \underset{E_{y | x} [y]}{\underset{⏟}{f (x)}})^{2}]$

L'expectativa varia en funció de les distintes opcions del conjunt d'entrenament $D = {(x_{1}, y_{1}) \dots, (x_{n}, y_{n})}$ , tots muestreados a partir de la mateixa distribució conjunta $P (x, y)$ lo que pot fer-se, per eixemple, per mig de bootstrapping. Els tres térmens representen:

el quadrat del biaix del método d'aprenentage, que pot considerar-se com l'error causat pels suposts simplificadores incorporats al método. Per eixemple, en aproximar una funció no llineal $f (x)$ utilisant un método d'aprenentage per a models llineals, hi haurà error en les estimacions $\hat{f} (x)$ per este supòsit;
la varianza del método d'aprenentage o, intuitivamente, en quina mida el método d'aprenentage $\hat{f} (x)$ es mourà al voltant de la seua mija;
l'error irreducible $σ^{2}$

Com els tres térmens són no negatius, l'error irreducible constituïx un llímit inferior de l'error esperat en mostres no vistes.^[10]

Quant més complex siga el model $\hat{f} (x)$ és més punts de senyes captarà i menor serà el biaix. No obstant, la complexitat farà que el model es "moga" més per a captar els punts de senyes i, per tant, la seua varianza serà major.

Derivació

La derivació de la descomposició biaixe-varianza per a l'error quadràtic procedix com seguix.^[12]^[13] Per a major comoditat, abreviarem $f = f (x)$ , $\hat{f} = \hat{f} (x; D)$ i soltem $D$ en els nostres operadors d'expectatives.

Procedim a escriure l'error quadràtic mig del nostre model:

$MSE ≜ E [(y - \hat{f})^{2}] = E [y^{2} - 2 y \hat{f} + {\hat{f}}^{2}] = E [y^{2}] - 2 E [y \hat{f}] + E [{\hat{f}}^{2}]$

En primer lloc, ya que modelem $y = f + ε$ , vàrem demostrar que:

$\begin{matrix} E [y^{2}] & = E [(f + ε)^{2}] \\ = E [f^{2}] + 2 E [f ε] + E [ε^{2}] & by linearity of E \\ = f^{2} + 2 f E [ε] + E [ε^{2}] & since f does not depend on the data \\ = f^{2} + 2 f \cdot 0 + σ^{2} & since ε has zero mean and variance σ^{2} \end{matrix}$

En segon lloc,

$\begin{matrix} E [y \hat{f}] & = E [(f + ε) \hat{f}] \\ = E [f \hat{f}] + E [ε \hat{f}] & by linearity of E \\ = E [f \hat{f}] + E [ε] E [\hat{f}] & since \hat{f} and ε are independent \\ = f E [\hat{f}] & since E [ε] = 0 \end{matrix}$

Finalment,

$\begin{matrix} E [{\hat{f}}^{2}] & = Var (\hat{f}) + E [\hat{f}]^{2} & since Var [X] ≜ E [(X - E [X])^{2}] = E [X^{2}] - E [X]^{2} for any random variable X \end{matrix}$

Finalment, insertem estes 3 fòrmules en la nostra derivació anterior de $MSE$ i aixina demostrar que:

$\begin{matrix} MSE & = f^{2} + σ^{2} - 2 f E [\hat{f}] + Var [\hat{f}] + E [\hat{f}]^{2} \\ = (f - E [\hat{f}])^{2} + σ^{2} + Var [\hat{f}] \\ = Bias [\hat{f}]^{2} + σ^{2} + Var [\hat{f}] \end{matrix}$

Per últim, la funció de pèrdua MSE (o log-verosimilitut negatiu) s'obté prenent el valor de l'expectativa sobre $x \sim P$ :

$MSE = E_{x} {{Bias}_{D} [\hat{f} (x; D)]^{2} + {Var}_{D} [\hat{f} (x; D)]} + σ^{2} .$

Vore també

Referències

↑ ICML.
↑ Handbook of the History of Logic.
↑
↑
↑ Consultat el 2024-06-26.
↑ The Nature of Statistical Learning Theory (en en). doi:10.1007/978-1-4757-3264-1.
↑ GBIF Information Architecture.
↑ Grup Atico 34.
↑ freeCodecamp.
↑ ^10,0 ^10,1 Springer.
↑ «Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition.». web.archive.org. Consultat el 2024-06-26.
↑ University of Edinburgh.
↑

Bibliografia

Harry L. Van Trees; Kristine L. Bell, "Exploring Estimator BiasVariance Tradeoffs Using the Uniform CR Bound," in Bayesian Bounds for Parameter Estimation and Nonlinear Filtering/Tracking, IEEE, 2007, pp. 451–466, doi: 10.1109/9780470544198.ch40.

Referències

Este artícul conté una traducció derivada de «Dilema sesgo-varianza» de Wikipedia en castellà publicada baix la Llicència de documentació lliure de GNU i la Llicència Creative Commons Reconeiximent-CompartirIgual 4.0 Internacional.

[1] ICML.

[2] Handbook of the History of Logic.

[3] ↑

[:0-4] ↑

[5] Consultat el 2024-06-26.

[6] The Nature of Statistical Learning Theory (en en). doi:10.1007/978-1-4757-3264-1.

[7] GBIF Information Architecture.

[8] Grup Atico 34.

[9] freeCodecamp.

[:1-10] 10,0 ^10,1 Springer.

[:2-11] «Elements of Statistical Learning: data mining, inference, and prediction. 2nd Edition.». web.archive.org. Consultat el 2024-06-26.

[12] University of Edinburgh.

[13] ↑

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]