Informació de Fisher

Llegenda del llibre: "Ronald Aylmer Fisher (1890–1962) en 1912, com a majordom en la Primera Conferència Internacional d'Eugenèsia."

En estadística matemàtica, la informació de Fisher (a voltes cridada simplement informació) és una forma de medir la cantitat d'informació que una variable aleatòria observable X conté sobre un paràmetro desconegut θ d'una distribució que modela X. Formalment, és la varianza del score (o puntuació), o el valor esperat de l'informació observada.

El paper de l'informació de Fisher en la teoria asintòtica de l'estimació de màxim verosimilitut va ser destacat per l'estadístic Sir Ronald Fisher (seguint alguns resultats inicials de Francis Ysidro Edgeworth). La matriu d'informació de Fisher s'utilisa per a calcular les matrius d'covarianza associades a les estimacions de màxim verosimilitut. També pot utilisar-se en la formulació de proves estadístiques, com la prova de Wald.

En l'estadística bayesiana, l'informació de Fisher intervé en la derivació de distribucions a priori no informatives segons la regla de Jeffreys. També apareix com la covarianza de grans mostres de la distribució posterior, sempre que la distribució a priori siga suficientment suau (un resultat conegut com el teorema de Bernstein-von Mises, que va ser anticipat per Laplace per a les famílies exponencials). El mateix resultat s'utilisa en aproximar la posterior en l'aproximació de Laplace, a on l'informació de Fisher apareix com la covarianza de la gaussiana ajustada.

S'ha demostrat que els sistemes estadístics de caràcter científic (físics, biològics, etc.) les funcions dels quals de verosimilitut obedixen a l'invariancia de desplaçament obedixen al màxim d'informació de Fisher. El nivell del màxim depén de la naturalea de les restriccions del sistema.

Definició

L'informació de Fisher és una forma de medir la cantitat d'informació que una variable aleatòria observable $X$ conté respecte a un paràmetro desconegut $\theta$ sobre el que es basa la provabilitat de $X$. Siga $f(X;\theta )$ la funció de densitat de provabilitat (o funció de massa de provabilitat) para $X$, condicionada al valor de $\theta$. Descriu la provabilitat de que observem un resultat donat de $X$, donat un valor conegut de $\theta$. Si $f$ té un pico pronunciat sobre els canvis en $\theta$, és fàcil indicar el valor «correcte» de $\theta$ a partir de les senyes, o equivalentement, que les senyes $X$ proporcionen molta informació sobre el paràmetro $\theta$. Si $f$ és pla i dispers, es necessitarien moltes mostres de $X$ per a estimar el valor real «verdader» de $\theta$ que es podria obtindre utilisant tota la població muestreada. Açò sugerix estudiar algun tipo d'varianza sobre $\theta$.

Formalment, la derivada parcial sobre $\theta$ del logaritmo natural de la funció de verosimilitut es denomina score. Baixe certes condicions de regularitat, si $\theta$ és el paràmetro verdader (és dir $X$ es distribuïx realment com $f(X;\theta )$, pot demostrar-se que el valor esperat (el primer moment) de la puntuació, evaluat en el valor verdader del paràmetro $\theta$ és 0:

$\begin{array}{cc}\mathrm{E}\left[\frac{\partial }{\partial \theta }\log f(X;\theta )|\theta \right]=& \underset{ℝ}{\int }\frac{\frac{\partial }{\partial \theta }f(x;\theta )}{f(x;\theta )}f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }\underset{ℝ}{\int }f(x;\theta )dx\\ =& \frac{\partial }{\partial \theta }1\\ =& 0.\end{array}$

L'informació de Fisher és definida per la varianza del score:

$ℐ(\theta )=\mathrm{E}\left[{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2|\theta \right]=\underset{ℝ}{\int }{(\frac{\partial }{\partial \theta }\log f(x;\theta ))}^{2}f(x;\theta )dx,$

Note's que $ℐ(\theta )\ge 0$. Una variable aleatòria en informació de Fisher elevada implica que el valor absolut del score sol ser alt. L'informació de Fisher no és funció d'una observació concreta, ya que es promedia la variable aleatòria $X$.

Si log f(x; θ) és dos voltes diferenciable sobre $\theta$, i baix certes condicions de regularitat, llavors l'informació de Fisher també es pot escriure de la següent manera:

$ℐ(\theta )=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )|\theta \right],$

ya que

$\frac{{\partial }^2}{\partial {\theta }^2}\log f(X;\theta )=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{\left(\frac{\frac{\partial }{\partial \theta }f(X;\theta )}{f(X;\theta )}\right)}^2=\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}-{(\frac{\partial }{\partial \theta }\log f(X;\theta ))}^2$

i

$\mathrm{E}\left[\frac{\frac{{\partial }^2}{\partial {\theta }^2}f(X;\theta )}{f(X;\theta )}|\theta \right]=\frac{{\partial }^2}{\partial {\theta }^2}\underset{ℝ}{\int }f(x;\theta )dx=0.$

En eixe sentit, l'informació de Fisher pot vore's com la curvatura de la curva de soport (el gràfic de la log-verosimilitut). Prop de l'estimació de màxim verosimilitut, una informació de Fisher baixa indica que el màxim sembla blunt, és dir, que el màxim és poc profunt i hi ha molts valors propencs en una log-verosimilitut similar. Pel contrari, una informació de Fisher alta indica que el màxim és agut.

Condicions de regularitat

Les condicions de regularitat són les següents:

1. La derivada parcial de $f(X;\theta )$ sobre $\theta$ existix en casi totes parts. Pot fallar en existir en un conjunt nul, sempre que este conjunt no depenga de $\theta$.
2. L'integral de $f(X;\theta )$ pot ser diferenciada baix el signe integral sobre $\theta$.
3. El soport de $f(X;\theta )$ no depén de $\theta$.

Si $\theta$ és un vector llavors les condicions de regularitat deuen complir-se per a cada component de $\theta$. És fàcil trobar un eixemple d'una densitat que no satisfà les condicions de regularitat: La densitat d'una variable Uniforme(0, $\theta$) no satisfà les condicions 1 i 3. En este cas, encara que l'informació de Fisher puga calcular-se a partir de la definició, no tindrà les propietats que se li suponen típicament.

En térmens de provabilitat

Ya que la provabilitat de $\theta$ dau $X$ és sempre proporcional a la provabilitat $f(X;\theta )$, les seues logaritmos diferixen necessàriament en una constant que és independent de $\theta$, i les derivades d'estos logaritmos sobre $\theta$ són necessàriament iguals. Per lo tant, es pot substituir log-verosimilitut l(θ; X) en lloc de log $f(X;\theta )$ en les definicions de l'informació de Fisher.

Mostres de qualsevol tamany

El valor $X$ pot representar una única mostra extreta d'una única distribució o pot representar una colecció de mostres extretes d'una colecció de distribucions. Si hi ha $n$ mostres i les $n$ distribucions corresponents són estadísticament independents, l'informació de Fisher serà necessàriament la suma dels valors d'informació de Fisher d'una sola mostra, un per cada mostra de la seua distribució. En particular, si les $n$ distribucions són independents i idénticamente distribuïdes, llavors l'informació de Fisher serà necessàriament $n$ voltes l'informació de Fisher d'una sola mostra de la distribució comuna. Dit d'un atre modo, l'informació de Fisher d'observacions i.i.d. d'una mostra de tamany $n$ d'una població és igual al producte de $n$ i l'informació de Fisher d'una única observació de la mateixa població.

Derivació informal del llímit de Cramér-Rao

La cota de Cramér-Rao establix que l'inversa de l'informació de Fisher és un llímit inferior de la varianza de qualsevol estimador insesgado de $\theta$. H.L. Van Trees (1968) i B. Roy Frieden (2004) proporcionen el següent método per a derivar la cota de Cramér-Rao, un resultat que descriu l'us de l'informació de Fisher.

Informalment, vàrem escomençar considerant un estimador insesgado $\hat{\theta }(X)$. Matemàticament, «insesgado» significa que:

$\mathrm{E}\left[\hat{\theta }(X)-\theta |\theta \right]=\int (\hat{\theta }(x)-\theta )f(x;\theta )dx=0\text{ independiente del valor de }\theta .$

Esta expressió és zero independent de $\theta$, per lo que la seua derivada parcial sobre $\theta$ també deu ser zero. Per la regla del producte, esta derivada parcial també és igual a:

$0=\frac{\partial }{\partial \theta }\int (\hat{\theta }(x)-\theta )f(x;\theta )dx=\int (\hat{\theta }(x)-\theta )\frac{\partial f}{\partial \theta }dx-\int fdx.$

Per a cada $\theta$, la funció de verosimilitut és una funció de densitat de provabilitat, i per tant $\int fdx=1$. Utilisant la regla de la cadena sobre la derivada parcial de $\log f$ i després dividint i multiplicant per $f(x;\theta )$, es pot comprovar que $\frac{\partial f}{\partial \theta }=f\frac{\partial \log f}{\partial \theta }.$

Utilisant abdós en lo anterior, obtenim

$\int (\hat{\theta }-\theta )f\frac{\partial \log f}{\partial \theta }dx=1.$

Factorizando l'integrant s'obté

$\int \left((\hat{\theta }-\theta )\sqrt{f}\right)\left(\sqrt{f}\frac{\partial \log f}{\partial \theta }\right)dx=1.$

Elevant al quadrat l'expressió de l'integral, la desigualtat de Cauchy-Schwarz dona com a resultat

$1=(\int \left[(\hat{\theta }-\theta )\sqrt{f}\right]\cdot \left[\sqrt{f}\frac{\partial \log f}{\partial \theta }\right]dx{)}^2\le [\int {(\hat{\theta }-\theta )}^{2}fdx]\cdot [\int {\left(\frac{\partial \log f}{\partial \theta }\right)}^{2}fdx].$

El segon factor entre corchetes es definix com l'informació de Fisher, mentres que el primer factor entre corchetes és l'error quadràtic mig esperat de l'estimador $\hat{\theta }$. Reordenando, la desigualtat dona com a resultat

$\mathrm{Var}\left(\hat{\theta }\right)\ge \frac{1}{ℐ\left(\theta \right)}.$

En atres paraules, la precisió en la que podem estimar $\theta$ està llimitada fonamentalment per l'informació de Fisher de la funció de verosimilitut.

Alternativament, la mateixa conclusió pot obtindre's directament de la desigualtat de Cauchy-Schwarz per a variables aleatòries, $|\mathrm{Cov}(A,B){|}^2\le \mathrm{Var}(A)\mathrm{Var}(B)$, aplicat a les variables aleatòries $\hat{\theta }(X)$ i ${\partial }_{\theta }\log f(X;\theta )$, i observant que per a estimadors insesgados tenim$$\mathrm{Cov}[\hat{\theta }(X),{\partial }_{\theta }\log f(X;\theta )]=\int \hat{\theta }(x){\partial }_{\theta }f(x;\theta )dx={\partial }_{\theta }\mathrm{E}[\hat{\theta }]=1.$$

Eixemple: Experiment Bernoulli d'un sol paràmetro

Un ensaig de Bernoulli és una variable aleatòria en dos resultats possibles, 0 i 1, a on 1 té una provabilitat de $\theta$. El resultat es pot considerar com determinat pel llançament d'una moneda biaixada, sent la provabilitat de cara (1) és $\theta$ i la provabilitat de creu (0) és 1 - $\theta$.

Siga $X$ un ensaig de Bernoulli d'una mostra de la distribució, es pot calcular que l'informació de Fisher continguda en $X$ és:

$\begin{array}{cc}ℐ(\theta )& =-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}\log ({\theta }^X(1-\theta {)}^{1-X})|\theta \right]\\ & =-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }^2}(X\log \theta +(1-X)\log (1-\theta ))|\theta \right]\\ & =\mathrm{E}\left[\frac{X}{{\theta }^2}+\frac{1-X}{(1-\theta {)}^2}|\theta \right]\\ & =\frac{\theta }{{\theta }^2}+\frac{1-\theta }{(1-\theta {)}^2}\\ & =\frac{1}{\theta (1-\theta )}.\end{array}$

Ya que l'informació de Fisher és aditiva, l'informació de Fisher continguda en $n$ ensajos Bernoulli independents és

$ℐ(\theta )=\frac{n}{\theta (1-\theta )}.$

Si $x_i$ és un dels $2^n$ possibles resultats de $n$ ensajos Bernoulli independents i $x_{ij}$ és el $j$-ésimo resultat de el $i$-ésimo ensaig, llavors la provabilitat de $x_i$ ve donada per:

$p(x_i,\theta )=\prod _{j=0}^n{\theta }^{x_{ij}}(1-\theta {)}^{x_{ij}}$La mija de el $i$-ésimo ensaig és ${\mu }_i=(1/n)\sum _{j=1}^n{x}_{ij}$

El valor esperat de la mija d'un ensaig és $E(\mu )=\sum _{x_i}{\mu }_{i}p(x_i,\theta )=\theta$

a on la suma és sobre tots els $2^n$ possibles resultats de l'ensaig. El valor esperat del quadrat de les miges és:

$E({\mu }^2)=\sum _{x_i}{\mu }_i^{2}p(x_i,\theta )=\frac{(1+(n-1)\theta )\theta }{n}$

per lo que la varianza en el valor de la mija és:

$E({\mu }^2)-E(\mu {)}^2=(1/n)\theta (1-\theta )$

Es veu que l'informació de Fisher és el recíproc de la varianza del número mig d'encerts en $n$ ensajos Bernoulli. En general, açò és cert. En este cas, el llímit de Cramér-Rao és una igualtat.

Forma matricial

Quan hi ha $N$ paràmetros, de modo que $\theta$ és un $N$ × 1 vector $\theta ={\left[\begin{array}{cccc}{\theta }_1& {\theta }_2& \dots & {\theta }_N\end{array}\right]}^{\mathsf{\text{𝖳}}},$ llavors l'informació de Fisher adopta la forma d'una matriu $N$ × $N$. Esta matriu es denomina matriu d'informació de Fisher (MIF o Fisher information matrix) i té l'element típic

$[ℐ(\theta ){]}_{i,j}=\mathrm{E}\left[(\frac{\partial }{\partial {\theta }_i}\log f(X;\theta ))(\frac{\partial }{\partial {\theta }_j}\log f(X;\theta ))|\theta \right].$

La MIF és una matriu $N$ × $N$ semidefinida positiva. Si és definida positiva, definix una mètrica riemanniana en l'espai de paràmetros $N$-dimensional. La geometria de l'informació utilisa açò per a conectar l'informació de Fisher en la geometria diferencial, i en eixe context, esta mètrica es coneix com mètrica de l'informació de Fisher.

Baixe certes condicions de regularitat, la matriu d'informació de Fisher també pot escriure's com

$[ℐ(\theta ){]}_{i,j}=-\mathrm{E}\left[\frac{{\partial }^2}{\partial {\theta }_i\partial {\theta }_j}\log f(X;\theta )|\theta \right].$

El resultat es pot interpretar de les següents formes:

• Pot derivar-se com el hessiano de l'entropía relativa.
• Pot utilisar-se com a mètrica riemanniana per a definir la geometria de Fisher-Rao quan és definida positivament.
• Pot entendre's com una mètrica induïda a partir de la mètrica euclidiana, despuix d'un canvi de variable apropiat.
• En la seua forma de valor complex, és la mètrica de Fubini-Study.
• És la peça clau de la demostració del teorema de Wilks, que permet estimar la regió de confiança per a l'estimació de màxim verosimilitut (per a aquelles condicions en les que s'aplica) sense necessitat del principi de verosimilitut.

• En els casos en que els càlculs analítics de la MIF anteriors són difícils, és possible formar un promig d'estimacions fàcils de Mont Carlo del hessiano de la funció de log-verosimilitut negatiu com a estimació de el MIF. Les estimacions poden basar-se en els valors de la funció de verosimilitut logarítmic negativa o en el gradient de la funció de verosimilitut logarítmic negativa; no és necessari un càlcul analític del hessiano de la funció de log-verosimilitut negatiu.

Paràmetros ortogonals d'informació

Es considera que dos vectores de components de paràmetros $\theta$₁ i $\theta$₂ són ortogonals des del punt de vista de l'informació si la matriu d'informació de Fisher és diagonal de blocs, en estos components en blocs separats. Els paràmetros ortogonals són fàcils de tractar en el sentit de que les seues estimacions de màxim verosimilitut no estan asintóticamente correlacionadas. En considerar cóm analisar un model estadístic, s'aconsella al modelisador que invertixca algun temps en buscar una parametrización ortogonal del model, en particular quan el paràmetro d'interés és unidimensional, pero el paràmetro perturbador pot tindre qualsevol dimensió.

Model estadístic singular

Artícul principal → Model paramètric.

Si la matriu d'informació de Fisher és definida positiva para tot $\theta$, es diu que el model estadístic corresponent és regular; en cas contrari, es diu que el model estadístic és singular. Eixemples de models estadístics singulars són els següents: mescles normals, mescles binomiales, mescles multinomiales, rets bayesianas, rets neuronals, funcions de base radial, models de Markov amagats, gramàtiques estocàstiques lliures de context, regressió de ranc reduït, màquines de Boltzmann.

En l'aprenentage automàtic, si un model estadístic es dissenya de manera que extraga l'estructura amagada d'un fenomen aleatori, es convertix naturalment en singular.

Distribució normal multivariante

La MIF per a una distribució normal multivariante de $N$ variables, $X\sim N(\mu (\theta ),\Sigma (\theta ))$ té una forma especial. Siga el vector $K$-dimensional de paràmetros $\theta ={\left[\begin{array}{ccc}{\theta }_1& \dots & {\theta }_K\end{array}\right]}^{\mathsf{\text{𝖳}}}$i el vector de variables aleatòries normals siga $X={\left[\begin{array}{ccc}{X}_1& \dots & X_N\end{array}\right]}^{\mathsf{\text{𝖳}}}$. Suponent que els valors mijos d'estes variables aleatòries són $\mu (\theta )={\left[\begin{array}{ccc}{\mu }_1(\theta )& \dots & {\mu }_N(\theta )\end{array}\right]}^{\mathsf{\text{𝖳}}}$, i siga $\Sigma (\theta )$ la matriu d'covarianza. Llavors, per a $1\le m,n\le K$, l'entrada (m, n) de la MIF és:

${ℐ}_{m,n}=\frac{\partial {\mu }^{\mathsf{\text{𝖳}}}}{\partial {\theta }_m}{\Sigma }^{-1}\frac{\partial \mu }{\partial {\theta }_n}+\frac{1}{2}\mathrm{tr}\left({\Sigma }^{-1}\frac{\partial \Sigma }{\partial {\theta }_m}{\Sigma }^{-1}\frac{\partial \Sigma }{\partial {\theta }_n}\right),$

a on $(\cdot {)}^{\mathsf{\text{𝖳}}}$ denota la transposició d'un vector, $\mathrm{tr}(\cdot )$ denota la traça d'una matriu quadrada, i:

$\begin{array}{cc}\frac{\partial \mu }{\partial {\theta }_m}& ={\left[\begin{array}{cccc}\frac{\partial {\mu }_1}{\partial {\theta }_m}& \frac{\partial {\mu }_2}{\partial {\theta }_m}& \cdots & \frac{\partial {\mu }_N}{\partial {\theta }_m}\end{array}\right]}^{\mathsf{\text{𝖳}}};\\ \frac{\partial \Sigma }{\partial {\theta }_m}& =\left[\begin{array}{cccc}\frac{\partial {\Sigma }_{1,1}}{\partial {\theta }_m}& \frac{\partial {\Sigma }_{1,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\Sigma }_{1,N}}{\partial {\theta }_m}\\ \frac{\partial {\Sigma }_{2,1}}{\partial {\theta }_m}& \frac{\partial {\Sigma }_{2,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\Sigma }_{2,N}}{\partial {\theta }_m}\\ ⋮& ⋮& \ddots & ⋮\\ \frac{\partial {\Sigma }_{N,1}}{\partial {\theta }_m}& \frac{\partial {\Sigma }_{N,2}}{\partial {\theta }_m}& \cdots & \frac{\partial {\Sigma }_{N,N}}{\partial {\theta }_m}\end{array}\right].\end{array}$

Note's que un cas especial, pero molt comú, és aquell en el que $\Sigma (\theta )=\Sigma$, una constant. Llavors

${ℐ}_{m,n}=\frac{\partial {\mu }^{\mathsf{\text{𝖳}}}}{\partial {\theta }_m}{\Sigma }^{-1}\frac{\partial \mu }{\partial {\theta }_n}.$

En este cas, la matriu d'informació de Fisher pot identificar-se en la matriu de coeficients de les equacions normals de la teoria d'estimació per mínims quadrats.

Un atre cas especial ocorre quan la mija i la covarianza depenen de dos paràmetros vectorials diferents, diga's, β i θ. Açò és especialment popular en l'anàlisis de senyes espacials, que a sovint utilisa un model llineal en residus correlacionados. En este cas:

$ℐ(\beta ,\theta )=\mathrm{diag}(ℐ(\beta ),ℐ(\theta ))$,

a on

$\begin{array}{cc}ℐ(\beta {)}_{m,n}& =\frac{\partial {\mu }^{\mathsf{\text{𝖳}}}}{\partial {\beta }_m}{\Sigma }^{-1}\frac{\partial \mu }{\partial {\beta }_n},\\ ℐ(\theta {)}_{m,n}& =\frac{1}{2}\mathrm{tr}\left({\Sigma }^{-1}\frac{\partial \Sigma }{\partial {\theta }_m}{\Sigma }^{-1}\frac{\partial \Sigma }{\partial {\theta }_n}\right)\end{array}$

Vore també

• Cota de Cramér-Rao
• Eficiència (estadística)
• Geometria de l'informació

Atres mides amprades en la teoria de l'informació:

• Divergència de Kullback-Leibler
• Entropía (informació)

Bibliografia

• Cramér, Harald (1946). Mathematical methods of statistics (en en), Princeton: Princeton University Press. ISBN 0691080046.
• Journal of the Royal Statistical Society.71(2)

381–397.doi:10.2307/2339461.

• Journal of the Royal Statistical Society.71(3)

499–512.doi:10.2307/2339293.

• Journal of the Royal Statistical Society.71(4)

651–678.doi:10.2307/2339378.

• Philosophical Transactions of the Royal Society of London, Séries A.222(594–604)

309–368.doi:10.1098/rsta.1922.0009.

• Frieden (2004). Science from Fisher Information: A Unification (en en), Cambridge Univ. Press. ISBN 0-521-00911-1.
• Physical Review I.88(4)

042144.doi:10.1103/PhysRevE.88.042144.

• Statistical Science.14(2)

214–222.doi:10.1214/ss/1009212248.

• Hald, A. (1998). A History of Mathematical Statistics from 1750 to 1930 (en en), Nova York: Wiley. ISBN 978-0-471-17912-2.
• Lehmann, E. L.; Casella, {{{nom2}}} (1998). Theory of Point Estimation, 2dona edició (en en), Springer. ISBN 978-0-387-98502-2.
• Li Cam (1986). Asymptotic Methods in Statistical Decision Theory (en en), Springer-Verlag. ISBN 978-0-387-96307-5.
• Annals of Statistics.4(3)

501–514.doi:10.1214/aos/1176343457.

• Bulletin of the Calcutta Mathematical Society.37

81–91.doi:10.1007/978-1-4612-0919-5_16.

• Annals of Statistics.4(3)

441–500.doi:10.1214/aos/1176343456.

• Schervish, Mark J. (1995). Theory of Statistics (en en), Nova York: Springer. ISBN 978-0-387-94546-0.
• Stigler, S. M. (1986). The History of Statistics: The Measurement of Uncertainty before 1900 (en en), Harvard University Press. ISBN 978-0-674-40340-6.
• Journal of the Royal Statistical Society, Séries A.141(3)

287–322.doi:10.2307/2344804.

• Stigler (1999). Statistics on the Table: The History of Statistical Concepts and Methods (en en), Harvard University Press. ISBN 978-0-674-83601-3.
• Van Trees, H. L. (1968). Detection, Estimation, and Modulation Theory, Part I (en en), Nova York: Wiley. ISBN 978-0-471-09517-0.