Hiperprior

En estadística bayesiana, el hiperprior és una distribució a priori sobre un hiperparámetro, és dir, sobre un paràmetro d'una distribució a priori.

De la mateixa manera que en el terme hiperparámetro, l'us de hiper és per a distinguir-ho d'una distribució a priori d'un paràmetro del model per al sistema subjacent. Sorgixen sobretot en l'us de models jeràrquics.

Per eixemple, si s'utilisa una distribució beta para modelizar la distribució del paràmetro p d'una distribució Bernoulli, llavors:

• La distribució Bernoulli (en el paràmetro p) és el model del sistema subjacent;
• p és un paràmetro del sistema subjacent (distribució Bernoulli);
• La distribució beta (en paràmetros α i β) és la distribució a priori de p;
• α i β són paràmetros de la distribució a priori (distribució beta), per lo tant hiperparámetros;
• Una distribució a priori de α i β és, per tant, una hiperprior.

En principi, es pot iterar lo anterior: si el propi hiperprior té hiperparámetros, estos poden cridar-se hiperhiperparámetros, i aixina successivament.

Análogamente, es pot cridar hiperposterior a la distribució posterior sobre el hiperparámetro i, si són de la mateixa família, cridar-les hiperdistribuciones conjugades o hiperprior conjugat. No obstant, açò es torna ràpidament molt abstracte i alluntat del problema original.

Propòsit

Els hiperpriores, de la mateixa manera que els priores conjugats, són una conveniència computacional: no canvien el procés d'inferència bayesiana, sino que simplement permeten descriure i calcular més fàcilment en el prior.

Incertitut

En primer lloc, l'us d'un hiperparámetro permet expressar incertitut en un hiperparámetro: prendre un prior fix és una suposició, variar un hiperparámetro del prior permet fer anàlisis de sensibilitat en esta suposició, i prendre una distribució en este hiperparámetro permet expressar incertitut en esta suposició: "supongam que l'a priori és d'esta forma (esta família paramètrica), pero que no estem segurs de quins deuen ser exactament els valors dels paràmetros".

Distribució de la mescla

De forma més abstracta, si s'utilisa un hiperprior, llavors la pròpia distribució a priori (sobre el paràmetro del model subjacent) és una densitat de mescla: és la mija ponderada de les diverses distribucions a priori (sobre diferents hiperparámetros), sent el hiperprior la ponderació. Açò afig possibles distribucions adicionals (més allà de la família paramètrica que s'estiga utilisant), perque les famílies paramètriques de distribucions no solen ser conjunts convexos - com una densitat de mescla és una combinació convexa de distribucions, en general es trobarà fòra de la família. Per eixemple, la mescla de dos distribucions normals no és una distribució normal: si es prenen miges diferents (suficientment distants) i es mescla el 50% de cada una, s'obté una distribució bimodal, que per tant no és normal. De fet, el caixco convex de les distribucions normals és dens en totes les distribucions, per lo que, en alguns casos, es pot aproximar arbitrariamente una prioritat donada utilisant una família en una hiperprioridad adequada.

Lo que fa que este enfocament siga especialment útil és que s'utilisen priores conjugades: les priores conjugades individuals tenen posteriors fàcils de calcular i, per tant, una mescla de priorisacions conjugades és la mateixa mescla de posteriors: només cal saber cóm canvia cada priorisació conjugada. Utilisar una única prior conjugada pot ser massa restrictiu, pero utilisar una mescla de priores conjugades pot donar-nos la distribució desijada en una forma fàcil de calcular. Açò és similar a descompondre una funció en térmens de funcions pròpies (vore Prior conjugada): Analogia en les funcions pròpies.

Sistema dinàmic

Un hiperprior és una distribució en l'espai de possibles hiperparámetros. Si s'utilisen priores conjugats, este espai es conserva en passar als posteriors, per lo que, a mida que apleguen les senyes, la distribució canvia, pero permaneix en este espai: a mida que apleguen les senyes, la distribució evoluciona com un sistema dinàmic (cada punt de l'espai de hiperparámetros evoluciona cap als hiperparámetros actualisats), convergint en el temps, de la mateixa manera que convergix el propi prior.

Llectura adicional

• Bernardo, J. M.; Smith, A. F. M. (2000). Bayesian Theory. New York: Wiley