Regressió isotónica

Un eixemple de regressió isotónica (llínea roja sòlida) comparada en regressió llineal en les mateixes senyes, abdós ajustades per a minimisar l'error quadràtic mig. La propietat de forma lliure de la regressió isotónica permet que la llínea siga més empinada a on les senyes ho són; la restricció de isotonicidad assegura que la llínea no decreixca.

En estadística i anàlisis numèric, la regressió isotónica o regressió monòtona és un tipo de regressió no paramètrica per a ajustar una llínea de forma lliure a una seqüència d'observacions de tal manera que la llínea ajustada siga no decreixent (o no creixent) en tots els llocs, i se situe lo més prop possible de les observacions.

Aplicacions

La regressió isotónica té aplicacions en inferència estadística. Per eixemple, pot usar-se per a ajustar una curva isotónica a les miges d'un conjunt de resultats experimentals quan s'espera un aument en eixes miges segons un orde particular. Una ventaja de la regressió isotónica és que no està restringida per cap forma funcional, com la linealidad imposta per la regressió llineal, sempre que la funció siga monòtona creixent.

Una atra aplicació és l'escalamiento multidimensional no mètric, a on es busca un encaix de baixa dimensió per a punts de senyes tal que l'orde de les distàncies entre punts en l'encaix coincidixca en l'orde de disimilitud entre punts. La regressió isotónica s'usa iterativamente per a ajustar distàncies ideals que preserven l'orde relatiu de disimilitud.

La regressió isotónica també s'utilisa en classificació provabilística per a calibrar les provabilitats predites de models d'aprenentage automàtic supervisat.

La regressió isotónica per al cas simplement ordenat en variables univariadas $x,y$ s'ha aplicat a l'estimació de relacions dosis-resposta contínues en camps com l'anestesiología o la toxicologia. Estrictament parlant, la regressió isotónica solament proporciona estimacions puntuals en els valors observats de $x.$ L'estimació de la curva completa de dosis-resposta sense suposicions adicionals generalment es realisa per mig d'interpolació llineal entre les estimacions puntuals.

S'ha desenrollat software per a calcular la regressió isotónica (monòtona) para R, Stata i Python.

Enunciat del problema i algoritmes

Sean $(x_1,y_1),\dots ,(x_n,y_n)$ un conjunt donat d'observacions, a on els $y_i\in ℝ$ i els $x_i$ pertanyen a algun conjunt parcialment ordenat. Per a generalisar, cada observació $(x_i,y_i)$ pot tindre un pes $w_i\ge 0$, encara que comunament $w_i=1$ para tot $i$.

La regressió isotónica busca un ajust per mínims quadrats ponderats ${\hat{y}}_i\approx y_i$ para tot $i$, subjecte a la restricció de que ${\hat{y}}_i\le {\hat{y}}_j$ sempre que $x_i\le x_j$. Açò dona lloc la següent suma de quadrats en les variables ${\hat{y}}_1,\dots ,{\hat{y}}_n$:

$\min \sum _{i=1}^n{w}_i({\hat{y}}_i-y_i{)}^2$ subjecte a ${\hat{y}}_i\le {\hat{y}}_j\text{ para todo }(i,j)\in E$

a on $E=\{(i,j):x_i\le x_j\}$ especifica l'orde parcial de les entrades observades $x_i$ (i pot considerar-se com el conjunt d'arestes d'algun grafo acíclic dirigit (DAG) en vèrtiços $1,2,\dots n$). Problemes d'esta forma poden resoldre's en tècniques genèriques de programació quadràtica.

En el cas usual a on els valors $x_i$ pertanyen a un conjunt totalment ordenat com $ℝ$, podem assumir, sense pèrdua de generalitat, que les observacions s'han ordenat de modo que $x_1\le x_2\le \cdots \le x_n$, i prendre $E=\{(i,i+1):1\le i<n\}$. En este cas, un simple algoritme iterativo per a resoldre el programa quadràtic és l'algoritme de violacions adjacents agrupades. Per un atre costat, Best i Chakravarti varen estudiar el problema com un problema d'identificació de conjunt actiu i varen propondre un algoritme primal. Estos dos algoritmes poden vore's com a duals entre sí, i abdós tenen una complexitat computacional de $O(n)$ en senyes ya ordenades.

Per a completar la tasca de regressió isotónica, podem elegir qualsevol funció no decreixent $f(x)$ tal que $f(x_i)={\hat{y}}_i$ per a tot i. Qualsevol funció aixina òbviament resol

$\underset{f}{\min }\sum _{i=1}^n{w}_i(f(x_i)-y_i{)}^2$ subjecte a que $f$ siga no decreixent

i pot usar-se per a predir els valors de $y$ per a nous valors de $x$. Una elecció comuna quan $x_i\in ℝ$ seria interpolar linealmente entre els punts $(x_i,{\hat{y}}_i)$, com s'ilustra en la figura, donant lloc a una funció contínua llineal per trams:

$f(x)=\{\begin{array}{cc}{\hat{y}}_1& \text{si }x\le x_1\\ {\hat{y}}_i+\frac{x-x_i}{x_{i+1}-x_i}({\hat{y}}_{i+1}-{\hat{y}}_i)& \text{si }{x}_i\le x\le x_{i+1}\\ {\hat{y}}_n& \text{si }x\ge x_n\end{array}$

Bibliografia

• (1988) Order restricted statistical inference, New York: Wiley. ISBN 978-0-471-91787-8.
• (1972) Statistical inference under order restrictions; the theory and application of isotonic regression, New York: Wiley. ISBN 978-0-471-04970-8.
• Shively, T.S., Sager, T.W., Walker, S.G. (2009). “A Bayesian approach to senar-parametric monotone function estimation”. Journal of the Royal Statistical Society, Series B 71 (1): 159–175. doi:10.1111/j.1467-9868.2008.00677.x.
• “Isotonic regression: Another look at the changepoint problem” (2001). Biometrika 88 (3): 793–804. doi:10.1093/biomet/88.3.793.