Remuestreo

En l'àmbit de l'estadística, es denomina remuestreo (o resampling, en anglés) a una varietat de métodos que permeten realisar algunes de les següents operacions:

1. Estimar la precisió de mostres estadísticas (mijanas, variancias, percentilés) per mig de l'us de subconjunts de senyes disponibles (jackknifing) o prenent senyes en forma aleatòria d'un conjunt de senyes bootstrapping)
2. Intercanviar marcadors de punts de senyes en realisar tests de significancia (test de permutació, també denominats tests exactes, tests de aleatorietat, o proves de re-aleatorietat)
3. Validar models per a l'us de subconjunts aleatoris (bootstrapping, validació creuada)

Entre les tècniques comunes de remuestreo es troben bootstrapping, jackknifing i proves de permutació.

Bootstrap

Artícul principal → Bootstrapping (estadística).

Archiu:Bootstrapping.jpg

El millor eixemple del principi de plug-in, el método bootstrapping.

Bootstrapping és un método estadístic per a estimar la distribució mostral d'un estimador per mig del mostreig en tongada de la mostra original, la majoria de les voltes en el propòsit d'obtindre estimacions robustes d'errors estàndar i intervals de confiança d'un paràmetro de la població com una mija, mijana, proporció, raó de momios, coeficient de correlació o coeficient de regressió. Se li ha cridat principi plug-in, ya que és el método d'estimació dels funcionals d'una distribució de població per mig de l'evaluació dels mateixos funcionals en la distribució empírica basada en una mostra. Se li crida un principi perque és massa simple per a ser una atra cosa, és solament una guia, no un teorema.

Per eixemple, en estimar la mija de la població, este método utilisa la mija de la mostra; per a estimar la mijana de la població, utilisa la mijana de la mostra; per a estimar la regressió llineal de la població, utilisa la regressió llineal de la mostra.

També es pot utilisar per a construir proves d'hipòtesis. A sovint s'usa com una alternativa robusta a l'inferència basada en suposicions paramètriques quan eixes suposicions estan en dubte, o quan l'inferència paramètrica és impossible o requerix fòrmules molt complicades per al càlcul d'errors estàndar. Les tècniques de bootstrapping també s'utilisen en les transicions de selecció d'actualisació de filtres de partícules, algoritmes genètics i métodos Monte Carlo de remuestreo/reconfiguración relacionats utilisats en física computacional. En este context, el bootstrap s'utilisa per a reemplaçar mides de provabilitat ponderada secuencialmente empíriques per mides empíriques. El bootstrap permet reemplaçar les mostres en factors de ponderació baixos per còpies de les mostres en factors de ponderació alts.

Jackknifing

Jackknifing, és similar a bootstrapping, i s'usa en inferència estadística per a estimar el biaix i l'error estàndar (varianza) d'una estadística, quan s'usa una mostra aleatòria d'observacions per a calcular-ho.

Quenouille va inventar este método en l'intenció de reduir el biaix de l'estimació de la mostra. Tukey va ampliar este método en supondre que si les rèpliques pogueren considerar-se distribuïdes de manera idèntica i independent, llavors podria fer-se una estimació de la varianza del paràmetro de mostra i que es distribuiria aproximadament com una variable t en n -1 graus de llibertat (a on n és el tamany de la mostra).

L'idea bàsica de l'estimador d'varianza jackknife radica en tornar a calcular sistemàticament l'estimació estadística, ometent una o més observacions al mateix temps del conjunt de mostres. A partir d'este nou conjunt de rèpliques de l'estadística, es pot calcular una estimació del biaix i una estimació de la varianza de l'estadística.

En lloc d'usar jackknife per a estimar la varianza, es pot aplicar en canvi al logaritmo de la varianza. Esta transformació pot resultar en millors estimacions, particularment quan la distribució de la varianza pot no ser normal.

Per a molts paràmetros estadístics, l'estimació d'varianza jackknife tendix asintóticamente al valor verdader casi en seguritat. Des d'un punt de vista tècnic, es diu que l'estimació jackknife és consistent. El jackknife és consistent per a les mijas mostrals, les varianza mostrals, les estadístiques t centrades i no centrades (en poblacions possiblement no normals), el coeficient de variació de la mostra, els estimadors de màxim verosimilitut, els estimadors de quadrats mínims , els coeficients de correlació i els coeficients de regressió.

Bibliografia

Introducció a l'estadística

• Good, P. (2005) Introduction to Statistics Through Resampling Methods and R/S-PLUS. Wiley. ISBN 0-471-71575-1
• Good, P. (2005) Introduction to Statistics Through Resampling Methods and Microsoft Office Excel. Wiley. ISBN 0-471-73191-9
• Hesterberg, T. C., D. S. Moore, S. Monaghan, A. Clipson, and R. Epstein (2005). Bootstrap Methods and Permutation Tests.
• Wolter, K.M. (2007). Introduction to Variance Estimation. Second Edition. Springer, Inc.

Tècnica de bootstrap

• Bradley Efron (1979). "Bootstrap methods: Another look at the jackknife", The Annals of Statistics, 7, 1-26.
• Bradley Efron (1981). "Nonparametric estimates of standard error: The jackknife, the bootstrap and other methods", Biometrika, 68, 589-599.
• Bradley Efron (1982). The jackknife, the bootstrap, and other resampling plans, In Society of Industrial and Applied Mathematics CBMS-NSF Monographs, 38.
• Persi Diaconis, Bradley Efron (1983), "Computer-intensive methods in statistics," Scientific American, May, 116-130.
• Bradley Efron, Robert J. Tibshirani, (1993). An introduction to the bootstrap, New York: Chapman & Hall, software.
• Davison, A. C. and Hinkley, D. V. (1997): Bootstrap Methods and their Application, software.
• Mooney, C Z & Duval, R D (1993). Bootstrapping. A Nonparametric Approach to Statistical Inference. Sage University Paper séries on Quantitative Applications in the Social Sciences, 07-095. Newbury Park, CA: Sage.
• Simon, J. L. (1997): Resampling: The New Statistics.

Tècnica de Jackknife

• Berger, Y.G. (2007). A jackknife variance estimator for unistage stratified samples with unequal probabilities. Biometrika. Vol. 94, 4, pp. 953-964.
• Berger, Y.G. and Rao, J.N.K. (2006). Adjusted jackknife for imputation under unequal probability sampling without replacement. Journal of the Royal Statistical Society B. Vol. 68, 3, pp. 531-547.
• Berger, Y.G. and Skinner, C.J. (2005). A jackknife variance estimator for unequal probability sampling. Journal of the Royal Statistical Society B. Vol. 67, 1, pp. 79-89.
• Jiang, J., Lahiri, P. and Wan, S-M. (2002). A unified jackknife theory for empirical best prediction with M-estimation. The Annals of Statistics. Vol. 30, 6, pp. 1782-810.
• Jones, H.L. (1974). Jackknife estimation of functions of stratum means. Biometrika. Vol. 61, 2, pp. 343-348.
• Kish, L. and Frankel M.R. (1974). Inference from complex samples. Journal of the Royal Statistical Society B. Vol. 36, 1, pp. 1-37.
• Krewski, D. and Rao, J.N.K. (1981). Inference from stratified samples: properties of the linearization, jackknife and balanced repeated replication methods. The Annals of Statistics. Vol. 9, 5, pp. 1010-1019.
• Quenouille, M.H. (1956). Notes on bias in estimation. Biometrika. Vol. 43, pp. 353-360.
• Rao, J.N.K. and Shao, J. (1992). Jackknife variance estimation with survey data under hot deck imputation. Biometrika. Vol. 79, 4, pp. 811-822.
• Rao, J.N.K., Wu, C.F.J. and Yue, K. (1992). Some recent work on resampling methods for complex surveys. Survey Methodology. Vol. 18, 2, pp. 209-217.
• Shao, J. and El teu, D. (1995). The Jackknife and Bootstrap. Springer-Verlag, Inc.
• Tukey, J.W. (1958). Bias and confidence in not-lleve large samples (abstract). The Annals of Mathematical Statistics. Vol. 29, 2, pp. 614.
• Wu, C.F.J. (1986). Jackknife, Bootstrap and other resampling methods in regression analysis. The Annals of Statistics. Vol. 14, 4, pp. 1261-1295.

Métodos Monte Carlo

George S. Fishman (1995). Mont Carlo: Concepts, Algorithms, and Applications, Springer, New York. ISBN 0-387-94527-X. James E. Gentle (2009). Computational Statistics, Springer, New York. Part III: Methods of Computational Statistics. ISBN 978-0-387-98143-7.

Christian P. Robert and George Casella (2004). Mont Carlo Statistical Methods, Second ed., Springer, New York. ISBN 0-387-21239-6.

• Shlomo Sawilowsky and Gail Fahoome (2003). Statistics via Monte Carlo Simulation with Fortran. Rochester Hills, MI: JMASM. ISBN 0-9740236-0-4.

Test de Permutació

Referències originals:

• R. A. Fisher, The Design of Experiment, New York: Hafner, 1935.
• Pitman, E. J. G., "Significance tests which may be applied to samples from any population", Royal Statistical Society Supplement, 1937; 4: 119-130 and 225-32 (parts I and II).
• Pitman, E. J. G., "Significance tests which may be applied to samples from any population. Part III. The analysis of variance test", Biometrika, 1938; 29: 322-335.

Referències modernes:

• E. S. Edgington, Randomization tests, 3rd ed. New York: Marcel-Dekker, 1995.
• Phillip I. Good, Permutation, Parametric and Bootstrap Tests of Hypotheses, 3rd ed., Springer, 2005. ISBN 0-387-98898-X
• Good, P. (2002) Extensions of the concept of exchangeability and their applications, J. Modern Appl. Statist. Methods, 1:243-247.
• Lunneborg, Cliff. Data Analysis by Resampling, Duxbury Press, 1999. ISBN 0-534-22110-6.
• Pesarin, F. 2001. Multivariate Permutation Tests, John Wiley & Sons.
• Welch, W. J., Construction of permutation tests, Journal of American Statistical Association, 85:693-698, 1990.

Métodos computacionals:

• Mehta, C. R. and Patel, N. R. (1983). 2A network algorithm for performing Fisher’s exact test in r x c contingency tables", J. Amer. Statist. Assoc, 78(382):427–434.
• Metha, C. R., Patel, N. R. and Senchaudhuri, P. (1988). "Importance sampling for estimating exact probabilities in permutational inference", J. Am. Statist. Assoc., 83(404):999–1005.

Métodos de remuestreo

• Good, P. (2006) Resampling Methods. 3rd Ed. Birkhauser.
• Wolter, K.M. (2007). Introduction to Variance Estimation. 2nd Edition. Springer, Inc.