Dragado de senyes

Archiu:Spurious correlations - spelling bee spiders.svg

Un eixemple humorístic d'un resultat produït pel dragado de senyes, que mostra una correlació coincidente entre el número de lletres en la paraula guanyadora del Concurs Nacional d'Ortografia Scripps i el número de persones en els Estats Units assessinades per aranyes venenoses.

El dragado de senyes (també conegut com a espionage de senyes o p-hacking) és l'us indegut del anàlisis de senyes per a trobar patrons en les senyes que puguen presentar-se com estadísticament significatius, aumentant i subestimando aixina dramàticament el risc d'informació falsa positiva. Açò es fa realisant moltes proves estadístiques sobre les senyes i solament informant aquelles que tiren resultats significatius.

El procés de dragado de senyes implica provar múltiples hipòtesis utilisant un únic conjunt de senyes per mig d'una busca de força bruta, tal volta de combinacions de variables que podrien mostrar una correlació, i tal volta de grups de casos o observacions que mostren diferències en la seua mija o en el seu desglossament per alguna atra variable.

Les proves convencionals de significació estadística es basen en la provabilitat de que sorgixca un resultat particular si solament actuara l'encert, i necessàriament accepten cert risc de conclusions errònees de cert tipo (rebujos erròneus de la hipòtesis nula). Este nivell de risc es denomina significació estadística. Quan es realisen una gran cantitat de proves, algunes tiren resultats falsos d'este tipo; per lo tant, es podria informar (erròneament) que el 5% de les hipòtesis elegides a l'encert són estadísticament significatives al nivell de significancia del 5%, es podria informar (erròneament) que el 1% és estadísticament significativa al nivell de significancia del 1%, i aixina successivament, només per casualitat. Quan es proven suficients hipòtesis, és pràcticament segur que algunes seran estadísticament significatives (encara que açò siga enganyós), ya que casi tots els conjunts de senyes en algun grau de aleatoriedad provablement continguen (per eixemple) algunes correlació espurias. Si no són cautelosos, estos resultats poden enganyar fàcilment als investigadors que utilisen tècniques de mineria de senyes. El terme p-hacking (en referència a els valores p ) va ser falcat en un artícul de 2014 pels tres investigadors darrere del blog Data Colada, que s'ha centrat en descobrir este tipo de problemes en l'investigació de les ciències socials.

El dragado de senyes és un eixemple de cóm ignorar el problema de les comparacions múltiples. Una forma és quan es comparen subgrups sense alertar al llector sobre el número total de comparacions de subgrups examinades.

Tipos

Traure conclusions de les senyes

El procediment de prova d'hipòtesis estadística convencional que utilisa la provabilitat frecuentista consistix en formular una hipòtesis d'investigació, com "les persones de classes socials més altes viuen més temps" i després recopilar senyes rellevants. Per últim, es porta a terme una prova de significació estadística per a vore qué tan provable és que els resultats siguen solament per casualitat (també cridada prova contra l'hipòtesis nula).

Un punt clau en un anàlisis estadístic adequat és provar una hipòtesis en evidència (senyes) que no es va utilisar per a construir l'hipòtesis. Açò és fonamental perque cada conjunt de senyes conté alguns patrons que es deuen enterament a l'encert. Si l'hipòtesis no es prova en un conjunt de senyes diferent de la mateixa població estadística, és impossible evaluar la provabilitat de que l'encert per sí solament produïxca tals patrons.

Per eixemple, llançar una moneda cinc voltes en un resultat de 2 cares i 3 creus podria dur a l'hipòtesis de que la moneda favorix a les creus entre 3/5 i 2/5. Si després es prova esta hipòtesis en el conjunt de senyes existent, es confirma, pero la confirmació no té sentit. El procediment adequat hauria segut formar de bestreta una hipòtesis sobre quin és la provabilitat de creu i després llançar la moneda vàries voltes per a vore si l'hipòtesis es rebuja o no. Si s'observen tres creus i dos cares, es podria formar una atra hipòtesis, que la provabilitat de creu és 3/5, pero només podria provar-se per mig d'una nova série de llançaments de moneda. És important donar-se conte de que la significancia estadística baix el procediment incorrecte és completament espuria: les proves de significancia no protegixen contra el dragado de senyes.

Hipòtesis sugerida per senyes no representatives.

Supongam que un estudi d'una mostra aleatòria de persones inclou exactament dos persones el natalici de les quals és el 7 d'agost: Mary i John. Algú involucrat en l'extracció de senyes podria intentar trobar similituts adicionals entre María i Juan. En analisar centenars o mils de possibles similituts entre els dos, cada una de les quals té una baixa provabilitat de ser certa, és casi segur que es pot trobar una similitut inusual. Potser John i Mary siguen les úniques dos persones de l'estudi que varen canviar de menor tres voltes en l'universitat. Una hipòtesis, biaixada per l'extracció de senyes, podria ser llavors que "les persones naixcudes el 7 d'agost tenen moltes més possibilitats de canviar de menor més de dos voltes en l'universitat".

Es podria considerar que les senyes mateixes, presos fòra de context, respalen fermament eixa correlació, ya que ningú en una data de naiximent diferent havia canviat de menor tres voltes en l'universitat. No obstant, si (com és provable) es tracta d'una hipòtesis espuria, lo més provable és que este resultat no siga reproduible ; qualsevol intent de comprovar si atres persones que complixen anys el 7 d'agost tenen una taxa similar de canvi de menors provablement obtindrà resultats contradictoris casi de colp i repent.

Biaix sistemàtic

El biaix és un error sistemàtic en l'anàlisis. Per eixemple, els meges varen dirigir als pacients en VIH en alt risc cardiovascular a un tractament particular contra el VIH, abacavir, i als pacients en menor risc a atres medicaments, impedint una evaluació simple de abacavir en comparació a atres tractaments. Un anàlisis que no va corregir este biaix va penalisar injustament al abacavir, ya que els seus pacients tenien major risc i, per lo tant, més d'ells varen sofrir atacs cardíacs. Este problema pot ser molt greu, per eixemple, en l'estudi observacional.

Els factors faltantes, els factors de confusió no medits i les pèrdues durant el seguiment també poden generar biaix. En seleccionar artículs en valores p significatius, se seleccionen estudis negatius, lo que constituïx un biaix de publicació. Açò també es coneix com biaixe del caixó d'archius, perque els resultats de valor p menys significatius es deixen en el caixó d'archius i mai es publiquen.

Modelació múltiple

Un atre aspecte del condicionamiento de les proves estadístiques pel coneiximent de les senyes es pot vore en utilisar el system or machine analysis and regressió llineal per a observar la freqüència de les senyes. Un pas crucial en el procés és decidir qué covariables incloure en una relació que explica una o més variables. Hi ha consideracions tant estadístiques (per eixemple regressió per passos) com a substantives que duen als autors a favorir alguns dels seus models sobre uns atres, i hi ha un us lliberal de proves estadístiques. No obstant, descartar una o més variables d'una relació explicativa sobre la base de les senyes significa que no es poden aplicar válidamente procediments estadístics estàndart a les variables retingudes en la relació com si res haguera succeït. Per la naturalea del cas, les variables retingudes varen tindre que passar algun tipo de prova preliminar (possiblement intuïtiva i imprecisa) que les variables descartades varen fallar. En 1966, Selvin i Stuart varen comparar les variables retingudes en el model en els peixos que no cauen a través de la ret, en el sentit de que els seus efectes segurament seran majors que els de els que cauen a través de la ret. Açò no només altera l'eixercite de totes les proves posteriors sobre el model explicatiu retingut, sino que també pot introduir biaix i alterar l'error quadràtic mig en l'estimació.

Eixemples

En meteorologia i epidemiologia

En meteorologia, les hipòtesis a sovint es formulen utilisant senyes meteorològiques fins al present i es comparen en senyes meteorològiques futurs, lo que garantisa que, inclús de forma inconscient, les senyes futures no puguen influir en la formulació de l'hipòtesis. Per supost, una disciplina aixina requerix esperar a que apleguen noves senyes per a mostrar el poder predictiu de la teoria formulada front a la hipòtesis nula. Este procés garantisa que ningú puga acusar a l'investigador d'adaptar manualment el model predictiu a les senyes disponibles, ya que el temps que s'aveïna encara no està disponible.

Com un atre eixemple, supongam que els observadors noten que una ciutat en particular sembla tindre un conglomerat de càncer, pero carixen d'una hipòtesis ferma de per qué és aixina. No obstant, tenen accés a una gran cantitat de senyes demogràfiques sobre la ciutat i les seues afores, que contenen medicions de l'àrea de centenars o mils de variables diferents, en la seua majoria no correlacionadas. Inclús si totes estes variables són independents de la taxa d'incidència del càncer, és molt provable que a lo manco una variable es correlacione significativament en la taxa de càncer en tota l'àrea. Si ben açò pot sugerir una hipòtesis, es necessiten proves adicionals utilisant les mateixes variables pero en senyes d'una ubicació diferent per a confirmar-la. Tinga en conte que un valor p de 0,01 sugerix que el 1% de les voltes un resultat a lo manco tan extrem s'obtindria per casualitat; Si es proven centenars o mils d'hipòtesis (en variables independents relativament no correlacionadas entre sí), és provable que s'obtinga un valor p inferior a 0,01 per a moltes hipòtesis nules.

En sociologia

Una atra forma de aplanar una curva p és controlar per gènero. Un anàlisis de Simonsohn et. Alabama. d'un estudi de Bruns i Ioannidis (2016) demostra açò, ya que quan Bruns i Ioannidis varen eliminar el control de gènero, açò també va reduir el valor t informat de 9,29 a 0,88, lo que mostra un efecte no causal a on prèviament es va registrar un de causal (3). Est és una troballa important perque els valores t són inversamente proporcionals als valores p, lo que significa que els valores t més alts (per damunt de 2,8) indiquen valores p més baixos. En controlar per gènero, es pot inflar artificialment el valor t, desinflando aixina artificialment també el valor p.