Problema de Pruebas Múltiples / Comparaciones Múltiples

Actualizado el 11 de marzo de 2022, por Luis Benites.

¿Qué es el Problema de Pruebas Múltiples?

Si ejecuta una prueba de hipótesis, existe una pequeña posibilidad (generalmente alrededor del 5%) de que obtendrá un resultado significativo falso . Si ejecuta miles de pruebas, la cantidad de falsas alarmas aumenta drásticamente. Por ejemplo, supongamos que ejecuta 10 000 pruebas de hipótesis separadas (lo cual es común en campos como la genómica). Si utiliza el nivel alfa estándar del 5 % (que es la probabilidad de obtener un falso positivo), obtendrá alrededor de 500 resultados significativos, la mayoría de los cuales serán falsas alarmas . Esta gran cantidad de falsas alarmas que se producen cuando ejecuta varias pruebas de hipótesis se denomina problema de pruebas múltiples. (O problema de comparaciones múltiples).

Corrección de pruebas múltiples

El procedimiento Holm-Bonferroni controla la tasa de error Tipo I.

Cuando ejecuta varias pruebas, los valores p deben ajustarse para la cantidad de pruebas de hipótesis que está ejecutando. En otras palabras, debe controlar la tasa de error de tipo I (un error de tipo I es otro nombre para rechazar incorrectamente la hipótesis nula ). No existe una forma universalmente aceptada de controlar el problema de las pruebas múltiples.

Incluido:

• Los métodos de un solo paso como la corrección de Bonferroni y los métodos secuenciales como el método de Holm controlan la tasa de error familiar (FWER) . El FWER es solo un término para todos esos falsos positivos que obtienes con múltiples pruebas. Por lo general, se usa cuando es importante no cometer ningún error de tipo I.
• El procedimiento de Benjamini-Hochberg y el FDR positivo de Storey controlan la tasa de descubrimiento falso. Estos procedimientos limitan la cantidad de descubrimientos falsos , pero aún obtendrá algunos, así que use estos procedimientos si es aceptable una pequeña cantidad de errores de tipo I.

Cuándo no controlar comparaciones múltiples

Un «efecto secundario» desafortunado de controlar las comparaciones múltiples es que probablemente aumentará la cantidad de falsos negativos , es decir, realmente está sucediendo algo significativo pero no lo detecta. Los falsos negativos ( «Errores de tipo II» ) pueden ser muy costosos (por ejemplo, en la investigación farmacéutica, donde la omisión de un descubrimiento importante puede retrasar la investigación durante décadas). Entonces, si ese es el caso, es posible que ni siquiera desee intentar controlar las comparaciones múltiples. La alternativa sería anotar en los resultados de su investigación que existe la posibilidad de que sus hallazgos sean un falso positivo.

Comparaciones Múltiples para Pruebas No Paramétricas

Para pruebas no paramétricas , utilice la corrección de Bonferroni , que es su única opción viable.