¿Cuál es la tasa de error familiar?

En una prueba de hipótesis , siempre hay una tasa de error de tipo I que nos dice la probabilidad de rechazar una hipótesis nula que es realmente cierta. En otras palabras, es la probabilidad de obtener un «falso positivo», es decir, cuando afirmamos que hay un efecto estadísticamente significativo, pero en realidad no lo hay.

Cuando realizamos una prueba de hipótesis, la tasa de error de tipo I es igual al nivel de significancia (α), que comúnmente se elige entre 0.01, 0.05 o 0.10. Sin embargo, cuando realizamos múltiples pruebas de hipótesis a la vez, aumenta la probabilidad de obtener un falso positivo.

Por ejemplo, imagina que lanzamos un dado de 20 caras. La probabilidad de que los dados caigan en un «1» es solo del 5%. Pero si tiramos dos de estos dados a la vez, la probabilidad de que uno de los dados caiga en un «1» aumenta al 9,75%. Si tiramos cinco dados a la vez, la probabilidad aumenta al 22,6%.

Cuantos más dados lancemos, mayor será la probabilidad de que uno de los dados caiga en un 1. De manera similar, si realizamos varias pruebas de hipótesis a la vez utilizando un nivel de significancia de .05, la probabilidad de que obtengamos un falso positivo aumenta más allá de 0,05.

Cómo estimar la tasa de error familiar

La fórmula para estimar la tasa de error familiar es la siguiente:

Tasa de error familiar = 1 – (1-α) ⁿ

dónde:

• α: el nivel de significancia para una única prueba de hipótesis
• n: el número total de pruebas

Por ejemplo, suponga que realizamos 5 comparaciones diferentes utilizando un nivel alfa de α = .05. La tasa de error familiar se calcularía como:

Tasa de error familiar = 1 – (1-α) ^c = 1 – (1-.05) ⁵ = 0.2262 .

En otras palabras, ¡la probabilidad de obtener un error de tipo I en al menos una de las pruebas de hipótesis es superior al 22%!

Cómo controlar la tasa de error familiar

Hay varios métodos que se pueden utilizar para controlar la tasa de error familiar, que incluyen:

1. La corrección de Bonferroni.

Ajuste el valor α utilizado para evaluar la significancia de modo que:

α _nuevo = α _antiguo / n

Por ejemplo, si realizamos 5 comparaciones diferentes usando un nivel alfa de α = .05, entonces usando la Corrección de Bonferroni nuestro nuevo nivel alfa sería:

α _nuevo = α _antiguo / n = .05 / 5 = .01 .

2. La corrección de Sidak.

Ajuste el valor α utilizado para evaluar la significancia de modo que:

α _nuevo = 1 – (1-α _antiguo ) ^{1 / n}

Por ejemplo, si realizamos 5 comparaciones diferentes usando un nivel alfa de α = .05, entonces usando la Corrección Sidak nuestro nuevo nivel alfa sería:

α _nuevo = 1 – (1-α _antiguo ) ^{1 / n} = 1 – (1-.05) ^1/5 = .010206 .

3. La corrección de Bonferroni-Holm.

Este procedimiento funciona de la siguiente manera:

1. Utilice la corrección de Bonferroni para calcular α _nuevo = α _antiguo / n.
2. Realice cada prueba de hipótesis y ordene los valores p de todas las pruebas de menor a mayor.
3. Si el primer valor p es mayor o igual que α _nuevo , detenga el procedimiento. Ningún valor de p es significativo.
4. Si el primer valor p es menor que α _nuevo , entonces es significativo. Ahora compare el segundo valor p con α _nuevo . Si es mayor o igual que α _nuevo , detenga el procedimiento. Ningún otro valor de p es significativo.

Al utilizar una de estas correcciones al nivel de significancia, podemos reducir drásticamente la probabilidad de cometer un error de tipo I entre una familia de pruebas de hipótesis.

• https://r-project.org
• https://www.python.org/
• https://www.stata.com/