Estadística suficiente y el principio de suficiencia: definición simple, ejemplo

Actualizado por ultima vez el 30 de abril de 2022, por Luis Benites.

¿Qué es una estadística suficiente?


estadística suficienteUna estadística suficiente resume toda la información de una muestra sobre un parámetro elegido . Por ejemplo, la media muestral , x̄, estima la media poblacional , μ. x̄ es una estadística suficiente si conserva toda la información sobre la media de la población que estaba contenida en los puntos de datos originales.

Según el estadístico Ronald Fisher,

“…ninguna otra estadística que se pueda calcular a partir de la misma muestra proporciona información adicional sobre el valor del parámetro”.

En términos sencillos, una estadística suficiente es su mejor apuesta para resumir sus datos; Puede usarlo incluso si no conoce ninguno de los valores reales de la muestra. En términos generales, si algo es lo suficientemente grande , entonces es «lo suficientemente grande» para cualquier propósito para el que lo estés usando.

Ejemplo de estadística suficiente

Puede pensar en una estadística suficiente como un estimador que le permite estimar el parámetro de la población como si conociera todos los datos en todas las muestras posibles.

Por ejemplo, supongamos que tiene el conjunto de datos simple 1,2,3,4,5. Calcularía la media de la muestra como (1 + 2 + 3 + 4 + 5) / 5 = 3, lo que le da la estimación de la media de la población como 3. Supongamos que no conoce esos valores (1, 2, 3 , 4, 5), pero solo sabe que la media de la muestra es 3. También estimaría la media de la población como 3, lo que sería tan bueno como conocer todo el conjunto de datos. La media muestral de 3 es un estadístico suficiente. Para decirlo de otra manera, si tiene la media de la muestra, entonces conocer todos los elementos de datos no hace ninguna diferencia en qué tan buena es su estimación : ya es «la mejor».

Las estadísticas de pedidos para muestras iid también son estadísticas suficientes. Esto no se aplica a los datos que no son iid porque solo en estas muestras, puede reordenar los datos sin perder el significado.

Definición formal de estadísticas suficientes

Más formalmente, se dice que un estadístico Y es un estimador suficiente para algún parámetro θ si la distribución condicional de Y: T(X 1 , X 2 ,…,X n ) no depende de θ. Si bien esta definición es bastante simple, encontrar la distribución condicional es la parte difícil. De hecho, la mayoría de los estadísticos lo consideran extremadamente difícil . Una forma un poco más fácil de encontrar la distribución condicional es usar el teorema de factorización.

Teorema de factorización

Suponga que tiene una muestra aleatoria X = (X 1 ,…, X n ) de alguna función f(x|θ) y que f( x |θ) es el pdf conjunto de X . Una estadística es suficiente si puede escribir el siguiente pdf conjunto para las funciones g(t|θ) y h( x ):

f( x |θ) = g(T( X )|θ)h( x )

Donde:

  • θ es el parámetro desconocido perteneciente al espacio de parámetros Q ,
  • y el pdf existe para todos los valores de x , y θ ∈ Q.

Complemento de Suficiencia

Una estadística auxiliar es el complemento de suficiencia. Si bien las estadísticas suficientes le brindan toda la información sobre un parámetro, las estadísticas auxiliares no le brindan información.

El principio de suficiencia

El Principio de Suficiencia, S, (o S de Birnbaum) nos permite reducir potencialmente nuestra huella de datos y eliminar datos adicionales no informativos. El método de reducción de datos resume los datos conservando toda la información sobre un parámetro en particular, θ.

Birnbaum (1962) fue el primero en esbozar el principio, que se define como:
“En presencia de un estadístico suficiente t(x) con un modelo estadístico E’, las inferencias relativas a θ de E y x deberían ser las mismas que de E’ y t(x)” ~ (Fraser, 1962)
En otras palabras, digamos que tiene una variable observable x, con un modelo E. Y digamos que también tiene una estadística suficiente, t(x) con un modelo E. Cualquier las inferencias sobre un determinado parámetro a partir del primer modelo deben ser las mismas que las realizadas a partir del segundo modelo.

Al recopilar datos, el principio de suficiencia justifica ignorar ciertos datos (Steel, 2007). Por ejemplo, supongamos que está realizando un experimento para registrar el número de caras en el lanzamiento de una moneda. Podrías registrar el número de caras y cruces, junto con su orden: HTTHTTTHHH…. O simplemente puede registrar el número de cabezas (por ejemplo, 25 cabezas). A los efectos de un experimento binomial , el número de cabezas sería una estadística suficiente. Registrar todas las colas y su orden no le daría más información (suponiendo que las variables son independientes y están distribuidas de manera idéntica ).

Ver el principio de suficiencia como reducción de datos

Sabemos por el principio de suficiencia que si tenemos un estadístico suficiente Y = T (X) y un modelo estadístico, las inferencias que podemos hacer sobre θ a partir de nuestro modelo y X (el conjunto de datos) deben ser las mismas que a partir de ese modelo y y

Esto hace que la suficiencia sea una propiedad muy fuerte; una forma de reducción de datos, o condensación de toda la información importante en nuestra muestra en la estadística.

El principio de suficiencia desempaquetado

Consideremos por momento Y, un estadístico suficiente, y X, un conjunto de observaciones. Queremos mirar el par (X, Y). Como Y depende de X, el par (X, Y) nos dará la misma información sobre el parámetro θ que X.

Pero como Y es suficiente, la distribución condicional de X dada Y es independiente de θ.

¿Qué significa eso exactamente?

Sea X su última lección de estadística y la grabación en video de la misma, y ​​sean Y las notas que tomó al respecto. El parámetro θ es la información necesaria en la pregunta n.º 7 de la final de su clase. Y depende completamente de X, y el video y las notas de clase incluyen exactamente la misma información que el video; nada añadido Pero si ha tomado suficientes apuntes, la distribución condicional de la conferencia dada a sus apuntes es independiente de la información de la pregunta #7. La distribución condicional aquí solo significa la distribución de probabilidad de la información en sus notas, dada la lección. Si la información está en la clase, está en tus notas. Una vez que haya revisado sus notas memorizadas, regresar y escuchar la conferencia no lo ayudará a resolver la pregunta #7.

Ahora volvamos al principio de suficiencia genérico y las estadísticas matemáticas. Un enfoque en ambos bits de información (conjunto de datos X y estadística Y) no nos brinda más información sobre la distribución de θ de la que tendríamos si solo nos enfocáramos en la estadística. Y después de mirar la estadística Y, una mirada a X no nos da ninguna información nueva sobre θ, no nos aclarará si un valor particular de θ es más probable o menos probable que otro.

Entonces, si Y es una estadística suficiente, no necesitamos considerar más el conjunto de datos X, después de usarlo para calcular Y; se vuelve redundante.

Referencias

Birnbaum, A. (1962). Sobre los fundamentos de la inferencia estadística. Mermelada. Estadístico. Asoc. 57, 269-306.
Chen, H. (nd) Inferencia estadística avanzada: principios de reducción de datos.
Recuperado el 12 de diciembre de 2017 de http://www.math.ntu.edu.tw/~hchen/teaching/StatInference/notes/ch6.pdf
Fisher, RA (1922). “Sobre los fundamentos matemáticos de la estadística teórica”. Transacciones filosóficas de la Royal Society A 222: 309–368.
Fraser, D. (1962). Sobre los Principios de Suficiencia y Verosimilitud. Informe técnico No. 43. Recuperado el 29 de diciembre de 2017 de: https://statistics.stanford.edu/sites/default/files/CHE%20ONR%2043.pdf
Mezzetti, M. (nd) Principios de reducción de datos: la suficiencia Principio. Universidad Tor Vergata.
Recuperado el 3 de diciembre de 2016 de http://economia.uniroma2.it/master-science/financeandbanking/corso/asset/YTo0OntzOjI6ImlkIjtzOjM6IjI3NyI7czozOiJpZGEiO3M6NToiMjM2OTkiO3M6MjoiZW0iO047czoxOiJjIjtzOjU6ImNmY9010
Ross, S.t. Introducción a los Modelos de Probabilidad. 11ª edición. Elsevier.
Acero, D. (2007). Teoría de la Confirmación Bayesiana y el Principio de Verosimilitud . Synthese 156: 53. Recuperado el 29 de diciembre de 2017 de: https://msu.edu/~steel/Bayes_and_LP.pdf
Estadísticas suficientes. Obtenido de http://math.arizona.edu/~tgk/466/sufficient.pdf el 9 de diciembre de 2017

Tengo una Maestría en Ciencias en Estadística Aplicada y he trabajado en algoritmos de aprendizaje automático para empresas profesionales tanto en el sector de la salud como en el comercio minorista.

Deja un comentario

¿Qué es un ANOVA de tres vías? Los términos "tres vías", "dos vías" o "una vía" en ANOVA se refieren…
statologos comunidad-2

Compartimos información EXCLUSIVA y GRATUITA solo para suscriptores (cursos privados, programas, consejos y mucho más)

You have Successfully Subscribed!