Estadística Kappa de Cohen

Actualizado por ultima vez el 9 de diciembre de 2021, por Luis Benites.

¿Qué es el estadístico Kappa de Cohen?

La estadística kappa de Cohen mide la confiabilidad entre evaluadores (a veces llamada concordancia entre observadores). La confiabilidad o precisión entre evaluadores ocurre cuando los evaluadores (o recopiladores) de datos otorgan la misma puntuación al mismo elemento de datos.

Esta estadística sólo debe calcularse cuando:

  • Dos evaluadores califican cada uno un ensayo en cada muestra, o .
  • Un evaluador califica dos ensayos en cada muestra.

Además, el Kappa de Cohen asume que los evaluadores se eligen deliberadamente. Si sus evaluadores se eligen al azar de una población de evaluadores, use el kappa de Fleiss en su lugar.

Históricamente, se utilizó el porcentaje de acuerdo (número de puntajes de acuerdo/puntajes totales) para determinar la confiabilidad entre evaluadores. Sin embargo, el acuerdo al azar debido a que los evaluadores adivinan siempre es una posibilidad, de la misma manera que una respuesta «correcta» al azar es posible en una prueba de opción múltiple. La estadística Kappa tiene en cuenta este elemento del azar.

El estadístico Kappa varía de 0 a 1, donde.

  • 0 = concordancia equivalente al azar.
  • 0,1 – 0,20 = ligera concordancia.
  • 0,21 – 0,40 = acuerdo justo.
  • 0,41 – 0,60 = acuerdo moderado.
  • 0,61 – 0,80 = acuerdo sustancial.
  • 0,81 – 0,99 = concordancia casi perfecta
  • 1 = acuerdo perfecto.

Tenga en cuenta que estas pautas pueden ser insuficientes para investigaciones y pruebas relacionadas con la salud. Elementos como lecturas de radiografías y hallazgos de exámenes a menudo se juzgan subjetivamente. Si bien un acuerdo entre evaluadores de .4 podría estar bien para una encuesta general, generalmente es demasiado bajo para algo como una prueba de detección de cáncer. Como tal, generalmente querrá un nivel más alto para una confiabilidad aceptable entre evaluadores en lo que respecta a la salud.

Ejemplo de cálculo

La mayoría del software estadístico tiene la capacidad de calcular k. Para conjuntos de datos simples (es decir, dos evaluadores, dos elementos), calcular k a mano es bastante sencillo. Para conjuntos de datos más grandes, probablemente querrá usar software como SPSS .

La siguiente fórmula se utiliza para el acuerdo entre dos evaluadores. Si tiene más de dos evaluadores, deberá usar una variación de fórmula. Por ejemplo, en SAS , el procedimiento para Kappa es PROC FREQ, mientras que necesitará usar la macro MAGREE de SAS para varios evaluadores.

La fórmula para calcular el kappa de Cohen para dos evaluadores es: donde: P o = el acuerdo relativo observado entre los evaluadores. P e = la probabilidad hipotética de acuerdo al azar
estadístico kappa de cohen


Ejemplo de pregunta : Los siguientes datos hipotéticos provienen de una prueba médica en la que dos radiógrafos calificaron 50 imágenes para que necesitaran más estudio. Los investigadores (A y B) respondieron Sí (para más estudio) o No (No se necesita más estudio).

  • 20 imágenes fueron calificadas como Sí por ambos.
  • 15 imágenes fueron calificadas como No por ambos.
  • En general, el evaluador A dijo Sí a 25 imágenes y No a 25.
  • En general, el evaluador B dijo Sí a 30 imágenes y No a 20.

Calcule el kappa de Cohen para este conjunto de datos.

Paso 1: Calcule p o (la concordancia proporcional observada):
20 imágenes fueron calificadas como Sí por ambos.
15 imágenes fueron calificadas como No por ambos.
Entonces,
P o = número de acuerdo / total = (20 + 15) / 50 = 0,70.

Paso 2: encuentre la probabilidad de que los evaluadores digan que sí al azar.
El evaluador A dijo Sí a 25/50 imágenes, o 50 % (0,5).
El evaluador B dijo Sí a 30/50 imágenes, o 60 % (0,6).
La probabilidad total de que ambos evaluadores digan Sí al azar es:
0,5 * 0,6 = 0,30.

Paso 3: Calcule la probabilidad de que los evaluadores digan No al azar. El evaluador
A dijo No a 25/50 imágenes, o al 50 % (0,5).
El calificador B dijo No a 20/50 imágenes, o 40% (0.6).
La probabilidad total de que ambos evaluadores digan No al azar es:
0,5 * 0,4 = 0,20.

Paso 4: Calcular P e . Sume sus respuestas de los pasos 2 y 3 para obtener la probabilidad general de que los evaluadores estén de acuerdo al azar.
P e = 0,30 + 0,20 = 0,50.

Paso 5: Inserta tus cálculos en la fórmula y resuelve:

k = (P o – p e ) / (1 – p e = (0,70 – 0,50) / (1 – 0,50) = 0,40.

k = 0,40, lo que indica acuerdo justo.

Referencias

Beyer, WH CRC Standard Mathematical Tables, 31ª ed. Boca Raton, FL: CRC Press, págs. 536 y 571, 2002.
Agresti A. (1990) Análisis de datos categóricos. John Wiley and Sons, Nueva York.
Kotz, S.; et al., editores. (2006), Enciclopedia de Ciencias Estadísticas , Wiley.
Vogt, WP (2005). Diccionario de estadística y metodología: una guía no técnica para las ciencias sociales . SABIO.

Tengo una Maestría en Ciencias en Estadística Aplicada y he trabajado en algoritmos de aprendizaje automático para empresas profesionales tanto en el sector de la salud como en el comercio minorista.

Deja un comentario

¿Qué es la probabilidad clásica? Resumen:  La probabilidad clásica, también conocida como probabilidad a priori, es un tipo de probabilidad…
statologos comunidad-2

Compartimos información EXCLUSIVA y GRATUITA solo para suscriptores (cursos privados, programas, consejos y mucho más)

You have Successfully Subscribed!