La estadística Kappa de Cohen se utiliza para medir el nivel de acuerdo entre dos evaluadores o jueces que clasifican los elementos en categorías mutuamente excluyentes.
La fórmula para el kappa de Cohen se calcula como:
k = (p o – p e ) / (1 – p e )
dónde:
- p o : acuerdo relativo observado entre los evaluadores
- p e : probabilidad hipotética de acuerdo al azar
En lugar de simplemente calcular el porcentaje de elementos en los que los evaluadores están de acuerdo, Kappa de Cohen intenta explicar el hecho de que los evaluadores pueden llegar a estar de acuerdo en algunos elementos por pura casualidad.
Cómo interpretar el Kappa de Cohen
El Kappa de Cohen siempre varía entre 0 y 1, donde 0 indica que no hay acuerdo entre los dos evaluadores y 1 indica un acuerdo perfecto entre los dos evaluadores.
La siguiente tabla resume cómo interpretar los diferentes valores para Kappa de Cohen:
El siguiente ejemplo paso a paso muestra cómo calcular el Kappa de Cohen a mano.
Cálculo de Kappa de Cohen: ejemplo paso a paso
Supongamos que se les pide a dos curadores de un museo que califiquen dos pinturas en función de si son lo suficientemente buenas como para colgarlas en una nueva exhibición.
La siguiente tabla 2 × 2 muestra los resultados de las calificaciones:
Paso 1: Calcule la concordancia relativa (p o ) entre los evaluadores.
Primero, calcularemos el acuerdo relativo entre los evaluadores. Esta es simplemente la proporción de calificaciones totales en las que los evaluadores dijeron «Sí» o ambos dijeron «No».
Podemos calcular esto como:
- p o = (Ambos dijeron Sí + Ambos dijeron No) / (Calificaciones totales)
- p o = (25 + 20) / (70) = 0,6429
Paso 2: Calcule la probabilidad hipotética de acuerdo al azar (p e ) entre evaluadores.
A continuación, calcularemos la probabilidad de que los evaluadores pudieran haber estado de acuerdo por pura casualidad.
Esto se calcula como el número total de veces que el Calificador 1 dijo «Sí» dividido por el número total de respuestas, multiplicado por el número total de veces que el Calificador 2 dijo «Sí» dividido por el número total de respuestas, sumado al total. número de veces que el Evaluador 1 dijo «No» multiplicado por el número total de veces que el Evaluador 2 dijo «No»
Para nuestro ejemplo, esto se calcula como:
- P (“Sí”) = ((25 + 10) / 70) * ((25 + 15) / 70) = 0,285714
- P («No») = ((15 + 20) / 70) * ((10 + 20) / 70) = 0,214285
- p e = 0,285714 + 0,214285 = 0,5
Paso 3: Calcule el Kappa de Cohen
Por último, usaremos p o y p e para calcular el Kappa de Cohen:
- k = (p o – p e ) / (1 – p e )
- k = (0,6429 – 0,5) / (1 – 0,5)
- k = 0,2857
El Kappa de Cohen resulta ser 0.2857 . Basándonos en la tabla anterior, diríamos que los dos evaluadores solo tenían un nivel «justo» de acuerdo.
Recursos adicionales
Puede utilizar esta Calculadora Kappa de Cohen para calcular automáticamente el Kappa de Cohen para dos evaluadores.
- https://r-project.org
- https://www.python.org/
- https://www.stata.com/
