Actualizado por ultima vez el 23 de noviembre de 2021, por Luis Benites.
¿Qué es el Kappa de Fleiss?
Fleiss’ Kappa es una forma de medir el acuerdo entre tres o más evaluadores. Se recomienda cuando tiene datos de escala Likert u otros datos cerrados, de escala ordinal o de escala nominal (categórica). Como la mayoría de los coeficientes de correlación , Kappa varía de 0 a 1, donde:
- 0 es ningún acuerdo (o acuerdo que esperaría encontrar por casualidad),
- 1 es un acuerdo perfecto.
Es posible tener valores de menos de 1, lo que significa que los valores son menores de lo esperado por casualidad. A efectos prácticos, estos valores pueden contarse como cero o sin concordancia. En general, un coeficiente superior a 0,75 (75 %) se considera “bueno”, aunque qué es exactamente un nivel de acuerdo “aceptable” depende en gran medida de su campo específico. En otras palabras, consulte con su supervisor, profesor o investigación previa antes de concluir que un kappa de Fleiss superior a .75 es aceptable.
En algunos casos, Fleiss’ Kappa puede arrojar valores bajos incluso cuando la concordancia es realmente alta. Este es un problema conocido (y en gran medida inevitable) y es una de las razones por las que es menos popular que otras medidas de acuerdo entre evaluadores.
Medidas similares de confiabilidad entre evaluadores
- El Kappa de Fleiss es una extensión del kappa de Cohen para tres evaluadores o más. Además, la suposición con kappa de Cohen es que sus evaluadores se eligen y fijan deliberadamente. Con kappa de Fleiss, la suposición es que sus evaluadores fueron elegidos al azar de una población más grande .
- La Tau de Kendall se usa cuando tiene datos clasificados, como dos personas ordenando 10 candidatos del más preferido al menos preferido.
- El alfa de Krippendorff es útil cuando tiene múltiples calificadores y múltiples calificaciones posibles.
Referencias:
Falotico, R & Quatto, P. (2015). «Estadístico Kappa de Fleiss sin paradojas». Cal. cuant. 49:463-470. Disponible aquí .
Fleiss, JL y Cohen, J. (1973) «La equivalencia de kappa ponderado y el coeficiente de correlación intraclase como medidas de confiabilidad» en Medición educativa y psicológica, vol. 33 págs. 613–619
Fleiss, JL (1981) Métodos estadísticos para tasas y proporciones . 2ª ed. (Nueva York: John Wiley) págs. 38–46
