Cómo calcular el Kappa de Fleiss en Excel

Kappa de Fleiss es una forma de medir el grado de acuerdo entre tres o más evaluadores cuando los evaluadores asignan calificaciones categóricas a un conjunto de elementos.

El Kappa de Fleiss varía de 0 a 1 donde:

• 0 indica que no hay ningún acuerdo entre los evaluadores.
• 1 indica un perfecto acuerdo entre evaluadores.

Este tutorial proporciona un ejemplo de cómo calcular el Kappa de Fleiss en Excel.

Ejemplo: Fleiss ‘Kappa en Excel

Suponga que 14 personas califican 10 productos diferentes en una escala de pobre a excelente.

La siguiente captura de pantalla muestra las calificaciones totales que recibió cada producto:

La siguiente captura de pantalla muestra cómo calcular el Kappa de Fleiss para estos datos en Excel:

Los cálculos más complicados de esta captura de pantalla se encuentran en la columna J. La fórmula utilizada para estos cálculos se muestra en el cuadro de texto cerca de la parte superior de la pantalla.

Tenga en cuenta que el Kappa de Fleiss en este ejemplo resulta ser 0.2099 . La fórmula real utilizada para calcular este valor en la celda C18 es:

Kappa de Fleiss = (0.37802 – 0.2128) / (1 – 0.2128) = 0.2099.

Aunque no existe una forma formal de interpretar el Kappa de Fleiss, los siguientes valores muestran cómo interpretar el Kappa de Cohen, que se utiliza para evaluar el nivel de acuerdo entre evaluadores entre solo dos evaluadores:

• <0,20 | Pobre
• .21 – .40 | Justo
• .41 – .60 | Moderar
• .61 – .80 | Bien
• .81 – 1 | Muy bien

Con base en estos valores, el Kappa de Fleiss de 0.2099 en nuestro ejemplo se interpretaría como un nivel «justo» de acuerdo entre evaluadores.

• https://r-project.org
• https://www.python.org/
• https://www.stata.com/