Se utiliza un coeficiente de correlación intraclase (ICC) para determinar si los elementos (o sujetos) pueden ser calificados de manera confiable por diferentes evaluadores.
El valor de un ICC puede variar de 0 a 1, donde 0 indica que no hay confiabilidad entre los evaluadores y 1 indica una confiabilidad perfecta.
Este tutorial proporciona un ejemplo paso a paso de cómo calcular ICC en Excel.
Paso 1: crear los datos
Suponga que se les pide a cuatro jueces diferentes que califiquen la calidad de 10 exámenes de ingreso a la universidad diferentes. Los resultados se muestran a continuación:
Paso 2: ajuste un ANOVA
Para calcular el ICC para estas calificaciones, primero debemos ajustar un Anova: dos factores sin replicación .
Para hacerlo, resalte las celdas A1: E11 de la siguiente manera:
Para hacerlo, haga clic en la pestaña Datos a lo largo de la cinta superior y luego haga clic en la opción Análisis de datos en el grupo Análisis :
Si no ve esta opción disponible, primero debe cargar Analysis ToolPak .
En el menú desplegable que aparece, haga clic en Anova: dos factores sin replicación y luego haga clic en Aceptar . En la nueva ventana que aparece, complete la siguiente información y luego haga clic en Aceptar :
Aparecerán los siguientes resultados:
Paso 3: Calcule el coeficiente de correlación intraclase
Podemos usar la siguiente fórmula para calcular el ICC entre los evaluadores:
El coeficiente de correlación intraclase (CCI) resulta ser 0,782 .
A continuación se explica cómo interpretar el valor de un coeficiente de correlación intraclase, según Koo & Li :
- Menos de 0,50: poca fiabilidad
- Entre 0,5 y 0,75: fiabilidad moderada
- Entre 0,75 y 0,9: buena fiabilidad
- Mayor que 0,9: excelente fiabilidad
Por lo tanto, concluiríamos que un ICC de 0,782 indica que los exámenes pueden ser calificados con «buena» confiabilidad por diferentes evaluadores.
Una nota sobre el cálculo del ICC
Hay varias versiones diferentes de un ICC que se pueden calcular, dependiendo de los siguientes tres factores:
- Modelo: efectos aleatorios unidireccionales, efectos aleatorios bidireccionales o efectos mixtos bidireccionales
- Tipo de relación: consistencia o acuerdo absoluto
- Unidad: calificador único o la media de calificadores
En el ejemplo anterior, el ICC que calculamos utilizó los siguientes supuestos:
- Modelo: efectos aleatorios bidireccionales
- Tipo de relación: Acuerdo absoluto
- Unidad: Evaluador único
Para obtener una explicación detallada de estos supuestos, consulte este artículo .
- https://r-project.org
- https://www.python.org/
- https://www.stata.com/
