Se utiliza un coeficiente de correlación intraclase (CCI) para medir la confiabilidad de las calificaciones en los estudios donde hay dos o más evaluadores.
El valor de un ICC puede variar de 0 a 1, donde 0 indica que no hay confiabilidad entre los evaluadores y 1 indica una confiabilidad perfecta entre los evaluadores.
En términos simples, un ICC se usa para determinar si los elementos (o sujetos) pueden ser calificados de manera confiable por diferentes evaluadores.
Hay varias versiones diferentes de un ICC que se pueden calcular, dependiendo de los siguientes tres factores:
- Modelo: efectos aleatorios unidireccionales, efectos aleatorios bidireccionales o efectos mixtos bidireccionales
- Tipo de relación: consistencia o acuerdo absoluto
- Unidad: calificador único o la media de calificadores
Aquí hay una breve descripción de los tres modelos diferentes :
1. Modelo de efectos aleatorios unidireccionales: este modelo asume que cada sujeto es calificado por un grupo diferente de evaluadores elegidos al azar. Con este modelo, los evaluadores se consideran la fuente de efectos aleatorios. Este modelo rara vez se usa en la práctica porque generalmente se usa el mismo grupo de evaluadores para calificar a cada sujeto.
2. Modelo de efectos aleatorios bidireccionales: este modelo supone que un grupo de k evaluadores se selecciona al azar de una población y luego se utiliza para calificar a los sujetos. Con este modelo, tanto los evaluadores como los sujetos se consideran fuentes de efectos aleatorios. Este modelo se usa a menudo cuando nos gustaría generalizar nuestros hallazgos a cualquier evaluador que sea similar a los evaluadores utilizados en el estudio.
3. Modelo de efectos mixtos bidireccionales: Este modelo también asume que un grupo de k evaluadores se selecciona al azar de una población y luego se utiliza para calificar a los sujetos. Sin embargo, este modelo asume que el grupo de calificadores que elegimos son los únicos calificadores de interés, lo que significa que no estamos interesados en generalizar nuestros hallazgos a otros calificadores que también podrían compartir características similares a las de los calificadores utilizados en el estudio.
Aquí hay una breve descripción de los dos tipos diferentes de relaciones que podríamos estar interesados en medir:
1. Coherencia: Estamos interesados en las diferencias sistemáticas entre las calificaciones de los jueces (por ejemplo, ¿los jueces calificaron temas similares como bajos y altos?)
2. Acuerdo absoluto: nos interesan las diferencias absolutas entre las calificaciones de los jueces (por ejemplo, ¿cuál es la diferencia absoluta en las calificaciones entre el juez A y el juez B?)
Aquí hay una breve descripción de las dos unidades diferentes que podríamos estar interesados en medir:
1. Evaluador único: solo nos interesa utilizar las calificaciones de un solo evaluador como base para la medición.
2. Media de los evaluadores: nos interesa utilizar la media de las calificaciones de todos los jueces como base para la medición.
Nota: Si desea medir el nivel de acuerdo entre dos evaluadores, cada uno de los cuales califica los elementos en un resultado dicotómico , debe utilizar el método Kappa de Cohen .
Cómo interpretar el coeficiente de correlación intraclase
A continuación se explica cómo interpretar el valor de un coeficiente de correlación intraclase, según Koo & Li :
- Menos de 0,50: poca fiabilidad
- Entre 0,5 y 0,75: fiabilidad moderada
- Entre 0,75 y 0,9: buena fiabilidad
- Mayor que 0,9: excelente fiabilidad
El siguiente ejemplo muestra cómo calcular un coeficiente de correlación intraclase en la práctica.
Ejemplo: cálculo del coeficiente de correlación intraclase
Suponga que se les pide a cuatro jueces diferentes que califiquen la calidad de 10 exámenes de ingreso a la universidad diferentes. Los resultados se muestran a continuación:
Supongamos que los cuatro jueces fueron seleccionados al azar de una población de jueces de exámenes de ingreso calificados y que nos gustaría medir el acuerdo absoluto entre los jueces y que estamos interesados en usar las calificaciones desde la perspectiva de un solo evaluador como base para nuestra medición.
Podemos usar el siguiente código en R para ajustar un modelo de efectos aleatorios bidireccional , usando la concordancia absoluta como la relación entre los evaluadores y usando single como nuestra unidad de interés:
#cargar la
biblioteca de paquetes de confiabilidad entre evaluadores (irr)
#define data
data <- data. marco (A = c (1, 1, 3, 6, 6, 7, 8, 9, 8, 7),
B = c (2, 3, 8, 4, 5, 5, 7, 9, 8, 8),
C = c (0, 4, 1, 5, 5, 6, 6, 9, 8, 8),
D = c (1, 2, 3, 3, 6, 4, 6, 8, 8, 9))
#calcular ICC
icc (datos, modelo = " doble ", tipo = " acuerdo ", unidad = " único ")
Modelo: bidireccional
Tipo: acuerdo
Sujetos = 10
Evaluadores = 4
ICC (A, 1) = 0,782
Prueba F, H0: r0 = 0; H1: r0> 0
F (9,30) = 15,3, p = 5,93 e-09
Intervalo de confianza del 95% para los valores de población de ICC:
0,554 <ICC <0,931
El coeficiente de correlación intraclase (CCI) resulta ser 0,782 .
Basándonos en las reglas generales para interpretar el ICC, concluiríamos que un ICC de 0,782 indica que los exámenes pueden ser calificados con «buena» confiabilidad por diferentes evaluadores.
Recursos adicionales
Los siguientes tutoriales proporcionan explicaciones detalladas sobre cómo calcular el ICC en diferentes programas de estadística:
Cómo calcular el coeficiente de correlación intraclase en Excel
Cómo calcular el coeficiente de correlación intraclase en R
Cómo calcular el coeficiente de correlación intraclase en Python
- https://r-project.org
- https://www.python.org/
- https://www.stata.com/
