CENEVAL INVESTIGA 23
tes maneras de calcular la confiabilidad de tales calificaciones. Con el estadístico Kappa de Cohen, uno de los más utilizados, se analiza el grado de consenso en el Proyecto Integrador en Arquitectura, es decir, las veces en las que los jueces tienen acuerdos y desacuerdos en el nivel asignado en cada criterio, para determinar si este es mayor de lo que se esperaría obser - var por casualidad. Los datos que se presentan en la tabla 2 pertenecen a cinco aplicaciones del Proyecto Integrador en Arquitectura efectua - das entre junio y noviembre de 2023, en las que se evaluó a 94 sustentantes de la Licenciatura en Arquitectura con la partici - pación de diez jueces y un supervisor, provenientes de diferen - tes instituciones de educación superior del país. Las frecuencias de las calificaciones de quien funge como juez 1 por cada criterio se encuentran organizadas por colum - nas, mientras que las del juez 2 aparecen en las filas. Por un lado, las intersecciones (de filas con columnas) en color verde aqua representan la cantidad de veces que ambos jueces asig - nan la misma calificación en un criterio; por otro lado, las inter - secciones en color gris claro representan las calificaciones en las que no coinciden ambos jueces (discrepancia adyacente); finalmente, las intersecciones en color blanco representan las discrepancias extremas.
Tabla 2. Frecuencias para la estimación del coeficiente Kappa de Co - hen ( k ) del criterio 1. Diagrama de funcionamiento
Juez 1
Total
0
1 0
2 0 1
3 0 0 3
0 1 2 3
15
15 14 35 30 94
1 0 0
12
Juez 2
2 0
30
2
28 31
Total
16
14
33
Made with FlippingBook - Share PDF online