22
NÚMERO 11 | 30 AÑOS DEL CENEVAL
monitorea las estadísticas de concordancia entre los puntajes de cada pareja de jueces para que, en caso de no cumplir con un mínimo de 70 % de coincidencia exacta 7 en la puntuación asignada en cada competencia, o si se presenta una discrepan - cia extrema que rebase más de un punto de diferencia, es ne - cesario que se revaloren las puntuaciones otorgadas por medio de una segunda calificación, la cual consiste en un diálogo entre los dos jueces involucrados y el supervisor en relación con las diferencias observadas, con el propósito de exponer las razones de las calificaciones obtenidas. El principal objetivo es detectar posibles errores de interpretación para que los jueces tengan la oportunidad de calificar por segunda vez el anteproyecto arqui - tectónico y después decidir si realizan o no modificaciones en los niveles asignados, a fin de favorecer la objetividad del proceso. En caso de que ninguno de los jueces realice modificacio - nes, o si aun con las correcciones hechas persiste la discrepan - cia extrema o un porcentaje bajo de coincidencia exacta, se solicita la intervención de un tercer juez, el cual se selecciona por su alto porcentaje de coincidencias exactas con los demás jueces; su función es proporcionar su voto de calidad para re - solver las controversias entre el juez 1 y el juez 2.
Confiabilidad de la calificación y resultados de los sustentantes
En el marco de las evaluaciones que utilizan reactivos de res - puesta construida, se puede entender que la confiabilidad es el grado de consenso o acuerdo en las calificaciones que asignan dos o más jueces a la respuesta que proporciona un mismo sustentante. Como menciona Stemler (2008), 8 existen diferen - 7 El porcentaje mínimo de acuerdo con 70 % de las puntuaciones realizadas por los jueces se basa en la pauta típica observada en la bibliografía sobre calificación con jueces (Stemler, S.E. [2004]. A Comparison of Consensus, Consistency, and Measurement Approaches to Estimating Interrater Reliability. Practical Assessment, Research and Evaluation , 1-11). 8 Stemler, S.E. & Tsai, J. (2008). Best Practices in Interrater Reliability: Three Common Approa - ches. En J. Osborne (Ed.). Best Practices in Quantitative Methods, 29-49. SAGE. https://doi. org/10.4135/9781412995627.d5
Made with FlippingBook - Share PDF online