NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
52
preguntas ancla entre dos versiones que se quieran comparar no debe variar más de tres posiciones. De ser más grande la separación, los resultados podrían generar fluctuaciones fic - ticias, es decir, parecería que el rendimiento en el examen ha empeorado sin ser cierto o viceversa. En la estrategia de generación de múltiples versiones, a las preguntas que no son ancla se les permite variar su posición hasta en ocho lugares. Este valor de ocho se obtuvo por medio de los estudios realizados en el Centro, que a continuación se describen. Un caso especial es aquel en donde varias pregun - tas se deben contestar con base en un estímulo común, como por ejemplo una lectura. En estos casos, todo el conjunto (el estímulo y sus preguntas) mantiene su posición en las versio - nes y solamente se cambia la ubicación de las preguntas al in- terior del conjunto. En marzo de 2020, la Dirección de Investigación, Calidad Técnica e Innovación Académica del Ceneval realizó un estudio para valorar si las versiones generadas con las características de la estrategia eran en efecto equivalentes. Se analizó la in - formación del EXANI - II aplicado en 2019 y se obtuvieron los siguientes resultados: › La lejanía de las preguntas hasta en ocho posiciones no afectó sus estadísticos (grado de dificultad y discriminación). › Los promedios del grado de dificultad y la discriminación de los reactivos incluidos en cada versión fueron muy cercanos entre todas las versiones. › No se detectaron diferencias entre las distribuciones de puntajes de las versiones de examen. › Las puntuaciones obtenidas con una versión son equivalen- tes a las obtenidas en las otras. Con base en estos resultados, se fijó que la mayor distancia que pudieran tener las preguntas en el cambio de posición de las versiones sería de ocho posiciones, ya que se evidenció que
Made with FlippingBook Annual report maker