NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
38
realizaron estudios de simulación para no alterar las condicio - nes de las evaluaciones. A partir de las respuestas de los evaluados se detectaron los distractores menos elegidos y estas respuestas se sustituyeron aleatoriamente entre las tres opciones restantes (incluida la co- rrecta) o de acuerdo con la habilidad del sustentante: cuando la persona obtuvo un alto puntaje se le asignó la opción correcta con mayor probabilidad que la de los distractores, y viceversa. Con la primera aproximación se asumió que quienes seleccio - naron el distractor menos elegido lo hicieron porque no tenían conocimiento sobre el tema evaluado o no pusieron atención a la pregunta, por lo que si se quitara esa opción contestarían de manera aleatoria y las tres opciones restantes tendrían la misma probabilidad de ser seleccionadas. En la segunda sus - titución se consideró que los evaluados leyeron cada reactivo, por lo que, si se eliminara el distractor menos elegido, quienes son menos hábiles serían más atraídos por alguno de los dis - tractores restantes, mientras que aquellos con mayor habilidad serían más atraídos por la respuesta correcta. Después de esta reasignación de respuestas se calcularon los estadísticos de los reactivos y la prueba y se compararon con los datos obtenidos a partir de las aplicaciones reales con las cuatro opciones de respuesta originales. Se observó que, al eliminar el distractor menos elegido, el porcentaje de reactivos con distractores no funcionales bajó entre 50 y 90%, lo que mejora la calidad de los reactivos. El método de sustitución de respuestas tuvo un efecto diferen - ciado en la confiabilidad de las pruebas y la discriminación de los reactivos. Cuando se asumió que los sustentantes contes - tarían de manera aleatoria al eliminar el distractor menos se - leccionado, ambos valores disminuyeron; mientras que, al con - siderar que contestarían de acuerdo con su nivel de habilidad, ambos valores fueron similares a los calculados con las cua - tro opciones. Esto se debe a que, si los evaluados contestaran aleatoriamente, algunos con baja habilidad podrían responder
Made with FlippingBook Converter PDF to HTML5