46
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
Se muestra que en una etapa inicial se presenta el mismo testlet a todos los estudiantes, a partir de sus respuestas se calcula su habilidad y se elige el siguiente testlet y a partir de estas respuestas se calcula una nueva habilidad y se elige el siguiente grupo de preguntas. Sin embargo, hubo un factor adicional, un 10% de la población tuvo un camino “erróneo”, es decir, que a los que tuvieron altos puntajes se les presen - tó un testlet de dificultad baja y a los de habilidad baja se les presentaron reactivos difíciles. Esto fue diseñado de manera aleatoria, con fines de calibración de los reactivos y para lograr cubrir todos los contenidos en todos los estudiantes. Encon - traron que en grupos de alta habilidad hubo menos respuestas faltantes, respuestas más lentas y un desempeño más bajo en las etapas 1 y 2; mientras que en los grupos de menor habilidad encontraron más respuestas rápidas y un mejor desempeño. Estos resultados tampoco son intuitivos o consistentes con lo reportado previamente y mencionaron que una limitación de la prueba PISA es que en la primera etapa se presenta un total de 7 a 10 reactivos. Sin embargo, un resultado muy relevante que se resaltó es que hallaron efectos de rezago, por ejemplo, que un mal emparejamiento entre la habilidad del sustentante y la dificultad de los reactivos tiene un efecto que persiste a lo largo de todo el examen. El estudio “Un diseño altamente adaptativo para PISA ” ( A Highly Adaptive Testing Design for PISA ), fue presentado por An - dreas Frey, investigador de la Universidad Goethe. Mencionó que la adaptabilidad de las pruebas en PISA incrementó en un 4-7% la información que la prueba provee, aunque sus dise - ños siguen siendo restrictivos en algunas cuestiones. En los diseños actuales, la adaptabilidad está en la presentación de los testlets , pero también se podría personalizar los reactivos dentro de cada uno de ellos. Además, se podrían presentar reactivos fáciles para mejorar la experiencia de los estudian - tes y la equidad. En su estudio de simulación comparó un modelo que consideró estos factores con el diseño de etapas
Made with FlippingBook. PDF to flipbook with ease