CENEVAL INVESTIGA 47
múltiples tradicional. Reportó mejoras en la selección de los reactivos presentados y concluyó que es posible usar otros algoritmos adaptativos para mejorar la equidad y disminuir el aburrimiento, lo que tiene como consecuencia la mejora en la ejecución en el examen. Finalmente, Hua-Hua Chang, académico de la Universidad Purdue presentó “Pruebas de múltiples etapas ensambladas al momento: un diseño alternativo para PISA ” ( On-the-fly Multis - tage Testing: An Alternative Design for PISA ). Explicó que en las pruebas de lectura de PISA hay poca variabilidad en el número de formas ensambladas, ya que sólo hay tres testlets para la segunda etapa y otros tres para la tercera. Estas formas se pre - sentan a todos los sustentantes, a quienes se les clasifica de acuerdo con su habilidad solamente en alto, medio y bajo, lo que restringe el cálculo de sus habilidades. En un nuevo dise - ño, las pruebas con múltiples etapas ensambladas al momento, una vez calculada la habilidad se genera una versión especial para cada persona más emparejada a su nivel de habilidad. Esto se realiza al inicio de la primera y segunda etapa con lo que se generaría un número de formas mucho mayor al actual. Se llevó a cabo un estudio de simulación usando las caracterís - ticas de la aplicación de PISA con este método. Se mostró que las estimaciones de habilidad fueron mejores con este método, ya que se redujo el error de medición. También se obtuvieron mejores resultados en cuanto a la seguridad (menor exposición de los reactivos), tiempos de resolución más cortos, una expo - sición de los ítems más balanceada y no hubo la aparición de reactivos enemigos en los testlets . Por último, aclaró que solo toma un minuto en una laptop generar la forma personalizada al momento. Francesco Avvisati retomó la palabra para exponer algunas recomendaciones para la implementación de pruebas adapta - tivas para PISA : › Los cambios en el diseño de la prueba adaptativa deben estar fundamentados en una simulación que muestre una
Made with FlippingBook. PDF to flipbook with ease