Esta primera edición de la revista de evaluación e investigación educativa del Ceneval habla de la importancia de la evaluación para mejorar la calidad educativa.
REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA Número 1 | 2021
LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
CENEVAL INVESTIGA
Revista de evaluación e investigación educativa Ceneval Investiga
Presentación
El Centro Nacional de Evaluación para la Educación Superior (Ceneval) tiene el agrado de presentar a la comunidad de académicos e investigadores en edu - cación, evaluación y al público en general el primer número de su nueva línea editorial digital sobre temas de evaluación educativa. La revista de evaluación e investigación educativa Ceneval Investiga es una publicación periódica del Ceneval que aparecerá tres veces al año y se consti - tuirá en un foro para mostrar investigaciones y ensayos realizados por personal del Ceneval y de otros organismos e instituciones interesadas en los temas de la educación y la evaluación educativa. Qué mejor manera de abrir el primer número que con una entrevista al direc- tor fundador del Ceneval, el Mtro. Antonio Gago Huguet, en la que se abunda so - bre el sentido de la evaluación. Este primer número también revisa aspectos de la evaluación durante la pandemia, la nueva modalidad de aplicación de exámenes que ofrece el Ceneval denominada Examen desde casa y dos artículos relaciona - dos con detección y sospecha de copia en los exámenes. A partir de ahora, académicos e investigadores interesados en los temas de esta revista podrán enviar sus colaboraciones a: revista .investigacion@ceneval.edu.mx para que sean evaluadas e incluidas en los números subsecuentes de esta publicación. El propósito es que la revista de evaluación e investigación educativa Ceneval Investiga se constituya en un instrumento más que contribuya en nuestro man - dato social, que es la mejora de la calidad educativa en nuestro país.
Antonio Ávila Díaz Director general
CENEVAL INVESTIGA | REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA
D.R. © 2021 Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19
Col. San Ángel, Alc. Álvaro Obregón C.P. 01000, México, Ciudad de México www.ceneval.edu.mx
Febrero de 2021
Contenido
06 12 20 28 36 46
“Sin evaluación no es posible mejorar”: Antonio Gago
La evaluación en el mundo durante la pandemia
Examen desde casa del Ceneval
Índices de detección de copia para los exámenes del Ceneval
Análisis de sospecha de copia en aplicaciones desde casa de los exámenes de ingreso
Impacto del cambio de posición de los reactivos en una misma versión de los exámenes, estrategia de elaboración de múltiples versiones
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
6
de la Asociación Nacional de Universidades e Instituciones de Educación Superior ( ANUIES ); subsecretario de Educación Superior de la Se- cretaría de Educación Pública ( SEP ); coordina- dor de asesores de la SEP ; asesor del secretario general de la ANUIES ; director del Consejo para la Evaluación de la Educación del Tipo Medio Superior y, actualmente, asesor de la Dirección General del Ceneval. Ceneval Investiga entrevista en este primer número al primer titular del Ceneval, con el fin de conocer su punto de vista con respecto a la situación en la que se encuentra actualmente la evaluación educativa. Entrevista “Sin evaluación no es posible mejorar”: Antonio Gago
El Mtro. Antonio Gago Huguet fue fundador y director general del Centro Nacional de Evalua- ción para la Educación Superior (Ceneval) duran- te dos periodos de cuatro años, de 1994 a 2002. Cuenta con el título de maestría en Psicología Educativa por la Facultad de Filosofía y Letras de la Universidad Nacional Autónoma de Mé - xico, donde también fue profesor de la Maes- tría en Planeación Educativa y estuvo a cargo del Departamento de Orientación Vocacional. Como parte de su amplia trayectoria, de más de 40 años en el ámbito de la educación y la eva- luación, ha sido director fundador del Centro de Actualización y Formación de Profesores del Colegio de Bachilleres; secretario académico
CENEVAL INVESTIGA 7
Contexto de la evaluación en México
¿Cómo ha evolucionado la evaluación en nuestro país desde sus primeros años?
No hay duda respecto al avance de los procesos para evaluar los resultados de la educación en nuestro país, especialmente en el caso de la educación superior. Al respecto, las aportaciones del Ceneval han sido relevantes. Entre las aportaciones del Ceneval destaco el diseño de los Exámenes Generales para el Egreso de la Licenciatura ( EGEL ) . La aplicación sistemática de estas pruebas ha permitido a las autoridades educativas contar con evidencias respecto a la efi - cacia que logra cada escuela. Con esta evaluación de la eficacia de la escuela, es decir, la medida en la que cada una logra que sus alumnos aprendan lo establecido en los planes y programas de estudio, ahora se tienen elementos para convalidar y reno - var el reconocimiento de validez oficial. Son dos los aspectos fundamentales de la calidad de una escuela. Ya lo hemos dicho: la pertinencia, validez y vigencia de lo que enseñan y la medida en que logran que sus egresados alcancen esos aprendizajes. Es decir, la pertinencia de lo que se enseña, más la eficacia en sus logros.
Usos de la evaluación para la mejora educativa en diferentes niveles
¿En qué sentido la evaluación beneficia a los sistemas educativos o instituciones?
La evaluación beneficia a las instituciones educativas al aportar información sobre la pertinencia de sus funciones y su eficacia con base en la medida de sus logros. Así, puede afirmarse que sin evaluación no es posible mejorar lo que se hace.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
8
¿Qué usos se le puede dar a la información derivada de algún examen del Ceneval?
Los EGEL son un ejemplo muy claro de información que pue- de proporcionar el Ceneval, pero desafortunadamente la au- toridad educativa no la ha aprovechado del todo. Un posible uso de esta información sería el otorgamiento de las cédulas profesionales. Actualmente, conforme al procedimiento que se sigue, basta con que una persona presente un título profesio - nal, cualquiera que sea la institución que se lo haya expedido, y se le otorga la cédula profesional, y no se hace ninguna eva- luación que permita constatar que efectivamente esa persona sabe lo que tiene que saber. Hay algo así como un acto de fe en lo que dicen las instituciones o escuelas que expiden títulos y ese acto de fe no garantiza la idoneidad de quienes reciben la cédula profesional. En ese sentido hay que cambiar procedi - mientos en la SEP y utilizar las evaluaciones del Ceneval para constatar que la persona que solicita una cédula profesional efectivamente es idónea, efectivamente sabe, conoce lo que debe conocer y sabe hacerlo. Esta es una manera de darle más claridad y sustento a las cédulas profesionales, sobre todo en esas carreras que la pro- pia ley establece como reguladas, que requieren cédula profe- sional para ejercerse. Quizá no en todas las carreras, pero en las que regula la ley sí debería hacerse esa convalidación antes de otorgar la célula.
CENEVAL INVESTIGA 9
Beneficios de la evaluación si ésta se ha realizado por varios años
¿Por qué es relevante que las instituciones lleven a cabo la evaluación de sus estudiantes de forma continua, a lo largo del tiempo?
Los procesos de la educación implican a las autoridades gu- bernamentales y a los directivos, al personal docente y a los estudiantes de las instituciones educativas y sus planteles es - colares. Por ende, el desempeño de todos ellos ha de ser eva - luado en forma permanente. Tal evaluación ha de ser interna y externa, evitando la endogamia y la autocomplacencia.
Características que debe cumplir la evaluación para que se obtengan los beneficios mencionados
¿Qué características deben cumplir las evaluaciones para que aporten información que promueva la mejora educativa en sus diferentes niveles? Los juicios derivados de una evaluación han de sustentarse con evidencias objetivas y confiables, obtenidas mediante medicio - nes precisas e interpretaciones válidas y sin prejuicios. Esto se logra con un examen válido, probado y si fuera posible hasta con la observación de la práctica profesional. Esa es la idea: que efectivamente se evalúen los conocimientos, las habilida - des intelectuales y las habilidades de comunicación de cada poseedor de una cédula profesional antes de otorgársela.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
10
Descripción de lo que hace que el Ceneval sea una institución de evaluación de calidad
¿Qué distingue al Ceneval como una agencia de evaluación de calidad?
El Ceneval es una instancia externa a las instituciones educa - tivas que cuenta con personal técnico especializado y una ex - periencia de 26 años en la evaluación de la pertinencia y la efi - cacia de instituciones educativas. La pertinencia de lo que se enseña y aprende, así como la medida en que se logran conoci- mientos y se desarrollan habilidades intelectuales determinan la calidad de una escuela. El Ceneval se ha caracterizado por su neutralidad e imparcialidad al evaluar planteles educativos.
Situación actual y futura de la evaluación educativa
¿Cómo cree que cambiará la educación y la evaluación educativa a causa de la pandemia por covid-19?
Los procesos educativos han de ser diversos y acordes a las cir - cunstancias en que se llevan a cabo. La pandemia de covid-19 es una circunstancia particular muy relevante que ha exigido respuestas acordes para ser pertinentes. La evaluación, a su vez, ha sido congruente con las circunstancias que han condi - cionado los procesos educativos. Tarde o temprano, la pandemia de covid-19 será contro- lada y los procesos educativos y la respectiva evaluación ha - brán de adecuarse a la circunstancia que prevalezca. Por su - puesto, las experiencias derivadas de la pandemia habrán de ser aprovechadas.
CENEVAL INVESTIGA 11
¿Qué ha hecho el Centro para contender con la pandemia?
Básicamente, ha adaptado la forma de evaluar. La pandemia impide la situación de presencialidad, de asistencia física. En ese sentido, el Ceneval, con el examen en línea en alguna ins - talación o el examen desde casa, incluso, se ha adaptado a las circunstancias de la pandemia, la que no sabemos cuándo vaya a terminar. El Ceneval tiene el suficiente conocimiento y cuenta con el personal idóneo para desarrollar cada una de las etapas del proceso de construcción de pruebas, garantizando evaluacio - nes válidas y confiables y eso hay que destacarlo. Ha sabido adaptarse a los problemas y a los impedimentos que la pande- mia ha presentado.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
12
La evaluación en el mundo durante la pandemia
Sofía Velázquez Ramírez Subdirectora de Normas y Estándares Técnicos del Ceneval
como la televisión, radio o internet y múltiples recursos multimedia, con el fin de dar conti - nuidad a los ciclos escolares. Asimismo, se dio seguimiento a los alumnos a través de llamadas telefónicas, redes sociales, servicios de men- sajería y correos electrónicos. Si bien algunos colegios y universidades ya contaban con cierta experiencia en la administración de estos recur- sos, no habían considerado su implementación de forma tan amplia ni habitual. Ante las nue - vas circunstancias, surgió la necesidad de desa- rrollar nuevos sistemas que permitieran llevar a cabo los procesos de enseñanza, aprendizaje y evaluación de manera remota con estándares de calidad comparables a los que se tenían. En este sentido, la situación actual ha motivado un cambio tecnológico acelerado, así como el compromiso por parte de los gobiernos de los países para garantizar que las infraestructuras
A partir de la aparición de la enfermedad por coronavirus denominada covid-19 y su decla- ración como pandemia por la Organización Mundial de la Salud ( OMS ) el 11 de marzo de 2020, se han suscitado innumerables cambios sin precedentes en la vida de las personas en el planeta. Con la entrada a la fase de confina - miento, el sector educativo y el de la evaluación no han sido la excepción, lo cual ha conllevado diferentes retos y oportunidades. Uno de los primeros desafíos por enfrentar fue el cierre de las escuelas, lo que provocó que los programas de actividades en las institucio - nes educativas se desestabilizaran y migraran rápidamente las clases a diferentes medios,
CENEVAL INVESTIGA 13
de telecomunicaciones y digitales permitan dar continuidad a los programas educativos. En cuanto a la evaluación educativa, este contexto ha traído múltiples retos como el aplazamiento o la cancelación de apli - caciones de exámenes al inicio de la pandemia. 1 Las institucio - nes no contaban con las condiciones para realizarlas de forma presencial y carecían de planes alternativos de evaluación a distancia que cumplieran con las medidas de seguridad nece- sarias para atender potenciales problemas de protección de la información, de los sustentantes, de sus respuestas y de los contenidos de las pruebas, pudiendo poner en riesgo la confia - bilidad y validez de los resultados. Durante 2020, diferentes agencias evaluadoras o dedicadas a la investigación educativa, como laAssociation ofTest Publishers ( ATP ), la American Educational Research Association ( AERA ) y otras sociedades científicas y académicas de todo el mundo, or - ganizaron varias conferencias para abordar diferentes temas de interés relacionados con la transformación de la educación y la industria de la evaluación educativa, compartir experiencias res - pecto a la forma en la que se han adaptado a las circunstancias actuales y discutir en torno a estrategias de evaluación alternas que permitan enfrentar las nuevas problemáticas. Uno de los desafíos recurrentes se relaciona con la cober - tura de la educación y de la evaluación en comunidades que no cuentan con los recursos necesarios para responder los exámenes desde casa, lo que implica problemas de equidad. Asimismo, hay instituciones cuya transición al uso de nuevas tecnologías ha sido lenta, principalmente en la implementación de evaluaciones a gran escala. Esto ha llevado a las agencias evaluadoras a plantear un escenario híbrido y flexible en el que
1 En el análisis mundial llevado a cabo por la Unesco en abril de 2020 se indica que “[…] de 84 países estudiados, 58 han pospuesto o vuelto a programar los exámenes, 23 han puesto en marcha métodos para reemplazarlos como pruebas en línea o desde casa, 22 los han mante - nido y 11 los han anulado simplemente.”
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
14
los estudiantes puedan optar por aplicaciones presenciales, apegadas estrictamente a los protocolos sanitarios vigentes para reducir al mínimo el riesgo de contagio. 2 Las evaluaciones a distancia han tenido una buena acepta- ción en la mayoría de los países, principalmente debido a la se- guridad que ofrecen a los sustentantes y a que éstos no deben trasladarse, lo cual ha traído ventajas a las personas con alguna discapacidad y a quienes viven en poblaciones lejanas a los cen- tros de aplicación. Se prevé que su demanda continuará incluso después de la pandemia. Además, como señala Patrick Watts, especialista en seguridad de las pruebas del Project Manage- ment Institute, es difícil eliminar servicios una vez que se han ofrecido, por lo que resulta indispensable continuar reforzando las condiciones de seguridad de esta modalidad de aplicación. Existe gran preocupación en las agencias evaluadoras sobre la seguridad de las pruebas, la cual se ha controlado, hasta cier- to punto, con la supervisión remota. Ésta consiste en monito - rear a los sustentantes, en ausencia de aplicadores, por medio de una cámara web u otros recursos tecnológicos, para vigilar que la prueba se resuelva con integridad, sin que hagan tram- pa o sustraigan información. Si bien esta técnica no es nue - va, como señala la presidenta y directora de operaciones de Yardstick Assessment Strategies, Isabel Gonthier, aún no está del todo desarrollada. En las primeras aplicaciones remotas se utilizó sin contar con un periodo de pruebas suficiente, lo que llevó a detectar aspectos de mejora tecnológica y algunos asuntos legales, que se mencionan a continuación. Los sistemas de vigilancia actuales están basados en in- teligencia artificial y realizan diferentes tipos de verificación,
2 En la actualidad pueden consultarse varios protocolos para la atención de aplicaciones presen- ciales, como el documento Guidelines for online assessment in emergency remote teaching during the COVID -19 pandemic , comunicado especial de la revista Education in Medicine Journal. Rahim, A. F. A. (2020). Guidelines for online assessment in emergency remote teaching during the COVID -19 pandemic. Education in Medicine Journal, 12 (2), 59-68.
CENEVAL INVESTIGA 15
principalmente la autenticación de los sustentantes, la identi - ficación de los momentos en los que se ausentan de la pantalla, la presencia de más de una persona en el espacio de aplicación y la detección del uso de materiales no permitidos. Aunque estos programas resultan de gran utilidad, la recomendación de diversos especialistas es utilizarlos como apoyo, pero seguir contando con personal que realice la supervisión remota en línea, ya que los sistemas no son infalibles y en ocasiones no notifican las conductas inapropiadas o, por el contrario, lanzan alertas falsas que deben ser analizadas y dictaminadas por un supervisor para decidir si debe o no suspenderse el examen. Actualmente existen en el mercado múltiples programas de vigilancia remota, la mayoría de los cuales permiten grabar a los sustentantes durante la aplicación. La recomendación de los especialistas es que las agencias evaluadoras usen esta infor- mación y revisen, al menos, alguna muestra de los videos de forma periódica para identificar posibles conductas inacepta - bles. Esto les permitirá generar políticas de seguridad institu - cionales más robustas, capacitar de mejor manera a los super- visores y comunicar oportunamente a los futuros examinados qué acciones deben evitar durante la aplicación. En cuanto a los aspectos tecnológicos, el uso de esta información ayudará a perfeccionar los programas, pues podrán generarse algorit- mos predictores del comportamiento de los sustentantes para detectar las conductas fraudulentas con mayor precisión. Algunas otras funcionalidades que ofrecen ciertos sistemas consisten en bloquear la computadora del sustentante para evitar las capturas de pantalla, impedir el acceso a otros pro- gramas e imposibilitar la navegación por internet. Ante la am - plia oferta de programas, es importante que las instituciones de evaluación elijan el que mejor se adapte a sus necesidades, que mantengan constante comunicación con el proveedor del servicio de supervisión remota para garantizar que se cumpla con lo esperado e informarle sobre lo que no se está cubriendo y qué se puede mejorar.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
16
Sin embargo, como advierten Foster y Gonthier, no debe perderse de vista que, aunque los sistemas de vigilancia se op- timicen, es necesario incluir otras técnicas que se consideren desde el diseño de los instrumentos de evaluación para limitar su sobreexposición y minimizar el impacto del robo de con - tenidos. Para ello, las agencias evaluadoras están enfocadas en contar con bancos de reactivos robustos que les permitan atender todas las aplicaciones de la prueba utilizando diver - sos recursos tecnológicos, como la generación automática de reactivos y la aleatorización de las opciones de respuesta, de tal manera que puedan ensamblarse versiones distintas al mo - mento de la aplicación (versiones on the fly ). Asimismo, se es - tán revisando las políticas sobre el número de veces que una persona puede presentar el examen y si se permitirá al susten - tante revisar las preguntas que ya ha contestado. Otro gran tema que inquieta a la industria de la evaluación y a sus usuarios es la privacidad de la información de los susten- tantes. Se ha reflexionado respecto a cómo deben recabarse estos datos, qué hacer con ellos, cómo administrarlos y cuándo eliminarlos, lo cual ha desembocado en la necesidad de con- tar con regulaciones amplias y precisas para evitar demandas o violaciones a la ley. 3 En principio, se solicitan datos de autenticación a los exami - nados para confirmar que la persona que va a resolver el exa - men es la misma que se registró y, en ocasiones, para garanti - zar que el sustentante es el mismo durante toda la aplicación. Para poder hacer esto, deben considerarse las legislaciones de cada país respecto a la privacidad de la información, pues en algunos casos el reconocimiento facial puede estar permitido para validar la identidad, mas no para monitorear la actividad
3 Es recomendable consultar las guías y lineamientos disponibles, desarrollados por varias ins- tituciones. Por ejemplo, la ATP se dio a la tarea de generar una guía sobre el uso del video, denominada: Privacy guidance when using video in the testing industry , que está a la venta en el sitio: https://www.testpublishers.org/book-store.
CENEVAL INVESTIGA 17
durante la aplicación. Asimismo, en otros territorios, o para al - gunos grupos religiosos, está prohibido que las personas sean fotografiadas o grabadas, por lo que las agencias evaluadoras deben ofrecen alternativas, como recabar la firma o la huella di - gital, a fin de evitar transgredir los derechos de los sustentantes. Es preciso comunicar y justificar ante las instituciones usua - rias la importancia del proceso de identificación de los exami - nados y la supervisión remota, aclarando que no se afectará la privacidad de los sustentantes ni se accederá a la información personal almacenada en sus equipos de cómputo. Las instan - cias evaluadoras deben dar a conocer a los sustentantes y a las instituciones usuarias cuáles son sus derechos y obligacio - nes. Además, es primordial contar con el consentimiento de los examinados para ser grabados, enfatizando que esto se hace sólo para evitar las conductas fraudulentas. En cuanto a la administración de los datos personales, de- ben establecerse regulaciones respecto a quién tendrá acceso a la información, reduciendo sus cadenas de manejo y limitan- do su revisión al personal que realmente debe trabajar con ella. Asimismo, debe aclararse cuáles son los motivos por los que se dará dicho acceso, cómo se protegerá, cuánto tiempo debe resguardarse, de qué manera se eliminará y bajo qué condi- ciones. Una vez que se cuente con estos estatutos, la agencia evaluadora debe comunicarlos a todo el personal involucrado para que actúe en conformidad. Es necesario contar con un aviso legal sólido y cláusulas cla- ras en los contratos con las instituciones usuarias, que men - cionen las condiciones de aplicación y el tipo de información que se recabará. Asimismo, se debe contar con un plan de res - puesta ante las contingencias que considere las acciones por implementar en caso de que el sustentante tenga fallos en la conexión, si se detectan fugas de información o la publicación de contenidos en redes sociales. Para generar estos documen - tos, los expertos recomiendan contar con asesoría legal espe- cializada, así como la participación del personal de tecnologías
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
18
de la agencia evaluadora, o bien, del proveedor del servicio de supervisión remota. En cuanto a las ventajas que ofrece el uso de la tecnología en la generación de exámenes está la incorporación de reac- tivos de innovación o modelos de inteligencia artificial para lograr evaluaciones más auténticas. Si bien ya se cuenta con avances al respecto, es un terreno que sigue en desarrollo pues, en algunos casos, hace falta recabar una mayor cantidad de datos para crear modelos más sólidos. Otro beneficio de la inteligencia artificial es el ya mencio - nado monitoreo remoto durante la aplicación, el cual ha me- jorado para afinar el análisis de los movimientos corporales y oculares de los sustentantes, así como para detectar sonidos u otros factores ambientales que permitan identificar si hubo comunicación con alguna persona ajena a la evaluación o si se buscó información en fuentes no permitidas. También se es - pera contar en el corto o mediano plazo con programas que puedan calificar y realizar análisis estadísticos de manera com - pletamente automatizada, así como perfeccionar y promover el surgimiento de nuevas plataformas basadas en el aprendizaje adaptativo que incorporen evaluaciones apropiadas para cada alumno generadas al instante. Con base en lo anterior, el incremento sustancial en el uso de la tecnología y la gran cantidad de información que se ge - nera día con día plantea nuevas preguntas para el análisis de datos. La psicometría debe considerar los diferentes tipos de información que se recabará mediante las nuevas aplicaciones, considerando que éstas se están llevando a cabo en diferen- tes contextos, por lo cual una de las principales preguntas por responder es si hay equidad entre la evaluación presencial y remota. Hoy, más que nunca, las agencias de evaluación necesitan establecer una estrecha comunicación con las instituciones educativas. Debe brindarse información valiosa que atien - da las nuevas necesidades, como el creciente interés por los
CENEVAL INVESTIGA 19
exámenes formativos de diagnóstico que monitoreen el pro - ceso de enseñanza-aprendizaje y que detecten las fortalezas y debilidades de los estudiantes, así como la evaluación de habi- lidades digitales y socioemocionales que cada vez resultan más relevantes para las organizaciones y agencias empleadoras en los procesos de selección de candidatos. Además, se requeri - rán comparativos entre los resultados de la educación tradicio - nal y a distancia, así como evaluaciones adecuadas a las nuevas maneras de enseñar. De igual manera, es prioritario establecer una mayor colaboración entre los organismos evaluadores para compartir experiencias y analizar qué se puede preservar, qué se debe adaptar, hacia dónde se pueden ampliar los servicios y en qué se puede innovar.
Lecturas recomendadas
Association of Test Publishers (2021). The case for continued testing and assessment in a Covid-19 World: Excerpts from the experts: A summary of the CEO panel discussion on COVID-19’s impact on the testing in - dustry hosted by the Association of Test Publishers, April 17, 2020 . Re - cuperado de https://www.testpublishers.org/ceo-panel-summary Comisión Económica para América Latina y el Caribe, & Organización de las Naciones Unidas para la Educación, la Ciencia y la Cultura (2020). La educación en tiempos de la pandemia de COVID-19 (Informe CO - VID-19). Recuperado de https://repositorio.cepal.org/bitstream/ handle/11362/45904/1/S2000510_es.pdf Jiao, H., & Lissitz, R. W. (2020). What hath the coronavirus brought to assessment? Unprecedented challenges in educational assessment in 2020 and years to come. Educational Measurement: Issues and Practi - ce, 39 (3), 45-48. Wiley, A., & Buckendahl, C. W. (2020). Your guess is as good as ours. Edu - cational Measurement: Issues and Practice, 39 (3), 49-52.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
20
Examen desde casa del Ceneval
César Antonio Chávez Álvarez Director de Investigación, Calidad Técnica e Innovación Académica del Ceneval
dos en estándares internacionales de calidad, 1 como el Centro Nacional de Evaluación para la Educación Superior, A. C. (Ceneval), en 1994. El uso creciente de las evaluaciones ha re- querido de un acelerado desarrollo de las téc- nicas psicométricas para la construcción, cali- ficación y mantenimiento de las pruebas. Los exámenes a gran escala y con consecuencias de alto impacto para los sustentantes, por ejemplo, requieren del ensamble de un gran número de versiones equivalentes, 2 con la in- tención de evitar que las preguntas o reactivos se filtren, poniendo en riesgo la equidad de los resultados y, por consiguiente, la validez de las inferencias que se realizan a partir de ellos. 1 Martínez-Rizo, F. (2001). “Evaluación educativa y pruebas estandari - zadas. Elementos para enriquecer el debate”, Revista de la Educación Superior, 30(120), pp. 71-85, recuperado de: http://publicaciones. anuies.mx/pdfs/revista/Revista120_S3A3ES.pdf. 2 Se consideran versiones equivalentes aquellas que son ensambladas a partir de las mismas especificaciones de contenido y psicométricas definidas para la prueba.
Adaptación de la evaluación educativa a la circunstancia actual
Durante los últimos años, la evaluación educa - tiva ha tomado un papel muy importante en la sociedad. Las pruebas son utilizadas con dis - tintos propósitos tanto en el ámbito educativo como en el profesional. Si bien en México se reconoce el nacimiento de la evaluación edu- cativa en 1936, con la creación del Instituto Nacional de Psicopedagogía ( INP ), el principal avance de la evaluación educativa, en términos cualitativos, tuvo lugar hasta la década de los noventa, con el surgimiento de instancias pro- fesionales que producen instrumentos basa-
CENEVAL INVESTIGA 21
El uso de herramientas tecnológicas ha sido fundamental para la implementación de mejoras en la evaluación; un buen ejemplo es el desarrollo de pruebas adaptativas por computa - dora ( PAC ), por medio de las cuales los reactivos presentados a cada sustentante son elegidos al momento de la aplicación. Un algoritmo basado en un modelo probabilístico estima la habilidad del sustentante conforme contesta la prueba y elige el siguiente reactivo de un banco de preguntas previamente analizadas y calibradas, 3 considerando cuál es el mejor para medir la habilidad estimada del sustentante hasta ese momen - to. El uso de las PAC garantiza una evaluación más segura y eficiente, pero requiere de una computadora conectada a una red que pueda establecer comunicación continua con el banco de reactivos, para elegirlos a partir de las reglas definidas en el algoritmo. Así como las PAC , existen muchas otras ventajas del uso de la tecnología en el campo de la evaluación educativa, como los formatos de reactivos de innovación o tecnológicamente mejorados, la calificación automática de los exámenes, entre otros. Sin embargo, la infraestructura tecnológica no ha per - mitido la implementación masiva de estas herramientas. De acuerdo con la Encuesta Nacional sobre Disponibilidad y Uso de Tecnologías de la Información en los Hogares de 2019, en México sólo 44% de la población cuenta con una computadora y 56% con conexión a internet. Hay países donde el acceso a tales recursos es mayor, pero la Organización para la Coopera - ción y el Desarrollo Económicos reporta que ninguno tiene una disponibilidad de 100%. Con la pandemia ocasionada por el covid-19, a partir de 2020 la educación se ha transformado al emplear esquemas híbridos o completamente a distancia. Los estudiantes han
3 La calibración se refiere al proceso mediante el cual se estiman las características psicométri - cas de los reactivos.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
22
tenido que adaptarse rápidamente al uso de la computadora y otros medios electrónicos como principales herramientas para continuar sus estudios. Esta situación ha impactado de manera directa en la evaluación educativa. Antes de la pandemia, el Ceneval aplicaba todas sus pruebas a miles de sustentantes que acudían a un centro destinado para responder el examen bajo la supervisión de un aplicador. Esto se podía llevar a cabo bajo dos modalidades, en lápiz y papel , en la que cada susten- tante recibe un cuadernillo de examen y una hoja de lectura óptica en la que registra sus respuestas, y en línea , en la cual se responde la prueba con el apoyo de una computadora. Ambas modalidades, empleadas por el Ceneval y por la ma - yoría de las agencias evaluadoras en todo el mundo, comenza - ron a ser insuficientes debido a las restricciones establecidas por las autoridades sanitarias para evitar los contagios. Con el objetivo de hacer frente a este problema y permitir a los sustentantes y a las instituciones usuarias seguir contando con las evaluaciones, las agencias pusieron en marcha modalidades de aplicación en las que los evaluados pudieran contestar la prueba sin salir de su casa. En particular, el Ceneval desarro - lló la modalidad Examen desde casa , mediante la cual miles de estudiantes han podido seguir con sus procesos de ingreso a partir de la aplicación de los Exámenes Nacionales de Ingreso a la Educación Media Superior ( EXANI - I ), a la Educación Superior ( EXANI - II ) y al Posgrado ( EXANI - III ), así como culminar su pro- ceso de egreso de la licenciatura respondiendo alguno de los Exámenes Generales para el Egreso de la Licenciatura ( EGEL ). La aplicación remota de pruebas no es una idea nueva, se ha desarrollado desde hace más de una década, como lo men- ciona el doctor David Foster, director ejecutivo de Caveon Test Security. 4 Sin embargo, su puesta en marcha de manera
4 Foster, D. (s. f.). An open letter to the testing industry . Recuperado de https://info.caveon.com/ hubfs/Switching%20to%20Online%20Testing/Daves%20Open%20Letter%20%232--To%20 the%20Testing%20Industry.pdf
CENEVAL INVESTIGA 23
acelerada durante los últimos meses ha requerido, por parte de las agencias evaluadoras, esfuerzos importantes relaciona - dos con el desarrollo y la adaptación de nuevas tecnologías que permitan la aplicación masiva de exámenes mediante internet que emulen las condiciones de seguridad que brindan las mo- dalidades tradicionales. Mantener la seguridad de las pruebas ayuda a garantizar que nadie tenga una ventaja indebida, así como a mantener la integridad de los bancos de reactivos, por lo que resulta de gran relevancia para cualquier programa de evaluación, sobre todo para aquellos ligados a consecuencias de alto impacto.
Examen desde casa del Ceneval
En mayo de 2020 el Ceneval puso en marcha el Examen desde casa como una estrategia para seguir brindando el servicio de evaluación educativa a sus diferentes usuarios. Esta estrategia, basada en un navegador seguro, el uso de la cámara web y el micrófono de la computadora del sustentante, incorpora distin - tas medidas de seguridad antes, durante y después de la apli- cación del examen. A continuación, se describen brevemente: › Ingreso e identificación . Para ingresar al examen el susten - tante debe presentar una identificación, que es fotografiada por la cámara web junto con su rostro, con el propósito de corroborar su identidad. › Toma panorámica de la habitación. Antes de iniciar el exa - men, se solicita al sustentante realizar una videograbación panorámica de la habitación en la que realizará el examen, con el objetivo de identificar objetos o materiales no permi - tidos al responder la prueba. › Navegador seguro. El Examen desde casa del Ceneval cuen- ta con una plataforma que bloquea las funcionalidades es- tándar del equipo de cómputo durante la aplicación, lo que
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
24
implica que el sustentante sólo puede acceder a su examen y no se le permite abrir ninguna aplicación o página web durante éste. › Monitoreo continuo de la aplicación. El Examen desde casa graba al sustentante y la pantalla de su computadora du- rante el tiempo que dura el examen. De esta manera, el Ce - neval y la institución usuaria tienen la opción de revisar los videos y tomar las medidas consecuentes en caso de identi - ficar alguna conducta no permitida. › Tiempo de aplicación. El sustentante cuenta con un horario predefinido para responder la prueba. Dispone de un cro - nómetro con el que puede monitorear el tiempo restante para terminar la evaluación. Una vez culminado el tiempo no puede volver al examen. › Múltiples ordenamientos. Para disminuir el riesgo de que los sustentantes copien y evitar la posible construcción y comunicación de claves de respuesta correctas, en cada aplicación se presentan diversos ordenamientos de los re- activos o preguntas del examen. › Navegación por las preguntas. Para limitar la posibilidad de copia de los contenidos del examen y disminuir el riesgo de filtración de información, el sustentante sólo puede navegar por las preguntas en el orden establecido por la computado- ra; esto es, una vez que ha sido vista la pregunta debe con - testarla, ya que al avanzar a la siguiente no puede regresar a las anteriores. › Marcas de agua. Todas las preguntas del Examen desde casa están protegidas por una marca de agua, con la cual el Ce- neval puede identificar el origen de posibles fugas de infor - mación y tomar las acciones pertinentes. › Búsqueda de contenidos de la prueba en la red. El Ceneval ha reforzado la búsqueda continua de preguntas que pudie - ran fugarse del Examen desde casa para poder rastrear el ori- gen de esta información, así como para eliminar del banco de reactivos del examen aquellas que se hayan identificado.
CENEVAL INVESTIGA 25
› Entrega de reportes personalizados. En los reportes de re- sultados individuales se integra la fotografía tomada al exa - minado y a su identificación al inicio de la aplicación, con el fin de que la institución usuaria cuente con una validación adicional de la persona que sustentó el examen, al momen- to de realizar los trámites correspondientes. › Revisión de los resultados del examen. El Ceneval ha re- forzado la estrategia de análisis psicométrico de datos después de la aplicación, con el propósito de identificar patrones de respuesta no esperados que den pistas sobre posibles conductas no permitidas (copia, fuga de informa - ción, entre otros). Con esta nueva modalidad de aplicación, el Ceneval ha lo- grado mantener su compromiso con la evaluación de calidad. Sin embargo, se ha enfrentado con un problema de equidad, pues la falta de una conexión estable a internet y de infraes- tructura de cómputo adecuada afectan significativamente a una proporción importante de estudiantes.
Problema de equidad
Si bien el Examen desde casa del Ceneval hace uso de recur- sos mínimos en cuanto a procesamiento, memoria y conexión a internet, 5 no todos los estudiantes cuentan con una infraes- tructura que cumpla con estos requisitos; incluso, muchos ca- recen de acceso a una computadora personal en su domici- lio. Estas condiciones tienen repercusiones importantes en la implementación de un examen aplicado vía remota, lo cual ha llevado al Ceneval y a sus instituciones usuarias a establecer
5 Windows 8.1, 8.2 o 10 (o MAC 10.12, 10.13, 10.14 o 10.15), 1 GB de memoria RAM , 200 GB de disco duro, internet con velocidad mínima de subida 300 kB/s (no por satélite o dial up ), cámara web y micrófono.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
26
modalidades híbridas, con el fin de que ningún sustentante se vea limitado por las circunstancias de la pandemia. En las aplicaciones híbridas se identifica a los sustentantes en condiciones de aplicar el Examen desde casa , por medio de una herramienta que diagnostica el equipo y la velocidad de conexión a internet. Para quienes no cuentan con estas con - diciones se ofrece la aplicación presencial en lápiz y papel o en línea , pero en grupos reducidos y atendiendo todas las condi- ciones que la autoridad sanitaria determine.
Futuro del Examen desde casa
El confinamiento ha acelerado nuevos mecanismos de interac - ción entre las personas, por lo que la vida después de la pan- demia no será la misma respecto a la que conocíamos antes de ésta. De acuerdo con Wyse y sus colaboradores, 6 la educación no seguirá un camino común: algunas escuelas podrían decidir regresar a un esquema de instrucción presencial; otras conti - nuarían con la enseñanza remota y unas más elegirían un esce - nario híbrido, en el que se combinen ambas aproximaciones. Lo anterior tiene dos implicaciones relevantes para la evaluación educativa: en primer lugar, se requerirá de un uso intensivo de pruebas diagnósticas para identificar el posible impacto de las diferentes modalidades de enseñanza en el aprendizaje de los alumnos; adicionalmente, estas evaluaciones tendrán que seguir adaptándose a las necesidades que las circunstancias ameriten. En el futuro próximo el Examen desde casa continuará sien - do una opción relevante para aplicar las diferentes pruebas que desarrolla el Ceneval, por lo que uno de los compromisos
6 Wyse, A. E., E. M. Stickney, D. Butz, A. Beckler y C. N. Close (2020). “The potential impact of COVID -19 on student learning and how schools can respond”, Educational Measurement: Issues and Practice, 39(3), pp. 60-64.
CENEVAL INVESTIGA 27
del Centro es continuar con la investigación alrededor de esta modalidad, con el fin de realizar mejoras continuas, tanto en la plataforma informática como en la estrategia de evaluación alrededor de ésta, para continuar contribuyendo a la mejora de la educación en el país.
Lecturas recomendadas
Camara, W. (2020). “Never Let a Crisis Go to Waste: Large-Scale Assessment and the Response to COVID-19”, Educational Measurement: Issues and Practice, 39(3), pp. 10-18. Foster, D. (s. f.). An open letter to the testing industry , recuperado de: https://info.caveon.com/hubfs/Switching%20to%20Online%20Testing/ Daves%20Open%20Letter%20%232--To%20the%20Testing%20Indus - try.pdf. Langenfeld, T. (2020). “Internet-Based Proctored Assessment: Security and Fairness Issues”, Educational Measurement: Issues and Practice, 39(3), pp. 24-27. Martínez-Rizo, F. (2001). “Evaluación educativa y pruebas estandarizadas. Elementos para enriquecer el debate”, Revista de la Educación Superior, 30 (120), pp. 71-85, recuperado de: http://publicaciones.anuies.mx/pdfs/ revista/Revista120_S3A3ES.pdf. Wyse, A. E., E. M Stickney, D. Butz, A. Beckler y C.N. Close (2020). “The potential impact of COVID-19 on student learning and how schools can respond”, Educational Measurement: Issues and Practice, 39(3), pp. 60-64.
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
28
Índices de detección de copia para los exámenes del Ceneval
Laura Ortega Torres Subdirectora de Investigación e Innovación del Ceneval
modalidad demanda contar con nuevos meca- nismos de seguridad, diferentes a la vigilancia que en situaciones normales llevan a cabo los aplicadores de forma presencial. Al respecto, el Ceneval ha incorporado distintas medidas, que se llevan a cabo antes, durante y después de la aplicación. Las medidas incorporadas a partir del aná - lisis de información después de que ocurrió una aplicación se denominan análisis foren- se de datos, que se refiere a la investigación de eventos para clasificar, identificar o inter - pretar incidentes raros o inusuales. Esta in - formación y el análisis de las condiciones de la aplicación que pudieran promover o dejar
La pandemia del covid-19 ha impedido reunir a las personas que presentan algún examen del Ceneval en un centro de evaluación, como se ha hecho de manera tradicional. El Centro, consciente de las necesidades de las institu - ciones educativas y de las demandas genera - das por la nueva situación, puso a disposición la modalidad de aplicación examen desde casa , en la que los sustentantes lo resuelven, preci- samente, desde su hogar, sin la presencia fí - sica de un aplicador que los monitoree. Esta
CENEVAL INVESTIGA 29
que aparezcan estos incidentes permiten identificar aque - llas que requieran modificarse y actualizar las políticas y re - gulaciones de las evaluaciones. La seguridad en las aplicaciones es uno de los motivos prin - cipales del análisis forense de datos en evaluación, el cual hace referencia a los métodos, análisis y procesos que pueden detec- tar diferentes comportamientos indebidos de los sustentantes y sus efectos negativos en el proceso de evaluación. Su ob - jetivo es identificar estos comportamientos tan pronto como sea posible para tomar acciones que aseguren que los puntajes de estos sustentantes sean invalidados y que en el futuro este comportamiento sea eliminado o al menos desmotivado para que se disminuya su frecuencia. Como se mencionó, en las aplicaciones presenciales en lu- gares controlados, como las instalaciones de una institución o las del Ceneval , existe la presencia del aplicador, quien tiene entre sus funciones la de monitorear a los sustentantes para disminuir la posibilidad de comportamientos indebidos. Si bien, para la modalidad del examen desde casa, en lo que se refie - re a la seguridad, el Centro ha incorporado distintas medidas, como la corroboración de la identidad del sustentante por me - dio de la fotografía de su identificación junto con su rostro, el bloqueo de las funcionalidades de su equipo de cómputo durante la aplicación del examen para que sólo pueda acceder a éste sin posibilidad de abrir alguna otra aplicación o página web al mismo tiempo, así como la grabación del sustentante y de la pantalla de su computadora durante toda la aplicación del examen, se requieren medidas forenses que permitan detectar comportamientos indebidos rápidamente. En la literatura sobre evaluación, un comportamiento inde- bido se denomina fraudulento y se ha definido como cualquier acción realizada antes, durante o después de la aplicación de una prueba con la intención de obtener una ventaja o alterar sus resultados. Una situación específica es el trabajo coludido , que es cuando dos o más personas trabajan juntas para obtener
NÚMERO 1 | LA EVALUACIÓN EDUCATIVA EN TIEMPOS DE PANDEMIA
30
una ganancia para al menos una de ellas. Esto incluye cuando uno de los sustentantes comparte sus respuestas de manera deliberada, hay comunicación indebida durante el examen o se reciben las respuestas por parte de los profesores. La copia de respuestas es un caso especial de este trabajo coludido, donde un sustentante obtiene las respuestas de otro en el momento de la aplicación, con o sin la participación de éste. Tomando en cuenta la importancia de evitar la ocurrencia de este tipo de comportamientos indebidos para la validez y equidad de la evaluación, se han desarrollado y se continúan desarrollando algoritmos matemáticos para la detección de copia. De manera general, estos algoritmos comparan las res - puestas entre cada pareja de sustentantes que participaron en un mismo proceso de evaluación. Se asume que si dos sus - tentantes contestaron exactamente lo mismo, se equivocaron en las mismas preguntas o en estos casos incluso eligieron la misma opción incorrecta, entonces hubo algún tipo de con - ducta indebida, como copia física, comunicación durante la resolución del examen o acceso previo a las preguntas. Estos algoritmos producen indicadores estadísticos de la ocurren - cia de eventos muy poco usuales, por lo que por sí mismos en realidad son evidencia de una sospecha de copia. Las primeras propuestas sencillamente comparaban el nú- mero de respuestas iguales entre un par de sustentantes, la cantidad de respuestas incorrectas idénticas (sin importar la op - ción elegida) o el número de errores en los que respondieron exactamente con la misma opción de respuesta. Sin embargo, estos valores no se estandarizaban ni se consideraba el nivel de habilidad de los sustentantes quienes, si tienen un alto co - nocimiento del tema, responderán correctamente a la mayoría de las preguntas, por lo que sus respuestas correctas en común serán muy similares a las de otros sustentantes con un cono- cimiento alto del tema e, incluso, es probable que sus respues- tas incorrectas también sean similares. En estas situaciones los
Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52 Page 53 Page 54 Page 55 Page 56Made with FlippingBook Annual report maker