La segunda edición de nuestra revista de evaluación e investigación educativa es un recorrido por los nuevos exámenes del Ceneval.
REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA Número 2 | 2021
INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
CENEVAL INVESTIGA
Revista de evaluación e investigación educativa Ceneval Investiga
Presentación
El Centro Nacional de Evaluación para la Educación Superior (Ceneval) tiene el agrado de presentar a la comunidad de académicos e investigadores en educación, evaluación y al público en general el segundo número de su nueva línea editorial digital sobre temas de evaluación educativa. La revista de evaluación e investigación educativa Ceneval Investiga es una publicación periódica del Ceneval que aparecerá tres veces al año y se constituirá en un foro para mostrar investigacio - nes y ensayos realizados por personal del Ceneval y de otros organismos e instituciones interesa - das en los temas de la educación y la evaluación educativa. En esta ocasión el número está dedicado a exponer algunas de las innovaciones más relevan - tes de nuestra nueva generación de pruebas, que se pondrá en operación a partir de este año. En el mes de julio se estrenarán los nuevos Exámenes Nacionales de Ingreso a la Educación Media Superior ( EXANI - I ), a la Educación Superior ( EXANI - II ) y al Posgrado ( EXANI - III ); a partir de octubre se aplicará el examen diagnóstico al concluir el componente de formación básica establecido en el Marco Curricular Común de la educación media superior ( DOMINA - BACH Básico) y, en diciembre, los nuevos Exámenes Generales para el Egreso de la Licenciatura ( EGEL Plus). En primer lugar, presentamos una entrevista al director general del Ceneval, el Mtro. Antonio Ávila Díaz, en la que describe la nueva generación de exámenes del Ceneval. En este segundo número también se explica cómo se diseñaron los componentes específicos de cada uno de los nuevos EXANI , la importancia de incorporar la evaluación de la comprensión lectora y la redacción indirecta de manera transversal en todas las nuevas pruebas, así como la justificación de otras dos de las principales innovaciones de esta generación de exámenes, la incorporación de reactivos de opción múltiple con tres opciones de respuesta y la evaluación de las habilidades socioemocionales de los sustentantes. A partir de ahora, los académicos e investigadores interesados en los temas de esta revista po - drán enviar sus colaboraciones a: revista.investigacion@ceneval.edu.mx para que sean evaluadas e incluidas en los números subsecuentes de esta publicación. El propósito es que la revista de evaluación e investigación educativa Ceneval Investiga se constituya en un instrumento más que contribuya en nuestro mandato social, que es la mejora de la calidad educativa en nuestro país.
CENEVAL INVESTIGA | REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA
D.R. © 2021 Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19
Col. San Ángel, Alc. Álvaro Obregón C.P. 01000, México, Ciudad de México www.ceneval.edu.mx
Junio de 2021
Contenido
06 12 22 32 42
La nueva generación de exámenes
Una mirada a la construcción de los nuevos Exámenes Nacionales de Ingreso
Evaluación de la Comprensión Lectora y Redacción Indirecta en EXANI, DOMINA-BACH y EGEL PLUS
Tres opciones de respuesta: el número ideal para preguntas de opción múltiple
Medición de habilidades socioemocionales en beneficio de los sustentantes de los exámenes del Ceneval
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
6
La nueva generación de exámenes Entrevista con Antonio Ávila Díaz, director general del Ceneval
Antonio Ávila Díaz fue subsecretario de Planea - ción, Evaluación y Coordinación en la Secretaría de Educación Pública ( SEP ), dependencia en la que ocupó diversos cargos en casi cinco lustros. Fue representante de la SEP ante la Organiza - ción para la Cooperación y el Desarrollo Econó - micos ( OCDE ) en diferentes grupos de trabajo relacionados con la política y las estadísticas educativas. Recibió la condecoración de las Palmas Académicas con el grado de Caballero otorgada por el gobierno de Francia. Estudió la Licenciatura en Economía en la Universidad Nacional Autónoma de México y la Maestría en Ciencias Económicas en la Unidad del Ci - clo Profesional y de Posgrado del Colegio de Ciencias y Humanidades; cursó el Seminario de Evaluación de Proyectos en el Economic Development Institute del Banco Mundial en Washington, D.C., Estados Unidos, y obtuvo el Diplomado en Administración de Empresas
Sociales en el Centro de Estudios Cooperativos para América Latina, en Tel Aviv, Israel. De 2007 a 2013 se desempeñó como di- rector general de Operación de Servicios Edu - cativos en la entonces Administración Federal de Servicios Educativos en el Distrito Federal ( AFSEDF ). Tuvo bajo su responsabilidad la ope - ración de las escuelas de educación básica en la Ciudad de México. Durante su gestión en - cabezó el proceso para la instauración y con - solidación del modelo de Escuela de Jornada Ampliada, que luego fue un referente para el resto del país. Antes fue director general de Planeación, Programación y Evaluación Educa - tiva en la AFSEDF , cargo en el que desarrolló los sistemas integrales de Evaluación de Procesos y Proyectos Educativos y para la Mejora Edu - cativa. Entre 1995 y 2000 fungió como coordi - nador general de representaciones de la SEP en las entidades federativas.
CENEVAL INVESTIGA 7
Además, ha sido articulista en temas económicos y políticos en diversos medios y se desempeñó como profesor de tiempo completo durante casi 20 años en la Facultad de Economía de la Universidad Nacional Autónoma de México ( UNAM ); ade- más, dirigió la revista Economía Informa de dicha facultad. Fue delegado adjunto de la Secretaría de Turismo en Mon - treal, Canadá (1991-1993) y laboró en Nacional Financiera como gerente de Análisis Político y Social (1990-1991); ante - riormente fue consultor del Programa de las Naciones Unidas para el Desarrollo. En relación con la nueva generación de exámenes, Ceneval Investiga entrevista a Antonio Ávila Díaz, quien fue designado como director general del Ceneval para el periodo 2019-2023 en la XIII sesión extraordinaria de la Asamblea General.
Maestro Ávila, ¿por qué diseñar una nueva generación de exámenes?
Desde 2018 el Ceneval prometió a sus instituciones usuarias una nueva generación de instrumentos de evaluación que res - pondiera mejor a las necesidades actuales de la educación me- dia superior y superior del país. Al ser elegido como director general en agosto de 2019, propuse el establecimiento de un órgano interno de planeación del trabajo académico, el cual se denominó Consejo de Planeación Académica ( CPA ). Este Con - sejo ha tenido la encomienda de reflexionar acerca del sentido, la función y las características de los instrumentos de evalua - ción del Ceneval. Fue en el seno del CPA que se establecie - ron los lineamientos para el diseño de una nueva generación de pruebas orientada a ofrecer a las instituciones usuarias de nuestros servicios mejores instrumentos de evaluación, con estructuras renovadas, mejor documentados y técnicamente más sólidos.
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
8
¿Cuáles son las nuevas pruebas?
Las pruebas que están siendo renovadas son los instrumentos estandarte del Ceneval; es decir: Los EXANI-I , II y III , que son los instrumentos que el Ceneval viene ofreciendo desde su fundación como herramientas au - xiliares para apoyar los procesos de ingreso de nuevos estu - diantes a la educación media superior, superior y al posgrado. Como es muy conocido, estos instrumentos ofrecen informa - ción relevante para la ubicación de nuevos ingresantes en los turnos, los grupos y las aulas y también en muchos casos para ayudar a la planeación propedéutica compensatoria para estu - diantes en desventaja. El Examen General para el Egreso de la Licenciatura ( EGEL ) , del cual se ofrecen actualmente instrumentos para 39 diferen - tes carreras profesionales y disciplinas afines, y que ahora se denomina EGEL Plus. El examen DOMINA (llamado ahora DOMINA-BACH ) , que en esta nueva versión tendrá dos instrumentos para dos po- blaciones distintas: › DOMINA-BACH Básico para estudiantes que están por ter- minar la parte común (básica) que todo estudiante debe cursar en la educación media superior y › DOMINA-BACH Avanzado para los estudiantes que están por egresar de la educación media superior. ¿Cuáles son los principales cambios o innovaciones que se incorporarán con la nueva generación de exámenes del Ceneval? Las estructuras de los tres instrumentos principales ( EXANI , EGEL Plus y DOMINA - BACH ) han sido renovadas y, de mane - ra destacada, todos incorporan ahora la evaluación de áreas
CENEVAL INVESTIGA 9
transversales de comunicación (comprensión lectora y redac - ción indirecta). La inclusión de estas áreas transversales manda un mensaje en el sentido de que es importante que los estu - diantes posean estas competencias, pues son indispensables para la vida profesional y social de todas las personas. Asimismo, en nueve de los 39 EGEL Plus serán incluidos los llamados reactivos de innovación, los cuales hacen un uso más intensivo de las capacidades tecnológicas. Estos nueve instru - mentos sólo podrán responderse en computadora (ya sea en línea en la sede de la institución educativa o mediante la modali - dad Examen desde casa). La idea es que paulatinamente se va - yan incluyendo en más EGEL Plus los reactivos de innovación. Además, para complementar la evaluación de los conoci - mientos y las habilidades disciplinares que se evalúan en los nuevos EGEL Plus, el CPA aprobó el desarrollo de una nueva prueba de respuesta construida, la cual evaluará tareas especí - ficas de la profesión y en la que los egresados de las licenciatu - ras deberán de demostrar el logro de determinadas competen - cias disciplinares. Se trata del Proyecto Integrador (Proyecto i) y se espera elaborar uno para cada EGEL Plus. De manera similar a lo que ocurre en el EGEL , el nuevo DOMINA - BACH Básico ofrecerá la posibilidad a las institucio - nes de educación media superior de poder participar en un Padrón de Excelencia de Programas Educativos del Ceneval y los estudiantes destacados podrán hacerse acreedores al Premio Ceneval de Excelencia Académica. A la par de la renovación de las pruebas antes mencionadas se han llevado a cabo muchas otras acciones de renovación dentro del Ceneval. Por ejemplo, en el CPA se decidió volver a poner en marcha la prueba Exprese para la evaluación de la competencia comunicativa escrita; esta prueba es un instru - mento de respuesta construida (ensayo) que se califica me - diante jueces con apoyo en una rúbrica (guía de calificación). De igual manera, debido a la reorientación que se ha tenido en los instrumentos de evaluación, se ha actualizado la normativa
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
10
interna que rige el diseño, la elaboración y la operación de las pruebas y, asimismo, están siendo mejoradas muchas funcio - nalidades de las plataformas electrónicas que se utilizan para elaborar reactivos y ensamblar versiones. Asimismo, se han mejorado los documentos que fundamentan las pruebas, los reportes de resultados, los cuestionarios de contexto y los me - dios de promoción de los instrumentos. Es decir, la renovación de los instrumentos del Ceneval trajo consigo la renovación de otros instrumentos y procedimientos. Otro aspecto destacable, transversal a todos los nuevos ins - trumentos, es la integración de un reporte de habilidades so - cioemocionales, el cual se entregará tanto a los sustentantes como a las instituciones educativas. Este reporte se elabora con la información que los sustentantes emiten en el cuestionario de contexto. En particular, se estarán evaluando las siguientes habilidades socioemocionales: gusto por la escuela, coopera - ción, perseverancia académica, metacognición y compromiso académico. Esta selección está basada en el modelo de la Dra. Camille Farrington y sus colegas de la Universidad de Chicago.
A grandes rasgos, ¿en qué consistió el trabajo de diseño de estos nuevos exámenes?
Se buscó que el Consejo de Planeación Académica estuvie - ra conformado por personal interno con gran experiencia en evaluación y psicometría además de un grupo de asesores ex - ternos. Se pusieron a consideración del CPA los propósitos y fundamentos de los instrumentos así como la mejor manera de cumplir dichos objetivos. En 18 meses el Consejo sesionó en 50 ocasiones. Ahí se aprobaron las nuevas estructuras de las pruebas, las condicio - nes de operación, los reportes de resultados, la integración de los consejos técnicos, las formas de calificación, los cuestiona - rios de contexto, entre otras cosas.
CENEVAL INVESTIGA 11
En los meses recientes, el CPA ha pedido a las áreas acadé - micas encargadas del diseño y elaboración de las pruebas que rindan informes de cómo se están llevando a cabo los cambios propuestos. La metodología del Ceneval ha sido una ventaja para el de - sarrollo de estas nuevas pruebas, pues recoge lo mejor de los conocimientos y la experiencia internacional para la elabora - ción y operación de instrumentos de este tipo. La elaboración de reactivos y el diseño de los instrumentos son realizados con centenares de expertos de todo el país; por ello, la vali - dez y legitimidad de las pruebas está garantizada. Las institu - ciones usuarias lo saben porque muchos de sus docentes y expertos son parte de los cuerpos académicos que auxilian al Ceneval. Todo el trabajo de diseño y elaboración está debida - mente documentado.
¿Cuándo comenzarán a operar los nuevos exámenes del Ceneval?
Los nuevos EXANI comenzarán a aplicarse en julio de 2021; los 39 EGEL , en diciembre del mismo año; el examen DOMINA - BACH Básico, en noviembre de 2021. El Examen DOMINA - BACH Avan- zado, el EXPRESE y el Proyecto integrador no podrán operar sino hasta 2022.
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
12
Una mirada a la construcción de los nuevos Exámenes Nacionales de Ingreso
Lilian Fátima Vidal González, Marisol Higuera Aguilar y Marcela Guadalupe Cano Camacho Dirección de los Exámenes Nacionales de Ingreso, Ceneval Los Exámenes Nacionales de Ingreso ( EXANI ) han formado parte del escenario educativo na - cional por más de dos décadas, tiempo durante el cual sus resultados han proporcionado infor - mación útil y valiosa a las instituciones educa - tivas como parte de sus procesos de ingreso. Actualmente, en el Ceneval se están redi - señando los tres instrumentos que integran la familia de estos exámenes: el EXANI - I , utilizado para orientar procesos de ingreso a la educa - ción media superior; el EXANI - II , para el ingre - so a la educación superior, y el EXANI - III , para ingreso a posgrado. La intención es que, ade - más de auxiliar en la toma de decisiones para
el ingreso, la información que se obtiene de sus aplicaciones sea útil para implementar estrate - gias de fortalecimiento académico en las insti - tuciones educativas. Los tres nuevos EXANI se han concebido como instrumentos que permiten evaluar los conocimientos y habilidades de los sustentan - tes, tanto de aquellos que no están ligados a un momento preciso de la formación académica, pero que son fundamento indispensable para continuar con el desarrollo escolar, profesional y personal, como de los que se vinculan direc - tamente con el currículo y que, por su natura - leza, son esenciales para iniciar los estudios de un siguiente nivel educativo. La figura 1 presenta la estructura general de los nuevos instrumentos. Como se observa, la Comprensión lectora, la Redacción indirecta, el Pensamiento matemático y el diagnóstico del dominio del inglés son áreas comunes y trans -
CENEVAL INVESTIGA 13
versales que se evalúan en los tres exámenes; se orientan a medir habilidades que se desarrollan a lo largo de la formación académica. Las características de la evaluación de las habilida - des trasversales de comunicación se presentan en el artículo “La evaluación de la comprensión lectora y la redacción indi - recta en EXANI , DOMINA - BACH y EGEL PLUS ”, en este número. Por otra parte, en cada uno de ellos se evalúan componen - tes específicos. En el EXANI - I , el Pensamiento científico; en el EXANI - II , módulos asociados a contenidos disciplinares abor - dados en el bachillerato y, en el EXANI - III , la Metodología de la investigación.
Figura 1. Estructuras generales de los nuevos EXANI
El objetivo del presente documento es mostrar la perspec - tiva desde la cual se delineó el diseño de los contenidos espe - cíficos de cada uno de los tres instrumentos.
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
14
EXANI-I
Pensamiento científico
El área de Pensamiento científico evalúa las habilidades desa - rrolladas con el aprendizaje de las ciencias en los estudiantes que concluyeron la educación básica y que están por ingresar al nivel medio superior. A partir de la inclusión de la medición del pensamiento cien - tífico en diversas evaluaciones internacionales, se ha destaca - do continuamente la importancia que tiene la alfabetización científica y cómo es que el conocimiento científico y tecnoló - gico se relaciona con el desarrollo de otras habilidades funda - mentales en el desarrollo académico, particularmente con la comprensión de la forma en que se construye el conocimiento. Desde hace varios años la enseñanza de la ciencia en educa - ción básica ha representado un desafío, pues cambiar el para - digma de la ciencia como un cúmulo de hechos y conceptos ha implicado reformular los planes y programas de estudio. 1 El principal referente para la construcción del área de Pen - samiento científico en el nuevo EXANI - I es el plan y los pro - gramas de estudio vigentes, y sus enfoques para la enseñanza de las ciencias en educación secundaria. El plan de estudios, a este respecto, señala que su propósito es “contribuir en la for - mación de ciudadanos que participen democráticamente, con fundamentos y argumentos en la toma de decisiones acerca de asuntos científicos de trascendencia individual y social 2 para construir una sociedad más justa con un futuro sustentable”.
1 Macedo, B. (2016). Educación científica . UNESCO. http://www.unesco.org/new/fileadmin/ MULTIMEDIA/FIELD/Montevideo/pdf/PolicyPapersCILAC-CienciaEducacion.pdf 2 Plan y programas de estudio para la educación básica. (s.f.). Ciencias. Física. Secundaria 2º . https://www.planyprogramasdestudio.sep.gob.mx/secu-intro-explora-ciencias-fisica.html
CENEVAL INVESTIGA 15
En función de lo anterior, en el nuevo EXANI - I se concep- tualiza al pensamiento científico como las habilidades que se relacionan con el aprendizaje de las ciencias que los estu - diantes desarrollaron a lo largo de la secundaria; se prioriza la evaluación del conocimiento relacionado con las ideas y con - ceptos que conforman las bases del pensamiento científico y tecnológico, así como la capacidad de aplicarlos en diferentes contextos.
Tabla 1. Estructura del nuevo EXANI - I
Número de reactivos
Áreas del examen
Área de conocimientos específicos
1. Pensamiento científico
30
Áreas transversales
2. Comprensión lectora
30
3. Redacción indirecta
30
4. Pensamiento matemático
40
Subtotal de reactivos (Cinco áreas que son componentes del puntaje global) 5. Evaluación diagnóstica de inglés como lengua extranjera (no se considera para el cálculo del puntaje global)
130
30
Total de reactivos
160
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
16
EXANI-II
Módulos de conocimientos específicos
Como se señaló previamente, las áreas específicas que se in - cluyen en el nuevo EXANI - II permiten evaluar el conocimiento disciplinar de una serie de asignaturas que, de acuerdo con los campos de formación disciplinar de la educación media supe - rior, se articulan con los contenidos iniciales abordados en el siguiente nivel educativo. Para ello se diseñaron 15 módulos (figura 2).
Figura 2. Módulos específicos del nuevo EXANI - II
CENEVAL INVESTIGA 17
El EXANI - II tiene una estructura flexible, las instituciones usuarias eligen, de entre los 15 módulos, los dos que mejor se adapten a las carreras para los cuales realizan los procesos de ingreso. De esta forma, además de auxiliar la toma de decisio - nes iniciales, el examen posibilita que se diseñen e implemen - ten acciones propedéuticas o de fortalecimiento académico durante los primeros meses de la formación universitaria.
Tabla 2. Estructura del nuevo EXANI - II
Número de reactivos
Áreas del examen
Módulos de conocimientos específicos
24
1. Módulo 1
24
2. Módulo 2
Áreas transversales
30
3. Comprensión lectora
30
4. Redacción indirecta
30
5. Pensamiento matemático
Subtotal de reactivos (Cinco áreas que son componentes del puntaje global) 6. Evaluación diagnóstica de inglés como lengua extranjera (no se considera para el cálculo del puntaje global)
138
30
Total de reactivos
168
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
18
Dado que el propósito de cada módulo es medir los cono- cimientos disciplinares que un egresado de educación media superior obtiene en su formación final del bachillerato, la se - lección de los contenidos responde a la estructura curricular de las asignaturas, en función de la relación que antecede a la formación subsecuente, es decir, los conocimientos que son indispensables para iniciar la formación de nivel superior. En virtud de lo anterior, los fundamentos documentales de la construcción de los módulos específicos del nuevo EXANI - II se exponen a continuación: Documentos oficiales para la educación media superior ( EMS ) en México, como son el marco curricular común ( MCC ) y los planes y programas de estudio del Bachillerato General. La Secretaría de Educación Pública ha consolidado desde 2008 un marco de conocimientos que deben tener los egresados de cualquier subsistema de bachillerato del país; por lo tanto, la evaluación se ciñe a lo descrito en los documentos emitidos por la SEP al respecto. Planes de estudio del bachillerato general, bachillerato tec - nológico y del Colegio de Bachilleres, por parte de la SEP , y de la Escuela Nacional Preparatoria y el Colegio de Ciencias y Hu - manidades de la UNAM . Los de ésta última se consideraron por ser una entidad que emite certificados de bachillerato, de gran impacto en el ámbito nacional en la educación media superior y superior. Con base en la clasificación mexicana de planes de estudio por campos de formación académica, para la delimitación del objeto de medida se analizó la correspondencia de las asigna - turas de bachillerato y los diversos campos disciplinares de la formación propedéutica con los campos de formación acadé - mica en los primeros semestres de la educación superior.
CENEVAL INVESTIGA 19
EXANI-III
Metodología de la investigación
El área de Metodología de la investigación tiene la función de evaluar el conocimiento acerca de la indagación y la construc - ción científica de los sustentantes que ingresan a un posgrado. En los estudios de posgrado se profundizan, especializan y generan conocimientos, y la investigación constituye un factor transversal académico que permite la producción de conoci- mientos nuevos y la solución práctica de problemas. En este sentido, la evaluación de la metodología de la investigación en el EXANI - III se centra en los contenidos comunes y esenciales que todo aspirante a ingresar a un posgrado debe poseer, pues, aunque como parte de sus procesos de ingreso la mayoría de las instituciones solicita un trabajo documental de investiga - ción previo, el dominio de los conocimientos teóricos que dan sustento a éste es de vital importancia para todo el proceso de formación. La delimitación de los contenidos por evaluar se hizo en función de los programas de estudio de diversas asignaturas de educación superior vinculadas con los conocimientos teóricos y metodológicos relacionados con la investigación. En el nue - vo EXANI - III , el área de Metodología de la Investigación evalúa el “conocimiento del conjunto de técnicas, métodos, enfoques y procedimientos que un estudiante de posgrado debe seguir durante el desarrollo de una investigación para la producción de conocimiento objetivo”.
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
20
Tabla 3. Estructura del nuevo EXANI - III
Número de reactivos
Áreas del examen
Área de conocimientos específicos
1. Metodología de la investigación
40
Áreas transversales
2. Comprensión lectora
30
3. Redacción indirecta
30
4. Pensamiento matemático
30
Subtotal de reactivos (Cinco áreas que son componentes del puntaje global ) 5. Evaluación diagnóstica de inglés como lengua extranjera (no se considera para el cálculo del puntaje global)
130
30
Total de reactivos
160
CENEVAL INVESTIGA 21
Nuevos EXANI: una evaluación integral
Los dominios específicos evaluados en cada nuevo EXANI per- miten la obtención de información precisa de los conocimientos de los aspirantes a ingresar a las instituciones que los aplican. Los resultados obtenidos de la evaluación de estos aspectos, además de contribuir en la toma de decisiones relacionadas con el ingreso, serán un referente para la formación propedéu - tica, con lo cual esta nueva generación de instrumentos posi - bilitará que las instituciones obtengan resultados integrales de los sustentantes. Las instituciones que los utilicen conocerán con mayor detalle a quienes ingresan a sus planteles y podrán utilizar la información para la mejora.
Lecturas recomendadas
Aprendizajes clave para la educación integral. Plan y programas de estudio para la educación básica. (2017). https://www.planyprogramasdestudio. sep . gob .mx/descargab l es/ APRENDIZAJES_CLAVE_PARA_LA_ EDUCACION_INTEGRAL .pdf OECD (2019). PISA 2018 Assessment and Analytical Framework, PISA . OECD Publishing, Paris. https://doi.org/10.1787/b25efab8-en. Planes de estudio de referencia del Marco Curricular Común de la Educación Media Superior. (2017). http://sems.gob.mx/work/models/sems/ Resource/12491/4/images/libro.pdf
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
22
Evaluación de la Comprensión Lectora y Redacción Indirecta en EXANI, DOMINA-BACH y EGEL PLUS
Salvador Saulés Subdirector de Exámenes Transversales del Ceneval
¿Por qué es importante evaluar la comprensión lectora y la redacción (de forma indirecta)? Las personas cuentan con al menos cuatro for - mas para comunicarse con eficacia en distintas situaciones. Pueden hablar o escuchar, o pue - den leer o escribir. Estas habilidades se pueden organizar según el código que se emplee (oral o escrito) o el papel que tenga el usuario en el circuito comunicativo (receptivo o productivo). Para escuchar y hablar se utiliza una vía oral; y para leer y redactar, una vía escrita. De igual modo, cuando se escucha o se lee, se juega un papel receptivo (o interactivo, dirían algunos) en la comunicación; y cuando se habla y se re - dacta, se juega uno productivo. Dadas las características de las pruebas que realiza el Ceneval (impresas y digitales), de las cuatro habilidades que se pueden utilizar para comunicarse con eficacia en distintas situacio - nes se eligieron dos: leer y escribir. Con esta
Dentro de la nueva generación de exámenes del Centro Nacional de Evaluación para la Edu- cación Superior (Ceneval), que comienzan a aplicarse a partir del segundo semestre del año 2021, se incorpora la evaluación de dos habi - lidades de lenguaje y comunicación de suma importancia: la comprensión lectora y la redac - ción indirecta. Estas áreas se integran, con sus diferentes particularidades, a cada una de las ya tradicionales, pero ahora renovadas pruebas que aplica el Centro: los EXANI (Exámenes Na - cionales de Ingreso), los DOMINA - BACH y los EGEL Plus (Exámenes Generales para Egreso de Licenciatura). En este artículo abundaremos sobre la importancia de incorporar la evalua - ción de la comprensión lectora y la redacción indirecta en estas pruebas y detallaremos los rasgos que conforman sus definiciones.
CENEVAL INVESTIGA 23
selección se cubre la evaluación de habilidades de lenguaje y comunicación desde un papel productivo (escribir) y desde uno receptivo o interactivo (leer). La importancia de evaluar la lectura y la escritura radica también en su carácter de transversalidad. Las habilidades transversales son transferibles; es decir, pueden ser ubicadas en distintas situaciones en las que se requiera, por ejemplo, comprender un mensaje, buscar información, formular una hipótesis, interpretar argumentos, elegir un procedimiento adecuado, dominar un vocabulario, redactar una explicación, reconocer una propiedad común en situaciones diferentes, for - mular generalizaciones, organizar el conocimiento adquirido en una construcción teórica, entre otras. La comprensión lectora y la expresión escrita ocupan un lu - gar destacado y pueden ser enfocadas desde una perspectiva tanto horizontal como vertical. En términos horizontales, estas habilidades no son exclusivas de una asignatura, disciplina o profesión, ya que proporcionan herramientas útiles para cual - quier área del conocimiento. Esto cobra especial importancia en las pruebas EGEL Plus, que miden las habilidades de quien egresa de una licenciatura, pues tanto un abogado como un in - geniero o un filósofo, en la singularidad de sus disciplinas, utili - zan la lectura para identificar, interpretar o evaluar información y escriben textos que cumplen con criterios determinados para enfrentar una situación comunicativa específica, y que siguen la normativa académica en términos sintácticos y ortográficos. En términos verticales, estas habilidades no corresponden únicamente a un específico nivel educativo, pues sólo se ajustan sus características, exigencias y propósitos conforme el público objetivo cambia. Con esta perspectiva se incorporó la evalua - ción de la comprensión lectora y la expresión escrita (desde un modelo de redacción indirecta) en las pruebas EXANI , que mi - den las habilidades de los sustentantes que desean ingresar al nivel medio superior ( EXANI - I ), superior ( EXANI - II ) y posgrado ( EXANI - III ); de igual forma se agregó en el DOMINA - BACH .
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
24
Es importante precisar un punto acerca de la evaluación de la expresión escrita. Como se sabe, esta habilidad general - mente es valorada con pruebas directas, llamadas también de respuesta construida . En ellas, el sustentante escribe un texto con ciertos criterios específicos. Este mecanismo proporciona información muy amplia sobre el proceso de escritura; sin em - bargo, lleva tiempo realizarlo y valorarlo. Otra forma de evaluar la escritura es de manera indirecta. De este modo, se concibe la escritura como un proceso que comprende al menos tres etapas: planificación, textualización y revisión. En esta última, el escritor selecciona y discrimina pasajes textuales que cum - plen con el fin comunicativo que se espera lograr. Las pruebas denominadas de redacción indirecta se sustentan precisamente en esta etapa y su característica central es que el sustentante selecciona pasajes textuales que cumplen con ciertas directri - ces. Esta prueba indirecta proporciona un conocimiento igual - mente valioso al de las pruebas directas; además, sus resultados se devuelven en tiempos más cortos. En los EGEL Plus, en el DOMINA - BACH y en los EXANI , las pruebas de expresión escrita son evaluadas de forma indirecta. Dos razones adicionales podrían sustentar más aún la im - portancia de evaluar la comprensión lectora y la expresión es - crita. La primera de ellas proviene de la Encuesta Nacional de Lectura que recolectó información sobre las prácticas lectoras de la población mexicana. La encuesta se realizó hace más de 10 años y arrojó los siguientes datos: 75% de las personas con algún grado universitario dijo entender “Todo” o “Mucho” de lo que lee y, por lo tanto, 25% expresó entender “Poco” o “Nada”. Los resultados a esta pregunta podrían dar la impresión de que el panorama es positivo (desde su percepción, tres cuartas partes de quienes cuentan con estudios universitarios dijeron comprender todo o mucho de lo que estaban leyendo). Sin em - bargo, una cuarta parte de quienes han cursado al menos 12 años de escolarización dicen entender poco o nada de lo que leen. Desde este punto de vista, se puede concluir que es
CENEVAL INVESTIGA 25
urgente medir realmente las habilidades de comprensión lec - tora de los individuos a lo largo de su escolarización, y con ello verificar si estas percepciones empatan con la demostración efectiva a la hora de resolver algún tipo de tarea de lectura. La segunda razón se supedita a la necesidad de conocer el nivel de habilidades de lenguaje y comunicación que muestran las personas que han cubierto sus diferentes niveles de esco - larización con miras a insertarse en el mercado laboral. En la Encuesta Nacional de Egresados se consultó a 12 869 partici - pantes de universidades públicas y privadas sobre cuáles habi - lidades obtenidas en sus estudios universitarios, más allá de las propias de cada carrera, han sido las más útiles durante su vida profesional y, sobre todo, para la obtención del primer empleo. Los resultados son indiscutibles: en una escala de 0 a 100 pun - tos, la habilidad valorada como la más útil fue la comunicación verbal, con un promedio de 90.87 puntos. Con 90.73 le sigue la toma de decisiones. Todo ello sin considerar la carrera es - pecífica estudiada. Si bien, como se dijo al principio de este apartado, dentro de la comunicación verbal el usuario puede hablar, escuchar, leer o escribir, la evaluación de las habilidades de comprensión lectora y de expresión escrita puede ser un buen indicador para mostrar el nivel de dominio que poseen los sustentantes en estas áreas y así tomar las acciones necesa - rias que se requieran en caso de necesitar fortalecerlas. Por las razones expuestas, la incorporación de la evaluación de las habilidades de lenguaje y comunicación dentro de las pruebas EXANI , DOMINA - BACH y EGEL Plus que aplica el Centro cobra una significación de suma importancia.
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
26
¿Cómo se define a la comprensión lectora?
Con base en la revisión exhaustiva de referentes tanto nacio - nales como internacionales que evalúan esta habilidad, y con base en los propósitos específicos de los exámenes que realiza el Ceneval, se definió la comprensión lectora como la habili - dad que permite a la persona identificar, interpretar y evaluar la forma y el contenido de diversos materiales escritos en los ámbitos de estudio, literario y de participación social. Acontinuación, se abunda en la explicación de esta definición. La habilidad que permite a la persona… La elección del término habilidad no se limita a pensar única y exclusivamente en la lectura como una herramienta utilitaria para resolver distintas actividades. Buena parte de esta tarea está cubierta cuando quien lee identifica información conteni - da en los diversos materiales escritos; sin embargo, también su - cede cuando interpreta o evalúa, como se explica más adelante. Además, esta habilidad se puede fortalecer y mejorar a lo largo de la vida, lo que implica un aprendizaje permanente no sólo en los años de escolarización sino fuera del ámbito académico. identificar… Identificar información es uno de los tres procesos que se eva - lúan en el constructo de comprensión lectora. Es el más utilita - rio de la habilidad y se relaciona con actividades de “leer para hacer”. interpretar… Interpretar es el segundo proceso incluido en el constructo. La premisa de la que se parte es que no todo está dicho en los tex - tos; por lo tanto, el lector debe rellenar los huecos semánticos que todo texto contiene. Esos huecos son las inferencias; es decir, la base de la interpretación. La interpretación puede estar
CENEVAL INVESTIGA 27
sustentada en un nivel básico, en el llamado código de superficie , o alcanzar niveles más complejos del denominado texto base . En concreto, para la comprensión lectora se entenderá la inter - pretación como un apartado central de la comprensión. y evaluar la forma y el contenido… Parte central de la comprensión de un texto es el nivel de valo - ración o evaluación que se puede hacer tanto de su forma como de su contenido. Es el tercer proceso incluido en el construc - to de comprensión lectora. Esta evaluación presenta distintos niveles en función del bagaje personal de conocimientos con que cuenta quien lee. Cuando tiene un conocimiento limitado sólo podrá emitir una valoración del mismo modo limitado; por el contrario, si cuenta con un conocimiento profundo acerca del tema que está leyendo podrá valorar o evaluar de manera más profunda la forma y el contenido del texto. Es importante precisar que como los propósitos que llevan a los lectores a acercarse a los textos son tan diversos, la ma - yoría de las veces el límite entre estos procesos es muy sutil. En este constructo, los tres procesos se conciben como inte - rrelacionados e interdependientes, y asignar reactivos a uno de ellos es muchas veces una cuestión de fina discriminación sobre sus características más destacadas y sobre el enfoque que típicamente se le da. de diversos materiales escritos en ámbitos de estudio, literario y de participación social Además del lector y de los procesos que se involucran en la lectura, los contextos en los que se lee son también una forma de organizar la prueba. En esta definición se busca incluir al menos tres ámbitos que tradicionalmente son considerados: el de estudio, el literario y el de participación social (que incluye aquellos materiales escritos que permiten al individuo partici - par en su comunidad).
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
28
¿Cómo se define a la redacción indirecta?
Tal como se realizó con la comprensión lectora, para definir la redacción indirecta se revisaron de forma exhaustiva múltiples referentes tanto nacionales como internacionales. A partir de dicho análisis y con base en los propósitos específicos de los exámenes que realiza el Ceneval, se define la redacción indi - recta como la habilidad que permite a la persona seleccionar pasajes textuales que cumplan con las convenciones grama - ticales, semánticas y ortográficas propias de la lengua, a partir de un propósito determinado de comunicación, considerando la audiencia a la que van dirigidos, ya sea en el ámbito de estu - dio o de participación social. Acontinuación, se abunda en la explicación de esta definición. La habilidad que permite a la persona… Se eligió el término habilidad porque, como en lectura, escribir es una capacidad que se puede aprender y mejorar a lo largo de la vida. Si bien en estas pruebas la habilidad no se demuestra escribiendo, sí lo hace cuando se identifican textos que cum - plen con criterios específicos. seleccionar pasajes textuales… Como se mencionó, la habilidad que se busca medir es la ca - pacidad para seleccionar pasajes textuales con características determinadas. Los pasajes textuales pueden ir desde frases y oraciones hasta párrafos o textos más amplios con una unidad propia. que cumplan con las convenciones gramaticales, semánticas… Uno de los aspectos centrales de la producción escrita es la elaboración de textos que cumplan con las condiciones de coherencia y cohesión. Es importante enfatizar que los reac - tivos de las pruebas no se vinculan con la explicación teórica o memorística de dichos conceptos (ni de ningún otro), sino,
CENEVAL INVESTIGA 29
por el contrario, se busca que las personas seleccionen pasajes textuales con las condiciones de coherencia y cohesión que se sustentan en aspectos gramaticales y semánticos. y ortográficas propias de la lengua… La producción escrita que se evalúa en estas pruebas, y cuyo fin es diagnosticar determinado grado académico, debe cum - plir con las distintas convenciones o normativas propias de la lengua. El uso de estas convenciones, sin necesariamente co - nocer la norma lingüística establecida de forma prescriptiva e histórica, se evidencia con el conocimiento contextual de los aspectos centrales de la ortografía, término utilizado aquí en sentido amplio porque incluye puntuación, acentuación y or - tografía grafofonética. a partir de un propósito determinado de comunicación y conside - rando la audiencia a la que van dirigidos… Esta frase hace referencia a que la expresión escrita forma par - te de un proceso en el cual quien escribe busca cumplir deter - minado propósito comunicativo, considerando a su audiencia. En la redacción indirecta, el sustentante seleccionará géneros textuales que cumplan con propósitos comunicativos determi - nados por una situación dada. No todos los géneros textuales cumplen el mismo propósito, van dirigidos a los mismos públi - cos ni utilizan los mismos registros; por lo tanto, el sustentante tiene un abanico de posibilidades para elegir la que mejor se ajusta a la situación comunicativa solicitada. ya sea en el ámbito de estudio o de participación social Los propósitos comunicativos son diferentes en los distintos contextos. No es lo mismo un género textual utilizado en el ámbito de estudio que uno empleado fuera de la escuela. No obstante, los aspectos gramaticales y ortográficos son iguales para todos los contextos.
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
30
A manera de cierre
Leer implica seleccionar información, interpretar y comprender un texto, así como evaluar su contenido y su forma. Escribir implica revisar pasajes que cumplen con objetivos comunica - tivos, y que siguen una normativa de coherencia y lógica, ade - más de una ortografía académica adecuada. Leer y escribir para el Ceneval no es valorar un conocimiento memorístico de fe - chas, autores o de reglas sintácticas o normas ortográficas. En el Centro tenemos la convicción de que la evaluación innova- dora que se está realizando de estas habilidades transversales traerá información muy valiosa a los distintos sustentantes que desean saber realmente cuáles son las habilidades de lenguaje y comunicación que demostraron tener.
Lecturas recomendadas
Cassany, D., Luna, M. y Sanz, G. (2008). Enseñar lengua. Graó. College Board (2020). Writing and Language Test. PSAT/NMSQT and PSAT 10. https://collegereadiness.collegeboard.org/psat-nmsqt-psat-10/inside- the-test/writing-language Denyer, M., Furnémont, J., Poulain R. y Vanloubbeeck, G. (2007). Evaluación del dominio de competencias . En Las competencias en la educación, un balance (pp. 145-190) . Fondo de Cultura Económica. Flotts, M. P., Manzi, J., Jiménez, D., Abarzúa, A., Cayuman, C. y García, M. J. (2015). Informe de resultados TERCE (Tercer Estudio Regional Comparativo y Explicativo. Logros de aprendizaje. Laboratorio Latinoamericano de Evaluación de la Calidad de la Educación, Unesco. https://unesdoc.unesco.org/ark:/48223/pf0000243532 Guzmán, C. y Saulés, S. (noviembre, 2019). La expresión escrita en alumnos de 6° de primaria en México: realidades y desafíos [Ponencia]. XV Congreso Nacional de Investigación Educativa COMIE, Guerrero, México. Mullis, I., & Martin, M. (2015). PIRLS 2016. Assessment Framework. 2a ed. Boston College. https://timssandpirls.bc.edu/pirls2016/downloads/ P16_Framework_2ndEd.pdf Murray, T. S., Kirsch, I. S., & Jenkins, L. B. (1995). Adult Literacy in OECD Countries: Technical Report on the First International Adult Literacy Survey. U.S. Department of Education. https://nces.ed.gov/pubs98/98053.pdf
CENEVAL INVESTIGA 31
National Assessment of Educational Progress (2017). Writing Framework for the 2017. National Assessment of Educational Progress. U.S. Department of Education. https://www.nagb.gov/content/nagb/assets/documents/publications/ frameworks/writing/2017-writing-framework.pdf National Assessment of Educational Progress (2019). Reading Framework for the 2019 National Assessment of Educational Progress . U.S. Department of Education. https://files.eric.ed.gov/fulltext/ED604485.pdf Organisation for Economic Co-operation and Development (2019), PISA 2018 Assessment and Analytical Framework , PISA, OECD Publishing. https://doi.org/10.1787/b25efab8-en. Reimers, F. (2006). Lectores competentes y expansión escolar en México. Continuidad intergeneracional y desafíos de política. En Goldin, D. (Ed.), Encuesta Nacional de Lectura. Informes y evaluaciones (pp. 173 – 202). Conaculta/UNAM. Snow, C. E. (2002). Reading for Understanding. Toward a Research and Development Program in Reading Comprehension. RAND Education. https://www.rand.org/pubs/monograph_reports/MR1465.html Universidad del Valle de México y Centro de Opinión Pública (2018). Encuesta Nacional de Egresados 2018. https://profesionistas.org.mx/wp-content/uploads/2018/09/Encuesta- Nacional-de-Egresados-2018.pdf Van Dijk, T. A., & Kintsch, W. (1983). Strategies of Discourse Comprehension. Academic Press.
NÚMERO 2 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL
32
Tres opciones de respuesta: el número ideal para preguntas de opción múltiple
Laura Ortega Torres Subdirectora de Investigación e Innovación del Ceneval
La mejora en los formatos de preguntas ya existentes y el desarrollo de nuevos formatos han sido procesos continuos en la industria de la evaluación para contar con mediciones más precisas e informativas. Los formatos utilizados de manera tradicional han sido las preguntas de opción múltiple y las abiertas. En la actualidad, gracias a los avances tecnológicos que han per - mitido administrar pruebas en computadora, se han desarrollado reactivos en los que las per - sonas interactúan con el contenido lo que, de acuerdo con algunos expertos, evoca de una manera más realista el uso de una competencia o habilidad. Si bien es cierto que estos reacti - vos pueden ser más atractivos, se debe valorar si este formato añade información a la que se obtiene con la medición a través de los tra - dicionales, además de asegurar que todas las personas por evaluar cuenten con acceso a una computadora.
La nueva generación de instrumentos de eva - luación del Centro Nacional de Evaluación para la Educación Superior (Ceneval) incluye los Exámenes Nacionales de Ingreso a la Educa - ción Media Superior ( EXANI -I), a la Educación Superior ( EXANI - II ) y al Posgrado ( EXANI - III ); el examen diagnóstico que se aplica al concluir el componente de formación básica establecido en el marco curricular común de la educación media superior ( DOMINA - BACH Básico), y los Exámenes Generales para el Egreso de la Li - cenciatura ( EGEL Plus). Una de las innovaciones en estas nuevas pruebas es el uso de preguntas o reactivos de opción múltiple con sólo tres op - ciones de respuesta, en lugar de las cuatro que se habían utilizado tradicionalmente.
Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52 Page 53 Page 54 Page 55Made with FlippingBook Converter PDF to HTML5