Descubre las innovaciones de la nueva generación de exámenes del Ceneval en la tercera edición de nuestra revista de evaluación e investigación educativa.
REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA Número 3 | 2021
INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
CENEVAL INVESTIGA
Revista de evaluación e investigación educativa Ceneval Investiga
Presentación
El Centro Nacional de Evaluación para la Educación Superior (Ceneval) presenta a la comunidad de académicos e investigadores en educación, evaluación y al público en general el tercer número de su nueva revista digital especializada en temas de evaluación e investigación educativa. Ceneval Investiga , cuya periodicidad es cuatrimestral, busca constituirse en un foro para mostrar investiga - ciones y ensayos realizados por personal del Centro y de otras instituciones y organismos intere - sados en dichos temas. En esta ocasión se continúa con la exposición de algunas de las innovaciones más relevantes de nuestra nueva generación de pruebas, que se ha puesto en operación este año. En julio se es - trenaron los nuevos Exámenes Nacionales de Ingreso a la Educación Media Superior ( EXANI - I ), a la Educación Superior ( EXANI - II ) y al Posgrado ( EXANI - III ); a partir de noviembre se aplicará el examen diagnóstico al concluir el componente de formación básica establecido en el Marco Curricular Común de la Educación Media Superior ( DOMINA - BACH Básico) y, en diciembre, los nuevos Exá - menes Generales para el Egreso de la Licenciatura ( EGEL Plus). En primer lugar, el rector del Sistema de Universidades Estatales de Oaxaca ( SUNEO ), doctor Modesto Seara Vázquez, describe brevemente el modelo de estas universidades, así como su expe - riencia en la evaluación de los aprendizajes de estudiantes. Se explica asimismo cómo se diseñaron el nuevo DOMINA - BACH Básico y el EGEL Plus Disciplinar del Proyecto Egresa de Licenciatura, se describe el Examen de Expresión Escrita en Español ( EXPRESE ) y se describe la justificación de dos de las principales innovaciones de esta generación de exámenes: los detalles técnicos para el esta - blecimiento del Modelo Único para la Evaluación de las Habilidades Socioemocionales y la incorpo - ración de reactivos de innovación en los EGEL Plus. Los académicos e investigadores interesados en los temas de esta revista pueden enviar sus colaboraciones a revista.investigacion@ceneval.edu.mx para que sean evaluadas e incluidas en números subsecuentes. El propósito es que Ceneval Investiga se constituya en un instrumento más que contribuya con nuestro mandato social: mejorar la calidad educativa de nuestro país.
CENEVAL INVESTIGA | REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA
D.R. © 2021 Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19
Col. San Ángel, Alc. Álvaro Obregón C.P. 01000, México, Ciudad de México www.ceneval.edu.mx
Octubre de 2021
Contenido
06 18 26 34 42 52
Entrevista al rector Modesto Seara Vázquez
El nuevo DOMINA-BACH Básico
El EGEL Plus Disciplinar del Proyecto Egresa de Licenciatura
EXPRESE Examen de Expresión Escrita en Español Evaluación de las habilidades para comunicarse de forma escrita
Hacia un modelo único para la medición de habilidades socioemocionales en el Ceneval
Los reactivos de innovación
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
6
Entrevista al rector Modesto Seara Vázquez
El doctor Modesto Seara Vázquez, rector del Sistema de Universidades Estatales de Oaxaca (Suneo), es un catedrático reconocido en el ámbito internacional. Es investigador nacional emérito del Sistema Nacional de Investigadores, profesor titular C de tiempo completo de Dere - cho Internacional y Relaciones Internacionales ( UNAM ) y presidente de honor de la Asociación Mexicana de Estudios Internacionales. De acuerdo con lo publicado en su biografía (http://www.modestoseara.com/index.html#), 1988 fue un año decisivo en su vida: un anti - guo alumno suyo de la Facultad de Derecho de la UNAM , Heladio Ramírez López, entonces go - bernador de Oaxaca, le pidió un proyecto para una universidad en la ciudad de Huajuapan de León, en la región mixteca oaxaqueña, ubicada al norte del estado, en una zona alta, deteriora- da, sin vegetación y de difícil acceso. El proyecto
consistía en construir una universidad que res - pondiera a las necesidades locales. Con este proyecto se dio inicio a un nue - vo modelo, concebido como una universidad para el desarrollo. La definición que le dio a la universidad buscaba trascender su función educativa y entenderla como un instrumento cultural para transformar la sociedad, median - te la enseñanza, investigación, difusión de la cultura y promoción del desarrollo. La Uni - versidad Tecnológica de la Mixteca inició sus labores en 1990, con 48 alumnos, cinco pro - fesores y dos aulas, en medio de un terreno bautizado por los humoristas locales como “el desierto de Seara”. Fue el inicio de una gran aventura que llevó a un proyecto académico universitario sin precedentes. En 2016, la UTM tenía alrededor de 220 profesores-investiga - dores de tiempo completo, 1 500 estudiantes,
CENEVAL INVESTIGA 7
diez licenciaturas e ingenierías, 15 maestrías, cinco doctora - dos y ocho institutos de investigación, en 208 hectáreas con más de 100 edificios. Pero lo más importante es la calidad: sus alumnos rutinariamente consiguen los primeros lugares nacionales en las pruebas que hace el Ceneval de ingeniería en computación, electrónica, industrial o ciencias empresaria - les. En 2008 y 2011, sus estudiantes consiguieron también los primeros lugares en pruebas internacionales. El Suneo cuenta ya con diez universidades (Universidad Tecnológica de la Mixteca, Universidad del Mar, Universidad del Istmo, Universidad del Papaloapan, Universidad de la Ca - ñada, Universidad de la Sierra Juárez, Universidad de la Sierra Sur, Universidad de la Costa, Universidad de Chalcatongo y NovaUniversitas), con 17 campus que cubren la totalidad del territorio del estado de Oaxaca. En una visita reciente (17 y 18 de junio) a tres campus del Sistema de Universidades Estatales de Oaxaca ( SUNEO ), el Ce - neval tuvo la oportunidad de platicar ampliamente con el Dr. Modesto Seara Vázquez, rector general de este sistema edu - cativo. Aquí se presenta la entrevista realizada en el marco de dicha visita.
¿Qué es para usted una institución de educación superior de buena calidad?
En una institución que se limita a la educación superior, en sus tres niveles básicos, el factor fundamental que condiciona o determina su calidad es la calidad del profesorado, que es el factor más importante de todos. Pero también hay factores complementarios, como la calidad de las instalaciones y los servicios, los equipos de todo tipo, las bibliotecas y redes in - formáticas, el ambiente (tipo campus o tipo urbano, de las que yo llamo universidades-cemento) y el modelo académico.
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
8
Para mí, una verdadera universidad no es una simple escue - la, por buena que sea en esa función. Yo defino a la universidad como un instrumento cultural para transformar y desarrollar la sociedad. Por ello, debe asumir muchas funciones, entre las cuales están la enseñanza, la investigación, la difusión de la cultura y la promoción del desarrollo, además de ofrecer una serie de servicios a la sociedad. También debe asumir su res - ponsabilidad como transmisora de valores sociales positivos para formar ciudadanos responsables. La universidad no puede ser simplemente capacitadora de profesionales, por buenos que éstos sean en su campo de especialidad.
¿Podría describir brevemente el modelo de las universidades del SUNEO ?
Partiendo de la definición que ofrecí de universidad como instrumento cultural de transformación y desarrollo de la so - ciedad, elaboramos el modelo que toma en cuenta la realidad oaxaqueña. No consideramos conveniente duplicar la oferta educativa de la capital y nos orientamos al interior del estado, en donde se encuentran los jóvenes cuya situación socioeco - nómica es de las más deterioradas del país. Para superar esas condiciones diseñamos un modelo orientado a conseguir la más alta calidad, y ello requiere la creación de un sistema inten - sivo, de tiempo completo y dedicación exclusiva que, además, trate de corregir las deficiencias formativas que traen consigo los alumnos. Entre los rasgos que se pueden destacar están los cursos propedéuticos para seleccionar a los alumnos que reúnen el mínimo de condiciones y habituarlos a la disciplina de este mo - delo universitario, así como el reforzamiento del conocimien - to de las materias básicas en los diversos campos del conoci - miento; el estudio de materias formativas como Historia del
CENEVAL INVESTIGA 9
Pensamiento Filosófico, para explicar cómo la humanidad se enfrentó al problema del conocimiento a lo largo de la histo - ria, y Teoría General de Sistemas, para desarrollar la capacidad de abstracción y de ordenación de la realidad. También se hizo obligatoria la lectura de una novela al mes y la presentación de un comentario escrito de cuatro páginas para mejorar la capa - cidad de comunicación e inculcar el hábito de la lectura. En cada plan de estudios se incluye al menos una materia de administración de empresas para que los alumnos sepan cómo manejar una empresa y no se limiten únicamente a la búsqueda de un empleo; estudio del idioma inglés, en el que se establece como norma general de calidad en su enseñanza, que los pro - fesores sean nativos del idioma que enseñan, lo cual también funciona para los idiomas optativos (chino mandarín, francés y alemán); estancias profesionales en instituciones o empresas afines a su carrera, con una duración de 2 meses cada verano, al concluir el 6º y el 8º semestres; titulación optativa de tesis pro - fesional o Examen General de Conocimientos con el Ceneval. La mayoría de nuestros campus se ubican en bosques cer - canos a las ciudades; dentro de ellos se aplican normas estric- tas de mantenimiento y limpieza. Cuentan con los servicios de cafetería, enfermería, auditorio, biblioteca, redes de cómputo, laboratorios y talleres, planta de tratamiento de aguas residua - les, vivienda para un número limitado de profesores, despachos individuales para profesores, espacios deportivos, etcétera. Asimismo, se está extendiendo la producción de energía so - lar; la Universidad Tecnológica de la Mixteca es prácticamente autosuficiente y la Universidad del Istmo ha avanzado mucho en ese camino. Además, se inició la puesta en servicio de de - puradoras de agua para que todos los universitarios puedan disponer del líquido de forma gratuita, lo que evita el consumo de refrescos o aguas de sabores con edulcorantes. La primera se concluyó en la Universidad de la Sierra Sur y el mismo pro - yecto se va a replicar en el resto de los campus.
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
10
¿Cómo evalúa el SUNEO el logro de resultados de aprendizaje de sus alumnos en los programas educativos? En un sistema de trabajo intenso como el que tenemos debe haber procedimientos de evaluación frecuentes para evitar que los alumnos se limiten a asistir a las clases y dejar el estu - dio para el periodo de exámenes finales, como sucede en otros modelos de universidad. Más o menos cada tres semanas se realizan exámenes parciales, lo que los obliga a estudiar desde el principio. Complementariamente, los profesores evalúan a los alumnos tomando en cuenta los trabajos de clase, las parti - cipaciones en clase y las prácticas. Los exámenes finales tienen un mayor peso. La asistencia a clases es obligatoria y se requie - re un mínimo de 85% de asistencia. El idioma inglés es un requisito, pero no forma parte del plan de estudios, debido a que los alumnos llegan con niveles de conocimiento diferente (se les clasifica en el momento de su ingreso) y también avanzan a un ritmo diferente. Para titularse requieren aprobar el examen TOEFL . El control de lecturas se realiza cada mes y el alumno debe cumplir con dicho requisito para poder presentarse a exámenes. Los EGEL del Ceneval son el principal método que tenemos para medir nuestro nivel de competitividad al final de la carrera, dado que miden y comparan resultados. Particularmente, nos permiten comparar la calidad entre universidades en su con- junto y no se limitan a comparar el nivel de conocimiento entre un número restringido de alumnos. De modo indirecto evaluamos nuestra calidad en función de la empleabilidad de los estudiantes, en los planos nacional e internacional. No nos referimos al nivel administrativo de
CENEVAL INVESTIGA 11
los empleos, puesto que el origen socioeconómico de nues - tros alumnos los coloca en desventaja al no formar parte de las élites sociales y económicas. Los contratan por su capacidad profesional y por los valores positivos que han asimilado en los años universitarios.
¿Cuáles han sido los beneficios de aplicar los exámenes EGEL en sus universidades?
La calidad de la enseñanza debe medirse esencialmente por los resultados y esa es la función de los EGEL . La comparación de los niveles de calidad entre individuos sólo permite medir y comparar la calidad de la enseñanza, pero los EGEL nos permi- ten comparar generaciones completas, y eso es lo que refleja el valor académico relativo de las universidades. Las calificaciones de excelencia para individuos no tienen el mismo interés para nosotros porque, aunque miden el nivel académico de éstos, que puede ser muy bueno, no reflejan el del conjunto completo. Para nosotros, los EGEL y los numerosos premios recibidos en los ámbitos nacional e internacional han sido fundamenta - les para probar nuestra calidad académica, dado que no esta - mos en condiciones de gastar en difusión lo que invierten otras universidades. Es así como se ha dado a conocer que las Universidades Estatales de Oaxaca están entre las mejores en Computación, Mecatrónica, Empresariales, Enfermería, Administración Turís - tica, Relaciones Internacionales, etcétera. Como es natural, los resultados varían cada año, pero se sostiene un nivel de calidad.
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
12
¿Cómo es la inserción laboral de los egresados de las instituciones del SUNEO ?
Al principio fue difícil, pues los empleadores preferían a jóve - nes “con mejor presentación” (traje y corbata) y procedentes de universidades “con prestigio” (léase privadas). Posteriormente, cuando las universidades empezaron a ser más conocidas, esos empleadores se quejaron de que nuestros alumnos eran “muy presumidos” y preferían irse a otros lados. Al preguntarles cuánto les ofrecían como salario me respondían que lo que era normal (según ellos). Les dije que con esos salarios no podían esperar otra cosa. En términos generales, nuestros alumnos no tienen problema para encontrar empleo. Unos prefieren quedarse en su tierra, sobre todo muchos de la carrera de Enfermería, quienes dicen que primero tienen que cumplir con sus comunidades. Otros son muy demandados fuera del país, particularmente los de En - fermería y los de las carreras relacionadas con la computación. También hay un número creciente de egresados en la admi - nistración federal del estado de Oaxaca.
¿Cómo promueven las universidades del SUNEO la movilidad social?
Ésta es una función esencial de las Universidades Estatales de Oaxaca y su eficacia está determinada por la calidad profesio - nal. Nos aseguramos de que nuestros alumnos reciban una ca - pacitación profesional de alta calidad y una sólida formación, con valores positivos, que los vuelven muy competitivos y les aseguran su inserción en la sociedad. Esto, además de resolver su problema personal, los convierte (lo que es más importante para nosotros) en factores eficaces de transformación social.
CENEVAL INVESTIGA 13
En la medida en que nuestras universidades actúan como factores de movilidad individual y de transformación social, han asegurado la estabilidad de la sociedad, que no puede ser estática, sino dinámica. Estos papeles no se aseguran sólo con la función de en - señanza, sino que se refuerzan con otras funciones como la investigación científica, la difusión cultural, la promoción del desarrollo y la prestación de servicios a las comunidades.
¿Qué opina de los rankings internacionales?
Para decirlo claramente, es una farsa gigantesca, una estrategia de mercadotecnia para algunas universidades y un buen nego - cio para las empresas que los elaboran, incluyendo periódicos nacionales y extranjeros. Las empresas dedicadas a elaborar rankings han proliferado por todo el mundo y cada una utiliza diversos criterios, que son limitados y diferentes, y llevan a resultados muy distintos, aunque a veces coincidan en algunas universidades. Basta leer la lista de supuestas universidades de excelencia, tanto nacio - nales como internacionales, para darse cuenta de la falta de seriedad de tales clasificaciones. En una parte de esas clasificaciones, para ser incluidos, se requiere hacer una inversión que no todas las universidades consideran conveniente. Esto es particularmente cierto para algunos diarios mexicanos, de los que hemos recibido las ofertas de espacios publicitarios y la información de los cos - tos correspondientes. Rara vez se evalúa la calidad académica terminal y cuando se habla de resultados en realidad se hace referencia a los niveles altos que los egresados de algunas instituciones alcanzan en las empresas, que generalmente son jóvenes procedentes de
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
14
sectores sociales privilegiados que nacen “con la mesa pues - ta”. Si de los puestos administrativos se pasa a los de carácter técnico, donde lo que vale es la calidad académica, el asunto es diferente. En los medios internacionales se han denunciado las prácti - cas corruptas de universidades que falsifican datos, contratan profesores de prestigio temporalmente, para los periodos de evaluación, y presentan como profesores de planta a simples conferencistas con una tenue relación con las universidades en cuestión. Frecuentemente se olvida que las universidades son insti - tuciones vivas, que no pueden mantener una calidad unifor - me porque ésta depende de ciertas variables, como la calidad de los profesores, que cambia con el tiempo (para bien o para mal), la estabilidad de la propia institución, que puede atra - vesar periodos de agitación que afectan a su funcionamiento (rectores incompetentes o corruptos, organizaciones sindica - les agresivas, movimientos estudiantiles espurios, politización que convierte la cátedra en tribuna, interferencia de gobiernos no democráticos, incrustación de grupos parasitarios que se reparten el presupuesto, y last , but not least , lo que he definido como “mediocratización por sedimentación”, en la cual las su - cesivas direcciones van dejando capas de burócratas o acadé - micos mediocres que se perpetúan en sus puestos). La terminología utilizada respecto a las universidades tam - bién induce a confusión. Así, a veces se habla de grandes uni - versidades para referirse en realidad a universidades grandes, que no es lo mismo; universidades importantes, que pueden no ser las de mejor calidad, pero cuya presencia en un país las convierte en fundamentales, mientras que universidades de más calidad, pero pequeñas, no tienen tanta trascenden - cia. También podría hablar de las universidades de “vamos a…”, que se la pasan anunciando grandes proyectos científicos, pero no llegan nunca a universidades de “hemos…”, que presenten
CENEVAL INVESTIGA 15
resultados. En fin, podríamos enriquecer el vocabulario “califi - catorio” de las universidades con el término de “universidades zombis”, para referirnos a instituciones que hace tiempo per - dieron su relevancia y pretenden vivir de glorias pasadas.
¿Cómo debería ser un sistema de evaluación para la educación superior en México?
Para nosotros ( SUNEO ), el Ceneval es muy importante para la dimensión educativa, en particular con los EGEL , porque ade - más de servirnos para demostrar la calidad de nuestras univer - sidades, también nos sirve para analizar las fallas que podemos tener en las diversas áreas del conocimiento y buscar las correc - ciones necesarias. Finalmente, se debe recordar que los procedimientos de medición de la calidad universitaria vigentes abarcan sólo la dimensión educativa y una verdadera universidad es mucho más que eso.
¿Cuáles son los retos actuales para las universidades del SUNEO ?
Son múltiples los retos que enfrentamos, pues se trata de un sis - tema que, tres décadas después de haberse iniciado, sigue siendo un proyecto en construcción. Hay que continuar con la amplia - ción de la infraestructura y del equipamiento para responder a la creciente demanda. En algunos casos (Universidad de la Costa en Pinotepa Nacional, Universidad de Chalcatongo, Universi - dad del Istmo en Juchitán y NovaUniversitas en Ocotlán), se debe ampliar la oferta educativa para rentabilizar la infraes - tructura ya existente y ofrecer un abanico más amplio de op - ciones educativas.
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
16
Hemos tenido un gran apoyo por parte de los gobiernos fe - deral y estatal, en lo que se refiere a infraestructura y equi pa- miento, pero contradictoriamente se ha congelado la creación de plazas docentes, lo que se ha traducido en una carga de trabajo intolerable para los profesores y en la posibilidad de ampliar la oferta educativa. Debe tomarse en cuenta que nuestras uni - versidades responden a un modelo intensivo de trabajo, que además no se limitan a la dimensión educativa, sino que tie - nen otras dimensiones socialmente fundamentales, como la investigación científica y las de tipo cultural y promoción del desarrollo, que están produciendo un impacto transformador muy grande en las comunidades.
¿Qué opina acerca de la gratuidad en la educación superior pública?
Mi opinión al respecto puede parecer contradictoria a primera vista, pero creo que es totalmente lógica: las universidades no son solamente el instrumento principal para asegurar el desa - rrollo económico y social de un pueblo, sino que son el único instrumento que garantiza el progreso y la posibilidad de recu - peración tras las crisis que aparecen cíclicamente. El desarrollo se puede fomentar a base de inversiones, pero cuando aparece una crisis que paraliza la economía, sea cual sea su causa, la recuperación sólo es posible si hay una población de alto nivel cultural. Un ejemplo claro de ello son Alemania y Japón, que fueron derrotados y destruidos tras la Segunda Guerra Mun - dial, y que en poco tiempo se situaron a la cabeza de los países desarrollados. Para asegurar el desarrollo (económico y social) de los paí - ses, el único instrumento eficaz es la educación, que tiene que ser de calidad. La inversión en educación y en el terreno más amplio de la ciencia y la tecnología es lo que asegura la in - dependencia y soberanía de los pueblos. Para ser congruentes
CENEVAL INVESTIGA 17
con las anteriores afirmaciones, hay que llegar a la conclusión de que la educación no es un gasto, sino una inversión, la in - versión más rentable y, por ello, debe ser gratuita. Eso es totalmente verdad en una sociedad igualitaria, en la que las cargas y los beneficios se reparten equitativamente. Pero cuando nos encontramos en una sociedad desigual, con unos pocos ricos y muchos pobres, la gratuidad de la enseñan - za llevaría a la paradoja de asegurar educación gratis, con el dinero del pueblo, a los hijos de las clases privilegiadas y eso no nos parece muy justo, así que lo correcto sería tener cuo - tas diferenciadas, desde las que cubren el costo total, hasta la gratuidad completa y el apoyo con becas de mantenimiento. Las cuotas se deben determinar en función de la capacidad de pago y no sólo del mérito académico, sin perjuicio de man - tener un control sobre la calidad. La función del Estado no es otorgar diplomas que sirvan de prueba de conocimientos que no se tienen. Si lo hiciéramos así, estaríamos creando inválidos sociales permanentes.
Junio de 2021
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
18
El nuevo DOMINA-BACH Básico
María del Rosario Cruz Rodríguez y Marcela Guadalupe Cano Camacho Dirección de los Exámenes Nacionales de Ingreso, Ceneval En atención a su compromiso por impulsar ins- trumentos de evaluación de vanguardia y ofre - cer servicios acordes con las necesidades de sus usuarios para contribuir a la calidad de la educación en México, el Centro Nacional de Evaluación para la Educación Superior (Cene- val) se dio a la tarea de diseñar una nueva ge - neración de instrumentos que respondan a los requerimientos educativos actuales. Así nació el proyecto denominado DOMINA -BACH , cuyo objetivo es aportar información acerca de los conocimientos disciplinares y las habilidades de los estudiantes en dos momen - tos clave de su formación en el bachillerato. Esta evaluación tiene como antecedente el
DOMINA Competencias Disciplinares ( DOMINA -CD ), diseñado por el Ceneval en 2014 con el propósito de brindar información a las institu - ciones formadoras de bachilleres; tan solo en 2019 se empleó para evaluar a 48 mil susten - tantes de 56 instituciones en educación media superior públicas y privadas. No obstante, dado el contexto educativo actual, resultaba necesaria una actualización. El modelo de la Nueva Escuela Mexicana busca favorecer el desarrollo integral de niñas, niños, adolescentes y jóvenes, y orienta la construc - ción de una trayectoria educativa que asegure hasta los 23 años de edad una línea progresiva de desarrollo de determinadas competencias. Al visualizar el modelo y su carácter progresivo en la formación de competencias, la evaluación, al ser un proceso continuo, es una herramienta latente, pues para conocer el avance es necesa - rio identificar los contenidos, conocimientos y
CENEVAL INVESTIGA 19
habilidades que ya han sido logrados por los estudiantes y que pueden potenciar su desempeño académico, o bien aquellos que están en proceso y deben ser focalizados como áreas de mejora. Es así que el desarrollo del DOMINA-BACH se alinea a la or- ganización curricular actual de los planes y programas de estu - dio de las diversas modalidades y subsistemas establecida en el Marco Curricular Común ( MCC ) de la educación media superior ( EMS ), fundamentado en la Reforma Integral de la Educación Media Superior ( RIEMS ). Para dar cumplimiento a su objetivo, el proyecto está inte - grado por dos instrumentos de carácter diagnóstico: el DOMINA - BACH Básico y el DOMINA-BACH Avanzado. El primero se en - camina a la evaluación del componente de formación básica (común y obligatoria) del bachillerato (segundo año o su equi - valente), mientras que el segundo evaluará el componente de formación propedéutica de este nivel educativo (tercer año o su equivalente). El DOMINA - BACH Básico entrará en operación en noviem - bre próximo, mientras que el Avanzado estará a disposición de las instituciones usuarias en el otoño de 2022.
DOMINA-BACH Básico
El DOMINA-BACH Básico es un examen diagnóstico que evalúa los conocimientos disciplinares comunes y las habilidades de comprensión lectora y redacción indirecta adquiridos por los estudiantes de bachillerato al concluir el componente de for - mación básica establecido en el MCC de la EMS , antes de que los estudiantes cursen las áreas de formación propedéutica. Su propósito es ofrecer información a las instituciones for - madoras de bachilleres acerca del nivel de dominio de los co - nocimientos disciplinares comunes y de las habilidades de comprensión lectora y redacción indirecta, en español e inglés,
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
20
adquiridos por los estudiantes de bachillerato al concluir el componente de formación básica establecido en el MCC , para orientar la toma de decisiones remediales. De esta forma, el exa - men está dirigido a estudiantes que están por concluir el segun - do año del bachillerato o su equivalente. El carácter diagnóstico del examen reside en que explora los conocimientos y las habilidades que poseen los alumnos, con la intención de detectar posibles dificultades o áreas de opor - tunidad en su proceso de enseñanza aprendizaje y así ofrecer información de juicio que permita la implementación de accio - nes de mejora, como la intervención docente, los cursos reme - diales, etcétera. El instrumento no está ligado a decisiones de egreso del nivel medio superior o de aprobación de asignatu - ras, sino a un proceso de retroalimentación institucional. El siguiente apartado describe el procedimiento para la de - terminación de los contenidos del examen, particularmente lo relacionado con los campos disciplinares, ya que lo relativo a las habilidades de comunicación en español e inglés, al tratar - se de áreas transversales que se evalúan en el DOMINA-BACH Básico y en otros instrumentos del Ceneval, se aborda en otros números de Ceneval Investiga .
Delimitación del objeto de medida de los campos disciplinares
Debido a que el examen evalúa los conocimientos disciplina - res de una serie de asignaturas que se relacionan con el pro - ceso de formación académica en los dos primeros años del bachillerato, la selección de los contenidos por evaluar res - ponde a la estructura curricular del MCC de la EMS . En virtud de lo anterior, la delimitación de las áreas tiene fundamento en lo siguiente:
CENEVAL INVESTIGA 21
a) Documentos oficiales para la EMS en México: MCC ; planes de estudio de referencia del componente básico del MCC de la EMS y diversos acuerdos. La Secretaría de Educación Pú - blica ( SEP ) y la Subsecretaría de Educación Media Superior ( SEMS ) han consolidado desde 2008 la atención de los desa - fíos de cobertura, calidad y equidad en la EMS a través de la RIEMS . En ella se establecen, entre otros puntos importan - tes, las estructuras curriculares para la formación académica de los estudiantes de este nivel educativo permitiendo que coincida toda la diversidad de subsistemas en propósitos co - munes. Por lo tanto, la evaluación de las áreas disciplinares de este instrumento se ciñe a lo descrito en los documentos oficiales emitidos por las instancias correspondientes. b) Programas de estudio de la Dirección General de Bachillera - to ( DGB ): bachillerato general y bachillerato tecnológico; del Colegio de Bachilleres ( CB ); del Colegio Nacional de Educa - ción Profesional Técnica (Conalep), de la Dirección Gene - ral de Educación Tecnológica Agropecuaria y Ciencias del Mar ( DGETAyCM ), y de la Dirección General de Educación Tecnológica Industrial y de Servicios ( DGETI ) por parte de la SEP y la SEMS . Programas de estudio de la Universidad del Valle de México ( UVM ). Y, por último, programas de estudio de la Escuela Nacional Preparatoria ( ENP ) y del Colegio de Ciencias y Humanidades ( CCH ) de la Universidad Nacional Autónoma de México ( UNAM ). Los de ésta última se con - sideraron por ser una entidad emisora de certificados de bachillerato y con un gran impacto en la educación media superior nacional.
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
22
El análisis de esta información permitió generar una pro - puesta de evaluación de cuatro campos disciplinares y dos ha - bilidades de comunicación. Para el primer caso, se realizó un mapeo curricular de los contenidos de las asignaturas imparti - das en los diversos subsistemas en cada campo. Así, se identi - ficaron aquellos que son parte del componente de formación básica y, por ende, comunes a todos los subsistemas dentro de los dos primeros años de la EMS. Dicha propuesta de asigna - turas a evaluar por campo disciplinar fue elaborada de manera colegiada y sancionada en el Consejo de Planeación Académica del Ceneval. Una vez aprobada la propuesta, se convocó a dos diferen - tes Comités Académicos de Diseño para cada asignatura para revisar los contenidos identificados como comunes, determi - nar aquellos que son clave y preponderantes en la formación de nivel medio superior previo al inicio de la formación pro - pedéutica, definir de manera detallada las áreas y subáreas consideradas en el instrumento de evaluación y diseñar las especificaciones que guían la elaboración de los reactivos de opción múltiple. Finalmente, en atención a lo referido en la metodología del Ceneval para el desarrollo de instrumentos de evaluación, los productos de estos cuerpos colegiados fueron sometidos a consideración de un Comité Académico de Validación del Ob - jeto de Medida para garantizar la congruencia entre los ele - mentos que lo integran: perfil referencial, marco de sustento, estructura y especificaciones de reactivos.
CENEVAL INVESTIGA 23
Estructura del DOMINA-BACH Básico
De las actividades anteriores se obtuvo una estructura integra - da por seis áreas:
› Cuatro que corresponden a conocimientos disciplinares mí - nimos que, de acuerdo con la organización curricular, de - ben alcanzarse al término del componente de formación básica del bachillerato establecido en el MCC de las EMS . Estos campos disciplinares se encuentran a su vez confor - mados por distintas asignaturas que son de carácter común y obligatorio en todas las modalidades o subsistemas del bachillerato, las cuales se reflejan como subáreas en el ins - trumento de evaluación. › Una que atiende a las habilidades de comunicación de com - prensión lectora y redacción indirecta en español, que se han identificado como esenciales para la vida escolar de los estudiantes y que se relacionan estrechamente con el lo - gro académico. Se evalúan no sólo a partir de los referen - tes curriculares nacionales propios de la EMS , sino también con base en importantes referentes internacionales como la prueba PISA de la OCDE o el Laboratorio Latinoamericano de la Unesco. › Una que atiende a las habilidades de comunicación de com - prensión lectora y redacción indirecta en inglés como len - gua extranjera, que se evalúan en un nivel B1 del Marco Común Europeo de Referencia para las Lenguas. Cada asignatura o habilidad se evalúa a través de 20 reacti - vos de opción múltiple con tres opciones de respuesta. La lon - gitud total del examen es de 280 reactivos que los estudiantes resuelven en dos sesiones, cada una de 4 horas con un receso de 2 horas entre ellas. El instrumento de evaluación se aplica en cualquiera de las tres modalidades disponibles en el Cene - val (impresa, en línea o Examen desde casa ).
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
24
Tabla 1. Estructura del DOMINA-BACH Básico
Área (Campo disciplinar/Habilidad)
Subárea (Asignatura/Habilidad)
Reactivos por subárea
Reactivos por área
Álgebra
20
Matemáticas
Geometría y Trigonometría
20
60
Precálculo
20
Introducción a las Ciencias Sociales
20
Ciencias sociales
40
Historia de México
20
Comprensión lectora
20
Habilidades de comunicación en español
40
Redacción indirecta
20
Química
20
Ciencias experimentales
Física
20
60
Biología
20
Ética
20
Humanidades
40
Literatura
20
Comprensión lectora
20
Habilidades de comunicación en inglés
40
Redacción indirecta
20
Total de reactivos
280
280
CENEVAL INVESTIGA 25
El DOMINA-BACH Básico, que el Ceneval pone a disposición de las instituciones de educación media superior, es un instrumen - to de evaluación que se sustenta en estándares internacionales y que proveerá de información externa que permita reconocer los procesos de aprendizaje consolidados y aquellos en los que es preciso poner énfasis para el logro de sus objetivos.
Lecturas recomendadas
Allalouf, A. & Alderoqui-Pinus, D. (2012a). Guest Editorial: Dissemination of Measurement Concepts and Knowledge to the Public. Educational Mea - surement: Issues and Practice , 31(2), 1. Allalouf, A. & Alderoqui-Pinus, D. (2012b). Museum ExhibitiononTesting and Measurement: Scientific Principles, Social Impact of Testing, and Dialo - gue With the Public. Educational Measurement: Issues and Practice , 31(2), 14–20. Subsecretaría de Educación Media Superior-Secretaría de Educación Públi - ca (2019). La Nueva Escuela Mexicana: principios y orientaciones pedagó - gicas , México, SEP, disponible en: http://dfa.edomex.gob.mx/sites/dfa. edomex.gob.mx/files/files/NEM%20principios%20y%20orientacio% C3%ADn%20pedago%C3%ADgica.pdf
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
26
El EGEL Plus Disciplinar del Proyecto Egresa de Licenciatura
Alejandra Zúñiga Bohigas y Laura Tayde Prieto López Dirección de los Exámenes Generales para el Egreso de la Licenciatura, Ceneval En la educación superior, específicamente en el nivel de licenciatura, no existe una estruc - tura uniforme de los currículos de institución a institución, de modo que los planes de estudio son cambiantes y ponen énfasis en distintos aspectos. Si bien los estudiantes pueden beneficiarse de la multiplicidad de ofertas de las institucio - nes de educación superior ( IES ), autores como Medina y Guzmán sostienen que lo importante es que en el área de concentración (lo específi - co de la carrera) se encuentren los aspectos in- dispensables de la profesión y que en las áreas
transversales los estudiantes obtengan las ex - periencias de aprendizaje idóneas para la vida profesional y social. Lo anterior alude también a las expectati - vas de empleabilidad del egresado universita - rio. En el estudio Educación Superior en México, Resultados y relevancia para el mercado laboral , la Organización para la Cooperación y el Desa - rrollo Económicos ( OCDE ) señala que “pese a que no hay datos representativos para evaluar las competencias de los egresados en México, algunos signos apuntan a unos niveles insufi - cientes de competencias, tanto transversales como de disciplinas específicas”. Por su parte, Hazelkorn, Coates y McCormick indican que a la hora de debatir y evaluar la ca - lidad en la educación superior los factores que se plantean son, entre otros, la experiencia del
CENEVAL INVESTIGA 27
estudiante y los resultados de aprendizaje, así como la adquisi - ción de competencias disciplinares específicas y de competen - cias transversales. Por lo anterior, la renovación de los Exámenes Generales para el Egreso de la Licenciatura ( EGEL ) no se limita a una ac- tualización de los contenidos de las diferentes profesiones, sino que plantea el desarrollo de una familia de diferentes ins - trumentos que, en conjunto, constituyen una evaluación inte - gral: el Proyecto Egresa de Licenciatura destinado a evaluar el aprendizaje de los egresados en las dos áreas de interés a las que se ha hecho referencia: la disciplinar específica de la carre - ra y la transversal de lenguaje y comunicación. En específico, el EGEL Plus —instrumento integrado por dos secciones: el EGEL Plus Disciplinar ( EGEL+D ) y el EGEL Plus de Lenguaje y Comunicación ( EGEL+LyC )— constituye la base obli - gatoria y el núcleo del Proyecto Egresa de Licenciatura, ya que, entre otros atributos, fue construido con una metodología só - lida con probada validez para la construcción de pruebas crite - riales, por lo que sus resultados servirán como indicador para evaluar el aprendizaje de los recién egresados y la eficacia de los programas educativos de las IES que lo utilicen; serán asi - mismo uno de los referentes más representativos para la mejo - ra de la calidad de la educación superior en México.
EGEL Plus Disciplinar: ¿por qué una evaluación criterial desde el currículo?
Sin entrar en discusiones en torno a la calidad y pertinencia de cada currículo, si un currículo determinado es lo que se enseña o sólo lo que se quisiera o se debería enseñar (y lo que se debería aprender), si es socialmente pertinente o si pudiera mejorarse, lo cierto es que el currículo es la base de
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
28
las evaluaciones educativas. Con éstas se evalúa lo que el diseñador de los planes, la escuela o la autoridad educativa espera del estudiante o del egresado como resultado de un proceso de educación formal. El EGEL Plus Disciplinar es un examen netamente educativo y el referente es lo que se estudia, lo que la universidad aporta o pretende aportar a la formación del egresado, y no una ima - gen de lo que debería ser idealmente el contenido de la disci - plina, su pertinencia social ni lo que hará el egresado cuando tenga un empleo. Estas consideraciones, así como el contenido de la prueba, están determinados por el currículo, en el que ya algunos expertos han definido los componentes de lo que se ha de enseñar, lo que se espera que el egresado aprenda y, por lo tanto, lo que se debe evaluar. En términos técnicos, según Anthony Nitko, la evaluación con referencia a un criterio alude a interpretar la puntuación de un estudiante comparándola con lo que se espera que aprenda como resultado de la enseñanza de un plan de estudios de - terminado. El dominio respecto a los objetivos del currículo o resultados de aprendizaje es lo que se denomina criterio . El au - tor sostiene que la referencia a criterio sólo tiene validez cuan - do se ha evaluado a un estudiante en todo el dominio de los resultados de aprendizaje curriculares, o bien cuando se han seguido procedimientos especiales para obtener una muestra representativa de éstos, por lo que la determinación de dichos resultados de aprendizaje importantes es el núcleo del proceso de construcción de un examen. Así pues, el diseño del EGEL Plus Disciplinar buscó alcanzar la coherencia entre el currículo planeado, el aprendido y el evalua - do, a partir de medidas técnicas y metodológicas, para conseguir una amplia representatividad, especialmente con la participa - ción de diferentes comités académicos y cientos de especialis - tas, así como de los cinco referentes de alineamiento curricular que a continuación se describen, adaptados del modelo de Ni - tko (1994) para el desarrollo de pruebas criteriales alineadas a
CENEVAL INVESTIGA 29
currículo; de la propuesta Encuestas de currículo implementado (Surveys of Enacted Curriculum) , de Porter y Smithson (2001), y del modelo Webb, desarrollado por Norman Webb (1997): i) resultados de aprendizaje indispensables : 1 conocimientos y ha - bilidades pertinentes, relevantes y universales que reflejan el perfil que un egresado tipo debe alcanzar al concluir su formación de la licenciatura; ii) concurrencia categórica de contenido : indica si los resultados de aprendizaje, conocimientos o habilidades analizados y que forman parte de la prueba incorporan los contenidos temáticos del perfil de egreso o programa de estudios de la disciplina; iii) profundidad del conocimiento : demanda cognitiva o proceso cognitivo (comprensión, aplicación, análisis y evaluación 2 ) que el sustentante ha de evidenciar en los resultados de aprendizaje, conocimientos o habilidades analizados y que forman parte de la prueba; iv) amplitud del conocimiento : cobertura de los resultados de aprendizaje indispensables del perfil de egreso o programa de estudios, a partir de los conocimientos y las habilidades que los representan y que han sido incorporados en la prueba; v) balance de representación ; considera una distribución ade - cuada de los conocimientos y las habilidades analizados y que forman parte de la prueba entre los resultados de aprendizaje indispensables del perfil de egreso o programa de estudios de la disciplina.
1 Nitko (1994) hace alusión a resultados de aprendizaje importantes; sin embargo, para propó - sitos del EGEL Plus Disciplinar se ha hecho la precisión de adjetivarlos como indispensables . 2 El EGEL Plus Disciplinar hace uso de la Taxonomía de Bloom, particularmente la versión re - visada por sus discípulos y publicada en 2001, la cual establece seis niveles cognitivos. No obstante, el nivel de orden superior definido como crear no es usado en el EGEL+D dadas las limitaciones para medirlo en un examen de respuesta cerrada o seleccionada. Por su parte, la categoría del nivel más bajo, recordar , también fue excluida, en virtud de que involucra proce - sos cognitivos que aluden únicamente a “reconocer o recordar conocimientos de memoria”.
NÚMERO 3 | INNOVACIONES EN LA NUEVA GENERACIÓN DE EXÁMENES DEL CENEVAL II
30
Estos planteamientos proveen de líneas base para configu - rar cierta lógica y condiciones que nutren la estrategia meto - dológica para la delimitación y estructuración del universo de medida del EGEL Plus Disciplinar, partiendo de la considera - ción de que, ante la ausencia de planes de estudio nacionales y únicos o de un marco curricular común, es preciso retomar y realizar el contraste con experiencias internacionales y nacio - nales para adecuarlas a las propias necesidades de la evaluación.
EGEL Plus Disciplinar (EGEL+D): principales características de la evaluación
Principios
Evaluación estandarizada de alta calidad, externa al siste - ma educativo nacional ( SEN ) y a cualquier otra iniciativa gu - bernamental, que proporciona información objetiva, válida y confiable sobre resultados de egreso de procesos educativos formales de licenciatura, asegurando la transparencia de sus procesos mediante de la participación colegiada de expertos, así como la equidad, imparcialidad y responsabilidad ética en su desarrollo y resultados.
Objetivo y propósitos
Evaluar el aprendizaje de los estudiantes que han concluido o están por concluir un plan de estudios de licenciatura de edu - cación superior, con el propósito de determinar:
CENEVAL INVESTIGA 31
a) el nivel de desempeño de los egresados; b) su grado de dominio en los conocimientos y las habilidades curriculares indispensables al término de la formación aca - démica vinculada a su profesión. Con ello se pretende proporcionar a las instituciones y a los egresados información integral, relevante, válida y confiable sobre los resultados de desempeño asociados a los programas educativos.
Población objetivo
Estudiantes que estén inscritos en alguna IES y que hayan con - cluido o estén por concluir estudios formales de licenciatura en alguno de los 39 programas educativos que conforman este proyecto.
Tipo de evaluación
› Por su funcionalidad : evaluación sumativa de egreso › Por el referente para su diseño y construcción : alineada a currículo › Por el tipo de instrumento que emplea : prueba objetiva con una longitud de 140 a 160 reactivos de respuesta cerrada o seleccionada, con diseño de opción múltiple. Este tipo de reactivos están constituidos por un enunciado incomple - to o una pregunta (base del reactivo) en la que se plantea la demanda de la tarea a partir del aprendizaje o proceso cognitivo involucrado, y se presentan tres opciones de res - puesta, de las cuales sólo una es la correcta y el resto son distractores plausibles.
Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52 Page 53 Page 54 Page 55 Page 56 Page 57 Page 58 Page 59 Page 60 Page 61 Page 62 Page 63 Page 64Made with FlippingBook Learn more on our blog