Revista Ceneval Investiga #11

En nuestra edición de aniversario, acompáñanos al recuento de historias, desafíos y logros que dan sentido a nuestra institución.

REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA Número 11 | 2024

30 AÑOS DEL CENEVAL

CENEVAL INVESTIGA

Revista de evaluación e investigación educativa Ceneval Investiga

Presentación

El Centro Nacional de Evaluación para la Educación Superior (Ceneval) presenta a la comunidad de académicos e investigadores en educación y evaluación, así como al público en general, el décimo primer número de la revista Ceneval Investiga . Esta publicación periódica, que aparece tres veces al año, busca constituirse en un foro que muestra investigaciones y ensayos realizados tanto por personal del Ceneval como por especialistas de distintos organismos e instituciones interesados en temas de educación y evaluación educativa. La publicación de este número coincide con la celebración de los 30 años del Ceneval, por lo que el entrevistado es nuestro director general, Mtro. Antonio Ávila Díaz, quien hace un recuento de los logros y avances que ha tenido esta institución no lucrativa, así como de las metas propues - tas en el plan estratégico 2023-2027. Asimismo, se presentan tres artículos en los que diferentes direcciones del Centro comunican algunas de sus principales actividades. Finalmente, se presenta un resumen del 1er. Congreso Internacional Anáhuac de Calidad Educativa. En el primer artículo, titulado Proyecto Integrador en Arquitectura, un reto para la confiabilidad de la calificación , se da a conocer la particularidad del proceso de calificación del PROYECTO i- ARQUI , el cual involucra el juicio de al menos dos personas expertas (jueces) para la calificación con apoyo de una rúbrica, a quienes se les capacita para ello. En el texto se muestran algunos ejemplos de dicha calificación, lo que permite una mejor comprensión. En el segundo artículo, el autor descri - be el proceso de evaluación educativa, indica sus alcances y objetivos, y brinda un panorama de las diferentes evaluaciones que se realizan en el Centro y las implicaciones que tienen en la vida profesional de los sustentantes. En el tercer artículo, la Dirección de Tecnologías de la Información y la Comunicación ( DTIC ) del Centro enuncia los principales aportes que ha hecho esta dirección para modernizar la infraestructura tecnológica, asegurar la información y optimizar los procesos de la metodología Ceneval.

Finalmente, en el último apartado de este número se presenta un resumen del 1er. Congreso Internacional Anáhuac de Calidad Educativa, celebrado del 6 al 8 de marzo de 2024 en la Universi - dad Anáhuac México Norte. El Ceneval tuvo una participación destacada en un simposio e impartió cuatro ponencias, de las cuales se integran sus respectivos resúmenes. Nuevamente, invitamos a los académicos e investigadores interesados en los temas de esta revista a enviar sus colaboraciones a revista.investigacion@ceneval.edu.mx , para que sean evaluadas e incluidas en números subsecuentes. El propósito es que la revista de evaluación e investigación educativa Ceneval Investiga sea un instrumento más que contribuya a cumplir nuestro mandato social: la mejora de la calidad educativa en nuestro país.

Antonio Ávila Díaz Director General del Ceneval

CENEVAL INVESTIGA | REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA

Col. San Ángel, Alc. Álvaro Obregón C.P. 01000, México, Ciudad de México www.ceneval.edu.mx

Julio de 2024

Contenido

08 34 16 28 38

El Ceneval , una institución líder en el diseño de instrumentos de evaluación

Proyecto Integrador en Arquitectura, un reto para la confiabilidad de la calificación

¿En qué consiste una evaluación?

Aportes de la Dirección de Tecnologías de la Información y la Comunicación. El funcionamiento de los exámenes del Ceneval

1er. Congreso Internacional Anáhuac de Calidad Educativa. Un nuevo espacio para hablar de evaluación de educación

NÚMERO 11 | 30 AÑOS DEL CENEVAL

El Ceneval , una institución líder en el diseño de instrumentos de evaluación

en Washington, D.C., Estados Unidos, y el Di - plomado en Administración de Empresas Socia- les en el Centro de Estudios Cooperativos para América Latina, en Tel Aviv, Israel. El gobierno de Francia lo condecoró con el grado de Caba - llero de la Orden de las Palmas Académicas. Durante ocho años escribió para el periódico La Jornada sobre temas económicos y políticos. Fue delegado de la Secretaría de Turismo en Montreal, Canadá; gerente de Análisis Político en Nacional Financiera y consultor del Progra - ma de las Naciones Unidas para el Desarrollo. En el ámbito educativo, fue subsecretario de Planeación, Evaluación y Coordinación de la Se - cretaría de Educación Pública ( SEP ), institución en la que previamente se desempeñó como director general de Planeación, Programación y Estadística Educativa, área desde la que re - presentó a la SEP ante la Organización para la Cooperación y el Desarrollo Económico ( OCDE ).

¿Cuáles son las fortalezas del Ceneval? ¿Cuáles son sus logros, sus objetivos, sus oportunidades, sus retos? ¿Qué se espera del Centro para los próximos diez años? Antonio Ávila Díaz, titular del Ceneval, responde estas preguntas y da su punto de vista en torno a otros temas, a la luz de la celebración de los 30 años de vida de esta asociación civil.

Semblanza del director

Antonio Ávila Díaz obtuvo los grados de licen - ciatura y maestría en Economía en la Facultad de Economía de la UNAM , donde desempeñó cargos administrativos y académicos durante 20 años: fue profesor de tiempo completo, diri - gió la revista Economía Informa y fue editor de la revista Investigación Económica . Cursó el Semi- nario de Evaluación de Proyectos en el Econo - mic Development Institute del Banco Mundial

CENEVAL INVESTIGA 9

Asimismo, fue director general de Planeación, Programa - ción y Evaluación Educativa en la Administración Federal de Servicios Educativos en el Distrito Federal, donde desarrolló sistemas integrales de evaluación de procesos y proyectos educativos y para la mejora educativa. Desde la Dirección General de Operación de Servicios Educativos, encabezó el proceso para la instauración y consolidación del modelo de Escuela de Jornada Ampliada en los planteles de educación básica en la Ciudad de México, el cual fue referente para el resto del país. También fue coordinador general de las repre - sentaciones de la dependencia en las entidades federativas. Desde agosto de 2019 es director general del Ceneval. Su primer periodo de gestión (2019-2023) estuvo marcado por la pandemia por covid-19 que motivó el desarrollo del Navegador Seguro Ceneval a fin de implementar el examen desde casa, modalidad de aplicación que permitió continuar con los proce - sos de evaluación vía remota respetando las medidas sanitarias activadas en todo el país. En la XV Asamblea General Extraor - dinaria, celebrada el 24 de julio, los miembros del órgano cole - giado lo ratificaron por unanimidad para el periodo 2023-2027. En su segundo periodo al frente del Centro, se dará continuidad a la renovación de exámenes y al desarrollo de nuevos instru - mentos para atender la creciente demanda por parte de las ins- tituciones de educación media superior y superior.

Maestro Ávila, ¿cuáles son las principales fortalezas del Ceneval a 30 años de su fundación?

De entre las distintas fortalezas del Ceneval, destaca su capa - cidad técnica y metodológica. De hecho, en los ámbitos nacio - nal e internacional se nos reconoce como una institución líder en el diseño y la aplicación de instrumentos de evaluación, los cuales se fundamentan en su metodología.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

En cuanto a la parte operativa, el Centro posee la infraes - tructura, experiencia y capacidad logística que le permite cubrir las necesidades que requieren las instituciones usuarias para im - plementar los procesos de evaluación a mediana y gran escala. Es capaz de combinar diferentes modalidades de aplicación y evaluar a una gran cantidad de sustentantes en todo el país de manera simultánea. Asimismo, cuenta con más de tres mil apli - cadores con amplia experiencia, quienes reciben capacitación continua. Dispone de un almacén de materiales y un centro de distri - bución en los que se recuperan, a nivel nacional, los exámenes impresos conforme a los requerimientos y tiempos estableci - dos por las reglas de operación. La calificación de todos los exámenes se lleva a cabo con los más altos estándares de cali - dad y seguridad, conforme a una rigurosa metodología. Al final de este proceso se emiten los reportes de resultados para los sustentantes y para las instituciones. En el rubro de tecnologías de la información y la comunica - ción, el Ceneval cuenta con una base organizacional dedicada a dar soporte y a renovar la infraestructura y las herramientas tecnológicas. Ejemplos de ello son el examen desde casa, el Navegador Seguro Ceneval, la renovación del sitio web institu - cional y diversos sistemas dinámicos de consulta de resultados. Actualmente se cuenta con más de 206 instrumentos e in - contables versiones, cuadernillos y formas de examen de cada instrumento para garantizar la seguridad de los procesos de aplicación. Además, se pone especial atención en la equidad y seguridad durante la elaboración de los instrumentos, su apli - cación y la emisión de los resultados. El cuidado en el diseño de pruebas ha generado confianza y satisfacción en los usuarios, lo cual fortalece el prestigio que el Centro ha logrado a lo largo de estos 30 años.

CENEVAL INVESTIGA 11

El Ceneval participó en el concurso de asignación a la educación media superior de la Ciudad de México convocado por la Comipems con solo dos años de haber sido creado. En el 2001 fue invitado como agencia evaluadora del Acuerdo Secretarial 286. ¿Qué otros logros destacan? Además de lo que se mencionó en la respuesta anterior, du - rante estos 30 años el Ceneval ha tenido importantes logros y avances, y ha contribuido al fomento de la cultura de la eva - luación educativa. Solo por citar algunos ejemplos, en 2004 entraron en operación los sistemas de administración de ban - cos de exámenes y reactivos, lo cual contribuyó de manera considerable a la mejora continua de nuestros instrumentos. En estos años se han aplicado exámenes en otros países. En 2006 se llevó a cabo la aplicación del EXANI - II en la Uni- versidad Internacional del Ecuador; en el 2011 se diseñaron y aplicaron exámenes para Ecuador, Honduras, Estados Unidos y Alemania. Se ha aportado también a la discusión y profundización del tema evaluativo mediante la publicación de libros como ABC de la evaluación educativa y Conceptos básicos de la teoría de res - puesta al ítem (ambos de 2009), La metodología Ceneval (2013) y el Prontuario de estándares y referentes técnicos del Ceneval (2017), entre otros.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

De acuerdo con el plan estratégico, ¿cuáles son los tres ejes de impacto a mediano plazo?

Calidad técnica, capacidad institucional y conocimiento en ma - teria de evaluación educativa basado en la investigación. El pri - mero se refiere al diseño de nuevos instrumentos y a la mejora constante de los ya existentes. En el segundo, la capacidad ins - titucional, se pondrá énfasis en la formación del personal para que esté altamente especializado en materia de evaluación educativa y nuevas tecnologías, así como en la ampliación de la Plataforma Ceneval y los diferentes sistemas tecnológicos que la componen. Finalmente, el eje del conocimiento profundiza - rá en el establecimiento de alianzas con los sectores público y privado, a escala nacional e internacional. La planeación es indispensable para alcanzar el éxito. ¿Nos podría platicar más de la planeación estratégica, táctica y operativa? La planeación estratégica permite orientar el quehacer del Ce - neval a mediano plazo, de tal forma que se debe actualizar cons - tantemente el diagnóstico institucional para definir la misión y la visión, así como para establecer los objetivos estratégicos. La planeación táctica vincula las otras dos, de tal forma que se identifican los objetivos de cada dirección, sus estra - tegias, las líneas de acción, los programas y las metas que proponen y cómo contribuyen al logro de los objetivos estra - tégicos institucionales. Finalmente, la planeación operativa tiene que ver con el Programa de Trabajo Anual que se conforma de la estructura programática, los indicadores, la actividad y las acciones, los cuales previenen asignaciones presupuestales para cumplir con las metas y los objetivos institucionales.

CENEVAL INVESTIGA 13

¿Cuáles son los principales objetivos del plan estratégico 2024-2027 en los ámbitos directivo, académico, técnico y de gestión? En el ámbito directivo se ha adoptado el compromiso de con - ducir las actividades sustantivas y administrativas del Centro a través del cumplimiento de los objetivos y las metas institucio - nales. De esta forma se brindarán servicios de evaluación a las instituciones usuarias (públicas y privadas) y a las organizacio - nes sociales que contribuyan a la mejora de la educación, así como a la formación profesional y a la promoción de la cultura de la evaluación, transparencia y rendición de cuentas. Respecto al ámbito académico, se pretende consolidar y fortalecer la calidad de las evaluaciones y ampliar su gama para que las personas e instituciones usuarias tomen decisio - nes informadas. Por otro lado, debemos asegurar los recursos operativos, téc - nicos y tecnológicos para brindar de manera eficiente los servi - cios y productos de evaluación que ofrece el Centro, lo cual está relacionado con el ámbito técnico. Finalmente, en el ámbito de gestión, el objetivo es procurar los recursos necesarios para que el Centro cumpla con sus fun - ciones. Esto se pretende alcanzar mediante la observancia del marco normativo, la planeación y la consecución de las metas y los objetivos institucionales.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

Otro punto del plan estratégico es la internacionalización del Ceneval.

En este plan estratégico se tiene contemplado que el Cene - val ofrezca sus servicios de evaluación fuera de México, ya que es importante promover su presencia en la región y que sea un referente en Latinoamérica. En el plan de internacio - nalización se buscará brindar los servicios de aplicación de exámenes de manera remota a través del Navegador Seguro Ceneval. Asimismo, se pretende compartir experiencias a tra- vés de diferentes medios para impulsar la internacionalización del Ceneval en la región.

¿Cuáles son las principales oportunidades o los retos para el Ceneval?

Una de las oportunidades que tiene el Centro es participar en el Sistema de Evaluación y Acreditación de la Educación Su - perior, ya que se trata de un sistema creado a partir de la Ley General de Educación Superior del 2021, cuyo objetivo es di - señar, proponer y articular estrategias y acciones en materia de evaluación y acreditación de este nivel educativo para la mejora continua, de tal forma que el papel del Ceneval es muy relevante. Otro gran reto es enfrentar los cambios tecnológicos, es - pecíficamente aplicar la inteligencia artificial a la evaluación. Se pretende desarrollar una línea de investigación a cargo de un equipo de trabajo que se dedique a analizar los diferentes enfoques en cuanto al uso de nuevos métodos y mecanis - mos de evaluación por medio de este tipo de inteligencia. Con esto los procesos de evaluación serán más eficientes, precisos y objetivos, aunque es necesario tener en cuenta los principios pedagógicos y éticos.

CENEVAL INVESTIGA 15

¿Cómo ve al Ceneval en 10 años?

Para el 2034, el Ceneval seguirá siendo un referente en cuanto a la calidad de la evaluación educativa, lo cual da cumplimien - to a su misión, objetivos y valores institucionales. Se habrán llevado a cabo satisfactoriamente los programas y las líneas de acción, y se habrán alcanzado las metas propuestas en este plan estratégico. Asimismo, se lograrán enfrentar los retos que se le presenten con oportunidad y calidad.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

Proyecto Integrador en Arquitectura , un reto para la confiabilidad de la calificación

Departamento de Exámenes Intermedios de Licenciatura y Proyecto Integrador Dirección de Exámenes Generales para el Egreso a la Licenciatura, Ceneval

años está orientado a crear, desarrollar, actuali - zar y renovar sus instrumentos de medición. El presente artículo tiene como propósito dar a conocer el proceso de calificación de uno de los más recientes instrumentos de evalua - ción de desempeño creados por el Ceneval: el Proyecto Integrador en Arquitectura ( PROYEC- TO i- ARQUI ). En esta evaluación, el sustentante se enfrenta a un reactivo de respuesta cons - truida extendida en el cual debe elaborar un anteproyecto arquitectónico e integrar de ma - nera simultánea saberes y habilidades de dis - tintas áreas estudiadas durante la licenciatura. La tarea de asignar una calificación a este tipo de pruebas es compleja, porque se recurre al juicio de una persona (juez) para la asignación de la calificación con apoyo de una rúbrica. El problema se presenta cuando cada uno de los involucrados en este proceso atribuye al mis - mo objeto o documento un juicio distinto por

Introducción

El Ceneval acaba de cumplir 30 años, y en ellos se ha caracterizado por el diseño y la elabora - ción de instrumentos de evaluación que cum - plen con los más altos estándares de calidad. Ahora, uno de los retos es que el Centro sea un generador de conocimiento basado en la cons - tante innovación e investigación y que siga sien - do reconocido por el trato cercano y empático con sus usuarios, a quienes califica con certeza, lo cual genera absoluta confiabilidad en los re - sultados. El plan institucional para los próximos

CENEVAL INVESTIGA 17

la diferencia de perspectivas; esto puede generar sesgos y, a su vez, restar confiabilidad a las puntuaciones. ¿Cómo asegurar la calidad de la calificación y mantener una consistencia aceptable en los juicios? Para responder la pregunta, a continuación se presenta la experiencia en la capacitación de jueces y la calificación que se llevó a cabo en el Proyecto Integrador en Arquitectura. Se muestran los resultados de las evaluaciones llevadas a cabo entre junio y noviembre de 2023. Específicamente, se reporta el cálculo del grado de consenso entre jueces (Kappa de Co - hen) y se da a conocer la distribución de las calificaciones de los sustentantes.

Características del Proyecto Integrador en Arquitectura

Desde la concepción de esta prueba, se planteó contar con una evaluación criterial orientada a identificar el grado de do - minio de los recién egresados al aplicar sus conocimientos y habilidades en la elaboración de un anteproyecto arquitec - tónico, así como clasificarlos en tres niveles de desempeño: aún no satisfactorio, satisfactorio y sobresaliente. El diseño pormenorizado de esta evaluación ha estado orientado en todo momento por la metodología propia del Ceneval, la cual incorpora la participación de especialistas en la materia, quie - nes fueron los responsables de definir las ocho competencias que se evalúan (tabla 1). 1

¹ Todos los contenidos y características detalladas que evalúa el Proyecto Integrador en Arquitec - tura pueden consultarse en Ceneval (2024). Guía para el sustentante. Proyecto Integrador en Arquitectura. https://online.flippingbook.com/view/407463561/

NÚMERO 11 | 30 AÑOS DEL CENEVAL

Tabla 1. Competencias evaluadas en el Proyecto i en Arquitectura

1. Elaborar un diagrama de funcionamiento para organizar los espacios del anteproyecto con base en la relación funcional. 2. Estructurar la zonificación de espacios para mostrar gráficamente su relación con base en su funcionalidad y el contexto. 3. Diseñar plantas arquitectónicas que demuestren el cumplimiento de los criterios antropométricos y ergonómicos mínimos espaciales y la representación gráfica de los elementos arquitectónicos. 4. Diseñar plantas arquitectónicas que demuestren el cumplimiento de los criterios mínimos normativos y de accesibilidad universal. 5. Representar gráficamente el espacio mediante cortes arquitectónicos para demostrar el cumplimiento de los criterios antropométricos y ergonómicos mínimos espaciales, con base en la congruencia con las plantas arquitectónicas. 6. Representar gráficamente en un corte constructivo la solución general de criterios estructurales y de instalación hidrosanitaria. 7. Diseñar una estrategia de diseño pasivo bioclimático que considere los recursos naturales del contexto. 8. Elaborar una representación tridimensional del anteproyecto con relación a su contexto y la identificación de los materiales. Estas ocho competencias se evalúan por medio de una tarea evaluativa que se le presenta al sustentante y se compone de dos elementos: el primero es un contexto que consiste en la descripción de una situación particular que simula a una real, y puede incluir gráficas, mapas, imágenes, fragmentos de texto, etcétera; el segundo se trata de instrucciones claras y precisas sobre lo que se debe realizar para la construcción del antepro - yecto arquitectónico. Las características específicas del instrumento, el método de aplicación, los periodos de registro y los requerimientos tec - nológicos se dan a conocer en la Guía para el sustentante y la Guía de Aplicación Proyecto Integrador (Examen desde casa), que están disponibles en el portal web del Ceneval. 2

2 Estas guías pueden revisarse en https://ceneval.edu.mx/proyecto-integrador-2/

CENEVAL INVESTIGA 19

Particularidades de la calificación

Una vez que se cuenta con los productos de cada sustentante, se inicia uno de los procesos más importantes y con mayores retos: la calificación con jueces. Como parte de la calificación, cada producto es revisado mí - nimamente por dos jueces con apoyo de una rúbrica, que es un instrumento de calificación que consta de una matriz de doble entrada compuesta por criterios de evaluación (filas) y niveles de desempeño (columnas). Tales criterios están asociados a las competencias evaluadas e indican todo lo que se evalúa en el trabajo del sustentante, mientras que los niveles de desempe - ño se refieren a la escala de valoración que va del 0 al 3. En el cruce de cada criterio con cada nivel se expresa el descriptor específico de lo que el sustentante sabe y puede hacer con re - lación a la elaboración de un anteproyecto arquitectónico, por lo que el nivel 0 representa la ausencia de información suscep - tible de ser evaluada y los tres niveles subsecuentes reflejan la gradualidad de las características específicas del desempeño del sustentante. Vinculada al tipo de evaluación criterial al que obedece el proyecto, la rúbrica de calificación es de carácter analítico, por lo que permite evaluar y asignar una calificación a cada crite - rio, lo mismo que obtener una imagen más detallada del des - empeño de los sustentantes, así como una mayor orientación de sus fortalezas y debilidades. El principal objetivo de este instrumento de calificación es realizar una evaluación objetiva, dejando de lado cualquier per - cepción individual de los jueces que participan en el proceso. Para ello, con base en las recomendaciones de Johnson, Penny y Gordon 3 acerca de las cualificaciones de los jueces (conoci - miento sobre la población objetivo y los contenidos por evaluar), el perfil de los especialistas que participan en la calificación

3 Johnson, R., Penny, J. & Gordon, B. (2009). Assessing Performance: Designing, Scoring, and Valida - ting Performance Tasks : The Guilford Press.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

del anteproyecto arquitectónico considera como mínimo lo si - guiente: a) tener el grado académico de Licenciatura en Arqui - tectura, b) desempeñarse como docente en el nivel superior y c) evidenciar experiencia en el campo laboral profesional. Varios autores (Baldwin, Fowles y Livingston, 2005, 4 y Glazer y Wolfe, 2020 5 ) consideran que, además de los espe - cialistas que fungen como jueces, debe existir una figura líder cuya responsabilidad sea asegurarse de que los evaluadores se desempeñen de manera adecuada. Por lo tanto, en el Proyecto Integrador en Arquitectura se considera la participación de un supervisor, el cual cumple con el perfil de juez, a la vez que cuenta con una destacada experiencia académica y profesio - nal. Asimismo, la persona designada supervisora debe haber participado previamente en el proceso de diseño del examen, demostrar un desempeño sobresaliente en los procesos de calificación durante la capacitación y tener habilidades en el manejo de las tecnologías de información y comunicación, ya que será responsable de asesorar y supervisar todo el proceso mediante la plataforma de calificación en línea.

Capacitación del proceso de calificación

Después de la selección de los jueces y del supervisor, se co - mienza el proceso de capacitación con un curso-taller para formar especialistas en la calificación del examen y en el uso de la rúbrica. Esta preparación se divide en dos procesos: en el primero se capacita durante seis horas al supervisor en el monitoreo, la asesoría y la retroalimentación a los jueces con relación a su desempeño. En el segundo se capacita de manera general durante 18 horas a los jueces en cuanto a las caracte - rísticas de la evaluación, y con base en lo señalado por Baldwin 4 Baldwin, D., Fowles, M. & Livingston, S. (2005). Guidelines for Constructed-Response and Other Per - formance Assessments . ETS. https://www.ets.org/pdfs/about/constructed-response-guidelines.pdf 5 Glazer, N. & Wolfe, E.W. (2020). Understanding and Interpreting Human Scoring. Applied Mea - surement in Education , 33 (3), 191-197. https://doi.org/10.1080/08957347.2020.1750402

CENEVAL INVESTIGA 21

et al. (2005), 4 se lleva a cabo la revisión de la tarea evaluativa para la elaboración del anteproyecto arquitectónico, el uso de la rúbrica de calificación, la organización de las sesiones de ca - lificación y el manejo de la plataforma para calificar. Además, como parte importante del curso-taller, se realiza una serie de prácticas de evaluación –tantas veces sean nece - sarias– para calibrar y estandarizar la percepción de los jueces en cada uno de los criterios de la rúbrica y lograr una califica - ción válida, confiable, equitativa y objetiva. Este proceso con - siste en calificar individualmente un conjunto de ejemplos de anteproyectos basándose en lo establecido en la rúbrica y revi - sar la coincidencia exacta que tienen todos los jueces al asignar los respectivos niveles en cada uno de los criterios. Posterior - mente, derivado del análisis de los niveles asignados, en caso de existir discrepancias entre los jueces, con el apoyo del su - pervisor y la rúbrica de calificación, se realiza la retroalimenta - ción correspondiente para evitar interpretaciones personales de lo señalado en cada descriptor de desempeño. Como producto del proceso de capacitación se obtiene evi - dencia de que los criterios de calificación y el método de eva - luación son plenamente comprendidos; además, se identifican las prácticas que pueden significar un sesgo que conlleva seve - ridad o indulgencia al asignar una puntuación y se calibra la pre - cisión de los jueces con ejercicios y evaluaciones constantes. 4,6

Proceso de calificación

El supervisor y los jueces son los actores principales en este proceso. El primero, como figura líder, verifica que los jueces no presenten sesgos en la interpretación de los criterios de ca - lificación a medida que revisan los diferentes anteproyectos. Al tomar en cuenta la propuesta de McClellan (2010, citado en Glazer y Wolfe, 2020) 5 a lo largo del proceso, el supervisor

6 Haladyna, T. & Rodríguez, M. (2013). Developing and Validating Test Items . Routledge.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

monitorea las estadísticas de concordancia entre los puntajes de cada pareja de jueces para que, en caso de no cumplir con un mínimo de 70 % de coincidencia exacta 7 en la puntuación asignada en cada competencia, o si se presenta una discrepan - cia extrema que rebase más de un punto de diferencia, es ne - cesario que se revaloren las puntuaciones otorgadas por medio de una segunda calificación, la cual consiste en un diálogo entre los dos jueces involucrados y el supervisor en relación con las diferencias observadas, con el propósito de exponer las razones de las calificaciones obtenidas. El principal objetivo es detectar posibles errores de interpretación para que los jueces tengan la oportunidad de calificar por segunda vez el anteproyecto arqui - tectónico y después decidir si realizan o no modificaciones en los niveles asignados, a fin de favorecer la objetividad del proceso. En caso de que ninguno de los jueces realice modificacio - nes, o si aun con las correcciones hechas persiste la discrepan - cia extrema o un porcentaje bajo de coincidencia exacta, se solicita la intervención de un tercer juez, el cual se selecciona por su alto porcentaje de coincidencias exactas con los demás jueces; su función es proporcionar su voto de calidad para re - solver las controversias entre el juez 1 y el juez 2.

Confiabilidad de la calificación y resultados de los sustentantes

En el marco de las evaluaciones que utilizan reactivos de res - puesta construida, se puede entender que la confiabilidad es el grado de consenso o acuerdo en las calificaciones que asignan dos o más jueces a la respuesta que proporciona un mismo sustentante. Como menciona Stemler (2008), 8 existen diferen - 7 El porcentaje mínimo de acuerdo con 70 % de las puntuaciones realizadas por los jueces se basa en la pauta típica observada en la bibliografía sobre calificación con jueces (Stemler, S.E. [2004]. A Comparison of Consensus, Consistency, and Measurement Approaches to Estimating Interrater Reliability. Practical Assessment, Research and Evaluation , 1-11). 8 Stemler, S.E. & Tsai, J. (2008). Best Practices in Interrater Reliability: Three Common Approa - ches. En J. Osborne (Ed.). Best Practices in Quantitative Methods, 29-49. SAGE. https://doi. org/10.4135/9781412995627.d5

CENEVAL INVESTIGA 23

tes maneras de calcular la confiabilidad de tales calificaciones. Con el estadístico Kappa de Cohen, uno de los más utilizados, se analiza el grado de consenso en el Proyecto Integrador en Arquitectura, es decir, las veces en las que los jueces tienen acuerdos y desacuerdos en el nivel asignado en cada criterio, para determinar si este es mayor de lo que se esperaría obser - var por casualidad. Los datos que se presentan en la tabla 2 pertenecen a cinco aplicaciones del Proyecto Integrador en Arquitectura efectua - das entre junio y noviembre de 2023, en las que se evaluó a 94 sustentantes de la Licenciatura en Arquitectura con la partici - pación de diez jueces y un supervisor, provenientes de diferen - tes instituciones de educación superior del país. Las frecuencias de las calificaciones de quien funge como juez 1 por cada criterio se encuentran organizadas por colum - nas, mientras que las del juez 2 aparecen en las filas. Por un lado, las intersecciones (de filas con columnas) en color verde aqua representan la cantidad de veces que ambos jueces asig - nan la misma calificación en un criterio; por otro lado, las inter - secciones en color gris claro representan las calificaciones en las que no coinciden ambos jueces (discrepancia adyacente); finalmente, las intersecciones en color blanco representan las discrepancias extremas.

Tabla 2. Frecuencias para la estimación del coeficiente Kappa de Co - hen ( k ) del criterio 1. Diagrama de funcionamiento

Juez 1

Total

1 0

2 0 1

3 0 0 3

0 1 2 3

15 14 35 30 94

1 0 0

Juez 2

2 0

28 31

Total

NÚMERO 11 | 30 AÑOS DEL CENEVAL

Algunas afirmaciones que se muestran en la tabla 2 son las siguientes: a) en 15 ocasiones el juez 1 y el juez 2 asignaron el nivel 0 (coincidencias exactas); b) en una ocasión el juez 1 asignó el nivel 2, en tanto que el juez 2 asignó el nivel 1 (discre - pancia adyacente), y c) no hay discrepancias extremas (celdas en color blanco). A partir de cada tabla de frecuencias se obtiene el valor es - tadístico Kappa de Cohen ( k ). La fórmula para obtenerlo es la siguiente: k = (Suma de acuerdos observados) - (Suma de acuerdos atribuidos al azar) (Total de observaciones) - (Suma de acuerdos atribuidos al azar) El coeficiente de Kappa de Cohen ( k ) puede tomar valores que van de -1 a +1. De manera típica, la estimación del valor estadístico puede interpretarse como se muestra en la tabla 3.

Tabla 3. Interpretación Kappa de Cohen

Kappa ( k ) -1 a 0.0 0.0 a 0.2 0.2 a 0.4 0.4 a 0.6 0.6 a 0.8 0.8 a 1.0 Grado de consenso Sin consenso Ínfimo Escaso Moderado Bueno Muy bueno

Elaboración propia con base en Abraira. 9

El total de tablas de frecuencia y los cálculos del grado de consenso de los ocho criterios que se evalúan en el Proyecto Integrador en Arquitectura se muestran en la tabla 4. En todos los casos se obtiene un valor superior a 0.7, lo cual significa que se tienen niveles buenos o muy buenos en el consenso de las calificaciones (Stemler, 2008). 8

9 Abraira, V. (2001). El índice Kappa. Semergen-Medicina de Familia , 27 (5), 247-249.

CENEVAL INVESTIGA 25

Tabla 4. Frecuencias de calificaciones en cada criterio de la rúbrica del Proyecto i en Arquitectura

Kappa de Cohen ( k )

Grado de consenso

Juez 1

Total

1 0

2 0 1

3 0 0 3

0 1 2 3

15 14 35 30 94 53 14 16 11 94

1 0 0

Criterio 1. Diagrama de funcionamiento

Juez 2

2 0

0.866 Muy bueno

28 31

Total

16 52

0 1 2 3

0 1

0 0 2

2 0 0

Criterio 2. Zonificación

3 0

Juez 2

0.827 Muy bueno

10 12

Total

0 1 2 3

7 1 0 0 8 7 1 0 0 8

0 4

0 0 2

15 57 13 94

Criterio 3. Plantas arquitectónicas

Juez 2

5 0

0.708

Bueno

11 13

Total

0 1 2 3

0 4

0 0 5

31 28 28 94 24

Criterio 4. Accesibilidad universal

Juez 2

3 0

0.746

Bueno

24 29

Total

0 1 2 3

3 8 3 0

0 1

0 0 5

0 0 0

Criterio 5. Cortes arquitectónicos

Juez 2

0.749

Bueno

46 15 94 22 41 14 17 94 29 21 18 26 94 18 15 18 43 94

11 16

Total

21 20

0 1 2 3

0 1 8 0 9 0 3

0 0 4

0 0 0

Criterio 6. Corte constructivo

2 0

Juez 2

0.862 Muy bueno

17 21

Total

20 27

0 1 2 3

0 0 4

1 0 0

Criterio 7. Estrategia de diseño pasivo bioclimático

Juez 2

1 0

0.799

Bueno

23 27

Total

28 18

0 1 2 3

0 1

0 0 3

Criterio 8. Representación tridimensional volumétrica

1 0 0

Juez 2

2 0

0.846 Muy bueno

40 43

Total

NÚMERO 11 | 30 AÑOS DEL CENEVAL

En cuanto a los resultados obtenidos, se puede apreciar en la gráfica 1 que 54.26 % de los sustentantes fueron clasificados en los niveles de desempeño satisfactorio (43.62 %) o sobresa - liente (10.64 %), mientras que el resto (45.74 %) se encuentran clasificados en el nivel aún no satisfactorio.

Gráfica 1. Distribución de niveles de desempeño. Proyecto i en Arquitectura (junio-septiembre de 2023)

10.64 %

43.62 %

45.74 %

Aún no satisfactorio

Satisfactorio + Sobresaliente

Conclusiones

Al retomar la pregunta introductoria sobre cómo asegurar la ca - lidad en la calificación y mantener una consistencia aceptable en las valoraciones de los jueces, se puede decir que en el Pro - yecto Integrador en Arquitectura fue posible obtener un grado de consenso bueno o muy bueno en todos los criterios de la rúbrica (Kappa de Cohen > 0.7). Estos resultados se atribuyen al proceso minucioso y sistemático de capacitación, que enfa - tiza la funcionalidad de las prácticas de calificación en las que se retoma la tarea evaluativa proporcionada al sustentante, el

CENEVAL INVESTIGA 27

manejo correcto de la rúbrica, los pasos para calificar cada an - teproyecto arquitectónico, la distribución de actividades asig - nadas tanto a los jueces como a los supervisores y los ejemplos concretos de anteproyectos arquitectónicos similares a los que se evaluarán, así como la labor del supervisor que, de manera constante, evalúa el desempeño de los jueces durante el proce - so de calificación y corrige cualquier posible sesgo que pudiera presentarse. Con los datos expuestos a lo largo de este artículo, se com - prueba que, si se toma en cuenta la implementación de todas las acciones revisadas, antes y durante el proceso de calificación, se puede asegurar que este sigue altos estándares técnicos que favorecen la obtención de resultados válidos y confiables del desempeño de cada uno de los sustentantes.

Lecturas recomendadas

Arias, R. (2010). La evaluación del desempeño. Papeles del psicólogo , 31 (1), 85-96. Sánchez, M. & Martínez, A. (2022). Evaluación y aprendizaje en educación universitaria: estrategias e instrumentos. CUAIEED-UNAM. https://cuaed. unam.mx/publicaciones/libro-evaluacion/ Wiggins, G. (1989). A True Test: Toward More Authentic and Equitable Assessment. The Phi Delta Kappan , 70 (9), 703-713.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

¿En qué consiste una evaluación?

Ricardo Hernández Muñoz Dirección de Calificación, Ceneval

para establecer el grado de cambio en cada es - tudiante. 11 Esa información, cualitativa o cuan - titativa, permite identificar los conocimientos y las habilidades en los que destaca, pero más importante aún, aquellos aspectos en los que es necesario adoptar medidas de refuerzo para formar y mejorar. Evaluar no es una tarea fácil; se debe anti - cipar intencionalmente en qué va a consistir, sus alcances y objetivos, la elección de temas y contenidos relevantes y de mayor interés, el uso de la información, así como la definición y relación con la población que se desea eva - luar (región, edad, nivel académico, etcétera). Desde la perspectiva ética, la responsabilidad que existe detrás de una evaluación educativa reside en la forma en la que se implementarán oportunidades de mejora.

La evaluación, proceso de recopilación y utili - zación de la información para tomar decisio - nes. 10 Es un ejercicio cotidiano en la vida de las personas, ya sea para decidir sobre alguna promoción o para tomar decisiones relaciona- das con procesos de ingreso escolar o profe - sional, por lo que se emplea en prácticamente todo proceso que requiere de una elección o juicio respecto a un estándar. Su importancia radica en proporcionar información objetiva, pertinente y relevante sobre el desempeño de lo que se está evaluando. Para la educación, la evaluación se trata de una herramienta que reúne, de manera sistemá - tica, evidencias para determinar si en realidad se producen ciertos cambios en los alumnos y

11 Bloom, B.S., Madaus, G.F., & Hastings, J.T. (1971). Handbook on Forma - tive and Summative Evaluation of Student Learning . McGraw-Hill.

10 Cronbach, L. (1963). Educational Psychology (2 a ed). Harcourt.

CENEVAL INVESTIGA 29

De acuerdo con Teresa Bracho, 12 el uso de la evaluación educativa debe concretarse en acciones deliberadas, ejecuta - das por diversos usuarios de la información, que retoman, en diferentes grados y para distintos propósitos, los resultados, métodos o conceptos como insumos relevantes para sustentar sus decisiones y acciones de mejora en sus contextos particu - lares de actuación. La evaluación debe considerarse como un ejercicio cons - tante en el cual los criterios e indicadores resultan en objetivos específicos de formación y mejora. Su trascendencia ha de per - mitir realizar un seguimiento del avance de las estrategias im - plementadas, su impacto y las áreas de oportunidad, así como del uso y la asignación de los recursos para llevar a cabo las estrategias necesarias, siendo este el principal propósito de la evaluación educativa. Además de las evaluaciones de tipo formativo, existen otros ejercicios de tipo sumativo, los cuales pretenden identificar el grado de avance que los alumnos presentan respecto a un re - ferente específico, por ejemplo, ante un perfil académico de egreso. Este tipo de evaluaciones se enmarcan en ser una declaración de intención de lo que la institución pretende al - canzar en sus estudiantes. Por lo tanto, resulta de gran valor conocer el nivel académico alcanzado con referencia al nivel teórico desarrollado en el constructo de la evaluación y esta - blecer mecanismos de nivelación que le permitan al estudiante alcanzar el perfil académico de egreso requerido. Otras evaluaciones tienen como objetivo contar con un criterio o puntaje para ordenar a los alumnos y eventualmen - te seleccionar a aquellos con mejores habilidades; se trata de un método que busca transparentar la asignación de los es - pacios educativos disponibles. Son procesos implementados para contar con un referente transparente y confiable que, de manera justa y certera, permita la toma de decisiones cuando los recursos son escasos.

12 Bracho, T. (2016). Usos efectivos para la mejora: ¿cómo hacemos para que esto ocurra? Gaceta de la Política Nacional de Evaluación Educativa , 4.

NÚMERO 11 | 30 AÑOS DEL CENEVAL

Frente al contexto en el cual existe una relación entre lu - gares disponibles y solicitudes de ingreso, debe decidirse con base en información de un instrumento de medida confiable, seguro, libre de favoritismos, aplicado en las mismas condicio - nes para todos y con resultados que permitan ordenar a los as - pirantes única y exclusivamente conforme al mérito académico demostrado en la prueba, requisito fundamental para dotar con la mayor transparencia posible la asignación de recursos y espacios educativos que la sociedad demanda. Se tiene la falsa apreciación de que aplicar un examen para el ingreso a un determinado programa educativo representa un problema para los aspirantes; sin embargo, hay diferentes aspectos que, solos o en conjunto, pueden influir en las opor - tunidades de acceso a las opciones educativas de preferen - cia: la limitada oferta educativa disponible, determinada por factores como la infraestructura, el presupuesto asignado y el personal educativo disponible y capacitado, así como las diferencias en los niveles de calidad de los programas acadé - micos en términos de su relevancia y pertinencia, entre otros. Además del puntaje global reportado, los ejercicios de evaluación deben tener la capacidad de ofrecer información sobre el desempeño académico demostrado en las diferentes áreas y contenidos de la prueba. El nivel de detalle de los re - sultados obtenidos es fundamental para que las instituciones educativas conozcan las características de la población que ingresa y los conocimientos mínimos con que cuentan. Esto brinda un panorama amplio a las autoridades educativas o a la comunidad escolar porque permite canalizar el fortalecimien - to académico en los contenidos de bajo desempeño y ofrecer estrategias como cursos específicos de nivelación académica o tutoría. Los resultados de evaluaciones que se aplican para medir el desempeño académico de los alumnos o del profesional docente, así como el funcionamiento y equipamiento de las

CENEVAL INVESTIGA 31

instituciones educativas y la pertinencia de los programas aca - démicos, deben tener como objetivo ofrecer información con la finalidad de mejorar. Como se ha señalado, los resultados de la evaluación con - tienen un componente de responsabilidad ética y profesional ineludible. Para la Dirección de Calificación del Ceneval, el concepto de calidad no solo es un requisito, sino también un compromiso inquebrantable. Los aspirantes, padres de familia, profesionistas e instituciones educativas, así como instancias privadas y de gobierno, depositan su confianza en la validez e integridad de los resultados de las distintas evaluaciones que ofrece el Centro. Las decisiones de vida que se presentan cuando un aspi - rante es aceptado o no en una institución educativa de alta demanda, las estrategias de mejora en los aprendizajes, la asig - nación de recursos, las certificaciones de tipo profesional y los referentes para la implementación de políticas públicas edu - cativas son solo algunos de los ejemplos de la importancia y el compromiso que el Centro tiene con la sociedad. Desde el enfoque técnico, comprobar la validez y confia - bilidad de una prueba es un requisito de todo evaluador. No obstante, el conocimiento del alcance y las inferencias que se puedan obtener de los resultados implica resaltar la importan - cia que tienen el diseño de los instrumentos, la adecuada difu - sión de los resultados, la correcta entrega de la información y el uso pertinente de los datos, y cómo estos pueden impactar en la mejora de la calidad educativa. Para lograr el objetivo anterior, el Ceneval implementa una metodología probada por su calidad y rigor técnico desde el diseño, la elaboración y la aplicación de las evaluaciones hasta la entrega de resultados. Esa metodología tiene como objetivo asegurar una medición técnicamente precisa, justa y confiable. Su implementación se basa en la participación profesional del personal interno y la asesoría de especialistas externos, así

Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52

Made with FlippingBook - Share PDF online