En este número conocerás el Programa de Pasantías del David Rockefeller Center for Latin American Studies de la Universidad de Harvard, en el que el Ceneval ha participado desde el año 2020. Asimismo, se enuncian los aspectos más relevantes de los exámenes de conocimientos para ocupar cargos o puestos en organismos públicos; se presenta la reflexión acerca del surgimiento de la inteligencia artificial y su relación con las habilidades de escritura; se da respuesta a la pregunta ¿para qué sirven los análisis de dimensionalidad? Y se resume el seminario web sobre pruebas adaptativas de múltiples etapas organizado por la OCDE,.
9
REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA Número 9 | 2023
FOMENTO DE LA CULTURA DE LA EVALUACIÓN
CENEVAL INVESTIGA
Revista de evaluación e investigación educativa Ceneval Investiga
Presentación
El Centro Nacional de Evaluación para la Educación Superior (Ceneval) presenta a la co- munidad de académicos e investigadores en educación y evaluación, así como al público en general, el noveno número de la revista Ceneval Investiga . Se trata de una publicación periódica que aparece tres veces al año, que busca constituirse en un foro para mostrar investigaciones y ensayos realizados por personal del Ceneval y de otros especialistas, organismos e instituciones interesados en temas de educación y evaluación educativa. En este número se incluyen una entrevista y cuatro artículos de interés general. Se entrevistó a Lorena Rodas, Coordinadora de los Programas de Estudiantes del David Roc - kefeller Center for Latin American Studies de la Universidad de Harvard, quien da cuenta de la misión, el objetivo y en qué consisten dichos programas en México. El Ceneval, desde 2020, ha colaborado con estos programas y, hasta la fecha, ha recibido a cinco estudiantes, lo cual ha representado una experiencia muy enriquecedora, tanto para el Centro como para ellos, tal como queda reflejado en el testimonio de Ace Mejía Sánchez, quien describe brevemente su pasantía en el Centro durante el verano de 2023. En el artículo Proceso de selección para ingresar a organismos públicos , la Subdirección de Evaluaciones para Organis - mos Públicos y Privados, de la Dirección de Acreditación y Certificación del Conocimiento del Ceneval, comparte las características más relevantes de los exámenes que desarrolla, cuyo propósito es evaluar los conocimientos, las habilidades y las competencias cognitivas de los aspirantes a ocupar puestos públicos, los cuales garantizan la imparcialidad y objeti - vidad de estos procesos de selección. En el segundo artículo, Habilidades cognitivas en la es - critura e inteligencia artificial ¿Pueden las máquinas escribir por nosotros?, se reflexiona acerca del surgimiento de la inteligencia artificial y su relación con las habilidades de escritura, ya que algunos sistemas tecnológicos han mostrado cierta capacidad para escribir textos completos, pero ¿son comparables a los que escribe un humano? En el texto se estudian las diferentes posturas para lograr dar respuesta a las preguntas planteadas. El tercer artículo
también plantea una pregunta de suma importancia: ¿para qué sirven los análisis de dimen - sionalidad? El autor indica que existen dos fuentes que generan evidencias de validez, una ontológica y otra epistemológica. La dimensionalidad cobra importancia en esta última, ya que permite distinguir un número mínimo de factores que describen el contenido de las pruebas a través de los análisis factoriales exploratorio o confirmatorio. En el texto se des - criben ambos y se concluye que estos análisis permiten obtener evidencias para tomar de - cisiones con respecto al mantenimiento y el ajuste de los instrumentos que se desarrollan en el Ceneval. Finalmente, se presenta un taller desarrollado por la Organización para la Cooperación y el Desarrollo Económicos ( OCDE ), en el que se mostraron cinco trabajos de investigación que comparten experiencias respecto a la aplicación de la metodología de las pruebas adaptativas de múltiples etapas, específicamente para la prueba PISA , dicho taller se tituló Proyecto de investigación, desarrollo e innovación de PISA sobre las pruebas adapta - tivas de múltiples etapas: conclusiones y recomendaciones . Este texto pretende fomentar la comprensión de esta metodología. Nuevamente, invitamos a los académicos e investigadores interesados en los temas de esta revista a enviar sus colaboraciones a revista.investigacion@ceneval.edu.mx , para que sean evaluadas e incluidas en números subsecuentes. El propósito es que la revis - ta de evaluación e investigación educativa Ceneval Investiga sea un instrumento más que contribuya a cumplir nuestro mandato social: la mejora de la calidad educativa en nuestro país.
Antonio Ávila Díaz Director General del Ceneval
CENEVAL INVESTIGA | REVISTA DE EVALUACIÓN E INVESTIGACIÓN EDUCATIVA
D.R. © 2023 Centro Nacional de Evaluación para la Educación Superior, A.C. (Ceneval) Av. Camino al Desierto de los Leones 19
Col. San Ángel, Alc. Álvaro Obregón C.P. 01000, México, Ciudad de México www.ceneval.edu.mx
Noviembre de 2023
Contenido
08 32 14 22 40
El programa de pasantías del David Rockefeller Center for Latin American Studies, Harvard University, en el Ceneval
Proceso de selección para ingresar a organismos públicos
Habilidades cognitivas en la escritura e inteligencia artificial ¿Pueden las máquinas escribir por nosotros?
¿Para qué sirve el análisis de dimensionalidad?
Proyecto de investigación, desarrollo e innovación de PISA sobre las pruebas adaptativas de múltiples etapas: conclusiones y recomendaciones
8
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
El programa de pasantías del David Rockefeller Center for Latin American Studies, Harvard University, en el Ceneval
El Centro David Rockefeller de Estudios Lati - noamericanos ( DRCLAS , por sus siglas en inglés), de la Universidad de Harvard, busca incremen - tar el conocimiento, la cooperación y compren - sión de los pueblos de América Latina y, de esta forma, fomentar conversaciones e investigacio - nes en temas relacionados con la democracia, el progreso social y el desarrollo sostenible en todo el hemisferio. Para lograrlo, cuenta con di - ferentes programas, entre ellos el de pasantías para estudiantes. Desde 2020, el Centro Nacional de Evalua - ción para la Educación Superior (Ceneval) ha colaborado con el DRCLAS , por lo que cinco es - tudiantes realizaron ya pasantías, tres de ma - nera presencial y dos de forma remota (debido a la pandemia por covid-19). La experiencia del Ceneval con este programa ha sido muy satis - factoria. De ahí la importancia de entrevistar a Lorena Rodas, coordinadora de los Programas de Estudiantes del David Rockefeller Center
for Latin American Studies en México. Asimis - mo, se presenta el testimonio de Ace Mejía Sánchez, quien estuvo colaborando presen - cialmente en el Ceneval durante el verano de 2023 y describe brevemente su experiencia. Lorena Rodas, ¿cuál es la misión del David Rockefeller Center for Latin American Studies de la Universidad de Harvard? En el corazón del David Rockefeller Center for Latin American Studies de Harvard late una dedicación incansable por América Lati - na, el Caribe y sus diásporas. El DRCLAS es un faro de excelencia académica y un puente hacia un mundo más conectado y enriqueci - do. Nuestro centro ejerce un papel esencial al forjar vínculos tanto dentro de Harvard como con colaboradores externos. Facilita
CENEVAL INVESTIGA 9
investigaciones innovadoras y aplicadas, transformando ideas en soluciones tangibles para los desafíos regionales. Al acoger a académicos y becarios de diversas disciplinas y países, el DRCLAS crea un espacio de colaboración global, nutriendo así el conocimiento y la comprensión mutua. Además de su función académica, el DRCLAS se destaca por celebrar y preservar el patrimonio cultural diverso de Amé - rica Latina y el Caribe a través de eventos y programas que promueven la riqueza de las artes, la cultura y la historia. En resumen, el DRCLAS es un motor de cambio que impulsa la co - laboración global, celebra la diversidad y promueve un enten - dimiento profundo entre culturas. Su labor continuada asegura un futuro más brillante y conectado para todas las personas en la región y más allá.
¿Cuál es el objetivo de su programa en México?
En el núcleo de nuestros objetivos yace un compromiso de ele - var la comprensión del rico tejido cultural, la significancia his - tórica de México y el papel que juega a nivel regional y global. Nuestros objetivos pueden ser categorizados en cuatro grupos: › Avanzar los límites académicos: Nos proponemos estimular un riguroso debate académico y de investigación, llevando los estudios sobre México en Harvard a nuevas alturas. Al nutrir un ambiente de curiosidad intelectual, exploramos las complejidades de la historia, la cultura y los procesos socia - les de México. › Experiencias transformadoras de aprendizaje: Creamos oportunidades de aprendizaje transformadoras para nues - tros estudiantes, permitiéndoles explorar de primera mano la vibrante cultura, el arte y la historia de México. Estas experiencias no solo amplían sus perspectivas, sino que también fomentan una profunda apreciación por el diverso patrimonio de México.
10
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
› Unir generaciones: Nuestro alcance se extiende a la diáspo - ra mexicana, guiándolos en un viaje de autodescubrimiento. Los asistimos en desentrañar las capas de su herencia, ayu - dándolos a abrazar y valorar sus raíces. Además, educamos a ciudadanos globales, asegurándonos de que comprendan el papel esencial de México en la configuración de América Latina y el mundo. › Fortalecer alianzas académicas: Al cultivar sólidas relacio - nes con la academia mexicana, facilitamos un intercambio académico robusto. Esta colaboración trae distinguidos académicos y becarios a Harvard, enriqueciendo nuestro conocimiento colectivo de México. Por medio de estas aso - ciaciones, trabajamos activamente en un sólido programa de estudios mexicanos, fomentando un legado de excelen - cia académica y aprecio cultural. En resumen, nuestros objetivos no se limitan al avance acadé - mico; son un testimonio de nuestra dedicación para construir puentes, fomentar la comprensión y capacitar a individuos para apreciar el mosaico vibrante que es México.
¿En qué consiste su programa de pasantías de estudiantes en México?
Los programas de pasantías tienen la intención de dar a los estudiantes una experiencia de enriquecimiento internacional y profesional con una organización en México. Buscan en - lazar a nuestras organizaciones asociadas con un(a) pasante estudiantil calificado(a) que proporcione valor a la institución con la que trabaja como pasante. La experiencia de enriqueci - miento profesional de los programas se basa en una relación cooperativa de tres partes: DRCLAS , la organización anfitriona
CENEVAL INVESTIGA 11
y el pasante estudiantil de Harvard University. Como resul - tado de esta experiencia el estudiantado pasante se prepara más en sus respectivas carreras profesionales, mientras que ayuda a su organización anfitriona en el cumplimiento de sus responsabilidades significativas según las instrucciones de sus supervisores. Además, estos programas buscan que los estu - diantes participantes crezcan no solo como profesionales sino también como seres humanos creando una comunidad que los acompaña durante el tiempo que realizan esta experien - cia, pero a veces continúa esa comunidad cuando regresan de nuevo al campus, creando así un puente entre Estados Unidos y México.
¿Qué beneficios han obtenido sus estudiantes al realizar una pasantía en el Ceneval?
Estudiantes que han tenido la suerte de ser pasantes en el Ce - neval han aprendido mucho del trabajo colaborativo. Durante sus estancias, el Ceneval ha abierto la puerta a quienes por primera vez trabajan en un ambiente profesional en español y los jóvenes han acompañado esos procesos de adaptación con mucho entusiasmo e interés. Es una organización que ha fortalecido a nuestros estudiantes participantes no solo en sus habilidades de investigación y metodología estadística, sino también como seres humanos responsables en sus quehaceres profesionales. El equipo Ceneval siempre ha sido cooperativo e inclusivo con la diversidad de ideas e identidades de nuestros estudiantes, mostrando interés y apertura por el diálogo para implementar nuevas estrategias de conocimiento y también colegas de trabajo.
12
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
Testimonio de Ace Mejía Sánchez, participante del programa del DRCLAS en el Ceneval, durante el verano de 2023 Mi estancia en el Ceneval me brindó la oportunidad de com - plementar mis habilidades y conocimientos estadísticos, desa - rrollar una perspectiva más amplia de información acerca de las pruebas, y apreciar el arduo trabajo detrás de cada cuadernillo de examen. Siempre he sido crítico de las pruebas estandariza - das debido a la innegable asociación entre la riqueza familiar y la educación. Como estudiante universitario de primera gene - ración procedente de una zona rural de bajo nivel socioeconó - mico, fui testigo de primera mano de cómo un mal uso de las pruebas estandarizadas estancó el amor de mis compañeros por el aprendizaje y atenuaron sus aspiraciones de vida. A través de mi pasantía en la Dirección de Investigación, Calidad Técnica e Innovación Académica del Ceneval, estuve expuesto a literatura vibrante sobre psicometría y herramien - tas de medición, así como a la gran cantidad de académicos que se han esforzado por lograr la equidad en la construcción de estas evaluaciones. Ver puesta su literatura en la práctica con el rigor y la precaución que se pone en cada reactivo y dis- tractor , realmente resonó con mi amor por la estadística. Ejer - cité mis habilidades de codificación además de familiarizarme con los paradigmas (teoría de respuesta al ítem, teoría clásica de los test) y métodos estadísticos (análisis factorial confir - matorio, análisis factorial exploratorio) utilizados en todo el departamento. La flexibilidad del puesto me permitió estudiar cualquier tema o proceso departamental deseado. Mis primeras sema- nas aprendí mucho acerca de los cuestionarios de contexto, así como la creación de talleres y módulos. Estoy por concluir un proyecto predeterminado que contribuirá al trabajo actual de la organización y que puede guiar mejor la exploración de un in - terno hacia otros proyectos y áreas en el Ceneval. No obstante,
CENEVAL INVESTIGA 13
la libertad fue un cambio bienvenido; especialmente porque me permitió conocer a los compañeros de los EXANI y también las responsabilidades que tienen en el área. Lo más valioso que aprendí es la importancia de la evalua - ción educativa a partir de la aplicación de exámenes. Aunque la definición del universo de evaluados está fuera del control del Ceneval, el recordatorio de que las pruebas son, en última ins - tancia, una forma de medición y no de exclusión me hizo volver a centrarme en por qué elegí estudiar estadística. Al final del día, las pruebas se realizan para evaluar y crear una base sobre la cual un individuo puede mejorar y son el primer paso en un largo proceso de resolución. En general, disfruté mucho mi estancia en Ceneval y aprecio toda la amabilidad y paciencia que me mostraron en la Ciudad de México.
14
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
Proceso de selección para ingresar a organismos públicos
Subdirección de Evaluaciones para Organismos Públicos y Privados, Ceneval Departamento de Evaluaciones Electorales El objetivo del procedimiento de selección de personal es elegir a la persona idónea para ocupar un puesto específico, de manera que con su trabajo contribuya a alcanzar los propó - sitos de una organización. De acuerdo con Chiavenato 1 , el recluta - miento y la selección de personal son dos fases de un mismo proceso. Por un lado, el recluta - miento suministrará la materia prima, es decir, a los candidatos, a los que la selección distin - gue y clasifica de acuerdo con las necesidades de la institución. Esta además facilita el diag - nóstico y pronóstico de la capacidad de las per -
sonas para la ejecución de una tarea, por lo que es necesario que se lleve a cabo en diferentes etapas que incluyan las exigencias del cargo, el perfil del candidato, la definición de las com - petencias y la aplicación de diferentes tipos de pruebas, ya sea de conocimientos, de capaci - dad, psicométricas, entrevistas, entre otras. Contratar a la persona más competente para desempeñar un puesto de trabajo en un organismo público o privado requiere del uso de diferentes técnicas de selección, por lo que su empleo depende del enfoque que se utilice en ese momento. En la mayoría de los casos, el proceso de selección de personal termina con una entrevista, una vez que se aplicaron diversas pruebas diseñadas para obtener infor - mación acerca de las actitudes, habilidades y competencias. Las pruebas para selección de personal son instrumentos que permiten me- dir el grado de conocimientos profesionales o técnicos exigidos por el cargo, proporcionan
1 Chiavenato, I. (2011). Administración de recursos humanos: El capital hu - mano de las organizaciones . México: McGraw-Hill.
CENEVAL INVESTIGA 15
una evaluación objetiva porque permite garantizar que los candidatos cuentan con las habilidades y los conocimientos necesarios para desempeñar el trabajo de manera efectiva. 2 Chiavenato 1 señala que las pruebas de conocimiento o de capacidad tienen por objetivo evaluar el grado de nociones, conocimientos y habilidades adquiridos mediante el estudio, la práctica o el ejercicio. Según la forma en la que se aplican, las pruebas pueden ser: 2 1. Orales 2. Escritas 3. De relación De acuerdo con el área de conocimiento, pueden ser: 1. Generales, cuando tienen que ver con nociones de cultu - ra o conocimientos comunes. 2. Específicas, cuando indagan conocimientos técnicos di - rectamente relacionados con el cargo. Por la forma en la que se elaboran, las pruebas escritas pue - den ser de tres tipos: 1. Tradicionales o subjetivas. Abarcan pocas preguntas y exigen respuestas largas, limitan tanto la selección de las preguntas que conformarán la o las pruebas en el momento del examen, como la posibilidad de preguntar sobre los temas relevantes por evaluar, y su calificación depende de la interpretación de quien la realice. 2. Objetivas. Poseen más preguntas, abarcan un área vasta de conocimiento del candidato y exigen respuestas bre - ves y precisas, bien definidas en su forma y contenido. 3. Mixtas. Constan de una parte objetiva en forma de prue - ba y otra en forma de preguntas cuya respuesta se da a partir del razonamiento analítico y metódico sobre un tema en específico.
2 HumanSmart Consulting (s.f). 3 Tipos de pruebas de conocimiento o de capacidad del proceso de selección de personal . Disponible en https://humansmart.com.mx/articulos/articulo-3-ti - pos-de-pruebas-de-conocimiento-o-de-capacidad-del-proceso-de-seleccion-de-personal-329
16
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
Para evitar sesgos en el proceso de selección es necesario contar con una visión externa a la organización, capaz de ofrecer el diseño de instrumentos de evaluación para aten - der los requerimientos y las necesidades de los organismos de los sectores público y privado, con el fin de garantizar la validez de las herramientas utilizadas y la transparencia en el proceso. Existen instituciones especializadas en el diseño y la aplicación de instrumentos de evaluación de conocimientos, habilidades y competencias, así como en el análisis y la difu - sión de sus resultados. El Centro Nacional de Evaluación para la Educación Supe- rior (Ceneval), en casi tres décadas de existencia, se ha cons - tituido como una institución de alta experiencia y calidad en el ámbito de la evaluación educativa, aporta información útil para el diseño y la aplicación de políticas públicas en materia de educación y contribuye a la toma de decisiones de autori - dades educativas e instituciones para la mejora y el asegura - miento de la calidad de sus procesos y programas académicos. Tiene la capacidad para diseñar nuevos instrumentos de eva- luación que se adecuan a los objetivos y las necesidades de las organizaciones que así lo requieran. Cuenta con infraestruc - tura técnica y experiencia en evaluación educativa para llevar a cabo el diseño, la elaboración y la aplicación de diferentes instrumentos de evaluación que permitan satisfacer las de - mandas específicas de los organismos públicos y privados con calidad y responsabilidad social.
CENEVAL INVESTIGA 17
Exámenes de conocimientos para ocupar cargos o puestos en organismos públicos
En México, desde 1810 hasta la época posrevolucionaria, las re - formas y mejoras administrativas se encaminaron a la búsqueda de valores y principios en los funcionarios públicos, tales como ética, calidad, transparencia, legalidad y rendición de cuentas. De 1924 a 1932 se incorporaron los exámenes de ingreso para el personal, se estableció la Escuela Superior de la Administra - ción Pública, se llevó a cabo la reorganización técnica de los servicios públicos con sistemas modernos y se implementaron exámenes para la selección del personal. Dos de las estrategias del Plan Nacional de Desarrollo 2007-2012 fueron la profesio - nalización del servicio público y el fortalecimiento de la cultura de evaluación del desempeño, ingreso y permanencia en el ser - vicio público basado en el mérito. 3 De acuerdo con Uriel Márquez, “la Secretaría de la Función Pública impulsó la transformación de la administración pública para contar con instituciones orientadas al logro de resultados con honestidad, transparencia, eficiencia y eficacia; lo que im - plicó una reforma regulatoria en todas las normas, los proce - sos, trámites y requisitos de todos los servicios que se prestan a la ciudadanía” (p. 4). 4 En los últimos años, los funcionarios públicos fungen como un factor de cambio, ingresan al servicio público por mérito y en igualdad de oportunidades; son evaluados en su desem - peño y reciben capacitación para fortalecer sus capacidades y brindar mejores resultados para la ciudadanía. Los procesos de selección están regulados por diferentes disposiciones normativas y concursos públicos en los que se 3 Campero, G. H. (2009). El bicentenario y la forma del sector público en México. Los afanes del Sísifo. Convergencia, 16 (49), 347-371. Disponible en https://www.scielo.org.mx/scielo.php?s - cript=sci_arttext&pid=S1405-14352009000100015 4 Márquez, U. (2012). Prólogo. En Porias S. (Ed). Mejores prácticas de recursos humanos en el sector público (4-5 pp.). Editorial Leto. Disponible en: http://usp.funcionpublica.gob.mx//doctosecco/ documentos/mejoresPracticasDeRecursosHumanosEnElSectorPublico.pdf
18
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
incluyen exámenes de conocimientos generales y especializa - dos en la materia, de acuerdo con sus catálogos de cargos y puestos, así como otro tipo de evaluaciones que se describen con profundidad en sus convocatorias. Estos organismos han considerado la participación del Ceneval, dado que se resguarda la confidencialidad del exa - men, la seguridad de los bancos de reactivos y los datos obtenidos. Conviene advertir que los especialistas que in - tegran los comités académicos del Ceneval no pueden par - ticipar en los procesos de selección, 5 por lo que todos los aspirantes se encuentran en igualdad de condiciones. Actualmente, la Subdirección de Evaluaciones para Orga - nismos Públicos y Privados, perteneciente a la Dirección de Acreditación y Certificación del Conocimiento del Ceneval, es la encargada de realizar los exámenes de conocimientos para ocupar cargos o puestos en organismos públicos, los cuales forman parte de cada una de las convocatorias emitidas por estos, que permiten garantizar la objetividad e imparcialidad y evaluar las competencias que se requieren para integrar los mejores perfiles. Estos instrumentos son un tipo de prueba estructurada, conformada por reactivos de opción múltiple y que, con base en la metodología del Centro, constituyen la unidad básica de observación que permite hacer inferencias sobre la presen - cia de habilidades, competencias y conocimientos específicos, tanto generales como técnicos, que pudieron ser adquiridos de manera autodidacta, por medio de un proceso de educa - ción formal o por experiencia laboral de las personas aspiran - tes a ocupar un cargo o puesto en algún organismo público. Asimismo, se trata de una prueba objetiva, como lo mencio - na Chiavenato, que permite contar con instrumentos válidos
5 Patiño M. A. (noviembre 2018). Proceso de selección y designación de Consejeras y Consejeros Electorales de los OPL . Conferencia presentada en la primera Reunión de Instituciones Usuarias de Acreditación y Certificación del Conocimiento Ceneval. Ciudad de México. Disponible en: http://riuacc.ceneval.edu.mx/#ponencias
CENEVAL INVESTIGA 19
y confiables, diseñados en conjunto con especialistas en la materia. Estos exámenes son de uso exclusivo y restringido, con apego al marco normativo por el que se rige la entidad pública y por los acuerdos establecidos por un consejo, tienen cobertura nacional, dado que los puestos o cargos por los que se concursa se designan en los diferentes estados de la Repú - blica y de acuerdo con las necesidades del organismo público contratante. Los resultados obtenidos por medio de la evaluación no po - drán, por sí solos, designar a la persona aspirante para ocupar la vacante o cargo dentro del organismo público, ya que, con - forme a la naturaleza del proceso de reclutamiento y selección del personal, solo permiten identificar a las personas aspiran - tes que pasarán a la siguiente etapa y no se realizarán com - parativos a lo largo del tiempo, ya sea por estados o regiones. Esto con la finalidad de garantizar la equidad de la evaluación. Si bien el instrumento evalúa conocimientos y habilidades asociados al cargo o puesto vacante, la sensibilidad a la ins - trucción formal es media, ya que, como se mencionó, quienes presentan dicho examen pueden adquirir los conocimientos y habilidades que se evalúan de manera autodidacta, mediante procesos de educación no formales o experiencia laboral. Una vez aplicado el examen de conocimientos, se organizan las listas de resultados de los aspirantes de acuerdo con los cargos o puestos sujetos a concurso. Para tomar una decisión respecto a la asignación del cargo se consideran los resultados de cada una de las etapas correspondientes: el examen de co - nocimientos, la evaluación psicométrica y las entrevistas, con atención a las ponderaciones que se determinen en la convo- catoria correspondiente.
20
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
El proceso de evaluación permite a estos organismos obte - ner información relevante que sustente la toma de decisiones estratégicas, orientadas a la mejora continua y al aseguramien - to de la calidad profesional. Por todo lo anterior, el Ceneval colabora con los organismos públicos para simplificar los procesos de evaluación dirigidos a un gran número de aspirantes y diseñar o rediseñar instru - mentos, con base en la vigencia, relevancia y pertinencia de los contenidos.
CENEVAL INVESTIGA 21
Lecturas recomendadas
Campero, G. H. (2009). El bicentenario y la forma del sector público en México. Los afanes del Sísifo. Convergencia, 16 (49), 347-371. Dis - ponible en: https://www.scielo.org.mx/scielo.php?script=sci_arttext&pid =S1405-14352009000100015 Chiavenato, I. (2009). Gestión del Talento Humano . México: McGraw-Hill. Chiavenato, I. (2011). Administración de recursos humanos: El capital humano de las organizaciones . México: McGraw-Hill. HumanSmart Consulting (s.f). 3 Tipos de pruebas de conocimiento o de capacidad del proceso de selección de personal. Disponible en: https://humansmart.com.mx/articulos/articulo-3-tipos-de-pruebas- de-conocimiento-o-de-capacidad-del-proceso-de-seleccion-de- personal-329 Márquez, U. (2012). Prólogo. En Porias S. (Ed). Mejores prácticas de recursos humanos en el sector público (4-5 pp). Editorial Leto. Disponible en: http:// usp.funcionpublica.gob.mx//doctosecco/documentos/mejoresPracticas - DeRecursosHumanosEnElSectorPublico.pdf Patiño M. A. (noviembre 2018). Proceso de selección y designación de Consejeras y Consejeros Electorales de los OPL . Conferencia presentada en la I Reunión de Instituciones Usuarias de Acreditación y Certificación del Conocimiento. Ceneval. Ciudad de México. Disponible en: http://riuacc. ceneval.edu.mx/#ponencias Rubio, J. (2006 ). La política educativa y la educación superior en México. 1995- 2006: Un balance. México: SEP/FCE.
22
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
Habilidades cognitivas en la escritura e inteligencia artificial ¿Pueden las máquinas escribir por nosotros? trata de llegar a una respuesta comenzando por definir qué es el pensamiento y qué es una máquina, pero el propósito del artículo estaba aún más acotado, era contestar a esta pregun - ta: ¿Puede una máquina imitar el pensamiento humano? Aunque Turing es un hombre de mediados del siglo pasado, veía con optimismo (e, incluso, planteaba una profecía) los futuros alcances de “la máquina”: Podríamos esperar que las máquinas eventual - mente compitan con los hombres en todos los campos puramente intelectuales. Pero ¿cuáles son los mejores para comenzar? Incluso esa es una de - cisión difícil. Mucha gente cree que una actividad muy abstracta, como jugar ajedrez, sería lo mejor. También se puede sostener que lo mejor es pro - veer a la máquina con los mejores órganos senso - riales que el dinero pueda comprar y enseñarle a comprender y hablar inglés [...]. Nuevamente, no sé cuál sea la respuesta correcta, pero creo que ambas aproximaciones debieran intentarse. 7
Tania Lizbeth Jaramillo Reyes Dirección de Investigación, Calidad Técnica e Innovación Académica, Ceneval
Consideraciones históricas sobre la inteligencia artificial
En 1968, Philip K. Dick escribió la novela ¿Sue - ñan los androides con ovejas eléctricas? , influido quizá por el matemático A. Turing, quien años atrás iniciaría su artículo Computing machinery and intelligence con la sentencia: “Propongo que consideremos la pregunta, ¿pueden las máquinas pensar?”. 6 La idea que subyace a ambas preguntas es imaginar qué tanto las máquinas pueden re - plicar los comportamientos humanos. Turing
6 Turing, A. (1950). Maquinaria computacional e Inteligencia. Universidad Autónoma Metropolitana . (Trad. C. Fuentes Barassi). http://xamanek.izt. uam.mx/map/cursos/Turing-Pensar.pdf
7 Ibidem p. 22
CENEVAL INVESTIGA 23
Es interesante la aclaración de que las máquinas podrían imi - tar el pensamiento humano, en aquello “puramente intelectual”. Actualmente, sabemos que la llamada inteligencia artificial ( IA ) ha alcanzado cosas antes vistas solo en la ficción. Existen los chatbots : asistentes virtuales, que, a partir de datos, realizan pre - dicciones y son capaces de sostener una conversación sencilla e inteligente en función de la resolución de un problema. Exis - ten los traductores, como Deepl o Google Translate, capaces de traducir a cualquier idioma. Hay sistemas operativos, como Siri, que cada día se especializan en distinguir fonemas y, en parti - cular, alófonos, que le permiten comprender el habla humana y conversar rudimentariamente. Del mismo modo, se habla de arte a partir de imágenes creadas con IA . No se puede olvidar que el 11 de mayo de 1997 una supercomputadora llamada Deep Blue, desarrollada por la empresa tecnológica IBM , derro - tó al ajedrecista (campeón del mundo) Gary Kaspárov, ¡ touché !
La IA y las habilidades cognitivas en la escritura
Las definiciones de IA giran en torno a esta concepción sobre la inteligencia humana y su posible mímesis, por ejemplo, “la automatización de actividades que vinculamos con procesos de pensamiento humano, actividades tales como toma de de - cisiones, resolución de problemas, aprendizaje […]”. 8 Existen algunas tecnologías capaces de imitar la red neu - ronal de la mente humana, incluso otras que pueden facilitar los diagnósticos médicos, también las hay aquellas capaces de escribir textos, pero ¿son estos textos comparables con los que escribiría la mente humana? Las habilidades vinculadas con la escritura son múltiples; hay textos muy complejos, como un texto argumentativo, que
8 Richard, B. citado en Moreno, R. D. (2019). La llegada de la inteligencia artificial a la educación. Revista de Investigación en Tecnologías de la Información , 7(14). Disponible en https://riti.es/index. php/riti/article/view/112
24
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
de acuerdo con el Modelo general del discurso escrito de A. Vähäpassi, 9 es el género discursivo más complejo, pues exige i nventar/generar nuevo conocimiento. Grabe y Kaplan, 10 pro- ponen una taxonomía de habilidades comunicativas que se agrupan en tres grandes tipos de conocimiento: lingüístico, discursivo y sociolingüístico. Con el primero se vinculan habi - lidades metalingüísticas, las relacionadas con las convenciones de la lengua, como la ortografía, la puntuación y la sintaxis. En el segundo se encuentran las cuestiones semánticas, como la coherencia; la distribución de la información de manera lógi - ca. Finalmente, en el ámbito sociolingüístico figura la habilidad para organizar un texto; esto es, que una persona sea capaz de establecer una premisa o tesis, desarrollarla y ofrecer conclu - siones conservando a lo largo de su exposición el tema tratado y evitando contradicciones. Además de ello, se incluye la capa - cidad de argumentar, es decir, ofrecer un punto de vista válido, construido con razones que lo respalden, y poder discriminar y refutar otras posturas; esto sin olvidar la habilidad para adaptar el lenguaje al propósito comunicativo, considerando el recep - tor y el contexto. Estas habilidades que conlleva la escritura son parte de un pensamiento complejo, dotado de distintas habilidades cogni - tivas como la percepción, la atención, la memoria, el lenguaje y la inteligencia, 11 que se relacionan con el pensamiento crítico que, según las investigaciones realizadas por la Unesco, junto con el pensamiento creativo, resulta una de las habilidades in - dispensables para el siglo XXI . 12 9 Vähäpassi, A. citado en Centro Nacional de Evaluación para la Educación Superior. (2015). Marco teórico. Examen de expresión escrita en español. Exprese. 10 Grabe y Kaplan citado en ibidem. 11 Coordinación de Universidad Abierta y Educación a Distancia-UNAM (2016-2017). Pensamien - to, Lenguaje y Escritura. Unidad de apoyo al aprendizaje . Disponible en: https://proyectos.cuaed. unam.mx/uapa/derecho/pensamiento-lenguaje/ 12 Scott, C. (2015). El futuro del aprendizaje. ¿Qué tipo de aprendizaje se necesita en el siglo XXI? Investigación y Prospectiva en Educación UNESCO. UNESDOC. Biblioteca digital, (14), 1-19. Dis - ponible en: https://unesdoc.unesco.org/ark:/48223/pf0000242996_spa
CENEVAL INVESTIGA 25
La pregunta es si el constructo denominado IA puede repli- car todas estas habilidades. Debemos partir de que este cons - tructo responde a los estímulos del conocimiento y la creati - vidad humana. De acuerdo con un viejo artículo publicado en 1994, acervo de la Universidad de la Rioja, todo partió de la concepción constructivista de que el ser humano nace con una herencia de datos que forman parte de su conocimiento inicial, el cual va creciendo conforme la experiencia, lo que aumenta esos datos y por lo tanto, el conocimiento: “Esto es lo que los expertos en inteligencia artificial han querido realizar dotando a la máquina de cierto conocimiento y de procesos inferenciales de tipo heurístico que se encarguen de producir nuevos hechos o nuevos conocimientos”. 13 Después de pasados los años, hemos visto grandes avances en la IA ; con enormes bases de datos y mostrándoles tareas, las máquinas logran aprender y predecir; sin embargo, algunos estu - dios muestran posturas que aseguran que las máquinas no pue - den igualar “la consciencia” humana, el conocimiento de causa: Hay alguna razón por la cual cuando una persona observa una representación es capaz de captar el sentido que denota, la referencia, el significado. Este puede tener varias correspon - dencias, aunque la representación permanezca inalterable. Pero una máquina no percibe, no tiene intuición alguna del significa - do de nada. Sólo transforma información de entrada en infor - mación de salida. Esto se puede explicar del siguiente modo: cuando un ser humano lee no procesa los estímulos visuales de la tinta en el papel para traducirlos individualmente en respues - tas conductuales, sea a nivel del comportamiento o del razona - miento. Una persona simplemente es capaz de percibir el signi - ficado, más allá de la sintaxis de la oración. El hombre sabe de semántica, pero una máquina jamás percibe significado alguno, sino que traduce cualquier estímulo dentro de una estructura sintáctica. Evidentemente una máquina puede dar la impresión
13 Arango, M. V. (1994). Psicología cognitiva e inteligencia artificial. Ánfora, 2 (3), 106-107. Dispo - nible en: https://dialnet.unirioja.es/servlet/articulo?codigo=6359904
26
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
de captar significado por la extraordinaria potencia con la que puede transformar datos en tareas, pero nunca podrá tomar consciencia de lo que está haciendo ni del significado. 14 Hoy en día, por una parte, se están desarrollando (quizá ya sea un hecho) tecnologías para que una máquina pueda ser capaz de reconocer emociones (para acompañar diagnósti - cos médicos relacionados con la psiquiatría y la psicología), o aquello políticamente correcto e incorrecto, discursos de odio, como el racismo, el clasismo y la misoginia, ¿pero son (o serán) capaces de sentir o de tener una ética propia? ¿Resulta necesa - rio que desarrollen estas habilidades? Por otro lado, uno de los temores principales es que al poseer la máquina mayor capaci - dad de almacenamiento de información que la mente humana, tenga, a su vez, un mayor control del conocimiento. Con todo, la IA se nos presenta como una herramienta im - portante, que puede resultar útil para facilitar ciertas tareas, pues imita actividades humanas, usa la información proporcio - nada con un propósito específico. Lo anterior, ¿qué tanto nos favorece o nos perjudica? En la nota “Inteligencia artificial”, publicada por la Oficina de Información Científica y Tecnológica para el Congreso de la Unión ( INC y TU ) 15 , se exponen las actividades vinculadas a distintas pro - fesiones que pueden resultar susceptibles de ser automatizadas. En la mayoría de los casos son las actividades manuales (ya se ha visto antes, durante la revolución industrial), regularmente repetitivas y mecánicas (por ejemplo, cajeros, ensambladores, analistas de crédito, contadores), las que podrían ser automa - tizadas con mayor facilidad. Contrariamente, aquellas que re - quieren cierto conocimiento especializado, creatividad, análisis, negociación, empatía (docentes, directores artísticos, médicos, cirujanos), resultan con menos probabilidad de automatizarse. 14 Ramos, L. A. (2014). Psicología cognitiva e inteligencia artificial: mitos y verdades. UNIFE, 22 (1), 21-27. Disponible en: https://revistas.unife.edu.pe/index.php/avancesenpsicologia/article/ view/270 15 INCyTU (2018). Inteligencia artificial. Foro Consultivo Científico y Tecnológico , (012), 1-6. Disponible en: https://www.foroconsultivo.org.mx/INCyTU/documentos/Completa/INCYTU_18-012.pdf
CENEVAL INVESTIGA 27
Ello, si se le ve desde una óptica socioeconómica, puede re - sultar riesgoso, quizá no en el sentido de la sustitución de la mano de obra humana, sino al considerar que la mayoría de las personas en el mundo se encuentran en condiciones eco- nómicas no tan favorables para el uso de las tecnologías de IA , fenómeno que se ha comparado, en nivel de importancia, con otras revoluciones industriales. 16 No obstante, no se puede negar que la IA resulta de gran ayuda para tareas mecánicas que nos toman mucho tiempo, mientras podríamos invertir el tiempo en realizar otras activi - dades de mayor complejidad.
Chatbots y el futuro humano
En la guía de inicio a la IA , dirigida a estudiantes de nivel supe - rior, la Unesco define el Chat GPT (Transformador Generativo Preentrenado) como “un modelo de lenguaje que permite a las personas interactuar con una computadora de forma más natural y conversacional”; 17 se trata de un lenguaje natural de - sarrollado por la IA . “Estos modelos se entrenan con grandes conjuntos de datos para aprender a predecir la siguiente pala - bra de una frase y, a partir de ahí, generar una respuesta cohe - rente y convincente a una pregunta o instrucción”. 18 Para comprobar la fascinación y recelo que muestran las personas ante el surgimiento del Chat GPT , se exploraron al - gunas de las opciones abiertas al público, además de la más difundida ChatGPT, de OpenAI (que responde prácticamente 16 Ocaña-Fernández, Y., Valenzuela-Fernández, L. A., & Garro-Aburto, L. L. (2019). Inteligencia ar - tificial y sus implicaciones en la educación superior. Propósitos y Representaciones, 7 (2), 536– 568. Disponible en: https://doi.org/10.20511/pyr2019.v7n2.274 17 Instituto Internacional de la Unesco para la Educación Superior en América Latina y el Caribe (2023). ChatGPT e Inteligencia Artificial en la educación superior. Guía de inicio rápido . Educa - ción 2030 . Disponible en: https://unesdoc.unesco.org/ark:/48223/pf0000385146_spa 18 Ibidem p.5
28
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
a cualquier pregunta), también se encuentran Perplexity y You. com. En esta última se escribió en el chat “Amenazas de la inte - ligencia artificial”, ante lo cual se recibió esta respuesta: Las amenazas de inteligencia artificial pueden variar según el contex - to y la implementación específica de la IA, pero algunas preocupacio - nes comunes incluyen: 1. Seguridad y privacidad: Con la creciente cantidad de datos per - sonales recopilados por los sistemas de IA, hay preocupaciones sobre la privacidad y la posible exposición de información confi - dencial. También hay riesgos de ciberataques y de que la IA sea utilizada con fines malintencionados. 2. Desplazamiento laboral: La automatización impulsada por la IA y por la robótica puede desplazar a los trabajadores en ciertos sectores y reducir la demanda de empleos. Esto podría tener con - secuencias sociales y económicas significativas. 3. Prejuicios y discriminación: Los algoritmos de IA pueden crear o amplificar prejuicios o discriminación si no están diseñados y supervisados adecuadamente. Esto puede tener implicaciones tanto para la justicia como para la equidad en diversos ámbitos. 4. Falta de transparencia: En algunos casos, los sistemas de IA pue - den ser complejos y difíciles de entender, lo que podría dificultar la comprensión de cómo funcionan y cómo toman decisiones. 5. Dependencia incrementada: Si la IA se convierte en una parte esencial de nuestra vida diaria, hay riesgos potenciales de que se cree una dependencia excesiva a la tecnología, lo que podría limitar nuestra capacidad para resolver problemas por nosotros mismos. Estos son solo algunos de los posibles riesgos asociados con la implementación de la IA en diversos ámbitos. Es importante seguir de cerca estos avances y trabajar para desarrollar es - trategias para minimizar los riesgos y maximizar los beneficios que pueden proporcionar las tecnologías de IA . Lo que menciona el Chat GPT ya se ha expuesto en estudios sobre las implicaciones de la IA , por lo que no se trata de una respuesta original; sin embargo, resulta una respuesta suma - mente puntual, enlista las principales problemáticas que podría acarrear dicha inteligencia, lo cual podría ser útil como un pun - to de partida para una investigación más a fondo. Cabe seña - lar que estos chats de acceso público, probablemente, sean un
CENEVAL INVESTIGA 29
tanto diferentes a aquellos de paga, enfocados a ciertos propó - sitos, que prometen, por ejemplo, la construcción de ensayos o de artículos útiles para la promoción de productos, entre los cuales están ContentBot.ai que ofrece lo siguiente: Escriba en cualquier idioma
Deje que la IA escriba por usted en más de 110 idiomas.
Llegue a nuevos mercados creando contenidos en cualquier idioma. Nuestra IA puede escribir en inglés, español, chino, ruso, alemán, ita - liano, francés, suajili y otros 102 idiomas (¡el de los marcianos está pendiente...!) 19 O Articleforge, para crear contenidos dirigidos a empresas de publicidad: Con un solo clic, obtendrá un artículo completo de más de 1500 palabras, el cual es único, bien escrito y acerca del tema, lo que reduce drásticamente el tiempo y el dinero necesarios para crear contenido... 20 Incluso, se pueden instalar extensiones de IA para planificar estrategias de forma autónoma y completar tareas con ciertos objetivos, como el Auto- GPT . También se encuentra la exten - sión gratuita de Chrome (Chat GPT Writer) que permite gene - rar correos electrónicos y mensajes de texto automáticamente. Otros, como Alicent.ai, ayudan con la elaboración de currículum vítae, post para redes sociales y transcripción. Del mismo modo, existen chats mucho más capaces que, como hemos expuesto, aprenden según las tareas asignadas; entre más específicas sean las descripciones proporcionadas para crear un producto, más cerca se estará de obtener el resultado deseado. Con el tiempo, el internet y las tecnologías de la comunica - ción se han convertido en parte indispensable de nuestras vi - das. En el documental Lo and Behold: Reveries of the Connected World , el físico Lawrence Krauss asegura que el ser humano
19 AI Content Automation (s/f). ContentBot.AI . https://contentbot.ai/#pricing 20 Glimpse.ai (s/f). articleforge4.5 . https://www.articleforge.com/
30
NÚMERO 9 | FOMENTO DE LA CULTURA DE LA EVALUACIÓN
ya no puede vivir sin internet, pues es una herramienta funda - mental para el funcionamiento de la sociedad y el desenvolvi - miento del individuo a niveles que no imaginamos. 21 Esto puede ser posible, pero lo que es un hecho es que nos enfrentamos a un fenómeno sin precedentes cuyos alcances aún no logramos vislumbrar. Probablemente con cada pregun - ta que hacemos a la IA y con el robustecimiento vertiginoso de datos en internet, le enseñamos a la máquina a escribir y a pensar (¿o a imaginar?). Ante ello, lo más importante será no dejar de mostrarnos a nosotros mismos cómo pensar e ima - ginar, como un método de supervivencia en la sociedad, pero también como una forma de seguir experimentando el hecho de existir. Después de todo, quizá, si se trata de ser optimistas, se avecine una conciliación con la máquina, y que, tal como lo imaginó Steven Spielberg en Inteligencia Artificial , logremos que las máquinas aprendan a amar.
21 Herzog, W. (Director) (2016). Lo and Behold: Reveries of the Connected World. Netflix . Minuto 1:51
Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16 Page 17 Page 18 Page 19 Page 20 Page 21 Page 22 Page 23 Page 24 Page 25 Page 26 Page 27 Page 28 Page 29 Page 30 Page 31 Page 32 Page 33 Page 34 Page 35 Page 36 Page 37 Page 38 Page 39 Page 40 Page 41 Page 42 Page 43 Page 44 Page 45 Page 46 Page 47 Page 48 Page 49 Page 50 Page 51 Page 52Made with FlippingBook. PDF to flipbook with ease