INFORME 2023 MERITOCRACIA Y EDUCACIÓN
será precisa. Para mejorar esta predicción inicial, el Boosting sigue construyendo árbo- les sobre el error residual de las estimacio- nes con el objetivo de capturar los patrones y características que no se han capturado hasta ese momento. Este proceso continúa iterativamente, añadiendo nuevos árboles de regresión que se centran en corregir los errores residuales del modelo anterior. Cada nuevo árbol se construye de manera que se minimice el error residual restante. A medi- da que se añaden más árboles, el modelo en conjunto mejora su capacidad de cap- turar los patrones más complejos y sutiles en los datos. Para construir un Boosting fiable, utilizamos un proceso de optimiza - ción secuencial basados en CV triple sobre el número de árboles, su profundidad y el parámetro de aprendizaje.
Desde una perspectiva metodológica, estos re- sultados sugieren que las técnicas de ML ofre- cen mejoras comparativas frente al enfoque tradicional. Con todo, las ventajas halladas son relativamente modestas para la mayoría de países. Con la excepción de Emiratos Árabes Unidos e Israel (donde los R2 aumentan 7,1 y 5,2 p.p. respectivamente), la mayoría de países obtienen mejoras que podrían ser considera- das como modestas (promedio de 1,4 p.p.). Con todo, conviene aclarar que esta conclusión se circunscribe a la medición de DOp utilizando datos PISA. La ausencia de mejoras drásti- cas en nuestra aplicación no necesariamente implica que no existan ventajas más llamati- vas en otras dimensiones educativas u otros dominios. Más allá de esta consideración, pensamos además que el marco conceptual y basado en datos que ofrece el ML ofrece un enfoque más riguroso que el enfoque conven- cional. En última instancia, la aplicación de un criterio predictivo para seleccionar el mejor modelo permite minimizar el riesgo de “overfi - tting” y “underfitting”, además de ofrecer a los investigadores un enfoque menos arbitrario y más transparente que la perspectiva conven- cional. Por su parte, la TABLA B2 presenta los mis- mos resultados para cada comunidad autó- noma. Cuando adquirimos una visión auto- nómica, observamos que la regresión lineal supera a los nuevos enfoques de Machine Learning. En concreto, encontramos que OLS ofrece mejores predicciones en 10 de las 17 comunidades autónomas. Boosting, por su parte, se sitúa en segunda posición, ofreciendo predicciones más fiables para 5 comunidades autónomas. Esta discrepancia de las ventajas del ML entre regiones y países podría ser fruto del menor tamaño muestral empleado para el análisis. Si bien no lo podemos confirmar con exactitud, es plausible que el menor número de observaciones disponible para el análisis por CCAA limite el potencial del ML para explorar la importancia de las interacciones entre circuns- tancias, generando así peores predicciones.
Comparación de algoritmos: resultados
Para comparar el desempeño predictivo de los modelos, utilizamos el “R2 fuera de la muestra” (“out-of-sample R2”). A diferencia del R2 convencional, esta medida se utiliza para evaluar el rendimiento predictivo de un modelo en datos que no han sido utilizados durante el entrenamiento de los algoritmos. Esto propor- ciona una medida más realista y confiable del rendimiento de los distintos algoritmos, ya que evalúa sus capacidades para hacer prediccio- nes precisas en datos no vistos previamente. La TABLA B1 muestra los R2 para cada país y algoritmo. También reportamos los resultados de la regresión lineal para estudiar las venta- jas del Machine Learning. La TABLA muestra que el Boosting supera al resto de modelos predictivos para la mayoría de países. De entre los 35 países analizados, el Boosting ofrece predicciones más fiables para 29 de ellos. En términos generales, encontramos que los algoritmos de ML resultan en precisiones más fiables para todos los países, con la excepción de Islandia, donde el OLS ofrece los mejores resultados.
78
Made with FlippingBook - Online Brochure Maker