Tecnología en la educación

Estudio en el que se analiza cómo afecta el uso de las tecnologías al rendimiento del alumnado

TECNOLOGÍA EN LA EDUCACIÓN ¿Cómo afecta al rendimiento del alumnado?

Lucía Gorjón Ainhoa Osés Sara de la Rica

2020

TECNOLOGÍA EN LA EDUCACIÓN ¿Cómo afecta al rendimiento del alumnado?

Lucía Gorjón Ainhoa Osés Sara de la Rica

2020

Resumen ¿Cómo afecta el uso de las tecnologías en las aulas a las competencias del alumnado adolescente? Utilizando los datos de PISA 2018, este estudio proporciona un enfoque innovador para evaluar la relación entre el uso de la tecnología y las competencias académicas. Estudios previos se limitan a explorar si el uso de las tecnologías afecta de manera positiva o negativa al rendimiento del alumnado. Este estudio, en cambio, explora la posibilidad de que esta relación no sea lineal. Es decir, se permite analizar si los usos más intensivos de la tecnología afectan de manera diferente a usos moderados de la tecnología. Para ello, se divide al alumnado según la frecuencia de uso reportada: muy baja, baja, media, intensiva y muy intensiva. Los resultados evidencian que un uso bajo, medio y, en ocasiones, intensivo favorece el rendimiento matemático en comparación con un uso muy bajo. En cambio, un uso muy intensivo conlleva penalizaciones en todos los países y regiones españolas analizadas. En España, en términos de rendimiento matemático, el alumnado que hace un uso muy intensivo se situaría medio curso por debajo de quienes usan las tecnologías con muy baja frecuencia. Esta penalización es, por lo general, aún más negativa para el alumnado de menor nivel socio-económico y para el alumnado femenino, si bien el colectivo femenino es menos numeroso en la categoría de usuarios muy intensivos. El estudio destaca que es el propio sobre-uso (por encima de 1-2 veces por semana) de los dispositivos digitales lo que desfavorece el desempeño del usuario muy intensivo, y no las características propias del alumnado que hace este uso muy intensivo. Por último, se encuentra que la política educativa y los recursos digitales de los centros escolares han propiciado mejoras tímidas en el rendimiento del alumnado, pero quizá no de la magnitud que cabría esperar. En efecto, se encuentra que, incluso en los centros donde estas políticas se implementan, el usuario muy intensivo de la tecnología en el centro educativo sigue teniendo un desempeño menor en matemáticas en comparación con el usuario de muy baja frecuencia.

Créditos

Concepto creativo: Studio Banana

Dirección de arte y diseño: Studio Banana www.studiobanana.com

Agradecimientos Este informe forma parte de la colaboración con la Fundación COTEC para la innovación a través del Programa de Innovación Abierta (PIA). Las autoras quieren agradecer a Ainara Zubillaga, Manuel Area, Ainhoa Vega-Bayo y Lucas Gortázar por sus excelentes comentarios y aportaciones que han contribuido a enriquecer los resultados y conclusiones de este informe.

Esta obra tiene una licencia Creative Commons License. Se permite la reproducción total o parcial, la distribución, la comunicación pública de la obra y la creación de obras derivadas, siempre que no sea con fines comerciales, y siempre que se reconozca la autoría de la obra original.

09 15 21 31

71 93 105 131

01. INTRODUCCIÓN

05. RESULTADOS — Metodología — Internacional: países OCDE — Nacional: Comunidades Autónomas

02. LITERATURA

06. ANÁLISIS DE CAUSALIDAD

03. BASE DE DATOS PISA — Descripción de la base de datos — El cuestionario TIC en PISA

07. LAS POLÍTICAS Y RECURSOS DEL CENTRO ESCOLAR SOBRE USO DE DISPOSITIVOS DIGITALES — Análisis descriptivo — Análisis empírico

08. CONCLUSIONES — Resultados principales — Limitaciones — Implicaciones de los resultados para la política pública

04. ANÁLISIS DESCRIPTIVO — Análisis general de las variables — Perfilado de los usuarios TIC en base a nuevos índices

BIBLIOGRAFÍA APÉNDICES

INTRODUCCIÓN 01

Este estudio parte de los microdatos de PISA 2018, una evaluación trienal liderada por la OCDE donde se evalúan las competencias matemáticas, científicas y lectoras del alumnado de 15 años.

La digitalización de las aulas ha sido una apuesta firme para la modernización del sistema educativo, así como la reducción de la “brecha digital” y la adquisición de habilidades digitales del alumnado. Estas competencias juegan un papel fundamental en la actualidad, no sólo en el ámbito laboral, sino también en términos de participación ciudadana (como en el acceso a la información). En las últimas décadas, el acceso a las Tecnologías de la Información y la Comunicación (TIC) se ha visto incrementado a nivel global y en las aulas en particular. Por ello, una de las cuestiones clave, ahora, radica en evaluar hasta qué punto el uso de las TIC —más que el propio acceso a las mismas— impacta en las competencias del alumnado. El presente estudio trata de dar respuesta a esta cuestión, incorporando un enfoque innovador a la literatura previa. En primer lugar, se parte de la premisa de que un aumento en la frecuencia de uso de la tecnología podría tener un impacto diferente en el rendimiento del alumnado dependiendo del grado de uso que se realice. Es decir, podría suceder que un uso extremo tenga efectos negativos, pero que un uso medio sea más beneficioso que uno nulo, como sugiere la OCDE (2015). Esto contrasta con la metodología de la mayoría de estudios previos, donde no se contemplan estas posibles relaciones no lineales. En segundo lugar, se ofrece un análisis granular para identificar posibles impactos desiguales por colectivos (género y nivel socio-económico) y zonas geográficas (países de la OCDE y regiones españolas). En tercer lugar, se aplica un enfoque innovador para identificar si los resultados en PISA vienen determinados por el uso desigual de las TIC o si, por el contrario, son las características del alumnado que las usa las que determinan el resultado. Por primera vez en este contexto se aplica la técnica de Inverse Probability Weighting para poder dar respuesta a esta cuestión. Por último, se analiza si las políticas y recursos de los centros educativos centradas en el uso de dispositivos digitales tienen un impacto en el rendimiento académico del alumnado. Este estudio parte de los microdatos de PISA 2018, una evaluación trienal liderada por la OCDE donde se evalúan las competencias matemáticas, científicas y lectoras del alumnado de 15 años. La base de datos proporciona información detallada sobre el perfil socio- demográfico del alumnado, entre otros aspectos. Asimismo, la OCDE, consciente de la necesidad de conocimiento sobre el alcance y

«UNA DE LAS CUESTIONES CLAVE, AHORA, RADICA EN EVALUAR HASTA QUÉ PUNTO EL USO DE LAS TIC —MÁS QUE EL PROPIO ACCESO A LAS MISMAS— IMPACTA EN LAS COMPETENCIAS DEL ALUMNADO»

disparidades en competencias digitales, incluye un cuestionario TIC con preguntas sobre el uso de dispositivos digitales desde su ola inicial en el año 2000. Por lo tanto, toda esta información permite identificar diferentes perfiles de usuarios de dispositivos digitales y relacionarlos con su rendimiento. En particular, este estudio se centra principalmente en identificar el impacto del uso de las TIC —por parte de los adolescentes participantes en PISA— en la puntuación obtenida en matemáticas. Utilizando la base de datos de PISA, diversos estudios han tratado de dar respuesta a esta cuestión, cuantificando el impacto que el uso de dispositivos podría tener en el desempeño académico de los estudiantes. No obstante, no existe evidencia unánime sobre la dirección del impacto, si bien los estudios encuentran con mayor frecuencia una asociación negativa en el uso de las TIC en las aulas y el rendimiento del alumnado. En efecto, la OCDE (2015) resalta que el grado de integración de las TIC en las aulas es, todavía, limitado. Esto sugiere que no es únicamente la cantidad de dispositivos digitales lo que beneficia el desempeño del alumnado, sino más bien la calidad en la que éstos se integren en las aulas. El resto del documento se organiza de la siguiente manera: la Sección 2 resume la literatura relacionada con el impacto de las TIC en el desempeño académico, tanto en el marco de PISA como para otro tipo de estudios; la Sección 3 describe la base de datos PISA; la Sección 4 muestra un análisis descriptivo de las variables de interés; la Sección 5 detalla la metodología de estimación y los principales resultados del modelo; la Sección 6 ofrece un análisis de causalidad; la Sección 7 ofrece un análisis del impacto de las políticas educativas de los centros escolares (en materia de las TIC) en el rendimiento matemático del alumnado; y la Sección 8 analiza las principales conclusiones y limitaciones del análisis y finaliza con una propuesta de recomendaciones de política pública. Esto sugiere que no es únicamente la cantidad de dispositivos digitales lo que beneficia el desempeño del alumnado, sino más bien la calidad en la que éstos se integren en las aulas.

LITERATURA 02

Una diferencia de 40 puntos equivale a un curso académico completo

A continuación, se presenta literatura relevante sobre el uso de la tecnología utilizando datos de PISA, así como otros estudios basados en experimentos naturales o basados en evaluaciones comparables a PISA, como TIMSS (donde se evalúan de habilidades matemáticas y científicas para el alumnado de entre 10 y 14 años) o PIRLS (cuyo enfoque se centra en las capacidades lectoras del alumnado de 10 años). En las siete ediciones del informe PISA, la inclusión del cuestionario relativo al uso de la tecnología ha posibilitado, desde sus inicios, la evaluación del impacto de diferentes variables tecnológicas en los resultados académicos. La evidencia es mixta, especialmente atendiendo al tipo de variable TIC que se considere en el estudio. En los casos en los que la variable TIC recoge la frecuencia de uso, la mayoría de estas evaluaciones apuntan a una correlación negativa con el desempeño académico del alumnado (OCDE, 2015). Otros estudios se centran en aspectos como el acceso o la disponibilidad de recursos TIC, sin considerar la frecuencia de uso, para evaluar su impacto sobre el rendimiento del alumnado. En lo que respecta a la frecuencia de uso de las TIC, el cuestionario permite distinguir entre el uso educativo en casa y en el colegio, así como el uso para ocio. Comenzando por el uso educativo en la escuela, Hu et al. (2018) señalan que un mayor uso tiene un impacto negativo en el rendimiento académico de entre 10 y 13 puntos en las tres pruebas, de media, en los 44 países analizados con datos de PISA 2015. Por contexto, la OCDE estima que una diferencia de 40 puntos equivale a un curso académico completo. De forma similar, Zhang et al. (2016) utilizan datos de diferentes olas de PISA (de 2000 a 2012) para explorar el impacto del uso de las TIC en las competencias lectoras, matemáticas y científicas. El estudio sugiere que un aumento de la frecuencia de uso de las TIC en la escuela tiene un impacto negativo, de la escala de 9 puntos, tanto en matemáticas como en ciencias. Basándose en la ola de PISA 2012, Petko et al. (2017) también encuentran una asociación negativa entre el uso educativo de las TIC en el aula y los resultados de PISA. Skryabin et al. (2015) plantean si esta cuestión difiere por curso, usando datos de TIMSS 2011 y PIRLS 2011 (primaria, grado 4) y PISA 2012

el contrario, Petko et al. (2017) encuentran una relación positiva entre el uso educativo de TIC en casa y el desempeño académico del alumnado de PISA 2012. Estos resultados se muestran en la línea de Skryabin et al. (2015), quienes encuentran un impacto positivo cercano a 6-7 puntos en el alumnado de secundaria, y un impacto de 4-5 puntos en el alumnado de primaria. Parte de la literatura también se ha concentrado en el estudio del uso de las TIC con finalidades de ocio. En el caso de Hu et al. (2018), se halla una relación positiva, pero débil en magnitud (cercana a 3), entre el uso de las TIC para ocio y las capacidades lectoras y científicas. Estos resultados están en línea con Skryabin et al. (2015), que estiman un impacto positivo del uso educativo y de ocio en casa sobre las tres principales áreas de evaluación de PISA. No obstante, estos resultados contrastan con el análisis de Petko et al. (2017), quienes encuentran un impacto negativo en el uso de las TIC para ocio. Por lo tanto, los diferentes análisis internacionales que utilizan la frecuencia de uso de las TIC como principal objeto de estudio apuntan, en general, a una relación negativa entre uso de las TIC en el colegio y los resultados de las evaluaciones. No obstante, el impacto es mixto en el caso del uso de TIC fuera del colegio. Si se atiende a una perspectiva nacional, Gumus et al. (2011) sugieren que el uso de ordenadores con fines educativos en Turquía tiene un impacto negativo en las capacidades lectoras del alumnado, mientras que el uso para ocio impacta de manera positiva en las mismas. Para Italia, Ferraro (2018) estudia el impacto del uso de las TIC en los resultados de matemáticas del alumnado italiano con datos de PISA 2012. El estudio estima que utilizar al menos un dispositivo digital (ordenador de mesa, ordenador portátil o tablet) tiene un impacto positivo del orden de 16 puntos, de media, en la prueba matemática 2 . En el contexto de España, Gómez-Fernández et al. (2018) encuentran un impacto negativo del uso de las TIC en el colegio y en casa —para fines educativos—sobre las tres áreas de evaluación, basándose en datos de PISA

(secundaria, grado 8). En cuanto al uso de las TIC en las aulas, encuentran un impacto negativo para los alumnos de secundaria (de entre 13 y 15 puntos para las tres áreas de PISA), pero positivo para los de primaria (cuya magnitud se encuentra entre los 5 y 7 puntos dependiendo del área). Otro aspecto de especial atención en la literatura se refiere al impacto de la frecuencia de uso de las TIC con fines educativos fuera de la escuela. Hu et al. (2018), en su análisis para los 44 países participantes en el cuestionario TIC en PISA 2015, muestran una relación negativa entre el uso de las TIC en casa para fines educativos y los resultados en las pruebas lectoras y científicas de alrededor de 5 puntos. De modo muy similar, Zhang et al. (2016) muestran que un aumento del uso de las TIC en la escuela puede tener un impacto negativo de entre 4 y 5 puntos en matemáticas y ciencias, utilizando diferentes olas de PISA 1 . Por

1– Estos impactos estimados hacen referencia a la ola de 2009. El estudio también muestra estimaciones para la ola de 2010, pero éstos son cercanos a cero y no son significativos en ninguna de las dos áreas de evaluación.

2–Es importante destacar que el estudio no recoge la frecuencia de uso.

Mientras que un uso limitado de dispositivos en la escuela puede ser mejor que un uso nulo, su utilización por encima de la media de la OCDE podría conllevar resultados académicos significativamente peores

2015. En lo referente al colegio, los autores sugieren que la falta de preparación del profesorado en términos de competencias digitales puede explicar parte del resultado. En términos más generales, la OCDE (2015) destaca que en los países donde la metodología matemática se centra en formular y resolver problemas reales, el alumnado tiende a reportar un mayor uso de ordenadores por parte de los profesores en las aulas. Según los alumnos, aquellos docentes que implementan prácticas de enseñanza más orientadas al estudiante (como el trabajo en equipo) también tienden a hacer un mayor uso de las herramientas digitales. No obstante, el impacto académico de estas iniciativas dependerá de la calidad de su implementación (OCDE, 2015). La OCDE (2015) sugiere que el siguiente patrón podría darse en diferentes países: mientras que un uso limitado de ordenadores en la escuela puede ser mejor que un uso nulo, su utilización por encima de la media de la OCDE podría conllevar resultados académicos significativamente peores 3 . El presente estudio parte de esta premisa, a diferencia de la mayoría de la literatura en este contexto (una excepción reciente es el estudio de Gubbels et al. (2020), centrado en el caso de Holanda, donde se confirma esta hipótesis). El informe (OCDE, 2015) también concluye que la tecnología puede ayudar a mejorar la enseñanza siempre que ésta esté asentada sobre una base sólida; no obstante, la tecnología no puede sustituir a métodos de enseñanza que carezcan de una sólida fundamentación. Más allá de PISA, diversos estudios tratan de captar la relación entre uso de tecnologías y resultados académicos mediante “experimentos naturales”. En ellos, se comparan dos grupos de similares características: el grupo de control o referencia, y el grupo de tratamiento, al cual se le asignan recursos TIC específicos para estimar 3– Únicamente en ciertos contextos se puede concluir que el uso de las TIC conlleva mejores resultados; por ejemplo, cuando el software y la conexión a internet ayudan a incrementar el tiempo de estudio y la práctica. Una posible interpretación de estos resultados es que al profesorado le lleva tiempo y esfuerzo aprender a utilizar la tecnología en la educación y, a su vez, mantener el ritmo de enseñanza (OCDE, 2015).

su impacto en el ámbito educativo. La mayoría de estudios encuentran que el uso de ordenadores en las escuelas “tratadas” aumenta, pero esto no se traduce en mejores resultados (OCDE, 2015). De hecho, estudios realizados en Israel (Angrist et al., 2012), Holanda (Leuven et al., 2007), California (Goolsbee et al., 2006) y Perú (Cristia et al., 2014) coinciden en el limitado, y a veces negativo, impacto en indicadores tradicionales de desempeño (como notas en exámenes nacionales o la incidencia del abandono escolar). Otros estudios en el ámbito experimental se han enfocado en evaluar el impacto de usos específicos de las TIC en los resultados académicos. Por ejemplo, las evaluaciones experimentales del uso de ordenadores con fines instructivos (como software educativo) tienden a reportar, con mayor frecuencia, impactos positivos. Hattie (2013), en su meta- análisis donde revisa 81 estudios realizados para las últimas tres décadas, encuentra que el efecto es parecido a otras iniciativas de enseñanza que están bien fundamentadas. Es decir, si el uso de ordenadores reemplaza otros métodos que son igual de efectivos, el efecto neto será cercano a cero. Asimismo, Hattie et al. (2013) encuentran efectos más fuertes cuando los ordenadores se usan de manera complementaria a los métodos tradicionales de enseñanza, en vez de ser implementados como alternativa. Es decir, el impacto positivo se da cuando el uso de los ordenadores (1) genera mayor tiempo de estudio y práctica, (2) permite que los estudiantes tomen el control de la situación de aprendizaje (por ejemplo, individualizando el ritmo de introducción de nuevo material), y (3) impulsa un aprendizaje colaborativo. En resumen, a pesar de que un gran número de estudios han tratado de dar respuesta al impacto del uso de la tecnología en las competencias del alumnado, la evidencia sobre la dirección del impacto es mixta. En general, este patrón inconcluso se da especialmente en los estudios que analizan el impacto del uso educativo de la tecnología en el ámbito del hogar. En cambio, cuando se analiza el uso educativo de las TIC en el contexto de las aulas, los estudios encuentran con mayor frecuencia una asociación negativa entre este tipo de uso de las TIC y el rendimiento académico del alumnado.

BASE DE DATOS PISA 03

Descripción de la base de datos

El cuestionario TIC en PISA

Descripción de la base de datos

En esta sección, se presenta la base de datos PISA, las diferentes variables de particular interés en el presente análisis, su unidad de medida, la metodología en la que se basa el muestreo del alumnado elegible para participar en PISA, así como otras características relevantes de la base de datos. Por último, se ofrece una panorámica del cuestionario TIC de PISA 2018, que será de especial interés en este estudio.

Para este estudio, se utilizan los microdatos de PISA 2018. Este programa, liderado por la OCDE, tiene como principal objetivo medir las competencias en matemáticas, ciencias y lectura del alumnado de 15 años 4, 5 . Esta prueba está basada en la evaluación de competencias, por lo que no solo mide los conocimientos de los alumnos, sino que examina su capacidad de aplicarlos a las competencias objeto de análisis y a resolver problemas concretos que pueden plantearse en la vida real. La selección del alumnado representativo se divide en dos partes. La primera se centra en realizar un muestreo de las escuelas en las que se encuentra el alumnado de 15 años. La probabilidad de selección de cada escuela es proporcional al número de estudiantes de 15 años que se encuentren 6 . En la segunda parte, se realiza, para cada escuela, una lista de los estudiantes de 15 años, de los cuales 42 son seleccionados con igual probabilidad 7 . 4– En concreto, la edad del alumnado elegible para PISA está entre los 15 años y 3 meses y los 16 años y 2 meses. 5– En PISA 2018, los resultados del test de capacidades lectoras para España no fueron publicados inicialmente (en diciembre de 2019) debido a anomalías en los patrones de respuesta. No obstante, tras identificar el principal motivo de estas anomalías, la OCDE tomó la decisión de publicar los resultados finalmente en julio de 2020 (OCDE, 2020). 6–En cada país, se seleccionan al menos 150 colegios. Asimis- mo, se seleccionan escuelas sustitutivas en caso de que la escuela seleccionada decida no participar en la evaluación. 7– El número de estudiantes seleccionados se puede desviar de los 42, pero en ningún caso puede ser inferior a 20.

Un total de 600.000 alumnos de 79 países completaron la evaluación. Esto representa a alrededor de 32 millones de estudiantes de 15 años

En PISA 2018, un total de 600.000 alumnos de 79 países completaron la evaluación. Esto representa a alrededor de 32 millones de estudiantes de 15 años. De todos los países participantes, España es el país en el que más estudiantes participaron en términos absolutos, cerca de 36.000. Por otra parte, a cada estudiante participante en la prueba se le asignan 80 ponderaciones diferentes, también conocidas como “pesos replicados”. Éstos tratan de corregir potenciales problemas relacionados con la representatividad de los estudiantes participantes en la prueba, debido al complejo diseño de la encuesta 8 . La puntuación de las principales áreas de conocimiento (matemáticas, ciencias y lectura) se centra alrededor de la media de la OCDE —500 puntos— y se establece una desviación estándar de 100 puntos. En términos de interpretación, esto implica que una puntuación por encima de los 500 puntos se sitúa por encima de la media de la OCDE. Asimismo, los resultados no toman un valor único: se presentan 10 puntuaciones diferentes para cada 8– Por ejemplo, en algunos casos, se sobre-representan ciertos sectores de la población de manera intencionada, para que éstos puedan ser analizados de manera separada. Por ejem- plo, una población con una lengua de instrucción específica, o una región pequeña pero políticamente relevante.

en el que se encuentre el alumnado de 15 años. En particular, el muestreo del profesorado se dirige a aquellos docentes que son elegibles para enseñar en el curso modal; es decir, aquéllos que en la actualidad lo hacen, aquéllos que lo hicieron en el pasado, o aquéllos que lo harán o puede que lo hagan en el futuro. Por último, para sintetizar la información y facilitar la interpretación de diferentes variables, la OCDE genera una serie de “índices”, que se basan en la estandarización de las variables de interés. La mayoría de los índices se centran alrededor de una media OCDE de 0 y se establece una desviación estándar de 1. En este informe se incluyen diferentes índices creados por la OCDE; por ejemplo, el ESCS o índice socio-económico. Un valor ESCS por encima de 0 implica un nivel socio- económico superior a la media de la OCDE. En términos de interpretación en el análisis empírico, el coeficiente relacionado con el índice refleja el impacto estimado si se incrementara el valor del índice en una desviación estándar. En el caso del cuestionario relacionado con el acceso, uso y actitud hacia la tecnología, la OCDE construye diferentes índices que permiten la fácil comparación de las características TIC del alumnado entre los diferentes países.

estudiante y área, también conocidas como “valores plausibles” 9 . Estos valores son imputaciones que aplica la OCDE para abordar el hecho de que cada estudiante no responde a todas las preguntas de cada modalidad, sino a una parte de ellas, por motivos de restricción temporal. Además de evaluar el rendimiento académico del alumnado, la base de datos de PISA incluye información detallada acerca de las características socio-demográficas del alumnado (como género, nivel socio-económico, si el estudiante es o no repetidor), del centro escolar (por ejemplo, si el centro es público o no), así como ciertas características del profesorado del centro. Estas características son reportadas tanto por el alumnado, la dirección del centro, o ciertos profesores del centro, según corresponda. No obstante, cabe destacar que el cuestionario dirigido al profesorado debe ser interpretado con precaución debido a que el profesorado encuestado no necesariamente imparte clase en el curso modal 9– Los valores plausibles son imputaciones múltiples gene- radas a partir de una distribución a posteriori utilizando la Teoría de Respuesta al Ítem (TRI) y un modelo de regresión con variables latentes creado a partir del cuestionario a estudiantes.

El cuestionario TIC en PISA

Índices TIC de la OCDE En el contexto de la frecuencia de uso de las TIC por parte del alumnado, la OCDE proporciona tres índices diferentes para facilitar la comparación entre los países participantes en el cuestionario. Como se detallaba anteriormente, estos índices se centran en una media OCDE de cero y en una desviación estándar de uno. La metodología sobre la que se construyen estos índices es relativamente compleja, basada en la Teoría de Respuesta al Ítem (TRI). Partiendo de estimaciones que sirven de proxy para reflejar dificultad de la pregunta, el grado de discriminación de la pregunta para diferentes colectivos, y de la variable latente estimada, se crea la probabilidad de dar una respuesta específica a la cuestión que se plantee (véase OCDE 2017 para mayor grado de detalle). Por lo tanto, si bien los índices construidos por la OCDE son de gran utilidad para la comparación entre países, su compleja construcción nos lleva a crear nuevos índices TIC que garanticen su fácil comprensión.

Índices TIC creados en el presente estudio

En este estudio, se crean nuevos índices TIC que recogen cuatro finalidades de uso de las TIC: el uso educativo en la escuela y fuera de ella, el uso para ocio en general, y el uso para videojuegos en particular, como se muestra en la Figura 1. Si bien la categoría de uso para videojuegos no se muestra de manera separada en los índices de la OCDE, en el presente análisis se realiza esta diferenciación debido a que estudios previos (véase Area et al., 2015, entre otros) encuentran que esta modalidad de uso puede tener un impacto significativo en el desarrollo de competencias del alumnado. Mientras que la parte empírica se enfocará especialmente en el uso educativo de las TIC en el colegio, debido a su incidencia directa en la política educativa, el análisis descriptivo mostrará estas cuatro modalidades.

Como se anticipaba anteriormente, la base de datos de PISA incluye diversas cuestiones relacionadas con el uso de la tecnología en diferentes ámbitos. Estas preguntas se incluyen en diferentes cuestionarios de PISA, dirigidos no sólo al alumnado, sino también al profesorado y a la dirección del centro. No obstante, el cuestionario TIC, dirigido exclusivamente al alumnado, se enfoca íntegramente en cuestiones de acceso, uso y actitud hacia la tecnología por parte del alumnado. Desde su primera introducción en 2000, el cuestionario TIC se ha ido adaptando en las diferentes olas de PISA, añadiendo preguntas nuevas y modificando aquellas que debieran adaptarse a los rápidos cambios de uso tecnológico que se han experimentado en estas tres últimas décadas. La participación en este cuestionario es opcional para los países. En el caso de PISA 2018, España —al igual que la gran mayoría de los países de la OCDE— participa en el cuestionario. Para el presente estudio, las variables de especial interés se relacionan con la frecuencia de uso de las TIC para diferentes finalidades. La primera finalidad es la educativa, donde el cuestionario permite discernir entre el uso educativo de las TIC en la escuela o fuera de ella. Existen doce preguntas relativas al uso de las TIC con fines educativos fuera de la escuela, y diez relacionadas con el uso educativo en la escuela. En lo que respecta al uso fuera de la escuela, se incluyen preguntas como la frecuencia con la que el alumnado hace deberes en un dispositivo móvil, busca en internet para complementar las clases, o usa el correo

electrónico para comunicarse con alumnos y profesores, o para entregar deberes o trabajos de clase. Dentro del uso educativo en la escuela, se incluyen cuestiones como la frecuencia de uso de un ordenador en el centro para hacer los deberes, el uso de ordenadores del centro para hacer trabajos en grupo o comunicarse con otros alumnos, o navegar por Internet en relación con el trabajo de clase. La segunda finalidad de frecuencia de uso recogida en el cuestionario TIC es la del ocio, donde se incluyen preguntas como el uso de WhatsApp, las redes sociales o Youtube, además de cuestiones específicas sobre la frecuencia de uso de juegos online a nivel individual y a nivel colaborativo. El Apéndice 1 muestra las preguntas relacionadas con cada una de esta categorías. En particular, son cinco las posibles respuestas a cada pregunta y éstas varían de “nunca o casi nunca” —valor 1— a “todos los días” —valor 5—, por lo que un mayor valor indica un mayor uso de las TIC en ese ámbito. Más allá del cuestionario TIC, el cuestionario dirigido a la directora o director del centro proporciona información detallada sobre la estrategia del uso de las TIC del colegio y los diferentes recursos con los que cuenta cada centro. Por ejemplo, ciertas cuestiones recogen la existencia de políticas específicas sobre el uso de las TIC del centro educativo, así como la capacidad del centro escolar para mejorar el aprendizaje y la enseñanza mediante el uso de dispositivos digitales. Este cuestionario se analizará de manera separada en la Sección 7 del informe.

Representación de los diferentes tipos de uso de las TIC

FIGURA 1.

Uso TIC EDUCACIÓN

Uso TIC OCIO

Clase

General

Videojuegos

Casa

Se crean cinco tipos de usuario, que oscilan entre el usuario de muy baja frecuencia al usuario muy intensivo, definidos en base a los quintiles de los índices TIC creados en este análisis. Estos usuarios se crean con el fin de explorar más profundamente la posible relación no lineal entre uso de TIC y el rendimiento académico.

Los índices aquí creados parten de las mismas preguntas que considera la OCDE en sus índices, pero la metodología difiere, como se muestra a continuación. En primer lugar, se calcula la frecuencia media reportada para cada estudiante i y para cada tipo de finalidad del uso de las TIC consideradas en este análisis ( TIC i ). En segundo lugar, se calcula la frecuencia media reportada para el país de análisis c ( TIC c ), así como su desviación estándar σ TIC,c ). Con esta información, se genera, para cada finalidad de uso, un índice TIC* para cada estudiante i. Este índice tendrá, por tanto, una media de cero para cada país, y una desviación estándar de uno:

Matriz de correlación: variables TIC para España creadas en este estudio e índices TIC creados por la OCDE

TABLA 1.

Coef.

Std. Err.

P>z

[95% Conf.

Interval]

Educación casa

0,9406028

0,0012146

774,42

0,000

0,9382223

0,9429834

Educación colegio

0,9179013

0,0016118

569,47

0,000

0,9147421

0,9210605

Ocio

0,9021281

0,0021058

428,41

0,000

0,8980008

0,9062553

TIC i – TIC c σ TIC,c

Partiendo de los nuevos índices TIC, se crean cinco tipos de usuario, que oscilan entre el usuario de muy baja frecuencia al usuario muy intensivo (Figura 2), definidos en base a los quintiles de los índices TIC creados en este análisis 11 . Estos usuarios se crean con el fin de explorar más profundamente la posible relación no lineal entre uso de TIC y el rendimiento académico.

(1) TIC* i =

Además de facilitar la comprensión, este nuevo índice ofrece una interpretación más sencilla para los análisis intra-país, donde un índice superior a cero indicará un uso por encima de la media del país, y viceversa. Esta comparación intra-país, –en vez de interpaís– tiene sentido, especialmente teniendo en cuenta que, en la comparativa entre países, existe una relación difusa entre el uso medio de las TIC y su calificación media en PISA, como se mostrará más adelante en la Sección 4. Los índices de la OCDE, por su parte, permiten que la comparación entre países sea más directa, ya que un índice por encima de 0 indicará un uso medio por encima del de la OCDE. No obstante, debido a que el análisis en este estudio se realizará individualmente para cada país, resulta apropiado utilizar un índice cuya media se relacione con la del propio país de análisis. Por último, es necesario garantizar que los nuevos índices creados en este análisis son robustos a los índices de OCDE, que se usan como referencia a nivel internacional, especialmente debido a que ambos índices toman como base exactamente las mismas preguntas del cuestionario TIC. Para ello, se analiza la correlación entre ambos índices para cada tipo de finalidad de uso de las TIC. Como se observa en la Tabla 1, para los tres tipos de uso considerados por la OCDE, el índice de correlación entre los índices nuevos creados en este estudio y los de la OCDE es muy elevado, por encima de 0.90 10 .

11–Los quintiles se definen en base al uso específico de cada país, a diferencia de los índices de la OCDE, en los que se es- tablece una media OCDE de 0 y una desviación estándar de 1.

Tipos de usuario TIC, de menor a mayor frecuencia de uso

FIGURA 2.

Usuario muy bajo (quintil 1)

Usuario bajo (quintil 2)

Usuario medio (quintil 3)

Usuario intensivo (quintil 4)

Usuario muy intensivo (quintil 5)

Partiendo de esta descripción de la base de datos, a continuación se muestran los resultados descriptivos para las diferentes variables de interés en el presente estudio.

10– El índice de ocio de la OCDE (“entuse”) incluye las cuestio- nes relativas al uso de las TIC para videojuegos, el cual será considerado separadamente en el presente análisis.

ANÁLISIS DESCRIPTIVO 04

Análisis general de las variables

Perfilado de los usuarios TIC en base a nuevos índices · Análisis nacional e internacional · Análisis por Comunidades Autónomas

En esta sección, se ofrece un análisis descriptivo de las principales variables. El análisis se centra principalmente en España (así como sus regiones), estableciendo comparativas con los países de la OCDE y con Estonia y Finlandia en particular

La comparación con estos dos países se motiva por su elevada calificación en PISA 2018. En particular, Estonia es el país europeo con mejores calificaciones en las tres áreas principales de evaluación. Finlandia, por su parte, es el segundo país europeo con mayor calificación media en ciencias, y ha sido un país que tradicionalmente ha destacado en todas las áreas de evaluación en PISA. Asimismo, la política educativa en ambos países ha apostado de manera firme por la integración de las TIC en su sistema educativo, lo cual hace esta comparación aún más relevante en el presente estudio 12 .

12– En particular, desde 2014, Estonia trabaja en la transformación digital. Esto incluye el esfuerzo en entrenar a profesores en el desarrollo profesional de la tecnología, la provisión de cursos de TIC al alumnado, y el uso de recursos digitales. En efecto, para 2020, el país estonio tiene como objetivo que todos los colegios sean capaces de proveer educación general usando únicamente material digital para la enseñanza (Krusten, 2019). De modo similar, Finlandia es uno de los países más avanzados en materia de tecnología educativa a todos los niveles del sistema educativo.

Análisis general de las variables

Atendiendo al resto de variables, el nivel socio- económico medio del alumnado es cuatro veces menor en España que en la media de la OCDE. Por otra parte, el alumnado español reporta niveles de bullying significativamente inferiores a la media de la OCDE.

Análisis descriptivo de las principales variables de análisis

TABLA 2.

Indicador

Desviación estándar

NOTAS MEDIAS

España

OCDE

España

OCDE

Para conocer las características del alumnado español en comparación con las del resto de jóvenes de la OCDE, en primer lugar, se muestra la comparativa de diferentes variables de interés (Tabla 2). En lo que respecta a las puntuaciones obtenidas por el alumnado, se observa que la media en matemáticas, ciencias y lectura en España está 8, 5 y 10 puntos por debajo de la media de la OCDE, respectivamente. Atendiendo al resto de variables, el nivel socio- económico medio del alumnado es cuatro veces menor en España que en la media de la OCDE. Por otra parte, el alumnado español reporta niveles de bullying significativamente inferiores a la media de la OCDE. Alrededor de 6 de cada 10 estudiantes acuden a colegios públicos en España, mientras que la media de la OCDE se sitúa en cerca de 8 de cada 10, por lo que el uso de colegios privados o concertados es mayor en España que en el resto de países. La edad a la que se usa por primera vez la tecnología en España también es notablemente inferior y muy dispar respecto a la media de la OCDE: el 30% de los alumnos comienza de manera tardía a usar la tecnología, mientras que en la OCDE este porcentaje es muy superior, situándose cerca del 60%. Por último, un aspecto ampliamente mencionado en la literatura es el grado de repetición de curso del alumnado español. En base a PISA 2018, casi un 25% del alumnado es repetidor, frente a un 11% (de media) en la OCDE.

La media en matemáticas, ciencias y lectura en España está 8, 5 y 10 puntos por debajo de la media de la OCDE, respectivamente.

Matemáticas

481,39

489,29

88,40

90,55

Ciencias

483,25

488,66

89,49

93,54

Lectura

476,54

486,84

92,75

99,21

MEDIAS FACTORES SOCIO- DEMOGRÁFICOS Y DE CENTRO

ESCS (índice socio-ec.)

-0,12

-0,03

1,04

0,93

Bullying sufrido (índice)

-0,21

0,00

0,91

0,17

Número estudiantes por escuela

725,54

778,55

431,26

458,62

Ratio ordenador-estudiante

0,80

0,83

0,80

0,72

% DEL TOTAL (VARIABLES “DUMMY”)

25%

Mujer

49,96

49,83

0,50

Escuela pública

61,95

76,36

0,47

0,29

Repetidor/a

24,79

11,14

0,45

0,26

Inmigrante

10,03

11,13

0,31

0,26

Edad primer uso tecnología por encima de los 9 años

30,06

58,72

0,45

0,36

NOTA: Desviaciones estándar calculadas mediante pesos replicados.

FIGURA 3.

Distribución de los resultados en matemáticas, ciencias y lectura en España, Finlandia y Estonia (Densidad de Kernel)

España

Finlandia

Estonia

,005

,004

,003

,002

,001

MEDIA OCDE

PANEL B: CIENCIAS

PANEL A: MATEMÁTICAS

,005

España

Finlandia

Estonia

,004

,003

Para conocer en mayor detalle las puntuaciones en matemáticas, ciencias y lectura del alumnado, la Figura 3 muestra su distribución para el alumnado de España, Estonia y Finlandia. En lo que respecta a los resultados en matemáticas, se observa que la distribución es muy dispar en España en comparación con Estonia y Finlandia, cuya distribución es similar, tanto en forma (dispersión de la distribución) como en posición (niveles de

puntuación). España, por su parte, muestra una distribución de mayor amplitud relativa, pero posicionada hacia la izquierda de los dos países y con un pico máximo en matemáticas notablemente inferior. En cuanto a ciencias y lectura, la forma de la distribución de España es similar a la de Finlandia. La diferencia, de nuevo, estriba en el posicionamiento de la curva, situada a la izquierda en el caso de España, y donde el pico máximo de España es significativamente menor que el de los otros dos países.

,002

,001

MEDIA OCDE

PANEL C: LECTURA

En comparación con la OCDE, España reporta un uso medio relativamente menor de las TIC en el ámbito educativo, tanto en la escuela como en casa; mayor en el uso para ocio; y similar en el uso de videojuegos.

Frecuencia media de uso de las TIC para diferentes finalidades, España y OCDE

A continuación, nos centramos en la variable fundamental de estudio: la frecuencia de uso de la tecnología. Como se mostraba anteriormente, el uso de las TIC en el presente estudio se desagrega en base a cuatro categorías de uso: educativo en el colegio, educativo fuera del colegio (“en casa”), para ocio general, y para videojuegos (el Apéndice 1 muestra las preguntas específicas para cada finalidad de uso). Como se detallaba en la Sección 3, existen cinco respuestas a cada pregunta, que varían de “nunca o casi nunca” (valor 1) a “todos los días” (valor 5).

La Tabla 3 muestra la frecuencia reportada, de media, en España y en la OCDE para cada tipo de uso. En comparación con la OCDE, España reporta un uso medio relativamente menor de las TIC en el ámbito educativo, tanto en la escuela como en casa; mayor en el uso para ocio; y similar en el uso de videojuegos. Excepto para ocio —donde el uso medio es de una o dos veces por semana— el resto de usos reportan una frecuencia media entre semanal y mensual. Cabe destacar que la naturaleza de ciertas preguntas implica que la frecuencia media para una categoría dada pueda disminuir, pues se establece el mismo peso para todas las preguntas 13 .

TABLA 3.

Media

Desviación estándar

España

OECD

España

OCDE

Educación casa

2,32

2,43

0,95

0,92

Educación colegio

1,92

2,11

0,88

0,91

Ocio

3,26

3,15

0,76

1,32

Videojuegos

2,50

2,55

1,30

1,32

13– No obstante, esto se corrige con la creación de los índices, como se muestra más adelante, pues estos recogen la posición relativa de frecuencia de cada estudiante dentro de la población de análisis.

Respuestas posibles: 1 = nunca o casi nunca; 2 = una o dos veces al mes; 3 = una o dos veces a la semana; 4 = casi todos los días; 5 = todos los días

España Estonia Finlandia

Respuestas posibles:

1 = nunca o casi nunca; 2 = una o dos veces al mes; 3 = una o dos veces a la semana; 4 = casi todos los días; 5 = todos los días

Más allá de la frecuencia media de uso en España y la OCDE, la siguiente Figura 4 muestra cómo esta frecuencia media se distribuye para el alumnado español, finés y estonio, para cada una de las categorías de uso consideradas. Se observa que, en lo que respecta al uso de las TIC en casa dirigido a fines educativos, una gran parte de la muestra de España se concentra en valores de frecuencia bajos en comparación con Estonia. En cambio, Finlandia es, de los tres, el país donde menor frecuencia de uso se reporta en el ámbito de educación en casa. No obstante, este patrón cambia sustancialmente

FIGURA 4.

Distribución de frecuencia de uso de TIC para diferentes finalidades

PANEL A: EDUCACIÓN EN CASA

PANEL B: EDUCACIÓN EN EL COLEGIO

MEDIA OCDE

PANEL C: OCIO

PANEL D: VIDEOJUEGOS

MEDIA OCDE

Respuestas posibles: 1 = nunca o casi nunca; 2 = una o dos veces al mes; 3 = una o dos veces a la semana; 4 = casi todos los días; 5 = todos los días

cuando se analiza el uso educativo en el colegio: Finlandia reporta la mayor frecuencia de los tres países, con un porcentaje muy bajo de la muestra haciendo un uso nulo o casi nulo. Mientras, España y Estonia muestran patrones de uso educativo en el colegio muy similares. En cuanto al uso para ocio, España y Estonia registran, de nuevo, una distribución muy similar, con una curva posicionada por encima de la Finlandia en los valores más altos

de la frecuencia reportada por el alumnado 14 . Por otra parte, cabe destacar que la principal área de análisis en este informe se centra en las matemáticas, si bien a nivel descriptivo se muestran resultados para las diferentes áreas de evaluación de PISA (matemáticas, ciencias

España Estonia Finlandia

14– Para un análisis de la distribución de frecuencia en base a los índices nuevos creados en este análisis, véase el Apéndice 2.

La principal área de análisis en este informe se centra en las matemáticas, si bien a nivel descriptivo se muestran resultados para las diferentes áreas de evaluación de PISA (matemáticas, ciencias y lectura)

Teniendo esto en cuenta, a continuación se relaciona el valor medio de los índices TIC creados por la OCDE — para cada país y para cada tipo de uso— con las capacidades matemáticas del alumnado (Figura 5). Esto permite conocer si existe una asociación (positiva o negativa) entre un mayor uso de tecnología en cada ámbito y las competencias en matemáticas. En lo que respecta al uso educativo de las TIC —tanto en casa como en el centro educativo— los resultados no parecen arrojar una asociación clara con el desempeño medio de los países. En cuanto al uso de las TIC para ocio, se observa una ligera relación positiva con los resultados medios en matemáticas.

Índices OCDE de uso TIC y su relación con la nota media en matemáticas

FIGURA 5.

USO EDUCATIVO EN CASA

600

MAC SGP

HKG

TAP

KOR

POL

BEL

Estonia

QMR

500

Finlandia

RUS

USA

y lectura) . Esta elección viene motivada por dos razones. La primera es la relevancia de esta área en cualquier contexto personal y profesional, donde una creciente proporción de problemas y situaciones de la vida diaria requieren cierto nivel de comprensión matemática y razonamiento matemático para su resolución, como destaca la OCDE (2019a).

La segunda razón de esta elección se centra en la simplificación del análisis: por una parte, los resultados de la prueba lectora no proporcionan la suficiente fiabilidad para el caso de España por anomalías en las respuestas del alumnado español; por otra parte, la correlación entre las puntuaciones en matemáticas y ciencias es lo suficientemente alta como para tener que duplicar el análisis por completo, si bien el informe proporciona ejercicios de robustez para mostrar si las conclusiones para el área de matemáticas aplicarían, a su vez, para el área de ciencias.

OCDE

QRT

España

SRB

BRN

KAZ

CHL

THA

MEX

400

BRA

MAR

PAN

DOM

300

-.5

Índice TIC uso educativo casa

En resumen, si el uso de la tecnología impacta a las competencias matemáticas, las Figuras 4 y 5 no parecen arrojar conclusiones sólidas respecto a su relación con la frecuencia de uso, al menos en una comparativa entre países. Más adelante, se explorará si, dentro de cada país (o región española, en su caso), la frecuencia de uso de las TIC marca una diferencia en el desempeño del alumnado.

USO EDUCATIVO EN COLEGIO

600

SGP

MAC

HKG

TAP

KOR

Estonia

POL

DNK

BEL

500

Finlandia

OCDE

MLT

QRT

España

SRB

BGR

ALB

BRN

KAZ

THA

MEX

GEO

400

BRA

MAR

PAN

DOM

300

-1

-.5

Índice TIC uso educativo colegio

USO OCIO

600

SGP

MAC

HKG

TAP

KOR

Estonia

POL

SVN BEL

Finlandia

500

OCDE

España

MLT

TUR

SRB

BRN

BGR

ALB

KAZ

THA

MEX

GEO

400

BRA

MAR

PAN

DOM

300

-.4

-.2

Índice TIC ocio

Page 1 Page 2-3 Page 4-5 Page 6-7 Page 8-9 Page 10-11 Page 12-13 Page 14-15 Page 16-17 Page 18-19 Page 20-21 Page 22-23 Page 24-25 Page 26-27 Page 28-29 Page 30-31 Page 32-33 Page 34-35 Page 36-37 Page 38-39 Page 40-41 Page 42-43 Page 44-45 Page 46-47 Page 48-49 Page 50-51 Page 52-53 Page 54-55 Page 56-57 Page 58-59 Page 60-61 Page 62-63 Page 64-65 Page 66-67 Page 68-69 Page 70-71 Page 72-73 Page 74-75 Page 76-77 Page 78-79 Page 80-81 Page 82-83 Page 84-85 Page 86-87 Page 88-89 Page 90-91 Page 92-93 Page 94-95 Page 96-97 Page 98-99 Page 100-101 Page 102-103 Page 104-105 Page 106-107 Page 108-109 Page 110-111 Page 112-113 Page 114-115 Page 116-117 Page 118-119 Page 120-121 Page 122-123 Page 124-125 Page 126-127 Page 128-129 Page 130-131 Page 132-133 Page 134-135 Page 136-137 Page 138-139 Page 140-141 Page 142-143 Page 144-145 Page 146-147 Page 148-149 Page 150-151 Page 152-153 Page 154-155 Page 156-157 Page 158-159 Page 160-161 Page 162-163 Page 164-165 Page 166-167 Page 168-169 Page 170-171 Page 172-173 Page 174-175 Page 176-177 Page 178-179 Page 180

Made with FlippingBook - Online Brochure Maker