IEA & UNESCO | TIMSS 2019 Joint Report (FR)

Organisation des Nations Unies pour l’éducation, la science et la culture

Evaluer les objectifs d’éducation globaux: le rôle deTIMSS Mesurer les progrès vers l’Objectif de développement durable 4 en utilisant TIMSS (Tendances internationales des études en mathématiques et sciences)

2

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

Pourquoi cette brochure

mathématiques et en sciences 1 , ainsi que sur des analyses complémentaires menées par l’AIE et l’Organisation des Nations Unies pour l’éducation, la science et la culture (UNESCO). Cette brochure fournit des indications supplémentaires sur la manière dont les évaluations de l’apprentissage peuvent non seulement aider à suivre, mais aussi à améliorer les résultats de l’apprentissage par la mise en place d’interventions liées à l’équité, la violence à l’école, l’environnement d’apprentissage ou les qualifications des enseignants. En outre, ce document montre comment l’apprentissage est associé à des facteurs spécifiques qui doivent également être suivis avec attention. Il s’agit notamment des expériences de la petite enfance des élèves, de leur motivation et de leurs aspirations éducatives, de leurmilieu familial, ainsi que de leur environnement d’apprentissage et d’enseignement. L’UNESCO et l’AIE ont publié cette brochure pour permettre aux participants de mieux comprendre les résultats de TIMSS et leur pertinence pour l’élaboration des politiques, l’utilisation des évaluations des apprentissages pour la mesure des objectifs mondiaux en matière d’éducation, et les actions nécessaires pour traduire les engagements de l'agenda Éducation 2030 en efforts de développement du secteur de l’éducation au niveau national.

Cette brochure a été préparée en vue du lancement international de TIMSS (Tendances internationales des études en mathématiques et sciences) 2019 et dans le contexte des efforts de cette étude pour contribuer à l’Objectif de développement durable (ODD) 4, notamment pour mesurer les progrès et promouvoir des outilsadéquatsd’évaluationdes résultatsd’apprentissage au niveau national, régional et international. TIMSS est une étude phare de l’Association internationale pour l’évaluationde la réussitescolaire (AIE), etTIMSS2019 marque le septième cycle de cette étude, permettant de fournir des tendances sur 24 ans. Réalisée tous les quatre ans depuis 1995, TIMSS a été un outil précieux pour suivre les tendances internationales en matière d’apprentissage des mathématiques et des sciences en quatrième et huitième année de scolarisation. Depuis 2019, une version informatisée innovante de TIMSS permet aux pays d’étudier des domaines complexes du cadre d’apprentissage des mathématiques et des sciences qui sont difficiles à mesurer avec les tests papier plus traditionnels. Les analyses présentées dans cette brochure sont basées sur les résultats présentés dans le rapport international TIMSS 2019, les résultats internationaux deTIMSS 2019 en

1 Pour les résultats internationaux de TIMSS 2019, voir: http://timssandpirls.bc.edu/timss2019/international-results/

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

3

L’étude TIMSS de l’AIE

Les questionnaires TIMSS pour l’école, les enseignants, les élèves et les foyers recueillent des informations détaillées sur les facteurs contextuels à l’école et à la maison qui sont connus pour être associés à l’apprentissage et aux résultats des élèves. Ces informations comprennent des détails sur la manière dont le système éducatif est organisé pour faciliter l’apprentissage, l’environnement familial des élèves et les aides à l’apprentissage, le climat et les ressources de l’école, et la manière dont l’enseignement se déroule habituellement dans les salles de classe. TIMSS publie également une encyclopédie qui fournit des données détaillées sur le contexte éducatif de chaque pays pour l’apprentissage des mathématiques et des sciences 2 . Soixante-douze systèmes éducatifs ont participé à TIMSS 2019, dont 64 pays et territoires, et 8 entités d’analyse comparative. Menée tous les quatre ans en quatrième et huitième année, TIMSS a une conception quasi-longitudinale, la cohorte des élèves de quatrième année étant évaluée quatre ans plus tard en huitième année. L’évaluation des élèves de quatrième année peut servir d’alerte précoce pour des réformes nécessaires des programmes d’études, et l’efficacité de ces réformes peut être contrôlée quatre ans plus tard, en huitième année.

Depuisplusde60ans, l’AIE (iea.nl)mènedes évaluations internationales à grande échelle (ILSA) sur les résultats scolaires et d’autres aspects de l’éducation, y compris le TIMSS, dans le but d’acquérir une compréhension approfondie des effets des politiques et des pratiques éducatives au sein et entre les systèmes d’éducation. TIMSS est dirigé par le Centre d’études international TIMSS & PIRLS de la Lynch School of Education du Boston College (timssandpirls.bc.edu), qui travaille en étroite collaboration avec l’AIE et le centre national des pays participants. TIMSS et PIRLS (Progress in International Reading Literacy Study; une évaluation internationale de la lecture), constituent ensemble le cycle d’études de base de l’AIE qui mesure les résultats d’apprentissage dans trois matières fondamentales: les mathématiques, les sciences et la lecture. TIMSS comparatives internationales sur les performances des élèves en mathématiques et en sciences. Comme les précédentes évaluations TIMSS (menées en 1995, 1999, 2003, 2007, 2011 et 2015), TIMSS 2019 a recueilli des informations détaillées sur les programmes scolaires et leur mise en œuvre, les pratiques pédagogiques et les ressources éducatives. fournit des données

LE PROJET ROSETTA STONE

résultats de TIMSS et PIRLS, permettant ainsi aux pays de mesurer les progrès accomplis vers la cible 4.1 de la SDG (voir page 6 de la brochure). Le tableau de concordance représenterait la “pierre de Rosette”, analogue à la pierre de Rosette originale qui a permis de faire le lien entre l’écriture grecque et les hiéroglyphes égyptiens.

Rosetta Stone est un projet collaboratif proposé par l’AIE et le centre d’études international TIMSS & PIRLS et dirigé par l’Institut des statistiques de l’UNESCO. Le projet Rosetta Stone vise à fournir un tableau de concordance et des intervals de confiance 3 qui permettront d’associer les résultats des pays aux évaluations régionales en mathématiques et en lecture à des points de référence sur les échelles de

2 Pour l'encyclopédie TIMSS 2019: timssandpirls.bc.edu/timss2019/ 3 Pour plus d'informations sur le projet Rosetta Stone: http://gaml.uis.unesco.org/wp-content/uploads/sites/2/2019/08/GAML6-REF-4- Rosetta-Stone-IEA.pdf

4

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

La réponse éducative à la crise COVID-19

collaborer et d’apprendre les uns des autres, entre les pays et au sein de ceux-ci.

L’année 2020 a été marquée par la pandémie COVID-19, une crise sanitaire mondiale qui a entraîné un niveau de perturbation sans précédent dans l’éducation. Selon l’UNESCO, plus de 90% de tous les apprenants ont été touchés par les fermetures d’écoles causées par le premier pic épidémiologique de la COVID-19. Au début de la pandémie, l’UNESCO a soutenu et facilité l’apprentissage des politiques, le développement et le partage des connaissances par le biais de différentes initiatives et forums politiques - par exemple, la Coalition mondiale pour l’éducation, qui fournit une plate-forme de collaboration et d’échange pour protéger le droit à l’éducation pendant la perturbation liée à la pandémie et au-delà, ou encore la Réunionmondiale sur l’éducation, qui fournit une plate-forme d’échange entre les responsables politiques de haut niveau, les ministres, les décideurs, les organisations multilatérales, les partenaires de développement et les acteurs de l’éducationmondiale pour protéger et réimaginer l’avenirde l’éducationet la réalisation de l’ODD 4. Compte-tenu que la crise amplifie les inégalités et que les décideurs politiques doivent prendre des décisions en temps réel, la COVID-19 nous a appris la nécessité de disposer de données fiables et obtenues rapidement. Il n’a jamais été aussi important de rester en contact, de

des programmes d’études et la conception de matériel d’enseignement et d’apprentissage ; la gestion des écoles ; les approches pédagogiques ; et l’évaluation de l’apprentissage. L’évaluation de l’apprentissage fait référence à un large éventail de méthodes et d’outils utilisés pour évaluer, mesurer et documenter les résultats et les progrès de l’apprentissage. Les évaluations rassemblent des informations provenant demultiples sources sur ceque les apprenants savent, ce qu’ils peuvent faire avec ce qu’ils ont appris, et fournissent des informations sur les processus et les contextes qui permettent l’apprentissage, ainsi que sur l’identification des facteurs qui peuvent entraver les progrès de l’apprentissage. Plus récemment, on a également constaté un intérêt croissant pour l’évaluation de l’apprentissage à des fins de responsabilisation, afin de déterminer dans quelle mesure les systèmes éducatifs produisent les résultats d’apprentissage et les résultats sociaux souhaités. Les études de l’AIE sont reconnues pour se focaliser sur des données de la plus haute qualité et comparables, et la richesse des données contextuelles provenant d’études telles que TIMSS peut offrir des renseignements critiques à un moment où l’éducation fait face à l’incertitude. Les données recueillies dans le cadre de TIMSS incluent le nombre de classes surchargées selon les enseignants, le nombre d’élèves arrivant à l’école le ventre vide, l’hygiène scolaire, la disponibilité des ressources informatiques, le développementprofessionneldesenseignants,notamment en ce qui concerne l’intégration des technologies de l’information et de la communication dans l’enseignement et l’apprentissage, et les ressources des élèves à lamaison et s’ils disposent d’un endroit calme pour étudier. Heureusement, la collecte de données pour TIMSS 2019 a commencé au premier semestre 2019, avant toute trace de la pandémie COVID-19, et n’a pas été affectée par les fermetures d’écoles. Cela signifie que TIMSS peut fournir une mesure de référence efficace, par exemple des performances ou des attitudes des élèves, par rapport à laquelle on peut évaluer comment les changements mis en œuvre pendant et après la pandémie ont pu affecter les élèves et les écoles.

Rôle des ILSA dans le suivi de l’ODD 4

En 2015, les États membres des Nations unies ont adopté une nouvelle série d’objectifs ambitieux pour lutter contre la pauvreté, les inégalités, les maladies, les modes de consommation non durables, le changement climatique et autres défis du développement d’ici 2030. Les ODD proposent un cadre global pour garantir que nul ne soit délaissé. L’ODD 4 vise à “assurer une éducation de qualité inclusive et équitable et à promouvoir les possibilités d’apprentissage tout au long de la vie pour tous”, et ses objectifs mettent un accent renouvelé et plus large sur les questions d’inclusion et d’équité. L’ODD 4 exprime également une préoccupation claire quant aux résultats des processus éducatifs, tant en termes d’acquisition effective des compétences de base que d’apprentissage pertinent pour la participation à la société civile, la vie sociale et culturelle et l’emploi. Cet engagement global a des implications importantes pour la politique, la planification et la pratique de l’éducation, et en particulier dans les domaines qui sont essentiels à l’amélioration des processus et des résultats de l’apprentissage. Ces domaines comprennent la formation des enseignants et le développement professionnel continu ; l’élaboration

L’ODD 4 se démarque nettement des Objectifs du

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

5

imiter ou exacerber les disparités mais viser à les réduire. La fracture numérique devraient également être réduite au minimum, les enseignants et les étudiants ayant accès à toute une série de technologies, y compris la radio et la télévision. Si l’on constate que les possibilités de formation continue sont moins nombreuses, les enseignants des élèves de 4e année pourraient avoir besoin d’une formation supplémentaire ou que les ressources limitées soient réparties plus équitablement en fonction des besoins essentiels, notamment lorsque des modèles d’apprentissage hybrides seront utilisés. Plus généralement, l’amélioration de la qualité des enseignants serait une réponse essentielle, y compris des normes renforcées pour la formation initiale des enseignants. Elle comprend également une formation continue plus importante et de meilleure qualité pour les enseignants. Cela vaut pour les pays à revenu élevé où la formation continueestmoins couranteet pour certains pays à revenu intermédiaire où elle est nécessaire pour améliorer les qualifications et les compétences initiales des enseignants, qui sont plus faibles. L’apprentissage en ligne permet un plus grand anonymat dans la communication entre les étudiants et les enseignants et les étudiants eux-mêmes. En raison des effets négatifs de toutes les formes d’intimidation, de meilleures réponses pour les combattre (y compris la cyberintimidation) sont nécessaires, telles que des campagnes de sensibilisation des élèves, la formation des enseignants et desmécanismes de traitement des plaintes. Compte tenu des progrès variables des pays en matière de résultats des élèves, notamment en ce qui concerne la connaissance du développement durable et l’accès à l’EPPE, les dépenses publiques en matière d’éducation devraient être augmentées ou au moins maintenues pour cibler les défis actuels, notamment à la lumière de la pandémie COVID-19 en cours. transnationales qui évaluent les progrès réalisés vers les objectifs d’apprentissage, en créant un langage commun pour définir et discuter des niveaux de compétence dans l’apprentissage. En outre, ces données fournissent également des mesures importantes de la qualité de l’éducation, complétant les indicateurs de substitution couramment utilisés tels que les ratios élèves/enseignants, le pourcentage d’enseignants formés ou les dépenses par élève en pourcentage du produit intérieur brut.

Implications politiques TIMSS n’est pas explicitement conçue pour mesurer les ODD et les données TIMSS ne correspondent donc pas toujours exactement à la définition de la cible ODD 4 . Il existe cependant d’importants chevauchements entre ce que mesure TIMSS et ce qui est inclus dans les ODD. Par conséquent, les résultats des analyses présentées dans cette brochure peuvent être considérés comme des mesures de substitution. Les données TIMSS peuvent éclairer et étalonner les progrès des pays pour atteindre certains objectifs de l’ODD 4 relatifs aux résultats scolaires, à l’accès aux services d’éducation et à la protection de la petite enfance (EPPE), à la réductiondes inégalités, à l’acquisitionde connaissances et de compétences pour le développement durable et à la création de meilleurs environnements d’apprentissage et d’enseignement. Sur la base des données TIMSS 2019, les politiques éducatives doivent continuer à développer des stratégies ciblées fondées sur des données concrètes pour relever les défis existants. Alors que des proportions similaires de garçons et de filles de 4e année ont atteint une compétence minimale en mathématiques, un écart croissant entre les genres, basé sur des scores moyens favorisant les garçons par rapport aux données de 2015, suggère la nécessité d’une stratégie recentrée, de ressources supplémentaires et d’un enseignement différencié dès les premières années du primaire pour éliminer l’écart entre les genres. Parallèlement, en 8e année, les pays sont plus nombreux à afficher un nombre de filles atteignant un niveau de compétence minimum supérieur à celui des garçons, ce qui suggère la nécessité de poursuivre les efforts pour réduire les disparités. Les données montrent que là où les élèves ont un accès plus inégal aux “ressources” (en particulier dans les pays à revenu intermédiaire), laproportiond’élèvesqui atteignent les compétences minimales diminue. Les efforts visant à améliorer l’accès aux diverses ressources ne doivent pas millénaire pour le développement dans la mesure où il met davantage l’accent sur les résultats de l’apprentissage que sur la participation. Cela impose de nouveaux défis en matière de collecte de données et de rapports. L'agenda Éducation 2030 exige des systèmes efficaces et précis pour mesurer les progrès réalisés dans le cadre des engagementsde l'ODD4.3. Les évaluations internationales de l’apprentissage peuvent apporter une contribution importante à ce processus en collectant des données

4 http://tcg.uis.unesco.org/metadata/

6

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

Objectifs de l’ODD 4

Cible 4.1: D’ici 2030, s’assurer que toutes les filles et tous les garçons achèvent un enseignement primaire et secondaire gratuit, équitable et de qualité, débouchant sur des résultats d’apprentissage pertinents et efficaces. Indicateur global 4.1.1 Proportion d’enfants et de jeunes (a) en deuxième ou troisième année d’études; (b) à la fin de l’enseignement primaire ; et (c) à la fin du premier cycle de l’enseignement secondaire atteignant au moins un niveau minimum de compétence en mathématiques, par sexe. Analyse: Pourcentage d’élèves de quatrième et de huitième année au-dessus du niveau de référence international bas de TIMSS en mathématiques. Cible 4.2: D’ici 2030, s’assurer que toutes les filles et tous les garçons aient accès à un développement de la petite enfance, à des soins et à un enseignement pré-primaire de qualité afin qu’ils soient prêts pour l’enseignement primaire. Indicateur global 4.2.2 Taux de participation à l’apprentissage organisé (un an avant l’âge officiel d’entrée dans le primaire), par sexe. Analyse: Participation à l’enseignement préscolaire par années de fréquentation. Cible 4.5: D'ici 2030, éliminer les disparités entre les sexes dans l’enseignement et assurer aux personnes vulnérables, notamment aux personnes handicapées, aux populations autochtones et aux enfants en situation de vulnérabilité, l’égalité d’accès à tous les niveaux d’enseignement et de formation professionnelle. Indicateur global 4.5.1 Indices de parité (femmes/hommes, rural/urbain, quintile inférieur/supérieur de richesse et autres tels que le statut de handicap, les peuples autochtones et les personnes touchées par des conflits, à mesure que les données sont disponibles) pour tous les indicateurs d’éducation. Analyse: Niveau minimum de compétence en mathématiques par sexe et ressources à la maison. Cible 4.7: D’ici 2030, faire en sorte que tous les apprenants acquièrent les connaissances et les compétences nécessaires pour promouvoir le développement durable, notamment par l’éducation au développement durable et aux modes de vie durables, aux droits de l’homme, à l’égalité des sexes, à la promotion d’une culture de paix et de non-violence, à la citoyenneté mondiale et à l’appréciation de la diversité culturelle et de la contribution de la culture au développement durable. Indicateur global 4.7.1 Mesure dans laquelle ... (ii) l’éducation au développement durable ... [est] généralisée dans ... (b) les programmes d’enseignement. Indicateur thématique 4.7.5 Pourcentage d’élèves de l’enseignement secondaire inférieur montrant une bonne connaissance des sciences de l’environnement et des géosciences. Analyse: Pourcentage d’élèves de quatrième et huitième année d’études supérieures au niveau de référence international bas de TIMSS en sciences et en sciences de la terre. Cible 4.a: Construire et moderniser des établissements d’enseignement qui tiennent compte des enfants, des handicaps et de l’égalité des sexes et qui offrent à tous des environnements d’apprentissage sûrs, non violents, inclusifs et efficaces. Indicateur global 4.a.1 Proportion d’écoles offrant des services de base, par type de service. Indicateur thématique 4.a.2 Pourcentage d’élèves victimes de brimades au cours des 12 derniersmois. Analyse: Incidence des brimades, disponibilité d’ordinateurs et accessibilité des écoles aux élèves handicapés. Cible 4.c: D’ici 2030, augmenter sensiblement l’offre d’enseignants qualifiés, notamment par la coopération internationale pour la formation des enseignants dans les pays en développement, en particulier les pays les moins avancés et les petits États insulaires en développement. Indicateur global 4.c.1 Proportion d’enseignants ayant les qualifications minimales requises, par niveau d’enseignement. Indicateur thématique 4.c.7 Pourcentage d’enseignants ayant reçu une formation continue au cours des 12 derniers mois, par type de formation. Analyse: Disponibilité d’enseignants qualifiés et prévalence de la formation continue des enseignants.

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

7

Cible 4.1 : Enseignement primaire et secondaire

L'agenda Éducation 2030 place les indicateurs de résultats d’apprentissage au cœur du cadre international de suivi de l’éducation. L’un des deux indicateurs globaux de l’objectif 4.1 est le pourcentage d’élèves qui atteignent un niveau de compétence minimum en mathématiques (a) dans les premières années d’études, (b) à la fin de l’enseignement primaire et (c) à la fin du premier cycle de l’enseignement secondaire. Les données TIMSS alimentent l’indicateur global 4.1.1a pour les pays qui administrent l’évaluation aux élèves de quatrième année, 4.1.1b pour les pays qui administrent l’évaluation aux élèves de cinquième année et 4.1.1c pour les pays qui administrent l’évaluation aux élèves de huitième et neuvième année. Suite à un processus géré par l’Institut de statistique 5 de l’UNESCO, qui est l’organisme dépositaire de la plupart des indicateurs globaux de l’ODD 4, le benchmark international TIMSS Low de 400 points est provisoirement considéré comme équivalent au niveau de compétence minimum 6 .

Par exemple, selon la définition du benchmark international TIMSS Low 7 , les élèves de quatrième année de ce niveau ont des connaissances de base en mathématiques; ils peuvent additionner, soustraire, multiplier et diviser des nombres entiers à un ou deux chiffres; résoudre des problèmes de mots simples ; et ont une certaine connaissance des fractions simples et des formes géométriques courantes. Ils peuvent lire et compléter des diagrammes à barres et des tableaux simples ; connaissent les nombres jusqu’à mille ; peuvent ordonner, additionner et soustraire des nombres entiers ; ont une certaine connaissance de la multiplication et de la division de nombres à deux chiffres; peuvent résoudre des problèmes de mots à une étape et des phrases de nombres ; et peuvent reconnaître des représentations picturales de fractions simples. Enfin, ils peuvent reconnaître des idées de mesure de base ; reconnaître et visualiser des formes géométriques courantes à deux et trois dimensions ; et lire et compléter des diagrammes à barres et des tableaux simples.

FIGURE 4.1.1: Pourcentage d’élèves de quatrième et de huitième année ayant atteint une compétenceminimale enmathématiques, 2019

100

Les entités participantes à TIMSS 2019 figurant dans le graphique ont été sélectionnées et nommées par l’UNESCO.

France

Kazakhstan

Nouvelle-Zélande

80

Turquie*

Qatar Chili Emirats A.U. (Emirats Arabes Unis)

Géorgie

100

Iran, Rép. isl. (République islamique d'Iran)

Rép. de Corée (République de Corée) Singapour Japon

60

98

Oman

Arabie Saoudite

Féd. de Russie. (Fédération de Russie)

96

Maroc

Hong Kong RAS, Chine

Afrique du Sud*

40

Irlande

94

Lituanie

Finlande

92

20

Portugal

Italie

Suède

Norvège*

Australie

90

90

92

94

96

98

100

0

0

20

40

60

80

100

Élèves de 4e année atteignant une compétence minimale en mathématiques (%)

Notes: Le chiffre ne comprend que les pays ayant participé aux évaluations en quatrième et huitième année en 2019. Les barèmes pour la quatrième et la huitième année ne sont pas équivalents. *La Norvège, l’Afrique du Sud et la Turquie ont administré l’évaluation en quatrième année aux élèves de cinquième année, la Norvège et l’Afrique du Sud ont administré l’évaluation en huitième année aux élèves de neuvième année. 5 http://tcg.uis.unesco.org/metadata/ 6 En prenant la compétence minimale telle que définie par l'Institut des statistiques de l'UNESCO à la page 16 de http://uis.unesco.org/ sites/default/files/documents/sdg4-databook-global-ed-indicators-2019-en.pdf, documents/sdg4-databook-global-ed-indicators-2019-fr. pdf, qui correspond aux statistiques de TIMSS 2015 sur les performances au niveau de TIMSS Low International Benchmark que l'on peut trouver ici: http://timss2015.org/timss-2015/mathematics/performance-at-international-benchmarks/ pourcentages-atteindre-des- repères-internationaux-augment-années-évaluation/ 7 Pour des définitions complètes de l'étalonnage, voir les résultats internationaux de TIMSS 2019 en mathématiques et en sciences: http://timssandpirls.bc.edu/timss2019/international-results/

8

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

ont participé aux cycles de 2015 et 2019, la croissance moyenne du pourcentage d’élèves ayant atteint le niveau minimum de compétence en mathématiques était de 0,3 point de pourcentage en quatrième année et de 0,5 point de pourcentage en huitième année, en termes annuels. Certains pays sont en bonne voie pour atteindre la cible de l’ODD 4 d’ici 2030 et plusieurs pays ont connu une croissance robuste (figure 4.1.2) . Par exemple, au Chili, le pourcentage d’élèves de huitième année ayant atteint un niveau minimum en mathématiques est passé de 41% en 2003, à 57% en 2011 et à 70% en 2019. Si le pays parvenait à maintenir le même taux de croissance, il serait en bonne voie pour atteindre l'objéctif de l'ODD 4 d'ici 2030. Cependant, d’autres pays ont stagné. Par exemple, 79 % des étudiants roumains ont atteint un niveau de compétence minimum en 1995 et 78 % en 2019 (figure 4.1.2) .

Parmi les pays et territoires participant à TIMSS 2019, 86% des élèves de 4e année et 80% des élèves de 8e année ont atteint une compétence minimale en mathématiques. Si la grande majorité des élèves des pays à revenu élevé atteignent ce niveau, ils sont beaucoup moins nombreux à le faire dans les pays à revenu intermédiaire, et notamment dans les pays à revenu intermédiaire inférieur. Par exemple, au Maroc, 43% des élèves de quatrième année et 41% des élèves de huitième année atteignent le niveau de référence international bas (figure 4.1.1) . TIMSS est mise en œuvre depuis un quart de siècle. Si dix pays, pour la plupart à revenu élevé, ont participé à chacun des sept cycles depuis 1995, beaucoup plus nombreux sont ceux qui ont participé à au moins deux cycles. Des informations précieuses peuvent donc être extraites pour évaluer le potentiel des pays à garantir que tous les étudiants atteignent un niveau de compétence minimum d’ici 2030. Parmi les pays qui

FIGURE 4.1.2: Pourcentage d’élèves de huitième année ayant atteint une compétence minimale en mathématiques, pays sélectionnés, 1995-2019

Pays progressant rapidement

Pays progressant lentement ou pas du tout

100

Lituanie

90

Kazakhstan États-Unis

Nouvelle-Zélande

Turquie

80

Roumanie

Émirats A.U. (Émirats Arabes Unis)

Chili Géorgie Iran, Rép. isl.

70

Qatar

Liban

Jordanie

60

Oman

50

Arabie Saoudite

Maroc

40

← 2030 ODD 4 date limite

← 2030 ODD 4 date limite

30

1995 2003 2011 2019 2027 2035

1995 2003 2011 2019 2027 2035

Les entités participant àTIMSS 2019 figurant dans la figure ci-dessus ont été sélectionnées par l’UNESCO et nommées selon celle-ci.

Note: Le chiffre inclut les pays sélectionnés qui ont participé à plus d’un cycle TIMSS de 8e année depuis 1995. Les pourcentages sont des estimations ; les erreurs-types ne sont pas affichées 8 .

8 Pour obtenir des résultats détaillés sur les tendances, veuillez consulter les résultats internationaux de TIMSS 2019 en mathématiques et en sciences: http://timssandpirls.bc.edu/timss2019/international-results/

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

9

Cible 4.2 : Petite enfance

ont participé pendant au moins un an à l’éducation de la petite enfance. Le pays qui compte le plus grand pourcentage d’élèves de quatrième année ayant suivi moins d’un an d’éducation préscolaire est le Pakistan (68%). Dans trois pays, environ un élève sur deux a suivi moins d’un an d’éducation préscolaire : La Bosnie- Herzégovine (56%), l’Azerbaïdjan (49%) et la Macédoine du Nord (45%). Dans quatre pays, environ un sur trois a suivi moins d’un an d’enseignement préscolaire : la République islamique d’Iran (36%), l’Arabie saoudite (35%), la Turquie (34%) et le Maroc (33%). Des tendances distinctes sont également observées dans d’autres pays : àMalte, lamajorité des élèves de quatrième année ont suivi exactement deux années d’enseignement préscolaire (54%) ; en France et en République tchèque, la majorité a suivi exactement trois années (plus de 60 %) ; et au Danemark et en Norvège, la grande majorité a suivi exactement quatre années (plus de 80 %).

L’undes objectifs de l’agenda Éducation2030 est de veiller à ce que tous les enfants aient accès à un développement de la petite enfance, à des soins et à un enseignement pré-primaire de qualité afin qu’ils soient prêts pour l’enseignement primaire. TIMSS 2019 a continué à démontrer la relation positive entre le développement des compétences dans la petite enfance et des résultats moyens plus élevés 9 . Bien que TIMSS soit une évaluation de l’enseignement primaire et secondaire inférieur, les parents d’élèves de quatrième année doivent indiquer le nombre d’années d’éducation préscolaire que leur enfant a suivies (y compris la petite enfance et l’enseignement pré-primaire) 10 . Cette question offre des indications utiles sur la répartition de l’exposition à l’éducation de la petite enfance, qui complètent les informations disponibles à partir des sources administratives, même si elles sont disponibles avec un décalage de quatre ans.

Dans la majorité des pays, les élèves de quatrième année

FIGURE 4.2.1: Répartition de la fréquentation de l’éducation de la petite enfance, par année, élèves de quatrième année, 2019

100

80

60

1 2 3 4 Années

40

0 <1

20

0

Les entités participant àTIMSS 2019 figurant dans la figure ci-dessus ont été sélectionnées par l’UNESCO et nommées selon celle-ci.

Note: *La Norvège, l’Afrique du Sud et la Turquie ont administré l’évaluation aux élèves de cinquième année.

9 Voir les résultats internationaux de TIMSS 2019 en mathématiques et en sciences: http://timssandpirls.bc.edu/timss2019/international-results/ 10 Pour les questionnaires TIMSS 2019 sur le contexte des parents, voir: https://timssandpirls.bc.edu/timss2019/

10 Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

Objectif 4.5 : Équité

L’analyse des résultats des élèves de huitième année en mathématiques montre des résultats similaires. Dans l’ensemble, le pourcentage moyen d’élèves atteignant ou dépassant le seuil international bas est de 81% pour les filles et de 78% pour les garçons. Dans aucun pays, les garçons ne sont nettement plus nombreux que les filles à atteindre le seuil de référence bas. Dans 13 pays, les filles sont nettement plus nombreuses que les garçons à atteindre le niveau de référence international le plus bas. Par exemple, à Oman, 128 filles atteignent le seuil minimum pour 100 garçons (figure 4.5.1) . Dans les autres pays et territoires, il n’y a pas de différence significative entre les filles et les garçons. En revanche, dans 8 des 31 pays, un nombre nettement plus élevé de garçons ont atteint le niveau de référence international avancé en mathématiques en 8e année, contre un seul pays (Bahreïn) où un nombre nettement plus élevé de filles ont atteint ce niveau de référence. Pour certains pays, les données étaient insuffisantes pour estimer les pourcentages au niveau avancé.

L'agenda Éducation2030appelleà“nedélaisser personne” et exige l’accès à des données désagrégées. TIMSS permet une meilleure ventilation des données sur les résultats d’apprentissage par sexe, statut socio-économique et langue, ainsi que par âge et d’autres variables obtenues à partir des différents questionnaires de base. GENRE Les résultats de TIMSS 2019 suggèrent que l’équité entre les sexes s’érode en mathématiques en quatrième année: les garçons ont des résultats moyens plus élevés dans 27 des 58 pays participant à l’enquête en quatrième année, et un écart en faveur des garçons est apparu dans 9 pays depuis 2015 11 . Bien que ce résultat se réfère à la note moyenne, une image différente apparaît lorsque l’on compare les performances des garçons et des filles en termes de pourcentage d’élèves qui atteignent une compétence minimale. L’analyse des résultats des élèves de quatrième année montre qu’il n’y a pas de différence significative dans le pourcentage de filles et de garçons atteignant le niveau de référence international bas dans 52 des 58 pays et territoires.

FIGURE 4.5.1: Indice ajusté de parité entre les sexes en mathématiques, élèves de 8e année, 2019

1,30

Dans ces pays, les lles sont plus nombreuses que les garçons à atteindre une compétence minimale en mathématiques

1,20

1,10

Parité

1,00

0,90

Les entités participant àTIMSS 2019 figurant dans la figure ci-dessus ont été sélectionnées par l’UNESCO et nommées selon celle-ci.

Notes: L’indice de parité entre les sexes est unemesure de l’inégalité définie comme le rapport des valeurs d’un indicateur d’éducation pour les femmes par rapport aux hommes. Une valeur d’indice comprise entre 0,97 et 1,03 indique la parité. Une valeur inférieure à 0,97 indique une disparité selon laquelle les garçons réussissent mieux que les filles. Une valeur supérieure à 1,03 indique une disparité dans laquelle les filles réussissent mieux que les garçons. L’indice de parité entre les sexes ajusté est symétrique autour de 1 et limité à une fourchette comprise entre 0 et 2. * LaNorvège et l’Afrique du Sud ont administré l’évaluation aux élèves de neuvième année.

11 Pour les résultats complets, voir les résultats internationaux de TIMSS 2019 en mathématiques et en sciences: http://timssandpirls.bc.edu/ timss2019/international-results/

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

11

STATUT SOCIO-ÉCONOMIQUE Pour évaluer le milieu socio-économique des élèves, l’approche utilisée par TIMSS consiste à construire un indice de “ressources”, qui combine les informations des élèves (ressources éducatives disponibles à la maison) et, en quatrième année, des parents (par exemple, leur éducation et leur profession). Une comparaison entre les élèves qui ont “peu” de ressources et ceux qui en ont “beaucoup” montre une grande disparité dans les résultats de l’apprentissage. L’indice de parité de statut socio-économique est une mesure de l’inégalité définie comme le rapport entre les valeurs d’un indicateur d’éducation pour les étudiants ayant “peu” de ressources et ceux ayant “beaucoup” de ressources. Les comparaisons doivent être faites avec prudence, car les groupes d’étudiants disposant de “peu” et de “beaucoup” de ressources ne sont pas de taille égale

dans tous les pays. Dans les pays à faible revenu, le groupe des étudiants disposant de “peu” de ressources est plus nombreuxquecelui desétudiantsdisposantde“beaucoup” de ressources, alors que c’est l’inverse dans les pays riches. Une façon d’exprimer l’inégalité consiste à comparer les étudiants disposant de “peu” et de “beaucoup” de ressources en termes de pourcentage de ceux qui se situent au niveau ou au-dessus du niveau de référence international faible. Inévitablement, à mesure qu’un pays se rapproche de l’objectif de faire en sorte que tous les étudiants, même les plus défavorisés, atteignent le niveau de référence international le plus bas, les inégalités “disparaissent”. Toutefois, même dans les pays où au moins 80 % des étudiants atteignent le seuil de faible revenu, les disparités peuvent être importantes, comme en Serbie et en Slovaquie (figure 4.5.2).

FIGURE 4.5.2: Indice de parité de statut socio-économique, pourcentage d’élèves de quatrième année ayant atteint le niveau minimum de compétence en mathématiques, 2019

Hong Kong RAS, Chine

1,0

Parité

Japon

Autriche

Féd. de Russie.

Kazakhstan

Singapour

Italie

0,9

Lettonie

Arménie

Irlande

Portugal

Croatie

Espagne Chypre Lituanie Suède

0,8

Albanie

Géorgie

0,7

La Turquie*

Bulgarie

Hongrie

Émirats A. U. (Émirats Arabes Unis)

France Bosnie/Herzeg.

0,6

Iran, Rép. isl.

Arabie Saoudite

N. Macédoine (Macédoine du Nord) Slovaquie

Qatar Chili

Monténégro

0,5

Serbie

Maroc

0,4

0

20

40

60

80

100

Élèves de 4e année au-dessus du niveau de référence international bas (%)

Les entités participant àTIMSS 2019 figurant dans la figure ci-dessus ont été sélectionnées par l’UNESCO et nommées selon celle-ci.

Note: * La Turquie a administré l’évaluation aux élèves de cinquième année.

12 Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

Objectif 4.7 : éducation au développement durable

conservation ont également été abordées. Ce queTIMSS fait d’une manière quelque peu unique est de fournir des indications sur la menace du changement et de l’instabilité climatiques en mesurant la compréhension des élèves des sciences de la Terre et les connaissances et la compréhension associées qui peuvent être importantes pour atténuer la pire menace. Il n’existe pas beaucoup d’enquêtes sur les acquis scolaires qui fournissent des informations précises sur les compétences dans le domaine plus spécifique des sciences de la terre. En revanche, l’évaluation des compétences plus générales en sciences est comparativement plus courante. Les résultats de TIMSS 2019 montrent que le pourcentage d’élèves ayant atteint le niveau de référence international le plus bas est en moyenne deux points de pourcentage plus élevé pour les sciences que pour les sciences de la terre. Dans trois pays, l’écart dépasse dix points de pourcentage: le Kazakhstan, le Liban et le Maroc.

Le suivi de l’aspiration fondamentale de l’objectif 4.7 – l’acquisition des connaissances et des compétences nécessaires au développement durable – n’est pas facile. L’un des principaux défis est le large éventail de thèmes de la cible. Préparer les apprenants à un avenir d’instabilité climatique et environnementale commence par les aider à comprendre des questions telles que pourquoi et comment le changement climatique se produit, et ses effets probables sur les habitats et les écosystèmes. L’évaluation scientifique de la huitième année de TIMSS 2019 comprenait des questions conçues pour évaluer les connaissances dans quatre domaines, dont les sciences de la terre 12 . Ce domaine a évalué les élèves, entre autres, sur leur connaissance de la structure et des caractéristiques physiques de la Terre et de l’atmosphère, ainsi que des processus, cycles et modèles, y compris les processus géologiques qui se sont produits au cours de l’histoire de la Terre, le cycle de l’eau et les modèles météorologiqueset de climat. Les ressources de la Terre ainsi que leur utilisation et leur

FIGURE 4.7: Pourcentage d’élèves de huitième année qui ont atteint le niveau de compétence minimum dans le domaine des sciences et dans son sous-domaine, les sciences de la terre

Singapour

100

Note: *La Norvège et l’Afrique du Sud ont administré l’évaluation de la huitième année aux élèves de la neuvième année. Les entités participant à TIMSS 2019 figurant dans le graphique ont été sélectionnées et nommées par l’UNESCO.

Lituanie

Japon Rép. de Corée

Féd. de Russie.

Angleterre

Portugal

Hongrie

Finlande

Italie

Irlande

Australie

Turquie États-Unis

Nouvelle-Zélande Norvège* France Suède

Israël

Chypre

RAS de Hong Kong, Chine

Kazakhstan

60

80

Bahreïn

Roumanie

Chili

Maroc

Égypte

Qatar

Malaisie

Liban

Géorgie

40

Émirats A. U. (Émirats Arabes Unis)

Jordanie

Afrique du Sud *

Oman

Iran, Rép. isl.

20

20

60

40

60

80

100

60

Élèves de 8e année atteignant le faible niveau de référence international en sciences de la terre (%)

professeurs de sciences. La couverture de ce matériel ne correspond pas toujours à la performance. Par exemple, au Japon, seuls 5% des élèves avaient appris les deux concepts ; pourtant, la performance des élèves était la plus élevée de tous les pays participants. Le fait que ces étudiants aient obtenu de bons résultats même s’ils n’avaient pas reçu de contenu spécifique suggère que les systèmes éducatifs peuvent contribuer à préparer les étudiants de plusieurs manières.

TIMSS 2019 recueille également des informations auprès des enseignants pour savoir si des concepts particuliers des sciences de la terre ou des sciences de la vie ont été enseignés avant ou pendant la huitième année. Par exemple, en moyenne dans l’ensemble des pays participants, 72% des élèves avaient appris l’interdépendance des populations d’organismes dans un écosystème et 69% avaient travaillé sur les ressources terrestres, leur utilisation et leur conservation, selon les

12 Pour plus de détails sur les cadres mathématiques et les cadres scientifiques de TIMSS 2019, veuillez consulter: http://timssandpirls.bc.edu/ timss2019/frameworks/

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

13

Cible 4.a : Environnements d'apprentissage

Dans l'ensemble, parmi les 31 pays ayant fait des observations à ces deux niveaux, les élèves de 4e année sont plus susceptibles de signaler des brimades - 32% d'entre elles ont eu lieu sur une base mensuelle et 7% sur une base hebdomadaire, en moyenne. En revanche, parmi les élèves de 8e année, les taux de prévalence étaient de 22% et de 4% en moyenne. Bien que la fréquence diffère d'une année à l'autre, les échelles entre les années sont différentes, et la huitième année comprend plus d'expériences négatives que la quatrième année. Les taux de prévalence des brimades en 8e année sont au moins deux fois plus élevés que la moyenne de cet échantillon dans les pays du Golfe. Par exemple, 21% des élèves de 4e année au Koweït et au Qatar et 12% des élèves de 8e année au Qatar et aux Émirats arabes unis ont déclaré avoir été victimes de brimades sur une base hebdomadaire.

L'importance d'un environnement sûr comme facteur déterminant de l'apprentissage a été reconnue dans l'agenda Éducation 2030. Les évaluations de l'apprentissage sont une source d'information de premier ordre sur la prévalence des brimades. L'enquête TIMSS 2019 offre des aperçus intéressants sur l'incidence de ce comportement dans l'enseignement primaire et secondaire à partir des questionnaires des élèves 13 . Les élèves victimes de brimades "environ une fois par semaine" ont obtenu un score similaire à celui d'un élève ayant connu 6 des 11 comportements "une ou deux fois par mois" (par exemple, "se moque de moi ou m'insulte" ou "m'envoie des messages méchants ou blessants en ligne") et les 5 autres comportements "quelques fois par an", enmoyenne. Les scores les plus élevés ont été classés comme correspondant à des élèves victimes de brimades "environ une fois par mois", donc moins fréquemment.

FIGURE 4.A: Pourcentage d'élèves de 4e et 8e année ayant subi des brimades, par fréquence

40

4e année

Note: *La Norvège et la Turquie ont administré l'évaluation de quatrième Les entités participant à TIMSS 2019 figurant dans le graphique ont été sélectionnées et nommées par l’UNESCO. année aux élèves de cinquième année, la Norvège a administré l'évaluation de huitième année aux élèves de neuvième année.

À propos de mensuel

30

8e année

20

4e année

10

À propos de hebdomadaire

8e année

0

TIMSS 2019 fournit également quelques indications sur l'accessibilité des infrastructures scolaires pour les apprenants handicapés. Selon les réponses fournies par les directeurs d'école, le pourcentage d'élèves dans les écoles où l'enseignement est "fortement affecté" par le manque de ressources pour les élèves handicapés est de 16 % en quatrième année et de 12 % en huitième année. Les pays d'Europe du Sud-Est semblent faire bien moins bien que cette moyenne. Par exemple, au niveau de la quatrième année, 57 % des élèves en Albanie et 56 % en Macédoine du Nord et, au niveau de la huitième année, 27 % des élèves en Roumanie ont été signalés comme étant très affectés par les directeurs d'école.

TIMSS 2019 collecte également des informations sur les caractéristiques des écoles qui correspondent à l'indicateur global SDG 4.a.1 autour de la proportion d'écoles offrant des services de base. Par exemple, il peut être une source sur la disponibilité des ordinateurs à l'école. En 8e année, dans tous les pays participants, on comptait 2,8 élèves par ordinateur dans les écoles urbaines et 4,1 élèves par ordinateur dans les écoles rurales. La Turquie présentait la plus grande disparité avec un ratio de 3,4 dans les écoles urbaines et de 10,3 dans les écoles rurales. En revanche, le Liban présentait la disparité inverse la plus élevée, avec un ratio de 8,4 dans les écoles urbaines et de 5,0 dans les écoles rurales.

13 Pour les questionnaires sur le contexte des étudiants de TIMSS 2019, visitez: https://timssandpirls.bc.edu/timss2019/

14 Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

Cible 4.c: Enseignants

élevées, 95% des élèves recevant un enseignement d’un professeur qui a au moins une licence ou un diplôme équivalent de l'enseignement supérieur de cycle long, contre 85 % de leurs pairs de 4e année. Dans certains pays, une part importante des élèves reçoit un enseignement de professeurs de mathématiques qui n'ont tout au plus qu'un diplôme de l'enseignement secondaire, comme par exemple en Albanie (19%) en quatrième année et au Maroc (34%) en huitième année.

L'agenda Éducation 2030 appelle les pays à augmenter l'offre d'enseignants qualifiés. Bien qu'il n'y ait pas encore de consensus international sur la définition d'un enseignant qualifié, un indicateur est le plus haut niveau d'éducation formelle atteint. TIMSS 2019 offre la possibilité de comparer les qualifications relatives des enseignants de mathématiques et de sciences de 4e et 8e année. Les professeurs de mathématiques de 8e année ont en moyenne des qualifications plus

FIGURE 4.C.1: Pourcentage d'élèves de 4e et 8e année ayant reçu l'enseignement d'un enseignant ayant différents niveaux de qualification

100

a. 4e année d'études

80

60

40

20

0

b. 8e année

100

80

Maîtrise ou doctorat ou équivalent

Licence ou équivalent

60

Enseignement supérieur à cycle court

40

Enseignement post-secondaire non supérieur

Au plus haut niveau de l'enseignement secondaire supérieur

20

0

Note: *La Norvège, l'Afrique du Sud et la Turquie ont administré l'évaluation aux élèves de cinquième année au lieu de quatrième année, tandis que la Norvège et l'Afrique du Sud ont administré l'évaluation aux élèves de neuvième année au lieu de huitième année. Les entités participant àTIMSS 2019 figurant dans la figure ci-dessus ont été sélectionnées par l’UNESCO et nommées selon celle-ci.

Evaluer les objectifs d’éducation globaux: le rôle de TIMSS

15

enseignement dispensé par des enseignants ayant reçu aumoins 35heures de formationprofessionnelle au cours des deux années précédant l'évaluation. En moyenne, les élèves de 8e année (23%) ont plus de deux fois plus de chances que leurs camarades de 4e année (10%) de recevoir un enseignement dispensé par un enseignant ayant reçu au moins cette formation professionnelle. En Croatie, les enseignants ont fait état d'un faible niveau de formation continue, alors que les niveaux étaient également très faibles dans les pays qui jouissent d'une grande réputation pour leur système éducatif, comme le Japon (1% en 4e année et 6% en 8e année) et la Finlande (2% et 6%, respectivement). La formation institutionnalisée semble courante au Kazakhstan (30% et 61% en 4e et 8e années, respectivement) et dans la Fédération de Russie (32% et 71%).

Il existe des différences notables entre les niveaux de qualification dans certains pays. Par exemple, l'Italie a le pourcentage le plus élevé d'élèves de 4e année dont les professeurs de mathématiques n'ont qu'un diplôme de l'enseignement secondaire (59%), mais aussi le pourcentage le plus élevé d'élèves de 8e année dont les professeurs ont un diplôme de l'enseignement supérieur (100%) 14 . D'autres écarts importants entre les deux niveaux, par exemple en termes de pourcentage d'élèves dont les professeurs de mathématiques ont au moins une licence ou un diplôme équivalent, sont observés dans la Fédération de Russie (75% et 99%) et en Afrique du Sud (62% et 79%). Il est également demandé aux enseignants s'ils ont reçu une formation continue. Les chiffres sont exprimés en termes de pourcentage d'étudiants qui reçoivent un

FIGURE 4.C.2: Élèves de 4e et 8e année dont le professeur de mathématiques a consacré plus de 35 heures à la formation professionnelle au cours des deux dernières années

70

60

4e année 8e année

50

40

30

20

10

0

Les entités participant àTIMSS 2019 figurant dans la figure ci-dessus ont été sélectionnées par l’UNESCO et nommées selon celle-ci.

Note: *La Norvège, l'Afrique du Sud et la Turquie ont administré l'évaluation aux élèves de cinquième année au lieu de quatrième année, tandis que la Norvège et l'Afrique du Sud ont administré l'évaluation aux élèves de neuvième année au lieu de huitième année.

et de 25%des élèves de 8e année. Dans trois pays, Israël, le Kazakhstan et la Fédérationde Russie, plus de lamoitié des élèves de 8e année ont reçu un enseignement dispensé par des professeurs de sciences qui ont consacré 35 heures ou plus à leur développement professionnel au cours des deux dernières années. En revanche, ce n'était le cas que pour 4% des élèves au Japon et en Norvège.

Les mêmes différences frappantes entre certains pays apparaissentégalementencequi concernelepourcentage d'élèves ayant reçu l'enseignement de professeurs de sciences qui ont consacré 35 heures ou plus au développement professionnel aucoursdesdeuxdernières années. En moyenne, dans tous les pays participant à TIMSS 2019,, c'était le cas de 10% des élèves de 4e année

14 En Italie, les exigences pour les enseignants du primaire ont changé en 2013, avant quoi un diplôme universitaire n'était pas requis. Ces informations se trouvent dans l'encyclopédie TIMSS 2019 et dans le dossier de l'encyclopédie TIMSS 2015 sur les itinéraires de préparation des enseignants http:// timssandpirls.bc.edu/timss2015/encyclopedia/curriculum-questionnaire-exhibits/main-preparation-routes-and-current-requirements-for-teachers/

Page 1 Page 2 Page 3 Page 4 Page 5 Page 6 Page 7 Page 8 Page 9 Page 10 Page 11 Page 12 Page 13 Page 14 Page 15 Page 16

Made with FlippingBook - Online magazine maker