mardi 10 décembre 2019

PISA is een middel, geen doel op zich'

Bert George Knack


Bestuurskundige aan de Universiteit Gent en adviseur van de OESO in onderwijsreviews.
'Zoals vele andere landen en regio's ondergaat Vlaanderen momenteel een PISA-shock, maar PISA is slechts een middel en geen doel', schrijft Professor Bert George (Bestuurskundige aan de Universiteit Gent & adviseur van de OESO in recente onderwijsreviews van Wales, Georgië en Abu Dhabi). 'PISA is uiteraard belangrijk maar meet een beperkt aantal dimensies van de publieke waarde die onderwijs moet creëren.'

De PISA-shock is een gekende term bij beleidsmakers wereldwijd. Het symboliseert de reactie van landen en regio's op de driejaarlijkse PISA-ranking opgemaakt door de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO). Een daling van enkele plaatsen zet het land of de regio in rep en roer, en een stijging wordt uiteraard gelinkt aan goed onderwijsbeleid. De PISA-ranking heeft met andere woorden een enorm politiek belang, en steeds meer landen nemen deel aan het PISA-programma. Ook Vlaanderen ondergaat momenteel een PISA-shock, uit de ranking blijkt immers dat Vlaamse 15-jarigen voor zowel lezen, wiskunde als wetenschappen achteruit gaan.
DE VALIDITEIT VAN PISA
Een mogelijk gevaar dat nu ontstaat is een vertekende besluitvorming bij onze beleidsmakers. De roep om een reactie is prominent, en dit dwingt beleidsmakers tot snelle actie. Maar laat ons nu vooral de tijd nemen voor een uitgebreide analyse van ons onderwijssysteem, in de plaats van op zoek te gaan naar "quick fixes" die ons wat hoger laten scoren op de volgende ranking binnen drie jaar. Om deze reflectie te stimuleren is het belangrijk om toch wat dieper in te gaan op de validiteit van PISA als meetinstrument van de publieke waarde die onderwijs moet creëren.
PISA IS EEN MIDDEL, GEEN DOEL OP ZICH.
In 2014 ondertekenden 83 academici en experten van universiteiten wereldwijd een open brief naar Dr Andreas Schleicher, toen de directeur van het OESO PISA-programma. Deze brief werd gepubliceerd door The Guardian. De titel spreekt voor zich: "De OESO en PISA-test schaden onderwijs wereldwijd." Het voornaamste argument is dat PISA helemaal geen valide meetinstrument is van de publieke waarde die onderwijs creëert, het meet slechts een beperkt aantal dimensies van publieke waarde.
ARGUMENTEN TEGEN PISA
Onderstaand alvast vier belangrijke argumenten waarom PISA niet mag verheerlijkt worden als instrument om de publieke waarde van onderwijs te meten:
- PISA heeft het belang van kwantitatieve gestandaardiseerde testen enorm laten toenemen. Een mogelijk gevaar hiervan is het extreme ranken en labelen van leerlingen op jonge leeftijd alsook van leerkrachten en scholen. Dergelijke ranking zal ongetwijfeld beleid, bestuur en schoolkeuze beïnvloeden. De vraag is natuurlijk of dit wel wenselijk is, een ranking zegt niet noodzakelijk iets over bijvoorbeeld de leerwinst die een school creëert of de democratische waarden en burgerschap die een school bij haar leerlingen stimuleert. Bovendien blijkt uit empirisch onderzoek in landen als de V.S. dat dergelijke ranking leidt tot manipulatie, waar scholen bijvoorbeeld bewust leerlingen een bepaald label geven opdat ze niet zouden meetellen in de test. Met andere woorden moet PISA gebruikt worden als een middel, een bron van informatie die - naast andere bronnen - ons helpt om te identificeren of onze onderwijsstrategie in de goede richting evolueert en of er mogelijks enige bijsturing nodig is. PISA mag nooit "het" doel worden van ons onderwijs.
- Onderwijs is een bijzonder complex beleidsveld en systeem. PISA volgt een driejaarlijkse cyclus. Hierdoor ontstaat het gevaar dat landen en regio's focussen op snelle acties om hoger te scoren in de ranking ondanks het feit dat duurzame veranderingen in onderwijssystemen uiteraard een lange termijn perspectief, visie en strategie vereisen die overheen PISA-cycli alsook beleidscycli dienen te worden gerealiseerd. "Quick fixes" zullen misschien helpen om na drie jaar enkele plaatsen te stijgen, maar kunnen gelijktijdig nefast zijn voor de lange termijn publieke waarde die we van ons onderwijs verwachten. 
Het is met andere woorden primordiaal dat er een lange termijn onderwijsstrategie voor Vlaanderen wordt ontwikkeld die beleidscycli alsook PISA-cycli overstijgt, gericht is op een visie voor Vlaanderen waar onderwijs zoveel mogelijk publieke waarde creëert en gebaseerd is op een grondige analyse van PISA maar ook van andere bronnen.
- PISA focust op meetbare, kwantificeerbare aspecten van onderwijs. Maar onderwijs creëert ook publieke waarde die niet altijd meetbaar of kwantificeerbaar is. Bijvoorbeeld de fysieke, morele, burgerlijke en artistieke ontwikkeling van leerlingen. Door PISA te verheerlijken als enige indicator van onderwijskwaliteit ontstaat mogelijks een verwaarlozing van andere belangrijke aspecten van onderwijskwaliteit die misschien op de korte termijn minder tastbaar zijn maar op de lange termijn wel bijdragen aan onze cultuur, wetenschap en innovatievermogen. Een befaamde quote van Einstein stelt: "Niet alles wat telt kan geteld worden, en niet alles dat geteld kan worden telt." 
Hoe kunnen we er dus voor zorgen dat ons onderwijs creativiteit, kritisch denken, burgerschap en verantwoordelijkheid stimuleert? Het zijn deze kenmerken van leerlingen die de toekomst van Vlaanderen zullen bepalen, en niet noodzakelijk hoe hoog we gerangschikt staan op PISA.
- Een laatste argument betreft de administratieve last die PISA en mogelijk andere gestandaardiseerde testen met zich meebrengen. Enerzijds worden leerkrachten geraakt in hun autonomie door zich sterk te moeten gaan focussen op "training for the test" in de plaats van goed kwaliteitsvol onderwijs op maat aan te bieden. Anderzijds confronteren we kinderen met een veelvoud aan gestandaardiseerde meerkeuzevragen die ze nog bovenop de eigen schoolexamens moeten oplossen. Dit komt het al hoge stressniveau in scholen niet ten goede. Uit bestuurskundig onderzoek blijkt dat dergelijke administratieve last de prestatie van publieke diensten negatief beïnvloedt en het welbevinden van publieke dienstverleners vermindert. We moeten dus absoluut vermijden dat gestandaardiseerde testen zorgen voor een verdere bureaucratisering van een onderwijsveld dat nu reeds gebukt gaat onder administratieve verplichtingen.
WAT BETEKENT DIT NU VOOR VLAANDEREN?
Minister Ben Weyts staat voor een grote uitdaging gelet op de maatschappelijke verwachtingen die zijn ontstaan door de nieuwe PISA-ranking. Het is echter primordiaal dat beleidsinitiatieven nu niet gericht zijn op zogenaamde "quick fixes" die er voor zorgen dat we binnen drie jaar hoger gerangschikt staan, maar op de langere termijn ons onderwijs negatief raken. Wat is hiervoor nodig? PISA moet diepgaand worden geanalyseerd, in al zijn nuances. Vaak focust men enkel op de ranking en "snapshots" die de OESO produceren, maar PISA bevat heel wat meer data en informatie die relevant zijn voor beleid. Bovendien zijn er ook andere bronnen - bijvoorbeeld TALIS 2018 - die kunnen helpen om systemische problemen te identificeren.
Ook gaf Minister Ben Weyts reeds aan dat hij een OESO expert team wilt inschakelen om een review van ons onderwijssysteem te doen. Dit is ongetwijfeld een goed idee, ik was als extern expert reeds deel van dergelijke reviews en vaak worden systemische problemen geïdentificeerd en gelinkt aan internationale best practices als potentiele oplossing. Echter, dit OESO team zal geen verantwoordelijkheid hebben omtrent de daadwerkelijke implementatie van de voorgestelde aanbevelingen.
Ik raad de Minister dan ook aan om deze analyses te verwerken in een strategische onderwijsagenda op lange termijn voor Vlaanderen, waar we de voornaamste uitdagingen voor ons onderwijs concretiseren en daar een ambitieuze en realistische strategie aan linken die korte termijn beleidscycli en PISA-cycli overstijgt. Overigens moet deze strategie niet ontstaan vanuit een ivoren beleidstoren, maar in co-productie met onderwijs en maatschappelijke partners. Zij gaan immers met de strategie aan de slag en kennen praktische problemen in het veld die men in Brussel niet kan identificeren.


COMMENTAIRE DE DIVERCITY
LA VALIDITÉ DE PISA ?
PISA EST UN MOYEN, PAS UNE FIN EN SOI.

En 2014, 83 universitaires et experts d'universités du monde entier ont signé une lettre ouverte au Dr Andreas Schleicher, alors directeur du programme PISA de l'OCDE. Cette lettre a été publiée par The Guardian. Le titre parle de lui-même : "L'OCDE et le test PISA nuisent à l'éducation dans le monde entier." L'argument principal est que le PISA n'est pas du tout un instrument de mesure valable de la valeur publique créée par l'éducation ; il ne mesure qu'un nombre limité de dimensions de la valeur publique.
.Une baisse de quelques places dans le classement est susceptible d'ébranler  le pays ou la région, et une augmentation sera bien sûr interprétée comme le résultat une bonne politique éducative. En d'autres termes, le classement  PISA prend une importance politique énorme d’autant que  de plus en plus de pays participent au programme PISA. 
La Flandre subit en ce moment un terrible choc PISA. Le dernier  classement révèle que les jeunes flamands de 15 ans régressent  en lecture, mathématiques et sciences.
PISE EST UN MOYEN, PAS UNE FIN EN SOI.
En 2014, 83 universitaires et experts issus d'universités du monde entier ont signé une lettre ouverte adressée au Dr Andreas Schleicher, alors directeur du programme PISA de l'OCDE. Cette lettre a été publiée par The Guardian. Le titre parle de lui-même : "L'OCDE et le test PISA nuisent à l'éducation dans le monde entier." L'argument principal est que le PISA n'est pas du tout un instrument de mesure valable de la valeur ajoutée  créée par l'éducation ; il ne mesure qu'un nombre limité de critères
ARGUMENTS CONTRE PISA
Il y a quatre arguments principaux pour lesquels le PISA ne devrait pas être regardé comme un instrument de mesure de la valeur publique de l'éducation :
1. PISA a grandement surévalué l'importance des tests quantitatifs normalisés. Un danger possible est le classement et l'étiquetage extrêmes des élèves en bas âge, ainsi que des enseignants et des écoles. Un tel classement tend à  influencer les politiques, la gouvernance et le choix des écoles. 
2. La question est bien sûr de savoir si cela est souhaitable, un classement ne dit sur le gain d'apprentissage qu'une école crée ou sur les valeurs démocratiques et la citoyenneté qu'une école stimule chez ses élèves.
3. En d'autres termes, le PISA devrait être utilisé comme un outil, une source d'information qui - entre autres sources - nous aide à déterminer si notre stratégie éducative va dans la bonne direction et si des ajustements sont nécessaires. Le PISA ne devrait jamais devenir " le " but " de notre éducation.
L'éducation est un domaine politique particulièrement complexe.  PISA suit un cycle de trois ans.  Cela présente le danger que les pays et les régions se focalisent sur des actions rapides pour obtenir de meilleurs résultats dans le classement suivant malgré le fait que des changements durables dans les systèmes éducatifs exigent sans conteste une vision et une stratégie à long terme qui peuvent certes contribuer, par de s des " réformes rapides ", à remonter de quelques places après trois années mais en nuisant à la plus-value  éducative  que nous espérons obtenir à long terme. 
Fondamentalement , il est essentiel de développer une stratégie d'éducation à long terme pour la Flandre. 
LPISA met l'accent sur les aspects mesurables et quantifiables de l'éducation. Mais l'éducation crée aussi une plus value publique qui n'est pas toujours mesurable ou quantifiable. La célèbre citation d'Einstein dit : "Tout ce qui compte ne peut pas être compté, et tout ce qui peut être compté ne compte pas".
.
COMMENT FAIRE POUR QUE  NOTRE EDUCATION STIMULE LA CREATIVITE, LA PENSEE CRITIQUE, LA CONSCIENCE  CITOYENNE ET LA RESPONSABILITE ? 
CE SONT CES CARACTERISTIQUES QUI DETERMINERONT L'AVENIR DE LA FLANDRE, ET PAS NECESSAIREMENT LA PLACE QUE NOUS OCCUPERONS A PISE.
D'une part, l'autonomie des enseignants est compromise par la nécessité de trop se concentrer sur le bachotage pour le test" au lieu de fournir une éducation sur mesure et de bonne qualité. D'autre part, nous soumettons les enfants à une multitude de questions standardisées à choix multiples qu'ils doivent résoudre en plus du stress  de leurs propres examens scolaires. Il est donc primordial que les tests normalisés ne bureaucratisent pas encore davantage le domaine de l'éducation, un secteur qui est déjà accablé d'obligations administratives.
QUEL ENSEIGNEMENT EN TIRER POUR LA FLANDRE ?
PISA doit être analysé en profondeur, dans toutes ses facettes. Souvent, l'accent est mis uniquement sur le classement établi par l'OCDE, mais  PISA contient beaucoup plus de données et d'informations  pertinentes pour le décideur politique. En parallèle, il existe également d'autres sources pour mesurer la qualité de l'enseignement.
Je conseille donc au ministre de les intégrer dans un agenda stratégique à long terme pour piloter  l'éducation en Flandre,
Cette stratégie ne devrait pas  émaner  de la  tour d'ivoire, mais d'une coopération entre les enseignants  et les partenaires sociaux.

Aucun commentaire: