Op 8 september worden de resultaten van het PISA 2025-onderzoek bekendgemaakt. De cijfers zullen ongetwijfeld opnieuw aanleiding geven tot stevige uitspraken over de kwaliteit van het Vlaams onderwijs. Enige voorzichtigheid is echter geboden: harde conclusies trekken over onderwijskwaliteit op basis van een eenvoudige vergelijking van scores in een PISA-ranglijst is wetenschappelijk weinig zinvol.
Het Programme for International Student Assessment (PISA) meet hoofdzakelijk toepassingsgerichte kennis en vaardigheden van 15-jarigen voor wiskunde, lezen en wetenschappen in tal van landen en regio’s. Ook Vlaanderen doet sinds de start van het project in 2000 mee aan het onderzoek.
Meer dan eens wordt de link gelegd tussen de positie van een land in de PISA-ranglijsten en de kwaliteit van hun onderwijssysteem. Landen die aan de top van de ranglijst staan, zien hun goede score als een resultaat van kwalitatief onderwijsbeleid. Landen die lager op de ranglijst bengelen, zien hun minder goede score als een teken dat (ingrijpende) maatregelen in hun onderwijssysteem nodig zijn om de onderwijskwaliteit op te krikken. Maar is het allemaal zo eenvoudig te interpreteren? Niet helemaal. Het is wetenschappelijk niet correct om louter op basis van verschillen in gemiddelde PISA-scores te concluderen dat de onderwijskwaliteit in land A beter is dan in land B.
Schattingen en statistische significantie
Eerst en vooral geeft een PISA-score niet de werkelijke gemiddelde prestatie van alle 15-jarigen in een land of regio weer. PISA-scores zijn schattingen die een bepaalde onzekerheid met zich meebrengen. Vlaanderen behaalde in PISA2022 een gemiddelde prestatie voor leesvaardigheid van 483 punten. We zijn echter niet helemaal zeker dat de gemiddelde leesscore van alle 15-jarigen exact 483 punten is. De werkelijke score zou evengoed 480 punten of 485 punten kunnen zijn.
Hoe komt dat? Enerzijds bevraagt PISA omwille van praktisch-organisatorische redenen niet alle 15-jarigen in een land of regio, maar slechts een willekeurige representatieve selectie schoolgaande 15-jarigen. In PISA2022 namen bijvoorbeeld niet alle 77 845 15-jarigen deel aan het onderzoek, maar slechts een subgroep van 4714 leerlingen. Een geschatte gemiddelde score van een land is bijgevolg slechts een benadering van de werkelijke gemiddelde score indien alle 15-jarige leerlingen daadwerkelijk zouden deelnemen. Anderzijds leidt het ontwerp van de toets tot enige onzekerheid.
Deelnemende leerlingen lossen niet alle mogelijke vragen voor een domein op. Elke leerling die bijvoorbeeld de leestoets maakt, krijgt een beperkte selectie leesvragen, die bovendien verschilt van leerling tot leerling. Op basis van de gegeven antwoorden, schat een statistisch model een score alsof de leerling wel alle vragen voor het domein zou opgelost hebben.
Bovenstaande meetonzekerheid maakt de interpretatie van een PISA-ranglijst niet vanzelfsprekend. Neem bijvoorbeeld de ranglijst met gemiddelde scores voor leesvaardigheid in PISA 2022. Op het eerste zicht lijkt het alsof Vlaanderen met een score van 483 punten op de twintigste plaats staat. Dit is statistisch gezien echter een foute interpretatie die geen rekening houdt de onzekerheid van de score. De standaardfouten (SE) naast de scores geven weer hoe groot de onzekerheid is: hoe kleiner de standaardfout, hoe kleiner de meetonzekerheid.
Hoe bepalen we dan de positie van Vlaanderen in de ranglijst? Hiervoor hanteren wetenschappers het concept statistische significantie. Statistisch significante verschillen zijn verschillen die blijven bestaan wanneer je rekening houdt met de onzekerheid van de schattingen. Alleen als er een statistisch significant verschil is, kunnen we met voldoende zekerheid spreken over een werkelijk verschil. Als een verschil niet statistisch significant is, kunnen we niet met voldoende zekerheid besluiten dat landen verschillend scoren. De leesscores van Vlaanderen en Zweden bijvoorbeeld bedragen respectievelijk 483 punten en 487 punten, maar het verschil is niet statistisch significant. 15-jarigen in Vlaanderen en Zweden scoren gemiddeld dus waarschijnlijk op hetzelfde niveau voor lezen. Landen die voor lezen in PISA 2022 wel significant hoger of lager scoren staan in de tabel in kleur aangeduid. Dertien landen scoren significant hoger en vijftien landen scoren significant lager. Dertien landen scoren op hetzelfde niveau als Vlaanderen. Samengevat kunnen we concluderen dat Vlaanderen voor leesvaardigheid een plaats tussen positie 14 en positie 28 inneemt.
PISA en onderwijskwaliteit
Wat vertelt een plek tussen positie 14 en positie 28 ons dan over de kwaliteit van ons leesonderwijs? Een snelle blik op de ranglijst – Vlaanderen bevindt zich ongeveer in het midden - zou de conclusie kunnen uitlokken dat de kwaliteit van het Vlaams leesonderwijs niet bijzonder goed is. Hier vallen echter enkele kanttekeningen bij te plaatsen. Ten eerste is het steeds belangrijk om na te gaan welke landen en regio’s in een ranglijst opgenomen worden. De ranglijst hiernaast bevat slechts een selectie van landen en regio’s: de OESO-landen, de Belgische regio’s en de best presterende landen in PISA 2022. Andere selecties geven een ander beeld over de Vlaamse positie voor lezen. In Europees perspectief scoort Vlaanderen bijvoorbeeld bovengemiddeld: slechts twee EU-landen (Ierland en Estland) scoren voor lezen statistisch significant hoger dan Vlaanderen. Wanneer je rekening houdt met alle deelnemende landen, is Vlaanderen zeker één van de betere leerlingen van de leesklas. Van de 81 deelnemende landen scoren 54 landen statistisch significant lager dan Vlaanderen.
Daarnaast is voorzichtigheid geboden bij gevolgtrekkingen over onderwijskwaliteit op basis van PISA-resultaten. PISA onderzoekt niet of 15-jarige leerlingen louter kunnen reproduceren wat ze leren op school, maar wel in welke mate leerlingen hun kennis en vaardigheden kunnen toepassen in het dagelijkse leven binnen en buiten school. De PISA-toets is daarom niet gebaseerd op het curriculum van de deelnemende landen. De PISA-score van leerlingen in Vlaanderen op de PISA-toets voor lezen vertelt dus niet hoe goed zij de minimum- of leerplandoelen Nederlands in het Vlaams onderwijs beheersen. Het vertelt wel in welke mate ze voldoende leesvaardig zijn om, volgens PISA, volwaardig te kunnen participeren in de samenleving. Dit betekent ook dat beleidsmakers zich best niet uitsluitend op de resultaten van één internationale toets richten, maar idealiter resultaten uit verschillende toetsen samenbrengen om een vollediger beeld te krijgen van de onderwijskwaliteit.
Vergelijkbaarheid van PISA-scores tussen landen
Een laatste bedenking bij de interpretatie van PISA-ranglijsten is de vergelijkbaarheid van landen. In welke mate is de gemiddelde leesscore van Vlaanderen vergelijkbaar met de gemiddelde leesscore van pakweg Engeland, Duitsland, Australië of Singapore? De organisaties die PISA in goede banen leiden, doen er alles aan om het onderzoek in elk land zo gelijkaardig mogelijk te laten verlopen. Deelnemende landen moeten zich houden aan verschillende standaarden voor de selectie van leerlingen, gegevensverzameling en gegevensverwerking. Zo zijn er standaarden die garanderen dat de selectie leerlingen in elk land representatief is voor de totale groep 15-jarige leerlingen. Daarnaast volgen alle testleiders eenzelfde script met instructies en worden antwoorden van leerlingen op open vragen consistent gecodeerd volgens vaste richtlijnen.
Ondanks de vele richtlijnen is het echter onmogelijk om leerlingen overal ter wereld exact dezelfde test in volledig gelijke omstandigheden te laten maken. Verschillende factoren spelen hierbij een rol. Aangezien leerlingen de PISA-toets in de instructietaal van hun onderwijssysteem afleggen, worden testitems in veel landen vertaald vanuit het Engels of Frans. Taalkundige verschillen leiden er onvermijdelijk toe dat bepaalde vertaalde items makkelijker of moeilijker worden dan de oorspronkelijke items. Daarnaast kunnen verschillende culturele contexten leiden tot verschillen in vertrouwdheid met het testformat, verschillen in vertrouwdheid met de context van bepaalde toetsvragen en verschillen in motivatie om de toets af te leggen. Met deze factoren hou je best rekening bij een vergelijking van PISA-resultaten tussen verschillende landen.
De kwaliteit van het Vlaams onderwijs beoordelen op basis van een PISA-ranglijst is dus niet zo eenvoudig als het op het eerste zicht lijkt. Wanneer een land of regio een hogere gemiddelde leesscore haalt dan Vlaanderen, kan je niet zomaar concluderen dat de kwaliteit van het leesonderwijs er beter is. Eerst en vooral moet je je afvragen of het scoreverschil niet louter toe te schrijven valt aan de meetonzekerheid die eigen is aan PISA. In PISA-rapporten wordt daarom steeds duidelijk aangeduid welke landen en regio’s statistisch significant verschillend scoren van Vlaanderen. Wanneer scores werkelijk verschillen, stelt zich de vraag in welke mate scoreverschillen effectief vaardigheidsverschillen zijn. Verschillende factoren; zoals vertaalissues, verschillen in toetsmotivatie en verschillen in het halen van de opgelegde standaarden; kunnen ertoe leiden dat een land hoger scoort op de leestoets dan Vlaanderen, hoewel leerlingen er eigenlijk niet leesvaardiger zijn. Pas wanneer we zeker zijn dat leerlingen in het referentieland werkelijk beter lezen dan in Vlaanderen, kan de zoektocht naar mogelijke verklaringen beginnen.
