Daadwerkelijke leergroei rekenen en taal in het bo
10.3 Ontwikkeling van leergroei tijdens de eerste schoolsluiting
Het is duidelijk dat de COVID-19-crisis grote gevolgen heeft voor het onderwijs.
Hier gaan we in op of we ook gevolgen zien voor de leergroei van leerlingen tijdens de eerste schoolsluiting. We kijken hierbij naar de drie domeinen waarvoor we data hebben, rekenen/wiskunde, spelling en begrijpend lezen, en naar de leerjaren 3 t/m 7, of 4 t/m 7 in het geval van begrijpend lezen.
Om de verandering in de leergroei vanwege de eerste schoolsluiting te schatten maken we gebruik van Differences-in-Differences-analyses waarbij we de leerlingen uit de schooljaren 2017/2018 en 2018/2019 als controle groep gebruiken en hun leergroei ontwikkeling vergelijken met die van de leerlingen van het schooljaar 2019.2020. We gebruiken hiervoor meerdere modellen om zeker te zijn dat de resultaten niet liggen aan onze model specificaties. De details van deze modellen staan beschreven in 2.3. Hieronder gaan we eerst in op ons hoofdmodel, waarna we ook resultaten van andere modellen bespreken.
10.3.1 Gemiddelde ontwikkeling van leergroei
In onderstaande tabellen laten we het verschil in de leergroei zien tussen de toets op het M- en het E-moment tussen de leerlingen in het COVID-jaar en de leerlingen van eerdere cohorten. Bij deze, en de hiernavolgende tabellen, toont de linker kolom steeds de gemiddelde absolute leergroei over de eerdere cohorten, de rechter kolom laat de afwijking hiervan zien voor het COVID-cohort. Gemiddeld genomen hebben leerlingen tijdens de eerste schoolsluiting significant minder leergroei doorgemaakt dan eerdere cohorten. Dit geldt voor alle leerjaren en over alle drie de domeinen waarop we toets scores beschikbaar hebben. De mate van vermindering verschilt naar leerjaar en domein.
Tabel 10.3.1.1: De leergroei tussen de toets op het M- en E-moment voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode van het COVID-jaar 2019/2020
Rekenen/wiskunde Spelling Begrijpend lezen
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. Alle coëfficiënten significant op p<.01.
68
Resultaten zijn gebaseerd op gewogen OLS regressies waarbij gebruik is gemaakt van population weights. Er is geen toets op het M-moment in groep 3 voor begrijpend lezen. Sommige leerlingen krijgen echter dan wel al een LVS-toets, in de meeste gevallen de toets op het E-moment van groep 3.
Deze vermindering in de leergroei als gevolg van de eerste schoolsluiting kunnen we ook op een andere manier weergeven, namelijk als percentage van de leergroei van de schooljaren 2017/2018 en 2018/2019. Hiervoor nemen we de verhouding tussen deze twee kolommen van bovenstaande tabel: de afwijking in de leergroei van 2019/2020 gedeeld door de “reguliere” leergroei, die van de eerdere cohorten. Onderstaande figuur plot dit om de verschillen tussen
domeinen en leerjaren visueel inzichtelijk te maken. Hieruit blijkt dat met name leerlingen van groep 7 tussen de toets op het M- en het E-moment in schooljaar 2019/2020 minder sterk zijn gegroeid dan gemiddeld: zo’n 65 procent van de leergroei van vorige cohorten. Voor groep 4 ligt dit op 90 procent van de leergroei van vorige cohorten.
Ook zijn er verschillen tussen domeinen zichtbaar. Met name voor begrijpend lezen zijn de leerlingen minder vooruitgegaan tijdens de eerste schoolsluiting tussen de toets op het M- en E-moment: zo’n 72 procent ten opzichte van de 82 procent en 85 procent voor respectievelijk rekenen/wiskunde en spelling.
Figuur 10.3.1.1: Leergroei tussen de toets op het M- en E-moment voor schooljaar 2019/2020 in percentage van de leergroei van eerdere cohorten in hetzelfde leerjaar.
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek.
10.3.2 Robuustheidcontroles
We hebben op verschillende manieren de resultaten uit ons “hoofdmodel”
gecontroleerd.
Allereerst hebben we ook gekeken naar de resultaten als we niet de leergroei tussen de toets op het M- en E-moment van hetzelfde schooljaar bekeken, maar de leergroei van tot moment. Dus de leergroei tussen de toets op het E-moment van voorgaand schooljaar en het eigen schooljaar. In onderstaande tabel en figuur zijn deze resultaten te zien. De negatieve impact van de
schoolsluiting is minder sterk aanwezig in de leergroei tussen de toets op het E-moment van jaar T-1 en het E-E-moment van jaar T. Dit lag in de lijn der
verwachtingen aangezien het onderwijs in het eerste half jaar van schooljaar 40
50 60 70 80 90 100
Groep 3 Groep 4 Groep 5 Groep 6 Groep 7
%
% M-E leergroei COVID-jaar relatief aan eerdere cohorten
Rekenen/wiskunde Spelling Begrijpend lezen
69
2019/2020 nog niets met COVID-19 te maken had en dus op de reguliere wijze heeft plaatsgevonden. Ook hier zien we dat groep 7 het relatief minder goed doet, behalve op het onderdeel spelling, waarbij juist relatief weinig
achterstanden lijken te zijn opgelopen. In de leergroei tussen de toets op het E-moment van jaar T-1 en jaar T zit minder verschil tussen de 3 domeinen dan tussen de toets op het M- en E-moment van hetzelfde schooljaar: 87 procent voor rekenen (versus 82 procent), 88 procent voor begrijpend lezen (versus 72 procent), en 92 procent voor spelling (versus 85 procent).
Tabel 10.3.1.2: De leergroei tussen de toets op het E-moment van het voorgaande schooljaar en op het E-moment voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode voor het schooljaar 2019/2020
Rekenen/wiskunde Spelling Begrijpend lezen
Pre-COVID
Afwijking 2019/202
0
Pre-COVID
Afwijking 2019/2020
Pre-COVI
D
Afwijking 2019/202
0 Groep 4 41.32 -2.324*** 62.67 -3.242*** 23.41 -1.477**
Groep 5 27.62 -2.167*** 43.92 -3.600*** 16.35 -0.980**
Groep 6 23.75 -3.430*** 20.39 -2.513*** 21.24 -2.383***
Groep 7 22.63 -4.677*** 21.96 -0.969 16.31 -3.233***
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. * = p<.10, ** = p<.05, *** = p<.01.
Resultaten zijn gebaseerd op gewogen OLS regressies waarbij gebruik is gemaakt van population weights. Er is geen toets op het E-moment in groep 2, vandaar dat er geen E op E leergroei te berekenen is voor leerlingen die in jaar T in groep 3 zitten.
Figuur 10.3.1.2: Leergroei tussen de toets op het E-moment van jaar T-1 en jaar T voor het 2019/2020-schooljaar in percentage van de leergroei van eerdere cohorten in hetzelfde leerjaar
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek.
Daarnaast hebben we ook andere modelspecificaties gebruikt. Het hoofdmodel en bovenstaande resultaten zijn gebaseerd op een regressiemodel waarbij we leerlingen met onrealistisch hoge/lage leergroei buiten beschouwing laten (de outliers), een dummy toevoegen die vangt of leerlingen de eindtoets aan het einde van schooljaar 2019/2020 of aan het begin van 2020/2021 hebben
40 50 60 70 80 90 100
Groep 4 Groep 5 Groep 6 Groep 7
%
% E-E leergroei COVID-jaar relatief aan eerdere cohorten
Rekenen/wiskunde Spelling Begrijpend lezen
70
gemaakt, clusteren op schoolniveau en populatie-gewichten gebruiken, zoals ook beschreven in paragraaf 2.3.6.1. Deze keuzes hebben mogelijk invloed op gevonden resultaten. Om te laten zien dat onze resultaten robuust zijn tonen we hieronder ook de resultaten van enkele analyses met verschillende
modelspecificaties. Model 1 laat de resultaten zien zonder gebruik te maken van gewichten, clustering, dummy voor wanneer de eindtoets is gemaakt, en
verwijdering van outliers. Model 2 toont de resultaten van het hoofdmodel alleen voor leerlingen op scholen waar in het schooljaar 2019/2020 ten minste 75 procent van de leerlingen die de M-toets hebben gemaakt ook de E-toets hebben gemaakt. Model 3 toont de resultaten van het hoofdmodel met de toevoeging van Fixed Effects op schoolniveau, waarbij wordt gecontroleerd voor niet observeerbare verschillen op schoolniveau die stabiel zijn over de tijd.
Resultaten van de verschillende modellen zijn kwalitatief vergelijkbaar met die van het hoofdmodel.
Tabel 10.3.2.1: De leergroei tussen de toets op het M- en E-moment voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode van het schooljaar 2019/2020
Model 1
Rekenen/wiskunde Spelling Begrijpend lezen
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. * = p<.10, ** = p<.05, *** = p<.01.
Resultaten zijn gebaseerd op ongewogen OLS regressies. Er is geen toets op het M-moment in groep 3 voor begrijpend lezen. Sommige leerlingen krijgen echter dan wel al een LVS-toets, in de meeste gevallen de toets van het E-moment van groep 3.
Tabel 10.3.2.2: De leergroei tussen de toets op het M- en E-moment voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode van het schooljaar 2019/2020
Model 2
Rekenen/wiskunde Spelling Begrijpend lezen
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. * = p<.10, ** = p<.05, *** = p<.01.
Resultaten zijn gebaseerd op gewogen OLS regressies waarbij gebruik is gemaakt van population weights. Er is geen toets op het M-moment in groep 3 voor begrijpend lezen. Sommige leerlingen krijgen echter dan wel al een LVS-toets, in de meeste gevallen de toets van het E-moment van groep 3.
Tabel 10.3.2.3: De leergroei tussen de toets op het M- en E-moment voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode van het schooljaar 2019/2020
71 Model 3
Rekenen/wiskunde Spelling Begrijpend lezen
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. * = p<.10, ** = p<.05, *** = p<.01.
Resultaten zijn gebaseerd op gewogen OLS regressies waarbij gebruik is gemaakt van population weights en school Fixed Effects. Er is geen toets op het M-moment in groep 3 voor begrijpend lezen.
Sommige leerlingen krijgen echter dan wel al een LVS-toets, in de meeste gevallen de toets van het E-moment van groep 3.
Tabel 10.3.2.4: De leergroei tussen de toets op het E-moment van jaar T-1 en de E toets van jaar T voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode van het schooljaar 2019/2020
Model 1
Rekenen/wiskunde Spelling Begrijpend lezen
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. * = p<.10, ** = p<.05, *** = p<.01.
Resultaten zijn gebaseerd op ongewogen OLS regressies. Er is geen toets in groep 2, vandaar dat er geen E op E leergroei te berekenen is voor leerlingen die in jaar T in groep 3 zitten.
Tabel 10.3.2.5: De leergroei tussen de toets op het E-moment van jaar T-1 en de E toets van jaar T voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode van het COVID-jaar 2019/2020
Model 2
Rekenen/wiskunde Spelling Begrijpend lezen
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. * = p<.10, ** = p<.05, *** = p<.01.
Resultaten zijn gebaseerd op gewogen OLS regressies waarbij gebruik is gemaakt van population
72
weights. Er is geen toets in groep 2, vandaar dat er geen E op E leergroei te berekenen is voor leerlingen die in jaar T in groep 3 zitten.
Tabel 10.3.2.6: De leergroei tussen de toets op het E-moment van jaar T-1 en de E toets van jaar T voor de voorgaande cohorten ten opzichte van de leergroei in dezelfde periode van het COVID-jaar 2019/2020
Model 3
Rekenen/wiskunde Spelling Begrijpend lezen
Noot: Resultaten gebaseerd op eigen onderzoek van de Inspectie van het Onderwijs op basis van niet-openbare microdata van het Centraal Bureau voor de Statistiek. * = p<.10, ** = p<.05, *** = p<.01.
Resultaten zijn gebaseerd op gewogen OLS regressies waarbij gebruik is gemaakt van population weights en school Fixed Effects. Er is geen toets in groep 2, vandaar dat er geen E op E leergroei te berekenen is voor leerlingen die in jaar T in groep 3 zitten.
10.3.3 Alternatieve interpretatie van de resultaten
Onze aandacht gaat vooral uit naar de leergroei tijdens de eerste schoolsluiting.
In deze periode waren de basisscholen eerst 8 weken dicht (van 16 maart tot 11 mei) en werd er volledig afstandsonderwijs gegeven en daarna gingen leerlingen half naar school en kregen ze half afstandsonderwijs (van 11 mei tot 8 juni). In de meeste gevallen is echter de toets op het M-moment in januari of februari afgenomen en de toets op het E-moment in juni en na de eerste schoolsluiting zelfs ook vaak in september en oktober. De periode tussen de toetsen van de M- en de E-momenten is dus langer dan de periode van de eerste schoolsluiting.
Specifieker: voor het merendeel van de leerlingen was de periode tussen de toets op het M- en E-moment ongeveer 20 weken (plus 2 weken vakantie) en de periode van verstoord onderwijs was 12 weken.
Een makkelijke manier om de resultaten weer te geven is in het aantal weken dat leerlingen in 2019/2020 minder hebben geleerd dan in eerdere jaren. Zo komen Engzell et al. (2020) op een leerverlies van 20 procent van een
schooljaar (over alle leerjaren en testdomeinen samen) wat ongeveer gelijk is aan de gehele periode van afstandsonderwijs.
Deze interpretatie van de resultaten is echter wel afhankelijk van een aantal assumpties. Ten eerste, we zullen moeten veronderstellen dat in de periode tot 16 maart het onderwijs regulier georganiseerd was. Dit lijkt een redelijk
assumptie aangezien er in die periode geen grote veranderingen of verstoringen waren ten opzichte van de twee jaar daarvoor. Ten tweede, we moeten
veronderstellen dat de opbouw van leergroei lineair is over de onderwijstijd. Met andere woorden, we moeten veronderstellen dat leerlingen elke week evenveel leren. Dit is een wat lastigere assumptie: We weten niet of dit redelijk is. Maar gegeven deze twee assumpties kunnen we de afwijking in leergroei van het schooljaar 2019/2020 wijten aan de periode van het verstoorde onderwijs, dus aan 12 van de 20 weken. Met daarbij nogmaals de opmerkingen dat voor veel leerlingen, maar niet de meerderheid, de periode tussen de toets op het M-moment en het E-M-moment langer was dan 20 weken.
73 Twee voorbeelden:
In schooljaar 2019/2020 hebben leerlingen in groep 3 tussen de toets op het M- moment en het E-moment voor rekenen/wiskunde 5 procent (=1,218/24,03) minder leergroei behaald dan in voorgaande jaren. Van de gehele periode van 20 weken tussen de toets op het M- en E-moment is dat een vermindering in de leergroei van 1 week (=95%*20). Met bovenstaande assumpties, waarbij we alle vermindering in leergroei dus toewijzen aan de 12 weken van verstoord onderwijs, kunnen we ruwweg zeggen dat leerlingen in de 12 weken verstoord onderwijs effectief voor maar 11 weken les hebben gehad (=95%*20-8), of anders gezegd: ze hebben een week onderwijs achterstand opgelopen. Dit is redelijk beperkt.
Voor groep 7 en spelling is het echter veel meer. Daar hebben leerlingen tussen de toets op het M- moment en het E-moment voor rekenen/wiskunde 37 procent (=3,435/9,2) minder leergroei behaald dan in voorgaande jaren. Voor de gehele periode is er dan effectief voor 12,5 week lesgegeven in plaats van voor 20 weken (=63%*20). Als we dat verlies volledig toeschrijven aan de 12 weken verstoord onderwijs hebben kort gezegd de groep-7-leerlingen voor spelling effectief voor maar 4,5 weken les hebben gehad (=63%*20-8).
10.3.4 Vergelijking met overige literatuur
Onze resultaten zijn grotendeels in lijn met eerdere studies die naar de leergroei in het Nederlandse basisonderwijs tijdens de COVID-19-crisis hebben gekeken (Engzell, Frey, & Verhagen, 2020; Lek, Feskens, & Keuning, 2020; Onderzoek, Informatie en Statistiek, 2020; Gemeente Utrecht, 2020; Meshcheriakova, Borghans, Haenbeukers, & Schils, 2021; NCO, 2021). Vanwege verschillende steekproeven, definities en modelspecificaties verschillen de resultaten onderling zeker, maar het algemene beeld is hetzelfde: leerlingen in het basisonderwijs hebben in het schooljaar 2019/2020 significant minder, en in sommige leerjaren of domeinen zelfs fors minder, leergroei behaald dan in voorgaande schooljaren.
Noemenswaardige verschillen zijn dat Onderzoek, Informatie en Statistiek (2020) laat zien dat in de gemeente Amsterdam leerlingen in groep 7 voor begrijpend lezen niet significant minder leergroei hebben behaald dan eerdere schooljaren, terwijl wij laten zien dat leerlingen in groep 7 voor begrijpend lezen juist een hele grote vermindering in de leergroei hebben gehad. Een ander verschil is dat Meshcheriakova en collega’s (2021) voor de provincie Limburg laten zien dat de leergroei voor rekenen/wiskunde lager liggen dan in eerdere jaren maar op een redelijk constant niveau over de leerjaren, terwijl wij laten zien dat de vermindering in de leergroei voor rekenen/wiskunde oploopt met de leerjaren. Ook voor spelling in groep 7 laten wij een fors sterkere vermindering in de leergroei zien ten opzichte van de andere leerjaren vergeleken met een kleinere vermindering in groep 7 voor spelling bij Meshcheriakova en collega’s (2021) voor de provincie Limburg dan bij de andere leerjaren. Het ligt voor de hand om deze verschillen toe te schrijven aan de verschillende steekproeven (Amsterdam en Limburg versus heel Nederland), maar het zou ook kunnen liggen aan andere methodiek.
Verschillen met Engzell en collega’s (2020) zijn lastig te interpreteren omdat zij voornamelijk werken met minder fijnmazige data, namelijk een gecombineerde maat van rekenen/wiskunde, spelling en begrijpend lezen en ook alle leerjaren samen nemen. In het algemeen zijn onze resultaten echter minder sterk dan die van Engzell en collega’s (2020). Het is niet te duiden waaraan dit ligt, aangezien de analyses op veel punten verschillen: we gebruiken beiden een andere
74
steekproef, andere modelspecificaties, bijvoorbeeld in hoe we omgaan met selectie in de steekproef, en een andere leergroeimaat (verschil percentielscore tussen de toets op het M- en E-moment bij Engzell en collega’s, 2020, en verschil in de vaardigheidsscores tussen de toets op het M- en E-moment bij ons).
Lek en collega’s (2020) kijken voornamelijk naar de leergroei binnen
vaardigheidsniveaus waardoor het lastig te vergelijken is met onze resultaten.
Het is geruststellend dat zij vinden dat hun resultaten over de verschillende vaardigheidsniveaus eenzelfde beeld geven: in alle vaardigheidsniveaus is in het schooljaar 2019/2020 minder leergroei behaald en er springt geen
vaardigheidsniveaus uit waar de leergroei beduidend minder is geweest.
Onze resultaten komen het meest overeen met die van het NCO (2021). We hebben ook grotendeels dezelfde data gebruikt en ook de methodiek is grotendeels hetzelfde.