7 Leslogboeken, interviews en lesobservaties
8.2 Trends in rekenprestaties
Naast het rapporteren van de prestaties van leerlingen in termen van de behaalde referentieniveaus, is een ander doel van de peiling om na te gaan hoe de prestaties van groep 8 leerlingen en schoolverlaters in het SBO in 2019 zijn veranderd ten opzichte van eerdere peilingsjaren. Voor het BAO maken we een vergelijking tussen de rekenprestaties van leerlingen in het huidige peilingsonderzoek en leerlingen uit het peilingsonderzoek in 2011 (PPON2011; zie Scheltens, Hemker & Vermeulen, 2013). Voor het SBO vergelijken we de rekenprestaties van schoolverlaters in de huidige peiling met schoolverlaters uit het
peilingsonderzoek van 2013 (PPON2013; zie Hollenberg, Scheltens & Van Weerden, 2014).
In paragraaf 8.2.1 lichten we toe hoe we met behulp van Item Response Theorie (IRT) de leerlingscores uit de verschillende peilingen op één schaal hebben geplaatst om ze vergelijkbaar te maken. Vervolgens gaan we in paragraaf 8.2.2 in op de rekenvaardigheid van leerlingen in 2011/2013 en 2019.
8.2.1 Equivalering PPON2011/2013 met Peil.Rekenen-Wiskunde
In 2011 heeft een meting naar de rekenvaardigheden van leerlingen plaatsgevonden in groep 8 van het basisonderwijs, in 2013 is dat gebeurd voor schoolverlaters in het SBO. Net als in het huidige peilingsonderzoek is er in de peilingen van 2011 en 2013 een meetschaal voor rekenvaardigheid gemaakt met behulp van het OPLM. Let wel dat de meetschalen van PPON 2011 en 2013 anders zijn dan degene die we in deze peiling hebben gemaakt. Daardoor is een directe vergelijking van prestaties niet mogelijk. De gegevens van de verschillende peilingen moeten eerst op eenzelfde meetschaal geplaatst worden voordat een vergelijking mogelijk is. Hiervoor zijn ankeritems gebruikt, oftewel die items die zowel in de peilingen van 2011 en 2013 gebruikt zijn als in de huidige peiling.
Om de verschillende peilingen op één schaal te krijgen, voeren we een zogeheten concurrent calibration uit. Hierbij worden de datasets van zowel PPON 2011 en 2013 als de huidige peiling samen geanalyseerd en wordt er met behulp van het OPLM één gezamenlijke meetschaal geconstrueerd. Als het meetmodel past kunnen we vervolgens alle vergelijkingen maken die we willen, aangezien alle leerlingscores direct op dezelfde meetschaal zijn geplaatst. Het kan echter zijn dat de meetschaal van de huidige peiling mede wordt beïnvloed door resultaten van leerlingen uit de eerdere peilingen uit 2011 en 2013. Het is in deze aanpak goed mogelijk om DIF tussen de huidige peiling en de oude peilingen te onderzoeken. Dit laatste is belangrijk, aangezien de validiteit van de equivalering afhangt van de mate waarin ankeritems vergelijkbaar functioneren in de verschillende peilingen.
Voor de trendanalyse is de data van de huidige peiling aangevuld met data van 2119 groep 8 leerlingen uit de peiling van 2011, en 978 schoolverlaters in het SBO uit de peiling van 2013.
Net als bij eerdere analyses voor de huidige peiling (zie Hoofdstuk 3 en paragraaf 8.1) zijn bij de OPLM -kalibratie leerlingen met meer dan 25% ontbrekende waarden niet meegenomen in de analyse.
Na een eerste OPLM-analyse, voor het construeren van één gezamenlijke meetschaal, bleken er meerdere items te zijn met hoge R1c-waarden. Aansluitend, hebben we met
165 behulp van de OPLM-software de items die in beide peilingen en schooltypen (BAO versus SBO) zijn opgenomen verder onderzocht op eventuele verschillen in moeilijkheid (uniforme DIF) en onderscheidend vermogen (non-uniforme DIF). Hieruit bleek dat de items die al opvallende R1c-waarden hadden, ook in de DIF-analyse lieten zien dat de items anders functioneerden in de verschillende groepen. Met name in de groep SBO-2013 toonde een groot deel van deze items afwijkende resultaten qua moeilijkheid en discriminatie. Op basis van deze resultaten zijn er negen items verwijderd. Ook zijn er twee items verwijderd die alleen in de peiling van 2011 zijn afgenomen. Bij deze twee items had iedereen in een van de boekjes het antwoord fout, op één persoon na die één van de items goed had. Deze twee items kwamen echter in geen enkele van de subschalen (inhoudelijke of
inhoudsoverschrijdende vaardigheden) voor. Bij een volgende OPLM-analyse, waarbij de elf bovengenoemde items dus niet zijn meegenomen, was de passing van het model adequaat:
de R1c-waarde voor het model is gelijk aan 10003,4 met df = 7492 en p < 0.001. Let wel dat de R1c-modeltoets significant is, echter kan dit met name verklaard worden door het hoge aantal observaties per item, waardoor kleine verschillen erg snel significant worden.
Inspectie van de R1c-waarden op itemniveau liet zien dat er geen opvallende waarden meer waren. We kunnen dus concluderen dat het laatstgenoemde model goed bruikbaar is om de prestaties van de leerlingen die mee hebben gedaan aan de verschillende peilingen met elkaar te vergelijken.
8.2.2 Prestatievergelijking PPON 2011/2013 en peiling 2019
Voor elf inhoudelijke vaardigheden en zeven inhoudsoverstijgende vaardigheden hebben we de verschillen in vaardigheid van de leerlingen uit de peilingen van 2019 en 2011/ 2013 met elkaar vergeleken. De analyses zijn uitgevoerd met het programma SAUL (Structural Analysis of a Univariate Latent Variable; Verhelst en Verstralen, 2002), waarbij de relatie van een latente variabele met verschillende verklarende variabelen, zoals geslacht of
leeftijd, wordt onderzocht. In deze trendanalyse onderzoeken we de relatie tussen de latente (reken)vaardigheid van een leerling op een specifieke inhoudelijke of
inhouds-overstijgende vaardigheid met de verklarende variabelen schooltype en peilingsjaar. Bij deze analyses zijn leerlingen met meer dan 50% ontbrekende waarden niet meegenomen.
Voor ieder van de inhoudelijke en inhoudsoverstijgende vaardigheden hebben we dus zowel het effect van peilingsjaar (2019 versus 2011/2013) als het effect van schooltype (BAO versus SBO) in relatie tot de rekenprestaties van leerlingen nader onderzocht.
In figuur 8.11 zijn de effectgrootten voor peilingsjaar en schooltype weergegeven voor de elf verschillende inhoudelijke vaardigheden, en voor de totale rekenvaardigheidsschaal. In figuur 8.12 zijn de effectgrootten weergegeven voor de zeven verschillende
inhoudsoverstijgende vaardigheden. Bij deze trendanalyse zijn de groep 8 leerlingen van het reguliere basisonderwijs uit de huidige peiling (2019 – BAO) aangewezen als
referentiegroep; effectgrootten voor de andere leerlinggroepen zijn berekend ten opzichte van deze groep. Aangezien de groep 8 leerlingen uit 2019 als referentiegroep zijn
aangewezen, is dat effect op 0 gezet (dus op de y-as staat deze groep altijd op 0
aangegeven), en zijn de effectgrootten van de andere groepen weergegeven ten opzichte van de referentiegroep. Daarnaast zijn in Bijlage 2 de effectgrootten met bijbehorende standard error en z-waarde opgenomen. Om ook direct het verschil te zien tussen de SBO-leerlingen van de twee verschillende peilingen en tussen de leerlingen van de verschillende
schooltypen in de oude peilingen, zijn de resultaten voor deze verschillen per inhoudelijke en inhoudsoverstijgende vaardigheid ook opgenomen.
In figuur 8.11 is te zien dat voor alle inhoudelijke vaardigheden en de totaalschaal BAO-leerlingen in 2013 en 2019 altijd beter presteerden dan de SBO-BAO-leerlingen. We zien verder
166 dat er voor de periode 2013-2019 een significant positief effect is voor het schooltype BAO;
groep 8 leerlingen zijn over het algemeen beter gaan presteren op alle inhoudelijke vaardigheden en de totaalschaal (alleen op het subdomein (10) Meetkunde is het verschil niet significant). SBO-leerlingen presteren over tijd gezien juist wisselend. Voor vier inhoudelijke vaardigheden zijn SBO-leerlingen over tijd significant zwakker gaan
presteren: (3) Verhoudingen, (4) Procenten (7) Meten: Inhoud en (11) Verbanden (zie Bijlage 2).
Op twee inhoudelijke vaardigheden zijn de SBO-leerlingen over tijd significant beter gaan presteren: (6) Meten: Oppervlakte en (9) Meten: Tijd. Op de overige inhoudelijke
vaardigheidsschalen is de trend over tijd niet significant. Dit geldt ook voor de totaalschaal;
de algehele rekenvaardigheid is voor SBO-leerlingen dus gelijk gebleven over de tijd heen;
de stijging in vaardigheid op een aantal subonderdelen heeft de daling in vaardigheid op andere onderdelen op.
Figuur 8.11 Effectgrootten voor peilingsjaar en schooltype voor de inhoudelijke vaardigheden en de totale rekenvaardigheidsschaal
167 In Figuur 8.12 en Bijlage 2 zien we dat -net als bij de inhoudelijke vaardigheden- er bij de zeven inhoudsoverstijgende vaardigheden sprake is van een significant positief effect bij de groep 8 leerlingen van het reguliere basisonderwijs: over het algemeen zijn zij over de tijd heen beter gaan presteren. Ook presteren BAO-leerlingen in 2011/2013 en 2019 altijd beter dan de SBO-leerlingen. Als we alleen kijken naar de prestaties van de SBO-leerlingen over tijd, zien we dat voor drie inhoudsoverstijgende vaardigheden de prestaties significant zijn achteruitgegaan: (I) kaal rekenen, (IV) omgaan met decimale getallen en (V) omgaan met breuken (zie Bijlage 2). Voor de overige inhoudsoverstijgende vaardigheden is dit verschil niet significant.
Figuur 8.12 Effectgrootten voor peilingsjaar en schooltype voor de inhoudsoverstijgende vaardigheden
Conclusie
Uit de trendanalyse blijkt dat voor het overgrote deel van de inhoudelijke vaardigheden en inhoudsoverstijgende vaardigheden geldt dat BAO-leerlingen in 2019 significant beter presteren dan in 2011. Het beeld bij schoolverlaters in het SBO is wisselend. Vaardigheden met een negatieve trend en positieve trend houden elkaar in evenwicht en de vaardigheid op de totaalschaal is gelijkgebleven. Dit is deels te verklaren door het feit dat er uit wordt gegaan van één onderliggende meetschaal: verschillen tussen de verschillende onderdelen vlakken hierdoor enigszins af.
168