5. Resultaten
5.3. Leerwinstmodellen
5.3.1. Inleiding
Omdat alle scholen uit de pilot gebruik maken van LVS-toetsen van Cito is voldaan aan twee belangrijke voorwaarden om leerwinst en toegevoegde waarde te kunnen berekenen. In de eerste plaats staan deze toetsen interpretaties toe in termen van groei op een
vaardigheidsschaal (Yen, 2007). Deze vaardigheidsschaal maakt het mogelijk om enerzijds de resultaten van een leerling op verschillende toetsmomenten met elkaar te vergelijken.
Anderzijds kunnen met deze schaal ook de resultaten van leerlingen in dezelfde groep worden vergeleken, die verschillende toetsen uit hetzelfde leerstofgebied hebben gemaakt. Ieder leergebied waarvoor toetsen beschikbaar zijn, kent zijn eigen vaardigheidsschaal. Daarom kan de leerwinst alleen per leerstofgebied en niet over de verschillende leerstofgebieden heen worden uitgerekend.
In de tweede plaats dekken de LVS-toetsen belangrijke leerstofgebieden over meerdere leerjaren van het basisonderwijs, zoals rekenen-wiskunde en technisch en begrijpend lezen. Daarmee zijn deze toetsen ‘gevoelig’ voor de kwaliteit van de geboden instructie en verwerking. Daarom kan er met deze toetsen een relatie gelegd worden tussen de hoogte van de scores en de kwaliteit van het gegeven onderwijs (Popham, 2007, p. 146-1479). Dit is met name een
belangrijke voorwaarde voor de bepaling van toegevoegde waarde, want via een toegevoegde waarde model wordt immers geprobeerd een schatting te maken van de bijdrage van de school aan de leerprestaties.
Met LVS-toetsen kan de absolute leerwinst vastgesteld worden in termen van groei op een vaardigheidsschaal. Maar daarmee is niet de vraag beantwoord of de groei van een bepaalde leerling of van een groep leerlingen voldoende is of niet. Niet voor alle leerlingen is de groei hetzelfde (Koedel & Betts, 2009; Tong & Kolen, 2007; Luyten & Ten Bruggencate, 2011). De ene leerling groeit schoksgewijs, terwijl een andere leerling een meer vloeiende vooruitgang boekt. Sommige leerlingen groeien in een bepaalde periode meer dan andere leerlingen uit dezelfde groep. En ondanks dat leerlingen op eenzelfde niveau beginnen wil dat niet zeggen dat ze dezelfde groei doormaken. In de pilot is daarom gezocht naar een norm om de leerwinst te kunnen beoordelen. Door de leerwinst van leerlingen te vergelijken met die van vergelijkbare leerlingen ontstaat een referentiepunt dat als norm kan worden gebruikt. We noemden dit eerder relatieve leerwinst (zie par. 3.3). In de pilot is bij de berekening van de leerwinst deze vorm van normering gevolgd.
9 “An instructionally sensitive test would be capable of distinguishing between strong and weak instruction by
allowing us to validly conclude that a set of students’ high test scores are meaningfully, but not exclusively, attributable to effective instruction. . . . In contrast, an instructionally insensitive test would not allow us to distinguish accurately between strong and weak instruction”.
In de pilot zijn twee verschillende modellen ontwikkeld om de leerwinst over een langere periode te bepalen. Cito ontwikkelde het zogenaamde Z-score model en de Universiteit Twente het Groeitempo-model. De Universiteit Twente heeft op basis van het Groeitempo-model ook een model gemaakt om de leerwinst gedurende de zomervakantie in kaart te brengen. Dit model is in de pilot het Seizoensgebonden leerwinstmodel gaan heten. De verschillende modellen worden hieronder toegelicht. Maar eerst wordt aandacht besteed aan de onderwijsperiode waarover in de pilot de leerwinst is berekend.
5.3.2. Leerwinstperioden
Voor het op de juiste wijze bepalen van de leerwinst en toegevoegde waarde is het van belang een beslissing te nemen over de onderwijsperiode waarover en over de groep leerlingen (cohort) waarvoor deze worden berekend. In de paragraaf 5.2 is uitgelegd dat het van groot belang is dat van alle leerlingen die tot het cohort gaan behoren bekend is op welk moment welke toetsen zijn afgenomen, in welke leerjaar ze zitten en hoe lang ze op de huidige school onderwijs hebben ontvangen.
Alle scholen uit de pilot ontvangen op basis van hun eigen gegevens rapportages over de leerwinstmodellen van Cito en de Universiteit Twente. Om de scholen in de gelegenheid te stellen de modellen met elkaar te vergelijken is er afgesproken om in de rapportages hetzelfde startpunt voor de leerwinstberekening te nemen voor dezelfde groepen leerlingen. Als
startpunt is gekozen voor medio groep 3: M3 (zie tabel 2). Voor begrijpend lezen is eind groep 3 (E3) het startpunt, omdat er in groep 3 geen mediotoets beschikbaar is voor dit vak (zie tabel 3).
Daarnaast is er gekozen om te werken met leerlingcohorten. In welk cohort een leerling komt wordt bepaald aan de hand van de leeftijd van de leerling. Voor de pilot is uitgegaan van de regel “Wanneer de leerling 6 jaar oud is, zit hij of zij in groep 3”. Voor deze regel is gekozen, omdat het niet bekend is vanaf welk moment iedere leerling is gestart in groep 3.
In de rapportages aan de scholen worden de resultaten echter niet per cohort getoond, maar per groep omdat dit voor de school een betekenisvolle eenheid is.
Tabel 2 Tabel 3
Overzicht leerwinstperiode en cohort Overzicht leerwinstperiode en cohort (rekenen-wiskunde, spelling, technisch lezen (begrijpend lezen)
en woordenschat)
Periode Cohort Periode Cohort
M3-M5/E5 2010 E3-M5/E5 2010
M3-M6/E6 2009 E3-M6/E6 2009
M3-M7/E7 2008 E3-M7/E7 2008
5.3.3. Groeitempo-model
De Universiteit Twente heeft het Colorado Growth Curve Model (zie
http://www.schoolview.org/ColoradoGrowthModel2.asp) als inspiratie gebruikt om een leerwinstmodel te ontwikkelen. Het Colorado Growth Curve Model plaatst leerlingen in één van de volgende drie prestatiecategorieën, laag, gemiddeld of hoog, om vervolgens de ontwikkeling over een bepaalde periode te volgen. De ontwikkeling van de leerprestaties wordt in het Colorado-model als volgt gelabeld:
− Catching up als een leerling progressie vertoont van de lage naar een hogere categorie; − Keeping up als een leerling uit de gemiddelde of hogere categorie zich in die groepen weet
te handhaven of
− Moving up wanneer de leerling opschuift van de gemiddelde naar de hoge categorie.
Het leerwinstmodel uit Colorado wordt vanwege deze labeling ook wel het CuKuMu-model genoemd. Het daarop gebaseerde leerwinstmodel dat de Universiteit Twente ontwikkelde, heeft de naam Groeitempo-model (GTM) gekregen.
De Universiteit Twente heeft het GTM ontwikkeld vanuit de gedachte dat de methodiek achter het model zo ‘doorzichtig’ mogelijk moet zijn. Om de ontwikkeling van de leerlingen voor bepaalde vakken over een langere periode in kaart te brengen is hun prestatieniveau aan het begin en het einde van een bepaalde periode vergeleken, bijvoorbeeld rekenen-wiskunde in groep 3 en groep 5.
De begin- en eindmeting is vastgesteld in termen van vaardigheidsscores. Deze
vaardigheidsscores zijn vervolgens omgezet naar de zogenoemde vaardigheidsniveaus van Cito, waarbij de indeling A tot en met E of de nieuwere indeling I tot en met V is aangehouden. De groei van een leerling wordt vergeleken met die van de leerlingen die bij de beginmeting hetzelfde vaardigheidsniveau hadden. De leerlingen worden op basis van hun beginsituatie ingedeeld in een van de vijf vaardigheidsniveaugroepen. Vervolgens wordt voor elke leerling nagegaan hoe groot de leerwinst is in vergelijking met de andere leerlingen in dezelfde groep. Zodoende wordt rekening gehouden met de mogelijkheid dat leerlingen met verschillende aanvangsniveaus niet allemaal evenveel leerwinst boeken. Voor leerlingen met een hoog aanvangsniveau is de gemiddelde groei vaak iets kleiner dan voor leerlingen die met een lage score beginnen. Voor die leerlingen is er wat meer ruimte om winst te boeken.
Wanneer de leerwinst is bepaald worden de leerlingen in drie categorieën van gelijke grootte ingedeeld:
1. de 33,3% leerlingen met de hoogste groei (bovengemiddeld); 2. de middelste 33,3% (gemiddeld);
3. de 33,3% met de laagste groei (ondergemiddeld).
Doordat de leerlingen binnen hun vaardigheidsniveau ingedeeld worden in een van de drie categorieën, kan de groei van leerling met een hoog vaardigheidsniveau (bijvoorbeeld A of I) afgezet worden tegen andere hoog presterende leerlingen. Als een leerling van
vaardigheidsniveau A of I tot de categorie ‘laagste 33,3%’ behoort, betekent dit dat deze leerling binnen dat niveau tot de 33,3% leerlingen hoort die de minste groei hebben getoond. Met andere woorden leerlingen kunnen in een van de drie categorieën terecht komen ongeacht hun vaardigheidsniveau bij de start in groep 3. Van leerlingen uit het hoogste vaardigheidsniveau (A of I) kan dus blijken dat ze weinig leerwinst laten zien, terwijl leerlingen uit het laagste niveau (E of V) veel leerwinst kunnen boeken en daardoor in de categorie ’hoogste groei’ vallen.
In de schoolrapportages worden de uitkomsten per leerling gegeven. Om ook een beeld te geven van de leerwinst op groeps- of leerjaarniveau, wordt eveneens gerapporteerd hoeveel
leerlingen er uit de groep of het leerjaar in elk van de drie categorieën zitten.
In de praktijk zal blijken dat een ‘gemiddelde’ school in elke categorie ongeveer evenveel leerlingen heeft zitten (33,3% per groep). Het zal vrijwel nooit voorkomen dat op een school de verdeling over de drie groepen precies gelijk is. Op de meeste scholen zal het percentage leerlingen in de drie categorieën afwijken van het gemiddelde. Vaak gaat het om kleine
afwijkingen die te wijten zijn aan toevallige schommelingen. Soms zijn de afwijkingen echter te groot om aan het toeval toe te schrijven. Het aantal leerlingen in de hoogste categorie op een school kan soms groot zijn. Ook het omgekeerde is natuurlijk mogelijk: het percentage leerlingen met lage groei is opvallend groot. Aan de scholen in de pilot is gerapporteerd of er opvallende afwijkingen zijn.
Tabel 4 en figuur 4 geven een voorbeeld uit een rapportages over het Groeitempo-model. Het gaat hier om de vooruitgang in rekenvaardigheid tussen de mediometing in groep 3 (januari- februari) en de eindmeting in groep 5 (mei-juni) van 22 leerlingen.
Tabel 4 Leerwinst rekenen-wiskunde in de periode groep 3 tot en met groep 5
Over de individuele leerwinst van de 22 leerlingen (zie tabel 4) valt het volgende te melden. Er zijn in die groep twee leerlingen met een hoog aanvangsniveau (vaardigheidsniveau I) en zij hebben een gemiddelde vooruitgang geboekt. Van de zeven leerlingen met het één na hoogste aanvangsniveau (vaardigheidsniveau II) hebben er zes een bovengemiddelde leerwinst geboekt en één leerling een leerwinst die lager is dan gemiddeld. Voor vier van de vijf leerlingen met een gemiddeld aanvangsniveau (vaardigheidsniveau III) ligt de leerwinst lager dan gemiddeld en heeft er één een gemiddelde leerwinst laten zien. Van de zeven leerlingen met het één na laagste aanvangsniveau (vaardigheidsniveau IV) laten er drie een ondergemiddelde leerwinst zien, drie
een gemiddelde en één een bovengemiddelde leerwinst. Eén leerling is op het laagste niveau begonnen, maar deze heeft wel een bovengemiddelde leerwinst geboekt.
Figuur 4 Categorie-indeling Groeitempo-model periode groep 3 tot en met 5 rekenen-wiskunde Uit figuur 4 blijkt dat van deze groep leerlingen uiteindelijk 36,4% een bovengemiddelde leerwinst heeft geboekt, 27,3% een gemiddelde en 36,4% een ondergemiddelde leerwinst. Hoewel de verdeling over deze drie groepen niet exact gelijk is, zijn in dit geval de verschillen te klein om er veel betekenis aan te hechten. De verschillen zijn waarschijnlijk te wijten aan toevallige schommelingen.
5.3.4. Seizoensgebonden leerwinstmodel
Bij de aanvang van de pilot is de deelnemende scholen ook aangeboden de leerwinst te bepalen tijdens de zomervakantie (zie bijlage 4). De ontwikkeling van leerlingen tijdens de
zomervakantie laat zien hoeveel vooruitgang leerlingen nog boeken als ze een lange periode niet naar school gaan. Dit plaatst informatie over leerwinst en toegevoegde waarde in een nieuw perspectief. Ook buiten schooltijd doen leerlingen kennis en vaardigheden op. Voor sommige leerlingen geldt dat tijdens de zomervakantie hun prestaties achteruit gaan. Om die reden geeft een E-meting afgenomen aan het einde van het schooljaar geen nauwkeurige en actuele informatie over de startsituatie van leerlingen in het nieuwe schooljaar. Bovendien wordt de volgende serie LVS-toetsen pas een half jaar later weer afgenomen. Er zit dus een flinke periode tussen een E- en M-afname. Daarom is voor scholen informatie over de
ontwikkeling van leerlingen tijdens de zomervakantie uiterst relevant. Vandaar dat een aantal scholen uit de pilot ervoor heeft gekozen ook over deze periode de leerwinst te berekenen. Binnen de pilot hebben de scholen die belangstelling hadden voor dit model, twee weken na de zomervakantie opnieuw de E-versie van de reguliere eindmeting van het vorig leerjaar
afgenomen. Dit werd gedaan voor de vakken rekenen-wiskunde, spelling en technisch lezen. De vaardigheidsscores van voor de vakantie werden afgetrokken van de vaardigheidsscores van na de vakantie. Dit verschil, de groei tijdens zomervakantie werd vergeleken met de groei die de leerlingen hebben geboekt tijdens het schooljaar.
Figuur 5 geeft een voorbeeld van de rapportage over de leerwinst van Thomas Janssens tijdens de zomervakantie.
Figuur 5 Voorbeeldrapportage leerwinst seizoensgebonden model
Thomas Janssens heeft op de toets rekenen-wiskunde E3 een vaardigheidsscore van 38 (gemiddeld niveau) en op de toets na de vakantie een vaardigheidsscore van 40 (gemiddeld niveau). Zijn groei is 2 punten. De gemiddelde groei voor leerlingen uit het hoogste niveau op E3 is twee punten. De groei van Thomas tijdens de zomervakantie is dus gemiddeld.
Het seizoensgebonden leerwinstmodel onderscheidt zich van de andere modellen die in de pilot zijn ontwikkeld. Net zoals bij de andere leerwinstmodellen wordt de omvang van de leerwinst in kaart gebracht, maar in dit geval wordt de individuele leerwinst vergeleken met die van leerlingen als ze geen onderwijs krijgen van hun leerkrachten. In zekere zin levert dit model op een bijzondere manier een indicatie van de toegevoegde waarde van een school. Tijdens de zomervakantie heeft de school geen directe invloed op de vaardigheidsgroei van leerlingen. Mocht er tijdens de zomervakantie toch sprake zijn van groei, dan kan deze dus niet worden toegeschreven aan de school, maar bijvoorbeeld wel aan de inspanningen van ouders. En in het geval er geen groei of zelfs terugval is, dan is dat een indicatie dat onderwijs effect heeft. Een belangrijk verschil met een toegevoegde waarde model is dat daarin getracht wordt door middel van statistische correcties zoveel mogelijk rekening te houden met de achtergronden van de leerlingen en de schoolomgeving. Een voordeel van het seizoensgebonden
leerwinstmodel is dat er geen aanvullende achtergrondinformatie nodig is over de leerlingen en de schoolcontext. Het vereist wel een extra toetsafname vlak na de zomervakantie. Een
probleem is wel dat voor dit doel geen specifieke toetsen voorhanden zijn. Tijdens de pilot is dezelfde toets gebruikt als ongeveer 8 weken daarvoor. Hierdoor kan er sprake zijn van een leereffect. Tevens zijn de waardes (bovenste 33,3%, middelste 33,3% en onderste 33,3%) bepaald op basis van de metingen binnen het project en bestaan er nog geen gevalideerde groei bepalingen voor de aanvangsperiode na de zomervakantie. Een andere beperking is dat niet alle toets- en schoolinformatiesystemen het toe laten om extra toetsscores in te voeren.
5.3.5. Z-score model
Cito heeft een relatieve maat voor leerwinst ontwikkeld op basis van zogenoemde z-scores. Een technische verantwoording van dit model is te vinden in bijlage 5. De z-score geeft aan hoe de vaardigheidsgroei van een (groep) leerling(en) zich verhoudt tot de gemiddelde
vaardigheidsgroei van een landelijke vergelijkingsgroep. De 0-lijn (zie figuur 7) stelt daarbij het landelijke gemiddelde voor. De werkwijze om van individuele scores te komen tot oordelen over de mate van leerwinst via het z-score model wordt hieronder toegelicht.
Score op leerlingniveau
De eerste stap is dat voor iedere leerling voor één bepaalde periode de groei in
vaardigheidspunten is berekend. Daartoe is de vaardigheidsscore van de medio afname in groep 3 (M3) afgetrokken van de vaardigheidsscore van het laatste afnamemoment, in dit geval de eindafname in groep 6 (E6) van juni 2012 (zie figuur 6). Vervolgens is bepaald hoe de groei van de leerling zich verhoudt tot de groei van leerlingen met hetzelfde startniveau. Ofwel, er wordt gekeken of de leerling meer, gelijk of minder gegroeid dan andere leerlingen met dezelfde vaardigheidsscore op afnamemoment M3.
Figuur 6 Groepsoverzicht z-score model
Betekenis z-score
De z-score is een relatieve maat die als volgt te interpreteren is (zie figuur 7):
− Een z-score van 0 wijst op een gemiddelde groei ten opzichte van andere leerlingen met
hetzelfde startniveau;
− Een z-score > 0 wijst op een bovengemiddelde groei ten opzichte van andere leerlingen
met hetzelfde startniveau;
− Een z-score < 0 wijst op een benedengemiddelde groei ten opzichte van andere
Figuur 7 Categorieënindeling leerwinst in relatie tot z-score
Een z-score die exact gelijk is aan 0 zal niet zo vaak voorkomen. Kleine afwijkingen naar boven en beneden wel. Daarom kent het Groepsoverzicht Leerwinst een scoreverdeling in drie categorieën: laag, gemiddeld en hoog. De z-scores tussen -1.5 en +1.5 worden aangemerkt als gemiddeld. Naar verwachting behaalt 86% van de leerlingen een score tussen deze grenzen (zie figuur 7). Ongeveer 7% van de leerlingen behaalt een lagere score en ongeveer 7% een hogere score.
Een score in de categorie laag (rood balkje) betekent dat de leerling behoort tot de 7%
leerlingen die het minst gegroeid zijn, vergeleken met leerlingen met hetzelfde startniveau. Een score in de categorie hoog (donkergroen balkje) betekent dat de leerling behoort tot de 7% leerlingen die de meeste groei hebben gerealiseerd, vergeleken met leerlingen met hetzelfde startniveau.
Leerlingen waarbij de z-score in de categorie ‘gemiddeld’ valt, laten in principe geen afwijkende groei zien. Toch is er voor gekozen om binnen deze categorie twee kleuren te hanteren,
lichtgroen voor de leerlingen waarbij de z-score groter dan 0 is en oranje bij de leerlingen waarbij de z-score kleiner dan 0 is. In het algemeen geldt hoe langer het gekleurde balkje, hoe meer de groei afwijkt van de (gemiddelde) groei van leerlingen met hetzelfde startniveau.
Score op schoolniveau
De Schoolrapportage Leerwinst toont de gemiddelde groei van een cohort leerlingen per vakgebied. De gemiddelde vaardigheidsgroei per cohort is berekend door de z-score van alle individuele leerlingen op te tellen en te delen door het aantal leerlingen. Het betreft dus een gemiddelde z-score: de schoolgemiddelde leerwinst. Deze gemiddelde z-score is vergeleken met
de gemiddelde z-scores van andere scholen in Nederland (zie figuur 8). Omdat de
betrouwbaarheid van een groepsgemiddelde afhangt van de grootte van de groep, is bij de berekening van de groepsgemiddelden rekening gehouden met de groepsgrootte.
Figuur 8 Schoolrapportage leerwinst op schoolniveau
Interpretatie van de gemiddelde z-score
De interpretatie van het resultaat op schoolniveau is identiek aan de interpretatie van het resultaat op leerlingniveau. Een score tussen -1.5 en +1.5 kan dus beschouwd worden als gemiddeld. Bij een hogere of lagere score is de groei die een cohort leerlingen gemiddeld laat zien op de school opvallend groter of kleiner dan de groei die leerlingen gemiddeld laten zien op andere scholen. In de Schoolrapportage Leerwinst op schoolniveau zijn dezelfde
kleurcoderingen gebruikt als bij de Schoolrapportage Groepsoverzicht Leerwinst.
In de schoolrapportage bevat elk cohort (voor zover data aanwezig) meerdere ‘sub’cohorten. Zo bestaat het Cohort 5-30 mnd. (M3-E5) in figuur 8 niet alleen uit de groep leerlingen die in juni 2012, 30 onderwijsmaanden hadden, maar ook de leerlingen die de voorafgaande schooljaren in juni 30 onderwijsmaanden hadden. Het aantal leerlingen dat in de berekening van de
gemiddelde z-score is meegenomen, staat steeds genoemd onder ’Ll. aant.’.
Om praktische redenen is binnen de pilot zowel de periode (M3-laatste afnamemoment) en het aantal leergebieden beperkt. In principe is het Z-score model toe te passen op iedere
willekeurige periode (M3-E3, E5-M6, enzovoort) en alle leergebieden.