Relatie van de bestaande toepassingen met de pilot

In de pilot is de individuele score van een leerling op één vaardigheidsschaal de basis voor de bepaling van de leerwinst. Het verschil tussen twee vaardigheidsscores van dezelfde leerling levert een absolute leerwinstmaat op. Door dit verschil te vergelijken met dat van leerlingen met dezelfde beginvaardigheidsscore is in de pilot een relatieve leerwinstnorm ontwikkeld (zie par. 5.3). Bij de bepaling van de toegevoegde waarde wordt in de pilot uitgegaan van de groei in vaardigheidsscores per leergebied die vervolgens wordt gecorrigeerd voor factoren die

weliswaar van invloed zijn op de leerwinst, maar waar de school zelf geen invloed op heeft (zie par. 5.4.). De aanpak in de pilot verschilt op verschillende onderdelen van de hierboven

beschreven bestaande berekeningen van leerwinst en toegevoegde waarde. We zullen enkele verschillen toelichten.

De Amsterdamse Kwaliteitswijzer

In de Amsterdamse Kwaliteitswijzer 2012-2013 wordt de leerwinst van een school, in tegenstelling tot de pilot, niet gebaseerd op individuele vaardigheidsscores, maar op de gemiddelde vaardigheidsscore van een groep leerlingen van een school. Het verschil tussen de gemiddelde vaardigheidsscore voor bijvoorbeeld begrijpend lezen in groep 6 van schooljaar

2012-2013 wordt vergeleken met de gemiddelde vaardigheidsscore voor begrijpend lezen van groep 5 van het voorafgaande schooljaar. Het gaat dan om een vergelijking van grotendeels dezelfde leerlingen. Het verschil in gemiddelde vaardigheid wordt als de ‘leerwinst’ van de betreffende school beschouwd. Door dit te vergelijken met dat van alle Amsterdamse scholen (referentiegroep) wordt inzichtelijk gemaakt of de gemiddelde leerwinst van de school boven, gelijk of onder gemiddeld is. In tegenstelling tot de berekening van toegevoegde waarde in de pilot wordt er bij de Amsterdamse aanpak voor leerwinstbepaling geen rekening gehouden met de sociaal-etnische achtergrond van de leerlingen omdat, volgens de gemeente Amsterdam, uit onderzoek blijkt dat dit niet van invloed is op de leerwinst.

De Loos Monitoring

Bij de aanpak van De Loos Monitoring is een aantal kanttekeningen te plaatsen. In de eerste plaats gaat de leerwinstberekening niet uit van de absolute leerwinst van leerlingen in termen van vaardigheidsscores, maar van de relatieve groei in de positie die een leerling inneemt ten opzichte van een landelijke steekproef in vaardigheidsniveaus. In de tweede plaats combineert De Loos Monitoring de leerwinst van verschillende leergebieden op vaardigheidsniveau. Er wordt daarbij geen rekening gehouden met het feit dat de vaardigheidsschalen per leergebied van elkaar verschillen. De vraag is echter wat de inhoudelijke betekenis is van het combineren van prestaties op het gebied van spelling, technisch lezen, taal, luisteren en spreken.

De leerwinstmethode rekent met de vaardigheidsniveau-indeling van Cito en transformeert deze naar een numerieke waarde om ermee te kunnen rekenen. Over de beperking hiervan meldt De Loos Monitoring (z.j., p. 15) dat deze transformatie niet empirisch is onderbouwd en dat een vaardigheidsniveau een onnauwkeurige maat is. Immers ondanks dat de

vaardigheidsscores van leerlingen stijgen betekent dit niet automatisch een wisseling van vaardigheidsniveau. Zo kan een leerling die bij de eerste toetsafname in het laagste niveau valt, ondanks een betekenisvolle stijging van zijn of haar vaardigheidsscore, bij volgende

toetsafnames nog steeds tot hetzelfde vaardigheidsniveau behoren, namelijk de 20% laagst scorende leerlingen. De eventuele leerwinst is dan niet zichtbaar.

Leerwinst op basis van NSCCT

Bij het meten van de effecten van onderwijs moet rekening worden gehouden met het beginniveau van de leerling. In de pilot wordt daarvoor steeds de vaardigheidsscore van de midden groep 3 meting gebruikt, of – indien het een toets voor kleuters betreft – de midden groep 1 meting. Er zijn situaties waarbij het niet altijd mogelijk of zinvol is om hiervoor een leerprestatietoets te gebruiken, bijvoorbeeld wanneer leerlingen een volledig nieuw domein leren, waarvan zij nog niets weten. Hoe snel leerlingen een nieuw domein leren hangt van hun intelligentie af. De NSCCT is een praktisch alternatief voor meer uitgebreide intelligentietests vanwege de korte duur en de klassikale afname.

Bij de bepaling van de toegevoegde waarde van scholen gaat het erom de effecten van leerkracht en schoolvariabelen op de ontwikkeling in leerprestaties zo zuiver mogelijk vaststellen. Vanuit deze optiek wordt in sommige toegevoegde waarde modellen wel voor intelligentie gecorrigeerd. Uitgangspunt bij de pilot is geweest dat de deelnemende basisscholen

geen extra data bij hun leerlingen hoefden te verzamelen. De berekeningen van de leerwinst en toegevoegde waarde zijn derhalve gebaseerd op de gegevens die beschikbaar zijn in de

schoolinformatiesystemen van de deelnemende scholen. De intelligentiescore van leerlingen behoort echter niet tot de standaardgegevens. Daarom is dit kenmerk in de pilot buiten beschouwing gebleven. De bepaling van leerwinst op basis van de NSCCT is overigens wel een bruikbare werkwijze voor scholen die dit instrument gebruiken.

Toegevoegde waarde op basis van eindtoetsgegevens

Het toegevoegde waarde model van prof. Dronkers is niet gebaseerd op meerjarige

leerwinstberekeningen van een cohort leerlingen van een basisschool, maar op het gemiddelde van drie aansluitende schoolscores op eindtoetsen van een school van drie verschillende cohorten (zie ook par. 3.4). In de literatuur (Castellano & Ho, 2013, p. 21) staat deze aanpak bekend als het zogenaamde 'conditional status model' waarbij de status wordt gecorrigeerd met aanvullende informatie en dat leidt tot een opbrengst van een school die je zou mogen

verwachten. Het voorspellen van een te verwachten toetsscore is dus niet hetzelfde als leerwinst.

In de toegevoegde waarde schatting heeft prof. Dronkers een aantal zaken buiten beschouwing gelaten. Wanneer alleen met de gegevens van een enkele eindtoets wordt gewerkt is niet duidelijk met hoeveel vaardigheid de leerlingen op een gegeven moment de school zijn ingestroomd. Dat wordt pas duidelijk als naast een eindmeting ook een beginmeting heeft plaatsgevonden. Bij het gebruik van alleen een eindmeting is het lastig een beeld te krijgen van de invloed van de inspanningen van de school op de leerprestaties. Daaruit zou de toegevoegde waarde moeten blijken en dit sluit ook beter aan bij de intuïtieve betekenis van toegevoegde waarde. De interpretatie van het begrip toegevoegde waarde op de wijze zoals toegepast door prof. Dronkers hangt in hoge mate af van de keuze van de correctiefactoren. Bij een andere keuze van de correctiefactoren of wanneer deze inhoudelijk wijzigen, veranderen ook de te verwachten toetsscores. Bovendien maakt hij geen onderscheid naar leerstofgebied waar de (meeste/minste) toevoegde waarde wordt geboekt. Dit is voor de scholen wel belangrijk om te weten.