Onderzoek

Op basis van een notitie uit 2007 van prof. dr. J. Peschar (Peschar, 2007) waarin wordt ingegaan op verschillende manieren om de opbrengsten van het onderwijs te meten, voerde het SCO- Kohnstamm Instituut een verkenning uit naar de mogelijkheden om leerwinst en toegevoegde waarde te berekenen, gebruikmakend van toetsen uit het LVS van Cito (Roeleveld, Van der Veen & Ledoux, 2008). Men gebruikte daarvoor de longitudinale data van het PRIMA-

cohortonderzoek en bespraken de mogelijkheden die het COOL-cohortonderzoek8 _biedt.

Leerwinstberekeningen vonden plaats op basis van verschillen in vaardigheidsscores op taal- en rekentoetsen bij een cohort basisschoolleerlingen, gebruikmakend van vaardigheidsscores behaald in de groepen 4, 6 en 8. De toegevoegde waarde (in het rapport Groeimodellen genoemd) is op drie manieren berekend. Deze manieren verschillen van elkaar in de mate

8 _{Tussen 1994 en 2005 hebben het ITS en het SCO-Kohnstamm Instituut het PRIMA-cohortonderzoek uitgevoerd,}

waarmee het Nederlandse basisonderwijs periodiek in kaart is gebracht. Op de circa 600 scholen die aan PRIMA deelnamen, werden om de twee jaar taal- en rekentoetsen afgenomen bij de leerlingen in de groepen 2, 4, 6 en 8, en werden vragenlijsten voorgelegd aan de leerlingen en hun ouders, leerkrachten en directeuren. In totaal zijn zes PRIMA-metingen uitgevoerd. De meeste PRIMA-scholen hebben aan meerdere metingen deelgenomen, waardoor het mogelijk was om ontwikkelingen in de tijd te volgen. Vanaf schooljaar 2007-2008 is PRIMA opgevolgd door een nieuw cohortonderzoek: COOL5-18. Dit onderzoek volgt leerlingen van 5 tot 18 jaar in hun schoolloopbaan door het primair en voortgezet onderwijs en het mbo.

waarin de leerwinst werd gecorrigeerd voor etnische herkomst, sekse, opleidingsniveau van ouders en leeftijd.

De onderzoekers komen tot de conclusie dat voor de relatief eenvoudige vraag “wat kunnen en kennen Nederlandse leerlingen op een bepaald moment?” referentieniveaus, PPON-metingen of indicatoren uit internationale onderzoekingen als PISA en TIMMS gebruikt worden. Voor meer complexe vragen als de bijdrage van het onderwijs aan de ontwikkeling van leerlingen moeten ook complexere dataverzamelingen en analysemethoden gebruikt worden. Men pleit er voor longitudinale cohortdata te gebruiken. Daarmee kan de groei van alle of van onderscheiden groepen leerlingen in het onderwijs worden gemodelleerd om de bijdrage van het onderwijs aan die groei zo goed mogelijk te onderscheiden van allerlei buitenschoolse factoren.

Timmermans (2012) onderzocht de mogelijkheden van toegevoegde waarde-indicatoren voor het Nederlandse onderwijstoezicht. Hoewel toegevoegde waarde in verschillende landen al wordt gebruikt als indicator voor opbrengsten binnen onderwijstoezicht, zijn er vele verschillende manieren waarop de toegevoegde waarde-indicatoren binnen deze

toezichtsystemen worden geoperationaliseerd. De verschillen in operationalisering komen met name tot uiting in de keuze van het statistische model en de keuze van de controlevariabelen die worden gebruikt voor het maken van een eerlijke vergelijking tussen scholen.

De toegevoegde waarde-indicatoren die op dit moment binnen internationale accountabilitysystemen worden gebruikt verschillen zeer sterk in de keuze voor

controlevariabelen. In het Tennessee Value Added Assessment System, een indicator die in verschillende staten van de Verenigde Staten wordt toegepast, wordt alleen gecontroleerd voor verschillen tussen leerlingen in beginniveau. Bij Contextual Value Added, dat wordt gebruikt door de Engelse onderwijsinspectie, wordt daarentegen een veel uitgebreidere set van

controlevariabelen gebruikt. In dit model worden het beginniveau, achtergrondkenmerken van de leerlingen en kenmerken van de schoolcompositie opgenomen als controlevariabelen. Het onderzoek van Timmermans (2012) was gericht op de ontwikkeling van toegevoegde waarde-indicatoren voor verschillende onderwijssectoren en op de bruikbaarheid ervan voor een eerlijke vergelijking van de effectiviteit van scholen. In het onderzoek zijn drie typen data gebruikt (cohortdata, onderwijsnummer-data en data uit leerlingvolgsystemen). Op basis van deze drie typen data bleek het mogelijk om de toegevoegde waarde van scholen te schatten. Echter, hiervoor moet data beschikbaar zijn op het niveau van de leerling en moet er minimaal een indicatie van het begin- en eindniveau aanwezig zijn. De drie typen data die in de

verschillende studies zijn gebruikt hebben elk voor- en nadelen en leiden soms tot verschillende interpretaties van de toegevoegde waarde-indicator. De data afkomstig uit

leerlingvolgsystemen is geschikt voor het schatten van de toegevoegde waarde op basis van leerwinst. In deze data zijn er op verschillende momenten indicaties van de prestaties van leerlingen gemeten op eenzelfde vaardigheidsschaal. Dit biedt de mogelijkheid om de groei van leerlingen in kaart te brengen. Toegevoegde waarde op basis van een groeimodel kan daardoor geïnterpreteerd worden als een indicator voor de relatieve groei/ontwikkeling van leerlingen in een school in vergelijking tot andere scholen.

Een tweede algemene bevinding is dat de schatting van de toegevoegde waarde van een school samengaat met een relatieve grote onbetrouwbaarheid. Door deze grote onbetrouwbaarheid kan men slechts drie groepen scholen van elkaar onderscheiden, namelijk ineffectieve, gemiddelde en effectieve scholen. Deze onbetrouwbaarheid is volgens Timmermans (ibid, p. 198) niet uniek voor toegevoegde waarde, maar geldt voor alle prestatie-indicatoren van scholen.

Een terugkerend probleem in de verschillende studies van Timmermans was het ontbreken van gegevens bij verschillende controlevariabelen. Dat gegevens ontbreken is een belangrijke beperking voor de validiteit van toegevoegde waarde, omdat dat vaak de gegevens van

zwakkere leerlingen betreft. Het schatten van toegevoegde waarde op basis van leerlingen met volledige gegevens resulteert daardoor in een overschatting van de prestaties van de leerlingen en de school.