Prestatiemeting in het onderwijs : wat is de bijdrage van prestatiemetingen aan de kwaliteit van het basisonderwijs?

Prestatiemeting in het

onderwijs

Wat is de bijdrage van prestatiemetingen aan

de kwaliteit van het basisonderwijs?

Pieter-Jan Halk (11036540) Begeleider: dr. A. Reynaers Tweede lezer: dr. I. Verhoeven Datum: juni 2016

Masterscriptie Politicologie: Bestuur en Beleid

Voorwoord

Voor u ligt mijn afstudeerscriptie “Prestatiemeting in het onderwijs: wat is de bijdrage van prestatiemetingen aan de kwaliteit van het basisonderwijs?” Deze scriptie heb ik geschreven ter afronding van mijn Masteropleiding Politicologie aan de Universiteit van Amsterdam.

Tijdens het onderzoeksproces ben ik meerdere obstakels tegengekomen. Tegenslagen zijn mij hierbij niet bespaard gebleven. Het heeft me veel tijd gekost om duidelijk voor ogen te krijgen wat ik precies wilde gaan doen. Dat ik me wilde richten op prestatiemeting in het basisonderwijs werd al snel duidelijk, maar het bleek moeilijk om een concreet onderwerp te vinden. Uiteindelijk heb ik gekozen voor prestatiemeting in relatie tot de kwaliteit van het basisonderwijs. Onderwijskwaliteit is een complex begrip waar moeilijk invulling aan kan worden gegeven. Toch ben ik er in geslaagd hier meer inzicht in te krijgen en het onderzoek af te ronden.

Ik ben me ervan bewust dat ik dit onderzoek nooit had kunnen afronden zonder de hulp die ik heb gekregen. Allereerst gaat mijn dank uit naar mijn begeleidster dr. Anne-Marie Reynaers, die mij de afgelopen vijf maanden heeft ondersteund en geholpen bij het opzetten en uitvoeren van dit onderzoek. Mijn dank gaat ook uit naar familie en vrienden die mij steeds hebben gemotiveerd. Ten slotte wil ik alle scholen en respondenten bedanken voor de medewerking die ze hebben verleend. Zonder hen was dit onderzoek niet mogelijk geweest.

Ik wens u veel leesplezier toe!

Inhoudsopgave

2.1 New Public Management ... 6

2.2 Prestatiemeting ... 7 2.2.1 Definitie prestatiemeting ... 8 2.2.2 Voordelen prestatiemeting ... 8 2.2.3 Nadelen prestatiemeting ... 9 2.3 Kwaliteit ... 10 2.3.1 Kwaliteit basisonderwijs ... 10 2.3.2 Kwaliteitsfactoren ... 12

2.4 Prestatiemeting in relatie tot kwaliteit ... 12

2.4.1 Prestatiemeting en de cognitieve kwaliteit ... 12

2.4.2 Prestatiemeting en de sociaal-emotionele kwaliteit ... 15

2.5 Conclusie ... 17

3. Methodologie ... 19

3.1 Onderzoeksmethode ... 19

3.2 Selectie respondenten ... 20

3.3 Operationalisering ... 22

3.4 Open, axiaal en selectief coderen ... 24

3.5 Validiteit en Betrouwbaarheid... 25

4. Resultaten ... 27

4.1 Onderwijskwaliteit ... 27

4.1.1 Kwaliteitsdimensies ... 27

4.1.2 Kwaliteitsvoorwaarden ... 29

4.2 Prestatiemeting en de cognitieve kwaliteit ... 31

4.2.1 Positieve bijdrage aan cognitieve kwaliteit ... 31

4.2.2 Negatieve bijdrage aan cognitieve kwaliteit ... 33

4.3 Prestatiemeting en de sociaal-emotionele kwaliteit ... 35

4.3.2 Negatieve bijdrage aan sociaal-emotionele kwaliteit ... 36

4.3.3 Negatieve bijdrage cognitieve prestatiemeting aan sociaal-emotionele kwaliteit ... 37

5. Conclusie ... 39

5.1 Beantwoording onderzoeksvragen ... 39

5.1.1 Positieve bijdrage prestatiemeting aan cognitieve kwaliteit ... 39

5.1.2 Negatieve bijdrage prestatiemeting aan cognitieve kwaliteit ... 41

5.1.2 Positieve bijdrage prestatiemeting aan sociaal-emotionele kwaliteit ... 42

5.1.3 Negatieve bijdrage prestatiemeting aan sociaal-emotionele kwaliteit ... 43

5.2 Aanbevelingen ... 45

5.2.1 Cognitieve aanbevelingen ... 45

5.2.2 Sociaal-emotionele aanbevelingen ... 46

5.3 Beperkingen onderzoek en vervolgonderzoek ... 46

6. Literatuur ... 48

7. Bijlagen ... 52

7.1 Bijlage 1: interviewvragen ... 52

1

1. Introductie

“Het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) werkt aan een slim, vaardig en creatief Nederland. OCW wil dat iedereen goed onderwijs volgt en zich voorbereidt op zelfstandigheid en verantwoordelijkheid”.1

(Rijksoverheid, 2016)

Het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) geeft in dit speerpunt een korte omschrijving van haar doelstelling. Kwalitatief onderwijs is volgens het OCW cruciaal om mensen voor te bereiden op deelname aan de maatschappij. De eerste stap in dit proces ligt in het basisonderwijs, waarbij kinderen zich de basisvaardigheden en kennis eigen moeten maken op weg naar zelfstandigheid en verantwoordelijkheid. Om toe te zien op de kwaliteit van het basisonderwijs worden bij basisscholen steeds meer prestatiemetingen uitgevoerd (Biesta, 2012: 23). Bij deze metingen wordt de kwaliteit van het onderwijs grotendeels gemeten aan de hand van de ontwikkeling van leerlingen. Prestatiemetingen kunnen worden gezien als een belangrijk controlemiddel van de overheid om toe te zien op de kwaliteit van het (basis)onderwijs. Inzicht in de kwaliteit van basisscholen heeft daarnaast nog een andere belangrijke functie, namelijk de mogelijkheid tot verbetering (De Bruijn, 2001: 17). Prestatiemetingen in het basisonderwijs kunnen tevens bijdragen aan de motivatie en aan het verantwoordelijkheidsgevoel van leerkrachten (Ledoux et al. 2009: 158). Inzicht is dus niet alleen een doel op zich, maar ook een middel dat kan leiden tot kwaliteitsverbetering.

Prestatiemeting in het basisonderwijs blijkt ook problemen met zich mee te brengen. Allereerst blijkt het problematisch om alle belangrijke aspecten van het basisonderwijs te meten. Zoals vermeld, wordt de kwaliteit van het onderwijs deels gemeten aan de hand van de ontwikkeling van leerlingen. Hierbij wordt onderscheid gemaakt tussen twee

ontwikkelingsgebieden, namelijk het cognitieve -en het sociaal-emotionele

ontwikkelingsgebied (Driessen et al. 2005: 22). De sociaal-emotionele ontwikkeling van leerlingen betreft de ontwikkeling van sociale vaardigheden van leerlingen (inspectie van het onderwijs, 2013: 2). Hierbij kan worden gedacht aan zelfredzaamheid, zelfstandigheid, samenwerken en omgaan met emoties. De cognitieve ontwikkeling betreft de vakinhoudelijke kennis van leerlingen. Hierbij wordt gemeten hoe leerlingen zich ontwikkelen op het gebied van rekenen, taal en begrijpend lezen. De cognitieve ontwikkeling is door middel van toetsen

1 _{Zie: https://www.rijksoverheid.nl/ministeries/ministerie-van-onderwijs-cultuur-en-wetenschap} Gevonden op: 09-05-2016.

2 en cijfers relatief gemakkelijk in beeld te brengen. De sociaal-emotionele ontwikkeling is echter zeer subjectief van aard en kan daarom niet, of nauwelijks kwantitatief meetbaar gemaakt worden. Kaldeway en Bulterman-Bos (2013: 55) stellen dat prestatiemetingen in het basisonderwijs als een gevolg hiervan een sterke cognitieve focus hebben. De cognitieve focus bij prestatiemetingen kan de aandacht afleiden van de sociaal-emotionele ontwikkeling van leerlingen, terwijl ook dat ontwikkelingsgebied een belangrijk onderdeel is van het basisonderwijs.

De sterke drang om alles te meten kan de kwaliteit van het basisonderwijs ook op een andere wijze in gevaar brengen. Het afnemen van toetsen en metingen om de ontwikkeling van leerlingen inzichtelijk te maken vergt veel tijd (Ledoux et al. 2009: 159). Deze tijd kunnen leerkrachten ook direct steken in de onderwijzen van leerlingen. De kern van het basisonderwijs ligt in het overdragen van kennis en vaardigheden (Biesta, 2012: 30). Prestatiemetingen geven een belangrijk inzicht in de mate waarin een school hierin slaagt, maar deze metingen mogen niet ten koste gaan van de tijd die moet worden besteed aan het onderwijzen van leerlingen. Er moet dus een juiste balans worden gevonden tussen het werken aan ontwikkeling van leerlingen en het meten van ontwikkeling van leerlingen. Basisschoolleerkrachten geven momenteel aan dat de huidige prestatiemetingen zorgen voor een toenemende werkdruk (Ledoux et al. 2009: 183). Men kan zich afvragen of de huidige meetcultuur in het onderwijs die balans juist niet verstoort.

Prestatiemetingen in het basisonderwijs kunnen de kwaliteit van het onderwijs dus niet alleen positief beïnvloeden, maar ook negatief. In het rapport van de Inspectie van het Onderwijs (2013) over de staat van het onderwijs wordt nauwelijks stil gestaan bij de mate waarin de metingen bijdragen aan de kwaliteit van het basisonderwijs. Prestatiemetingen worden tegenwoordig primair gezien als een belangrijk middel om enerzijds inzicht te krijgen in de huidige kwaliteit van het onderwijs en anderzijds te zorgen voor kwaliteitsverbetering. Deze kijk op prestatiemeting in relatie tot onderwijskwaliteit wordt ook wel beschreven als: “goed onderwijs en de cultuur van het meten” (Biesta, 2012: 8). Hierbij wordt veel waarde gehecht aan de theoretische potentie van prestatiemetingen in relatie tot kwaliteit, maar tegelijkertijd wordt er nauwelijks aandacht geschonken aan de ontwikkelingen die zich in de praktijk voordoen. Hierbij kan ten eerste worden gedacht aan de sterke cognitieve focus. Ten tweede kan er als gevolg van de vele metingen een verstoorde balans ontstaan tussen enerzijds het werken aan ontwikkeling en anderzijds het controleren van de ontwikkeling.

3

1.1 Probleemstelling

Prestatiemetingen kunnen bijdragen aan de kwaliteit van het onderwijs (Inspectie van het onderwijs, 2013). Er kan echter ook worden vastgesteld dat in de huidige cultuur van prestatiemeting in het onderwijs een te eenzijdig beeld wordt geschetst over de kwaliteit van het onderwijs . We kunnen niet alle onderdelen van het basisonderwijs meten waardoor hetgeen we meten slechts een deel bedraagt van hetgeen we daadwerkelijk willen meten. Biesta (2012: 25) stelt in andere woorden dat we niet altijd meten wat we waarderen, maar dat we enkel waarderen wat we meten. Hierbij refereert hij indirect naar de cognitieve switch van Kaldeway en Bulterman-Bos (2013), die ten koste gaat van de sociaal-emotionele ontwikkeling. Daarnaast kan een gebrek aan onderwijstijd als gevolg van de vele prestatiemetingen ook de gehele ontwikkeling van leerlingen negatief beïnvloeden. De probleemstelling luidt daarom als volgt:

Prestatiemetingen in het Nederlandse basisonderwijs zijn te strek gefocust op de cognitieve ontwikkeling van leerlingen wat ten koste kan gaan van de sociaal-emotionele ontwikkeling van leerlingen en vormen een te eenzijdig beeld over de kwaliteit van het basisonderwijs. Daarnaast kosten de vele prestatiemetingen veel tijd, die niet kan worden besteed aan de ontwikkeling van leerlingen. Ook dit kan de kwaliteit van het basisonderwijs negatief beïnvloeden.

1.2 Onderzoeksvragen

Uit de introductie kan worden opgemaakt dat prestatiemetingen niet alleen inzicht geven in de kwaliteit van het Nederlandse basisonderwijs, maar dat ze ook zeker een bijdrage leveren aan de kwaliteit. Er kan echter ook worden beargumenteerd dat prestatiemetingen de kwaliteit van het basisonderwijs in potentie kunnen verminderen. In dit onderzoek zal de bijdrage van prestatiemeting op de kwaliteit van het basisonderwijs worden onderzocht. De hoofdvraag luidt als volgt:

 In hoeverre draagt prestatiemeting in het basisonderwijs bij aan de kwaliteit van het basisonderwijs?

Om de hoofdvraag te kunnen beantwoorden wordt eerst gekeken naar de bestaande literatuur. Aan de hand van een literatuurstudie zal de huidige kennis die relevant is voor dit onderzoek worden besproken. In dit onderdeel zal tevens de theoretische basis worden gelegd voor de

4 rest van het onderzoek. De literatuurstudie zal antwoord geven op de volgende drie theoretische deelvragen:

1. Wat houdt het concept prestatiemeting in?

2. Wat houdt de kwaliteit van het basisonderwijs in?

3. Welke relatie bestaat er tussen prestatiemeting en kwaliteit van onderwijs?

In het empirische onderdeel van het onderzoek zal worden getracht de bestaande kennis over de relatie tussen prestatiemeting en onderwijskwaliteit uit te breiden met nieuwe inzichten. Aan de hand van de volgende empirische deelvragen wordt de relatie tussen deze twee kernbegrippen bestudeerd:

1. In hoeverre dragen prestatiemetingen bij aan de cognitieve kwaliteit van het basisonderwijs?

2. In hoeverre dragen prestatiemetingen bij aan de sociaal-emotionele kwaliteit van het basisonderwijs?

1.3 Relevantie

De kwaliteit van het basisonderwijs is uiteraard van maatschappelijk belang. Het basisonderwijs biedt kinderen de kans om zich te ontwikkelen in de breedste zin van het woord. Er wordt daarnaast jaarlijks veel geld geïnvesteerd in het basisonderwijs, zonder dat een objectief beeld kan worden geschetst van het directe resultaat hiervan. Prestatiemetingen zijn opgesteld om inzicht te krijgen in de kwaliteit van het onderwijs. Dit inzicht in de kwaliteit van de verschillende basisscholen is niet alleen van belang voor de overheid, maar ook voor ouders die de meest geschikte school zoeken voor hun kind. Elk kind heeft onderwijs nodig om later een bijdrage te kunnen leveren aan de maatschappij. Het basisonderwijs kan worden gezien als de eerste stap op weg hier naar toe en zoals het spreekwoord luidt: “de eerste klap is een daalder waard”!

Prestatiemeting is een bekend begrip in de wetenschappelijke literatuur. Metingen kunnen leiden tot openheid in resultaat en zijn een belangrijke eerste stap op weg naar leren, innoveren en uiteindelijk kwaliteitsverbetering (Biesta, 2012: 24; De Bruijn, 2001: 17; Ledoux et al. 2009: 51). De mate waarin prestatiemeting bijdraagt aan kwaliteit heeft ook te maken met de meetbaarheid van de doelstelling en de tijd die het kost om de metingen uit te voeren (Ledoux et al. 2009: 159). Het focussen op de meetbare kwaliteitsaspecten van een

5 organisatie kan ten koste gaan van de niet meetbare kwaliteitsaspecten. Daarnaast mogen metingen nooit een doel op zich zijn. Het gevaar ligt op de loer dat metingen een te prominent onderdeel gaan uitmaken van de agenda van professionals. Kennis over de mogelijke voordelen en nadelen van prestatiemetingen is tegenwoordig voorhanden, maar een verder inzicht in de mate waarin de juiste balans kan worden gevonden bij de uitvoering van prestatiemetingen ontbreekt nog grotendeels. De meeste onderzoekers hebben zich namelijk gericht op de theoretische potentie van prestatiemetingen (Biesta, 2012; Bouckaert 2006; De Bruijn 2001). Het is daarom nu van belang dat er meer vanuit de praktijk wordt gekeken naar zowel de positieve, als negatieve effecten van prestatiemetingen op de kwaliteit van het basisonderwijs.

6

2. Theoretisch kader

In het theoretisch kader zullen de verschillende begrippen die belangrijk zijn bij de verdere uitvoering van het onderzoek worden besproken. De twee centrale begrippen zijn prestatiemeting en kwaliteit, maar deze staan niet op zichzelf. Daarom zal eerst aandacht worden besteed aan de context waar deze begrippen uit voortkomen. Zodoende kan een beeld worden geschetst van het grotere geheel waarbinnen dit onderzoek valt. Vervolgens zullen de begrippen prestatiemeting en kwaliteit verder worden geanalyseerd aan de hand van de literatuur. Hierbij zullen de begrippen niet alleen worden gedefinieerd, maar er zal ook aandacht worden geschonken aan de toepassing ervan en de relatie ertussen.

2.1 New Public Management

De opkomst van prestatiemeting in de publieke en semipublieke sector kan worden gezien als een onderdeel van New Public Management (NPM). De term NPM refereert aan een verandering van de traditionele manier van publiek bestuur naar nieuwere bestuurlijke methoden(Gray en Jenkins, 1995: 76). Deze verandering is ingezet vanaf de jaren zeventig, aangezien de overheid niet afdoende kon anticiperen op de steeds sneller veranderende maatschappij en gebrekkig was in termen van efficiëntie (Gray & Jenkins, 1995; Osborne, 1993). Traditioneel publiek bestuur wordt gekenmerkt door een bureaucratische overheid die opereert aan de hand van opgestelde procedures en regels om zodoende publieke diensten op een verantwoorde manier te kunnen leveren (Dunleavy & Hood, 1994: 9). Deze vorm van bestuur leidde tot een groeiende overheid in de jaren zestig en zeventig. Hood (1991) beschrijft hoe de kritiek op de groeiende overheid onder andere heeft gezorgd voor de opkomst van het NPM. Naast de groeiende overheid zijn er nog drie ontwikkelingen die gelinkt kunnen worden met de opkomst van het NPM: Overheidsorganisaties functioneerden niet naar behoren, technologische ontwikkelingen maakten verandering noodzakelijk en Internationalisering van de politieke agenda (Hood, 1991: 3).

NPM kan worden beschreven als het samenvattende concept dat de gevoerde publieke reorganisaties en veranderingen in de publieke sector beschrijft (Dunleavy & Hood, 1994: 9). In de regel wordt er hierbij een sterke nadruk gelegd op de introductie van private methoden bij publieke organisaties. Prestatiemeting is een voorbeeld van een private methode die werd overgenomen in publieke en semipublieke organisaties. Osborne (1993: 352-355) beschrijft NPM aan de hand van zes private principes waar een overheid zich op moet focussen: sturen in plaats van roeien, competitie, doelgerichtheid, resultaatgerichtheid, klantgerichtheid en ondernemerschap. Deze principes komen allemaal voort uit het bedrijfsleven, maar worden

7 onder invloed van het NPM ook onderdeel van de publieke en semi publieke sector. Volgens de gedachte van het NPM kunnen publieke organisaties succesvolle methoden en principes overnemen van de private sector om de publieke dienstverlening te verbeteren (Boyne, 2002: 97). Ondanks dat er nog op uiteenlopende manieren wordt aangekeken tegen wat NPM precies is, komt het begrip bedrijfsmatigheid veelvuldig terug. Publieke managers kunnen veel leren van private managers en hun private managementmethoden. Volgens de gedachte van het NPM kunnen deze private managementmethoden bijdragen aan verbeteringen in de publieke sector. Dit geldt ook voor het onderwijs. Hierbij is het wel van belang dat de verschillen tussen beide sectoren niet uit het oog worden verloren (Boyne, 2002: 98).

Over de precieze effecten van NPM bestaat nog veel onduidelijkheid. NPM kan de effectiviteit, efficiëntie en de kwaliteit van de publieke sector verbeteren (Osborne, 1993: 351), maar er wordt ook nog de nodige kritiek geuit over de toegevoegde waarde van NPM (Dunleavy & Hood, 1994; Kaboolian, 1998). Een bekend punt van kritiek op NPM betreft de vraag in welke mate NPM nu echt heeft gezorgd voor vernieuwing. Kaboolian (1998: 189) beschrijft NPM als “oude wijn in een nieuwe zak”. NPM heeft wellicht geleid tot nieuwe gedachten over de rol van de overheid binnen de samenleving, maar het blijft onduidelijk in hoeverre dit daadwerkelijk heeft geleid tot een nieuwe invulling van de overheid. Daarnaast kan NPM zorgen voor corruptie, een gebrek aan (centrale) controle en het biedt geen oplossing voor de kerndilemma’s van publiek bestuur (Dunleavy & Hood, 1994: 10-13). Ondanks de kritiek op het NPM kan worden gesteld dat de invloeden ervan mondiaal zichtbaar zijn. Deze invloeden zijn niet alleen maar zichtbaar in publieke organisaties die steeds meer gebruik maken van private methoden, maar ook in aanbestedingen, uitbestedingen en privatiseringen. In dit onderzoek zal een focus worden gelegd op prestatiemeting als private methode in het basisonderwijs.

2.2 Prestatiemeting

Prestatiemeting in de publieke sector kan worden gezien als een onderdeel van NPM. De toegenomen focus op de prestaties van publieke organisaties past binnen het principe van de resultaatgeoriënteerde overheid van Osborne (1993: 353-354). Ook Bouckaert (2006: 237) stelt dat moderne overheden zich vanaf de jaren negentig in toegenomen mate richten op de concepten prestatie en prestatiemeting. Een centraal onderdeel van het begrip prestatiemeting betreft het begrip ‘prestatie’. Bouckaert (2006: 241) omschrijft het concept prestatie als acties van individuen of organisaties die in verband staan met de opgestelde doelstellingen. Talbot (1999: 17) stelt daarnaast dat prestaties van ambtenaren en overheidsorganisaties direct van

8 invloed zijn op het functioneren van een overheid. Prestaties zijn als gevolg van deze inzichten van toegenomen belang geworden in de afgelopen decennia. Dit alles sluit naadloos aan bij de resultaatgeoriënteerde overheid van Osborne (1993).

2.2.1 Definitie prestatiemeting

Door de toegenomen aandacht voor prestaties komt het begrip prestatiemeting niet uit de lucht vallen. Het belang van prestatiemeting wordt daarnaast nog verhoogd door de potentiele kwaliteitsverbetering die het als gevolg heeft (Biesta, 2012: 24; De Bruijn, 2001: 17; Ledoux et al. 2009: 51). De Bruin (2001: 15) stelt dat prestaties kunnen worden gemeten aan de hand van prestatie-indicatoren, die vooraf moeten worden vastgesteld. In zijn beschrijving schetst de Bruijn (2001) een behapbaar beeld van wat prestatiemeting ongeveer inhoudt. Het concept prestatiemeting is echter wel complexer en kan op meerdere manieren worden gedefinieerd. Thomas (2004: 2) beschrijft prestatiemeting aan de hand van drie onderdelen: de inputs, de outputs en de outcomes. Prestaties (outputs) staan altijd in relatie met de middelen (inputs) en de effecten (outcomes). Prestatiemeting kan daarom als volgt worden beschreven:

“Developing measures to track inputs (the combination of money, staff, materials and other resources), outputs (the goals, services and activities produced) and outcomes (the actual impacts of policies and programs within society)”.

(Thomas, 2004: 2).

Deze brede definitie van prestatiemeting geeft een zeer compleet beeld van prestatiemeting, aangezien de verschillende belangrijke aspecten worden meegenomen in de definitie. Centraal hierbij staat de gedachte dat er een relatie bestaat tussen de prestaties van individuen en organisaties enerzijds en het resultaat anderzijds.

2.2.2 Voordelen prestatiemeting

Sinds de jaren negentig is de vraag naar prestatiemeting toegenomen, aangezien het vanuit de overheid werd gezien als een toverformule voor verbetering (Bouckaert, 2006: 238). De Bruijn (2001: 15-20) beschrijft de zes belangrijkste voordelen van prestatiemeting: Prestatiemeting bevordert inzicht in resultaat, stimuleert innovatie , beloont prestaties, voorkomt bureaucratie, stimuleert leren en bevordert de kwaliteit van beleid. Inzicht in resultaat is het eerste en meest voor de hand liggende voordeel van prestatiemeting. Dit inzicht levert misschien geen directe kwaliteitsverbetering op, maar het is wel een belangrijke

9 voorwaarde voor leren en innoveren. Doordat duidelijk wordt wat er goed en minder goed gaat kan een organisatie zich doelgericht aanpassen om verbetering te realiseren (Ledoux et al. 2009: 58). Leren duidt hierbij op bewustwording van wat nodig is om kwaliteit te leveren en innoveren duidt op het daadwerkelijk doorvoeren van die verbeteringen. Daarnaast worden goede prestaties beloond, omdat goed presterende organisaties zich door de openheid kunnen onderscheiden van minder goed presterende organisaties. Inzicht in resultaat, de mogelijkheid tot leren, innovatie en de beloning van prestaties zijn belangrijke voordelen van prestatiemetingen die ook in het basisonderwijs kunnen leiden tot kwaliteitsverbetering.

2.2.3 Nadelen prestatiemeting

Er kleven echter ook nadelen aan prestatiemetingen, want prestatiemeting in de publieke sector blijkt in meerdere opzichten problematisch. Allereerst hebben de nadelen betrekking op problemen bij de implementatie van prestatiemetingen. Het is voor publieke organisaties, in tegenstelling tot de meeste private organisaties, lastig om te meten of doelstellingen zijn behaald. Publieke doelstellingen zijn in veel gevallen lastig meetbaar aangezien ze betrekking hebben op vage concepten zoals: veiligheid, vrijheid, kwaliteit en gezondheid. De precieze inhoud van de doelstellingen is daarnaast ook nog veranderlijk, aangezien ze afhankelijk zijn van de individuele perceptie. De Bruijn (2006) geeft een overzicht van mogelijke problemen bij prestatiemeting in de publieke en semi publieke sector. Prestatiemetingen functioneren niet indien er sprake is van: Conflicterende waarden binnen de doelstelling, Meerdere factoren en/of actoren invloed hebben op het resultaat, Onbekende causaliteiten, Een gebrek aan goede prestatie indicatoren (De Bruijn, 2001: 25-28). Conflicterende waarden binnen doelstellingen ontstaan wanneer specifieke doelstellingen binnen de organisatie elkaar tegen spreken. De Bruijn (2001: 11) gebruikt hierbij het voorbeeld van een gerechtshof dat enerzijds snel een vonnis moet kunnen geven, terwijl dit vonnis anderzijds wel goed afgewogen moet worden. Wanneer externe factoren invloed hebben op het resultaat van een organisatie, kan een organisatie niet volledig verantwoordelijk worden gesteld voor het geleverde eindresultaat. Daarnaast is het in sommige gevallen lastig om te bepalen wat het effect van een bepaalde inspanning op het resultaat is. De Bruijn (2001: 12) heeft het hierbij over een onbekende causaliteit. Het laatste probleem met betrekking tot een succesvolle implementatie van prestatiemeting doet zich voor wanneer er geen goede indicatoren zijn om doelstellingen te meten.

Naast implementatieproblemen, kunnen prestatiemetingen ook leiden tot perverse effecten. Hierbij kan worden gedacht aan strategisch gedrag bij professionals, of

10 organisaties, verhulling van de daadwerkelijk geleverde prestaties, vermindering van ambities, vermindering van innovatie (De Bruijn, 2001: 31-43). Wanneer metingen slechts een kleine indicatie geven van het algehele doel van een organisatie dan kunnen prestatiemetingen een scheef beeld geven over het algehele doel van een organisatie (verhulling). Als organisaties, of professionals binnen die organisaties zich vervolgens primair gaan richten op de metingen in plaats van op de eigenlijke doelstellingen, dan kan prestatiemeting zelfs ook negatieve gevolgen hebben voor het functioneren van een organisatie. In dit laatste geval wordt doorgaans gesproken over strategisch gedrag.

Al deze nadelen laten duidelijk zien dat prestatiemeting geen toverformule is die altijd leidt tot continue verbeteringen. Bij het invoeren van prestatiemetingen moet men zich daarom altijd bewust zijn van de mogelijke nadelen die op kunnen spelen in de specifieke context en sector van de organisatie. Er moet een juiste balans worden gevonden die leidt tot meer positieve, dan negatieve effecten.

2.3 Kwaliteit

“I think there is such a thing as quality but that as soon as you try to define it, something goes haywire. You can't do it.”

(Pirsig, 1974: 184).

De betekenis van het woord “kwaliteit” is niet eenduidig, aangezien het wordt beïnvloed door de individuele perceptie (Alexander, 2008; Adams, 1993). Daarnaast is het concept kwaliteit normatief van aard, wat vaak leidt tot vage beschrijvingen in plaats van een duidelijke omschrijving (Adams, 1993: 6). Men heeft het in de praktijk weliswaar vaak over kwaliteit, maar het geven van een precieze definitie blijk nagenoeg onmogelijk. Er wordt daarom vaak per onderwerp gekeken naar hoe er invulling kan worden gegeven aan het begrip kwaliteit.

2.3.1 Kwaliteit basisonderwijs

Zonder een helder beeld van de betekenis onderwijskwaliteit is het niet mogelijk om de kwaliteit van het basisonderwijs te meten. Er kan op veel manieren naar onderwijskwaliteit worden gekeken en er bestaat geen eenduidige definitie van onderwijskwaliteit. Bij een onderzoek naar onderwijskwaliteit is het daarom van belang dat er een duidelijk beeld wordt geschetst van de invulling die aan het begrip wordt gegeven. Biesta (2012: 15) stelt dat er bij de zoektocht naar onderwijskwaliteit te weinig wordt gekeken naar het doel van het onderwijs en te veel wordt gekeken naar termen zoals efficiëntie en verantwoordelijkheid. Om een beeld

11 te krijgen van onderwijskwaliteit moet men zich voornamelijk afvragen wat het doel is van het basisonderwijs (Biesta, 2012). De Inspectie van het Onderwijs (2009) geeft in het kernkader van het primair onderwijs een overzicht de doelen. Dit rapport zal daarom worden gebruikt om invulling te geven aan het concept onderwijskwaliteit.

De inspectie van het onderwijs (2009) geeft in het kernkader van het primair onderwijs een beeld van wat er onder de kwaliteit van het Nederlandse basisonderwijs wordt verstaan. In het kernkader wordt onderscheid gemaakt tussen twee centrale dimensies die de kwaliteit van het basisonderwijs bepalen, namelijk de cognitieve en de sociaal-emotionele dimensie. De cognitieve dimensie betreft de vakinhoudelijke kwaliteit van het onderwijs. Hierbij gaat het om de leervaardigheden binnen het basisonderwijs, die onder andere zijn terug te vinden in de vakken: rekenen, taal en begrijpend lezen. De sociaal-emotionele dimensie is iets complexer en behoeft enige uitleg. In het kernkader van het primair onderwijs wordt de volgende definitie gegeven:

“Onder sociale competenties wordt verstaan: sociaal-emotionele ontwikkeling (zelfbeeld, zelfstandigheid, regulering van emoties, etc.), sociale vaardigheden (samenwerken, zelfredzaamheid, omgaan met conflicten, etc.) en houdingen/vaardigheden om in uiteenlopende situaties succesvol te functioneren (zelfsturing, omgaan met verschillen, democratisch handelen, sociale en maatschappelijke verantwoordelijkheid, moreel kunnen oordelen, etc.)”

(Inspectie van het onderwijs, 2009: 2).

Beide dimensies moeten de basisschoolleerlingen voorbereiden op de vervolgopleiding en later ook op deelname aan de maatschappij. Deze voorbereiding kan worden gezien als de kerntaak van het basisonderwijs. De kwaliteit van een basisschool hangt daarom ook nauw samen met beide dimensies. De Inspectie van het onderwijs stelt dat scholen er alles aan moeten doen om ervoor te zorgen dat leerlingen zich naar hun eigen mogelijkheden ontwikkelen (Inspectie van het onderwijs, 2009: 9). De mate waarin scholen hierin slagen bepaalt vervolgens de kwaliteit van de school. Wel moet worden benadrukt dat scholen hierbij vaak afhankelijk zijn van externe factoren die van invloed zijn op de ontwikkeling van leerlingen.

12

2.3.2 Kwaliteitsfactoren

Prestatiemeting is niet de enige factor die invloed heeft op de kwaliteit van het basisonderwijs. Wanneer wordt gekeken naar de kwaliteitsfactoren van het basisonderwijs, dan is het belangrijk dat er onderscheid wordt gemaakt tussen de interne en externe ontwikkelingsfactoren van leerlingen. Interne ontwikkelingsfactoren liggen binnen de invloedsfeer van een school en kunnen een indicatie geven over de kwaliteit van een school. Bij de interne factoren kan worden gedacht aan materiële factoren, zoals het schoolgebouw en lesmaterialen, maar het functioneren van de leerkrachten staat hierbij echt centraal (Inspectie van het onderwijs, 2013: 238-241). Op externe ontwikkelingsfactoren heeft een school niet, of nauwelijks invloed. Hierbij kan worden gedacht aan de invloed van de ouders en de omgeving op de ontwikkeling van leerlingen, maar ook aan de capaciteiten van leerlingen. De kwaliteit van een basisschool moet daarom worden gemeten aan de hand van de factoren waar de school wel invloed op heeft. Bij het analyseren van de ontwikkeling van leerlingen moet daarom ook aandacht worden geschonken aan ongelijkheid tussen basisscholen (Scheerens, 2013: 11; Ledoux et al. 2009: 88). Scholen hebben geen invloed op de sociale achtergronden en de capaciteiten van leerlingen (externe factoren). De verschillen tussen basisscholen mogen nooit uit het oog worden verloren.

Samengevat kan worden gesteld dat zowel interne, als externe factoren invloed hebben op de ontwikkeling van leerlingen. Wanneer het specifiek gaat over de kwaliteit van een basisschool, dan moet er echter alleen worden gekeken naar de interne ontwikkelingsfactoren. Scholen mogen namelijk niet afgerekend worden op factoren waar ze geen invloed op hebben. De belangrijkste interne ontwikkelingsfactor is de leerkracht (Inspectie van het onderwijs, 2013: 238-241).

2.4 Prestatiemeting in relatie tot kwaliteit

In eerdere alinea’s is benadrukt dat prestatiemetingen in het algemeen kunnen leiden tot kwaliteitsverbetering. Kwaliteitsverbetering kan zowel betrekking hebben op de cognitieve kwaliteit, als op de sociaal-emotionele kwaliteit. Beide kwaliteitsdimensies moeten daarom apart worden besproken.

2.4.1 Prestatiemeting en de cognitieve kwaliteit

De cognitieve kwaliteit van het basisonderwijs wordt op twee manieren gemeten, direct en indirect. De meeste aandacht gaat uit naar indirecte prestatiemetingen, zoals cito-scores van leerlingen (Biesta, 2012: 9). Hierbij wordt de cognitieve ontwikkeling van leerlingen gezien als de belangrijkste indicator voor de kwaliteit van het onderwijs. Voorbeelden van cognitieve

13 indirecte prestatiemetingen van scholen en docenten zijn de uitkomsten van het leerlingvolgsysteem (LVS), die onder andere worden aangeboden door Cito-LOVS en ParnasSys2. In het LVS worden de leerprestaties van leerlingen over een langere periode inzichtelijk gemaakt.

Bij visitaties worden directe prestatiemetingen verricht en wordt ter plaatse gekeken naar het functioneren van leerkrachten, door het schoolbestuur, of door vertegenwoordigers van de inspectie van het onderwijs. Visitaties worden gezien als een belangrijk instrument dat nodig is om publieke verantwoording af te leggen voor het functioneren van publieke en semipublieke organisaties (Bovens & Schillemans, 2009: 2). In dit onderzoek zal de nadruk echter worden gelegd op de indirecte prestatiemetingen, aangezien deze objectiever van aard en landelijk te vergelijken zijn. De uitkomsten van visitaties zijn namelijk afhankelijk van de beoordelaar. In dit onderzoek wordt de kwaliteit van het basisonderwijs gekoppeld aan de ontwikkeling van leerlingen. Alleen indirecte prestatiemeting geeft daar een beeld van.

De positieve effecten van (indirecte) prestatiemeting op de cognitieve kwaliteit van het basisonderwijs worden door de inspectie van het onderwijs (2013) niet genoemd in het rapport over de staat van het onderwijs. De Inspectie van het Onderwijs (2013) geeft in haar rapport alleen openheid over de cognitieve prestaties van basisscholen om zodoende aan te geven welke scholen zich binnen deze dimensie kunnen verbeteren. Hierbij is voornamelijk gekeken naar uitkomsten van gerenommeerde toetsen, zoals de Cito-toets. Alle basisscholen die in 2008 werden ingedeeld in de categorie “zeer zwak” konden zich, mede door deze openheid, verbeteren tot de categorieën “zwak”, of “basis” in september 2012 (Inspectie van het onderwijs, 2013: 38). De eventuele bijdrage van prestatiemetingen aan deze verbetering wordt niet benoemd door de Inspectie van het Onderwijs. Ledoux et al. (2009) richten zich als één van de eersten op de bijdrage van prestatiemetingen op de onderwijskwaliteit van basisscholen. De positieve bijdragen van prestatiemetingen worden als volgt beschreven:

“de gerichte aandacht voor prestaties, het nauwgezet volgen van de ontwikkeling van de leerlingen en het daarop afstemmen van het onderwijs, maken dat de leerkrachten meer greep hebben op hun onderwijs en bewustere keuzes maken in de leerstof en methodelessen.”

(Ledoux et al. 2009: 158).

2 _{Informatie gevonden op: http://wij-leren.nl/leerlingvolgsysteem.php} (bezocht op: 04-05-2016).

14 Ondanks dat het hebben van “meer grip” en het maken van bewustere keuzes nog enigszins vaag blijft, geeft dit citaat wel een eerste impressie over de bijdrage van metingen op de cognitieve kwaliteit van het basisonderwijs. Leerkrachten worden doelbewuster door toedoen van prestatiemetingen en zullen als gevolg hiervan betere keuzes maken. Daarnaast kunnen prestatiemetingen zorgen voor zowel een toegenomen gevoel van verantwoordelijkheid bij leerkrachten, als voor extra motivatie van leerkrachten (Ledoux et al. 2009: 158). Motivatie kan worden gezien als een cruciale factor bij het functioneren van professionals (Van Knippenberg, 2000: 364). Samengevat kan worden gesteld dat prestatiemetingen kunnen

bijdragen aan de cognitieve kwaliteit door een verhoging van het

verantwoordelijkheidsgevoel, het doelbewustzijn en de motivatie van leerkrachten (Ledoux et al. 2009: 158). In de ontstaande figuur (2.1) zijn de positieve gevolgen van prestatiemetingen op de cognitieve kwaliteit in beeld gebracht.

Figuur 2.1 (positieve bijdrage cognitieve kwaliteit)

Tegenover de drie positieve effecten van prestatiemeting op de cognitieve kwaliteit van het basisonderwijs staan drie negatieve effecten. Allereerst kunnen de vele toetsen ten koste gaan van de onderwijstijd. Basisscholen en leerkrachten kunnen, door de noodzaak van prestatiemeting, niet meer voldoende tijd besteden aan het onderwijzen (Ledoux et al. 2009: 178). Dit kan de kwaliteit van het basisonderwijs zeer negatief beïnvloeden. In het empirische onderzoek van Ledoux et al. (2009) wordt tijdgebrek door scholen aangekaart als het grootste probleem bij prestatiemeting. Daarnaast werken prestatiemetingen in het basisonderwijs strategisch gedrag in de hand (Ledoux et al. 2009: 165). Basisscholen kunnen hierbij de ontwikkeling van leerlingen ondergeschikt stellen aan de resultaten van toetsen. Door heel veel met leerlingen te oefenen op het maken van toetsen, geeft de uitkomst van een meting steeds minder informatie over de daadwerkelijk ontwikkeling van een leerling. De uitkomst van een toets laat dan alleen zien dat een kind getraind is op het maken van die specifieke toets. Hierbij wordt gesproken over “teaching to the test” (Ledoux et al. 2009: 176). Een

15 meting verliest zijn waarde als indicator, maar nog belangrijk is dat een school veel waardevolle onderwijstijd besteedt aan de verkeerde bezigheden.

Ten slotte kunnen prestatiemetingen zorgen voor demotivatie bij leerkrachten. Dit gebeurt wanneer leerkrachten volledig worden afgerekend op de prestaties van leerlingen, zonder stil te staan bij mogelijke externe factoren (Scheerens, 2013: 11). In dat geval wordt er gesproken van een afrekencultuur (Ledoux et al. 2009: 178). De mate waarin demotivatie van leerkrachten de onderwijskwaliteit negatief beïnvloedt, is nog niet duidelijk, maar motivatie is in ieder geval zeer belangrijk voor het functioneren van professionals (Van Knippenberg, 2000: 364). In figuur 2.2 zijn de negatieve gevolgen van prestatiemetingen op de cognitieve kwaliteit in beeld gebracht.

Figuur 2.2 (negatieve bijdrage cognitieve kwaliteit)

Prestatiemetingen kunnen zowel een positieve, als een negatieve bijdrage leveren aan de cognitieve kwaliteit van het basisonderwijs. Op grond van de huidige kennis is het niet mogelijk om precies aan te geven of de uiteindelijke bijdrage positief, of negatief uitvalt. De cijfers van de inspectie van het onderwijs (2013) geven wellicht een kwaliteitsverbetering aan, maar dit zegt niets over de rol die prestatiemetingen hierin hebben gespeeld. Verder onderzoek is hiervoor gewenst.

2.4.2 Prestatiemeting en de sociaal-emotionele kwaliteit

De relatie tussen prestatiemeting en de sociaal-emotionele kwaliteit van het basisonderwijs verschilt duidelijk ten opzichte van het cognitieve onderdeel. Er moet bij het effect van prestatiemeting op de sociaal-emotionele kwaliteit van het basisonderwijs onderscheid gemaakt worden tussen twee vormen van prestatiemeting. Enerzijds zal worden gekeken naar de relatie tussen sociaal-emotionele prestatiemetingen en de sociaal-emotionele kwaliteit, anderzijds zal worden gekeken naar het effect van cognitieve prestatiemetingen op de sociaal-emotionele kwaliteit van het basisonderwijs.

16 om de sociaal-emotionele ontwikkeling van leerlingen in kaart te brengen. Voorbeelden van methoden die hiervoor worden gebruikt zijn: Seeing Me, Loogin en ZIEN3. Bij deze metingen moeten zowel leerkrachten, als leerlingen vragen invullen die betrekking hebben op de belangrijkste aspecten van de sociaal-emotionele ontwikkeling van de leerlingen. Hierbij kan worden gedacht aan vragen over omgaan met conflicten, zelfredzaamheid en het democratisch handelen van leerlingen. De uitkomst van deze metingen geven een indicatie over de sociaal-emotionele ontwikkeling van een leerling. Deze uitkomsten worden door de Inspectie van het onderwijs geanalyseerd, maar veel minder uitgebreid dan de uitkomsten van de cognitieve prestaties van basisscholen. De inspectie van het onderwijs (2013) geeft in het rapport over de staat van het onderwijs slechts een korte en zeer algemene beschrijving over de sociaal-emotionele prestaties van basisscholen.

“Sociale competenties • Op de meeste scholen zijn de sociale competenties niet te beoordelen, omdat gegevens uit landelijk genormeerde instrumenten ontbreken. De oordelen van 2011/2012 zijn vergelijkbaar met die van eerdere schooljaren (tabel 1.2a). Recent onderzoek onder leerlingen in groep 8 laat zien dat het sociaal functioneren van het overgrote deel van de leerlingen geen aanleiding geeft tot bezorgdheid”.

(Inspectie van het onderwijs, 2013: 42).

Momenteel is er dus nog geen overzicht hoe basisschoolleerlingen zich landelijk gezien ontwikkelen op sociaal-emotioneel niveau. In de bestudeerde wetenschappelijke literatuur over de relatie tussen prestatiemeting en kwaliteit (Biesta, 2012; Kaldeway & Bulterman-Bos, 2013; Ledoux et al. 2009; Scheerens, 2013) is er nauwelijks stilgestaan bij de sociaal-emotionele kwaliteit. Dit komt mede doordat de sociaal-sociaal-emotionele meetmethoden (Seeing Me, Loogin en ZIEN) nog relatief nieuw zijn. Daarnaast zorgt de grote mate van subjectiviteit binnen deze dimensie voor een beperkte generaliseerbaarheid. De Inspectie van het Onderwijs (2013) stelt simpelweg dat er, afgaande op de huidige inzichten, geen reden voor bezorgdheid hoeft te zijn over de sociaal-emotionele ontwikkeling van basisschool leerlingen. Over de bijdrage van sociaal-emotionele prestatiemetingen op de sociaal-emotionele kwaliteit van het basisonderwijs bestaat momenteel nog veel onduidelijkheid.

3

Informatie gevonden op: http://wij-leren.nl/leerlingvolgsysteem.php en

http://www.zienvooronderwijs.nl/nieuws_primair_onderwijs (bezocht op: 04-05-2016).

17 Het verband tussen cognitieve prestatiemeting en de sociaal-emotionele kwaliteit van het basisonderwijs komt wel naar voren in de literatuur. Hierbij wordt vooral aandacht besteed aan de dominante cognitieve focus, die ten koste kan gaan van de sociaal-emotionele kwaliteit van het basisonderwijs (Biesta, 2012; Kaldeway & Bulterman-Bos, 2013). Om metingen daadwerkelijk te laten bijdragen aan de kwaliteit van het onderwijs, is het belangrijk om eerst te kijken wat het doel van onderwijs eigenlijk is (Biesta, 2012: 27). Wanneer de metingen niet volledig aansluiten bij het doel van het onderwijs, dan kunnen kwaliteitsindicatoren worden verward met de daadwerkelijke onderwijskwaliteit (Biesta, 2012: 25). In het onderwijs is de focus komen te liggen op het cognitieve (meetbare) onderdeel van kwaliteit, wat ten koste gaat van de creatieve en sociale ontwikkeling van leerlingen (Kaldeway & Bulterman-Bos, 2013: 55). Deze focus kan worden gezien als een logisch gevolg van het eenzijdige beeld dat wordt geschetst door de Inspectie van het Onderwijs. In het rapport over de staat van het onderwijs worden scholen alleen afgerekend op de cognitieve ontwikkeling en wordt de sociaal-emotionele ontwikkeling nauwelijks teruggekoppeld (Inspectie van het Onderwijs, 2013). De Inspectie moedigt basisscholen zodoende aan om de cognitieve kwaliteit boven de sociaal-emotionele kwaliteit te zetten, terwijl niets er op wijst dat het ene ontwikkelingsgebied belangrijker is dan het andere. Op grond van deze informatie komt de relatie tussen prestatiemeting en onderwijskwaliteit in een negatief daglicht te staan. Er moet wel worden vermeld dat deze kritiek (Biesta, 2012; Kaldeway & Bulterman-Bos, 2013) niet is gebaseerd op empirisch onderzoek, maar enkel berust op theoretische onderbouwingen.

Samengevat kan op basis van de theorie worden vastgesteld dat het effect van prestatiemetingen op de sociaal-emotionele kwaliteit van het basisonderwijs nog zeer onduidelijk is. De bijdrage van sociaal-emotionele metingen op de sociaal-emotionele kwaliteit van het onderwijs is niet in kaart gebracht. De cognitieve metingen zorgen voor een potentiele negatieve bijdrage aan de sociaal-emotionele kwaliteit, aangezien basisscholen nagenoeg alleen worden afgerekend op de cognitieve ontwikkeling. Het gevaar ligt op de loer dat scholen de sociaal-emotionele kwaliteit ondergeschikt gaan stellen aan de cognitieve kwaliteit. Het is onduidelijk in welke mate dit het geval is.

2.5 Conclusie

Over het effect van prestatiemeting op de cognitieve onderwijskwaliteit is veel informatie terug te vinden in de bestudeerde literatuur (Biesta, 2012; Ledoux et al. 2009). Prestatiemetingen kunnen positief bijdragen aan de cognitieve kwaliteit doordat leerkrachten

18 bewustere keuzes kunnen maken. Daarnaast kunnen prestatiemetingen leiden tot een verhoging van het verantwoordelijkheidsgevoel en motivatie van een leerkracht (Ledoux et al. 2009: 158). Tegelijkertijd kunnen prestatiemetingen de cognitieve kwaliteit ook in gevaar brengen door tijdgebrek, strategisch gedrag en demotivatie. Het is nog niet geheel duidelijk in welke mate de positieve gevolgen van prestatiemeting opwegen tegen negatieve de gevolgen. Er bestaat nog meer onduidelijkheid wanneer het gaat om de sociaal-emotionele kwaliteit in relatie tot prestatiemeting. De sociaal-emotionele ontwikkeling is subjectief en kan daarom niet gemakkelijk cijfermatig worden weergegeven. Toch wordt de sociaal-emotionele ontwikkeling door middel van nieuwe metingen (Seeing Me, Loogin en ZIEN) steeds vaker gevolgd. Op basis van de bestudeerde literatuur (Biesta, 2012; Kaldeway & Bulterman-Bos, 2013; Ledoux et al. 2009; Scheerens, 2013) kan niet worden vastgesteld of deze metingen bijdragen aan de sociaal-emotionele kwaliteit van het basisonderwijs. Wel is naar voren gekomen dat de cognitieve focus als gevolg van prestatiemetingen ten koste kan gaan van de sociaal-emotionele kwaliteit van het basisonderwijs (Kaldeway & Bulterman-Bos, 2013: 55). Meer onderzoek is nodig om de precieze bijdragen van prestatiemetingen op de cognitieve en sociaal-emotionele kwaliteit van het basisonderwijs in kaart te brengen.

19

3. Methodologie

In de methodologie zal worden besproken welke methoden in dit onderzoek zijn toegepast om de hoofdvraag te kunnen beantwoorden. De hoofdvraag luidt als volgt: In hoeverre draagt prestatiemeting in het basisonderwijs bij aan de kwaliteit van het basisonderwijs? Naast de onderzoeksmethode zal aandacht worden besteed aan de selectie van de onderzoekseenheden, de operationalisering van de begrippen prestatiemeting en onderwijskwaliteit en de manier waarop de data is geanalyseerd. Daarbij zal er niet alleen een beeld worden gegeven van wat er in dit onderzoek is gedaan, maar ook hoe dit is gebeurd en waarom hiervoor is gekozen. Deze openheid en duidelijkheid zijn van belang voor de geloofwaardigheid en kwaliteit van het onderzoek (Boeije, 2002:392).

Om de bijdrage van prestatiemetingen op de kwaliteit van het basisonderwijs te meten, is gekozen voor kwalitatief onderzoek. Hier is ten eerste voor gekozen, omdat de relatie tussen prestatiemeting en kwaliteit erg afhankelijk is van de individuele perceptie (Alexander, 2008; Adams, 1993). Aangezien er geen eenduidige definitie van onderwijskwaliteit bestaat, is het belangrijk om respondenten zelf de kans te geven om betekenis te geven aan dit begrip. Door middel van betekenisgeving kan de relatie tussen prestatiemeting en kwaliteit preciezer in beeld worden gebracht. Voor de betekenisgeving van begrippen is kwalitatief onderzoek zeer geschikt (Pope & Mays, 1995: 43). Daarnaast is binnen dit onderwerp sprake van een complexe context, er zijn namelijk veel factoren die een rol spelen in de relatie tussen prestatiemeting en onderwijskwaliteit. Kwalitatief onderzoek kan helpen om een complexe context goed in beeld te brengen, omdat respondenten daarbij de ruimte krijgen om nuances aan te brengen. Het doel van kwalitatief onderzoek, dat hieronder wordt beschreven, sluit goed aan bij het doel van dit onderzoek.

“The goal of qualitative research is the development of concepts which help us to understand social phenomena in natural (rather than experimental) settings, giving due emphasis to the meanings, experiences, and views of all the participants.”

(Pope & Mays, 1995: 43)

3.1 Onderzoeksmethode

Dit onderzoek heeft zowel deductieve, als inductieve aspecten. Het deductieve karakter komt naar voren in het testen van bestaande wetenschappelijke bevindingen over de effecten van

20 prestatiemetingen op de kwaliteit van de geleverde diensten, maar ook over het wel of niet bestaan van een cognitieve trend in het basisonderwijs. Daarnaast heeft dit onderzoek ook een inductieve kant. Aan de hand van de (empirische) waarnemingen van leraren kunnen er wellicht nieuwe verwachtingen en inzichten worden gevormd, die van toegevoegde waarde zijn op de huidige kennis over prestatiemeting in het basisonderwijs. De uitkomsten van het empirische onderzoek zullen uiteindelijk worden vergeleken met de uitkomsten en bevindingen op basis van de literatuur. Op deze manier zal niet alleen de bestaande kennis worden toegepast op dit specifieke onderwerp, maar kan ook nieuwe kennis worden gegenereerd.

Bij de uitvoering van het empirische onderdeel van het onderzoek wordt gebruik gemaakt van semigestructureerde interviews met leerkrachten. Bij deze manier van interviewen wordt vooraf een lijst gemaakt met vragen die de interviewer wil stellen. Hierbij krijgt de geïnterviewde wel de ruimte om zelf aspecten en thema’s aan te snijden die hij, of zij, belangrijk vindt (Longhurst, 2013: 103). Het is hierbij van belang dat door de onderzoeker verder wordt doorgevraagd op de punten die worden geïntroduceerd door de geïnterviewde. Daarnaast is het belangrijk dat niet wordt afgedwaald van het onderwerp. Hiervoor is een interviewtechniek nodig die enerzijds gestructureerd is, om de hoofdthema’s voldoende naar voren te laten komen. Anderzijds moeten het interview genoeg openheid en ruimte geven aan de geïnterviewde om zelf invulling te geven aan de verschillende begrippen. Semigestructureerde interviews voldoen aan beide voorwaarden. In bijlage 1 zijn de interviewvragen weergegeven.

3.2 Selectie respondenten

In dit onderzoek is ervoor gekozen om leerkrachten te interviewen. Door hun dagelijkse praktijkervaring beschikken leerkrachten over een belangrijke bron van kennis. De ervaringen die in de praktijk zijn opgedaan kunnen een grote bijdrage leveren aan de bestaande kennis over prestatiemeting in relatie tot kwaliteit. Bij het selecteren van respondenten is aandacht geschonken aan ongelijkheid tussen basisscholen (Scheerens, 2013: 11). Elke school heeft een unieke context die van invloed is op de relatie tussen prestatiemeting en kwaliteit. Scholen hebben geen invloed op de sociale achtergronden en de capaciteiten van leerlingen (externe factoren). De verschillen tussen basisscholen mogen nooit uit het oog worden verloren en worden daarom meegenomen in dit onderzoek. Er is dan ook gekozen voor een meervoudige case studie die het mogelijk maakt om de inzichten van leerkrachten op verschillende scholen met elkaar te vergelijken.

21 “A multiple case study enables the researcher to explore differences within and

between cases. The goal is to replicate findings across cases. Because comparisons will be drawn, it is imperative that the cases are chosen carefully so that the researcher can predict similar results across cases, or predict contrasting results based on a theory.”

(Baxter & Jack, 2008: 548).

Hierbij is het van belang dat de cases en respondenten met zorg worden gekozen. Factoren, zoals de groep waarvoor de leerkracht staat en de ervaring die een leerkracht heeft, kunnen van invloed zijn op de inzichten van een respondent. Hier is rekening mee gehouden bij het selecteren van de scholen en respondenten. De criteria zijn in de onderstaande tabel (3.1) weergegeven:

Tabel 3.1 (criteria):

1 De Leerkracht moet momenteel les geven in groep: 3,4,5,6,7, of 8.

2 De Leerkracht moet minimaal 4 jaar ervaring hebben in het basisonderwijs.

3 Er moeten ten miste twee scholen worden betrokken in dit onderzoek.

Het eerste criterium is opgesteld, omdat er een groot verschil bestaat tussen de kleuterschoolgroepen en de groepen drie en hoger. Ondanks dat er op de kleuterschool ook al aandacht wordt geschonken aan de cognitieve ontwikkeling van leerlingen, is er voor gekozen om deze niet mee te nemen in dit onderzoek. Dit aangezien het cognitieve niveau en de cognitieve focus in deze groepen lager liggen dan in de groepen drie tot en met acht (Roeleveld & Veen, 2007: 449).

Het tweede criterium is opgesteld om er zeker van te zijn dat leerkrachten in de loop van de jaren bekend zijn geraakt met de verschillende prestatiemetingen die, zoals Cito-toetsen, slechts twee keer per jaar worden afgenomen. Leerkrachten moeten in de loop van de jaren goed bekend zijn geworden met de verschillende metingen om valide informatie te krijgen. Daarnaast kunnen indirecte prestatiemetingen, zoals Citoscores, pas een goede indicatie geven over de ontwikkeling van de kwaliteit van een basisschool, wanneer deze metingen meerdere jaren hebben plaatsgevonden. Leerkrachten met meerdere jaren ervaring zullen op basis hiervan meer informatie kunnen geven over de bijdrage van prestatiemeting op

22 de kwaliteit van het basisonderwijs.

Het derde criterium is opgesteld omdat rekening moet worden gehouden met de ongelijkheid tussen basisscholen (Scheerens, 2013: 11). Basisscholen hebben allemaal te maken met een unieke context en staan daarom ook allemaal voor een unieke taak. In dit onderzoek is er daarom bewust voor gekozen om scholen te selecteren in buurten met verschillende sociale achtergronden. Twee scholen, waarvan in totaal zeven leerkrachten zijn geïnterviewd, zijn gevestigd in stedelijke buurten met een grote etnische verscheidenheid. De leerlingen op deze scholen zijn overwegend allochtoon en spreken thuis vaak een andere taal. De derde school is gevestigd in een overwegend autochtone omgeving zonder grote etnische verscheidenheid. Op deze school zijn de overige drie leerkrachten geïnterviewd. Door voor dit onderzoek verschillende scholen in verschillende buurten te selecteren, wordt voorkomen dat een te eenzijdig beeld ontstaat van het effect van prestatiemeting op de onderwijskwaliteit. Het is uiteraard niet mogelijk om alle verschillen in relatie tot de onderzoeksvraag te onderzoeken, maar op deze manier wordt de ongelijkheid tussen basisscholen in ieder geval meegenomen in het onderzoek. In de onderstaande tabel (3.2) wordt een overzicht gegeven van de respondenten en de scholen waarop ze les geven.

Tabel 3.2 (respondentenlijst):

Respondent: Geslacht: Groep: Ervaring: School: Plaats: Datum

1 Vrouw 8 36 jaar De Hoeksteen Rotterdam 15-04-2016

2 Man 7 7 jaar De Julianaschool Rhoon 20-04-2016

3 Vrouw 6 12 jaar De Julianaschool Rhoon 20-04-2016

4 Vrouw 6 36 jaar De Julianaschool Rhoon 20-04-2016

5 Vrouw 4 16 jaar Het schateiland Utrecht 22-04-2016

6 Man 5 44 jaar Het Schateiland Utrecht 22-04-2016

7 Vrouw 8 10 jaar Het Schateiland Utrecht 22-04-2016

8 Vrouw 7 7 jaar Het Schateiland Utrecht 22-04-2016

9 Vrouw 6 21 jaar Het Schateiland Utrecht 24-04-2016

10 Vrouw 7 4 jaar Het Schateiland Utrecht 24-04-2016

3.3 Operationalisering

Om een antwoord te kunnen geven op de hoofdvraag zullen de verschillende begrippen in het empirische onderzoek op een goede manier moeten worden gemeten. Er moet namelijk duidelijkheid worden geschapen over de manier waarop de elementen van de hoofdvraag,

23 onderwijskwaliteit, prestatiemeting en de bijdrage van prestatiemeting op de kwaliteit van het basisonderwijs, zijn onderzocht. Hierbij kan nog onderscheid worden gemaakt tussen een positieve en een negatie bijdrage. In bijlage 1 is de opzet van de semigestructureerde interviews terug te vinden. De interviewopzet bestaat uit vier volgende inhoudelijke onderdelen.

1. Algemene introductie van het onderwerp

2. Onderwijskwaliteit

3. Prestatiemetingen

4. Bijdrage van prestatiemeting aan de onderwijskwaliteit.

De eerste drie onderdelen kunnen worden gezien als een opstap naar de kern van het empirische onderzoek, die in deel vier naar voren komt.

In onderdeel twee van het interview krijgen de respondenten de ruimte om zelf invulling te geven aan het begrip onderwijskwaliteit. Er is daarom bewust gekozen om in dit onderdeel te beginnen met de vraag wat kwalitatief onderwijs inhoudt. Naast de ruimte die wordt geboden aan de respondenten om betekenis te geven aan het begrip onderwijskwaliteit, wordt er ook aandacht geschonken aan de bevindingen uit de literatuur. Uit het rapport van de Inspectie van het onderwijs (2013: 238-241) komt naar voren dat de leerkracht een cruciale rol speelt bij onderwijskwaliteit. In de vragen zeven en acht zal worden gemeten in hoeverre de respondenten de leerkracht zien als een centraal onderdeel van onderwijskwaliteit. Deze informatie is belangrijk, aangezien hiermee een vergelijk kan worden gemaakt tussen onderwijskwaliteit in de literatuur (Biesta, 2009; Inspectie van het onderwijs, 2013) en onderwijskwaliteit in het empirisch onderzoek. In onderdeel twee van het interview zal niet alleen worden gemeten wat respondenten verstaan onder de kwaliteit van het basisonderwijs, maar er zal tevens worden teruggekoppeld naar de bevinden uit de literatuur.

Het tweede element is prestatiemeting. In onderdeel drie van het semigestructureerde interview wordt verder ingegaan op dit element. Het gaat hierbij specifiek over indirecte prestatiemetingen. De vragen dertien en veertien gaan in op de methoden die worden gebruikt bij prestatiemetingen. Deze vragen zijn opgesteld om een compleet beeld te krijgen van de manier waarop prestaties worden gemeten, zowel cognitief, als sociaal-emotioneel. Deze informatie is nodig om te vergelijken of deze methoden overeenkomen met de methoden die naar voren kwamen in de literatuurstudie. Uit de literatuur blijkt dat de dominantie van cognitieve prestatiemetingen kan zorgen voor een cognitieve focus bij leerkrachten

24 (Kaldeway en Bulterman-Bos, 2013). In vraag tien wordt daarom gevraagd in hoeverre er bij

de huidige prestatiemetingen voldoende aandacht wordt besteed aan beide

ontwikkelingsgebieden. Zodoende kan worden gemeten of leerkrachten de cognitieve focus herkennen. Indien er volgens leerkrachten sprake is van een cognitieve focus, dan kan er worden doorgevraagd in hoeverre deze focus invloed heeft op de werkzaamheden van leerkrachten.

Het laatste element uit de hoofdvraag betreft de bijdrage van prestatiemeting aan de onderwijskwaliteit. Dit komt terug in deel vier van het interview en vormt de kern van het onderzoek. De vragen vijftien en zestien gaan in op de bijdrage van cognitieve prestatiemetingen aan de onderwijskwaliteit. Hierbij gaat vraag vijftien in op de positieve bijdrage van prestatiemeting en vraag zestien op de negatieve bijdrage van prestatiemeting. Zodoende kan er een compleet beeld worden gevormd van cognitieve prestatiemetingen in relatie tot de kwaliteit van het basisonderwijs. In de vragen zeventien en achttien wordt hetzelfde gedaan voor de sociaal-emotionele kwaliteit van het basisonderwijs. Ten slotte wordt in dit onderdeel gevraagd of leerkrachten aanbevelingen hebben die de huidige manier van prestatiemeting kunnen verbeteren. De leerkracht krijgt bij deze vraag alle ruimte om aan te geven wat er niet goed gaat er waar er ruimte is voor verbetering. Zodoende kan een beter beeld worden gevormd waar, volgens leerkrachten, de kern van het probleem ligt. Ondanks dat deze vraag zich niet richt op een specifiek aspect, kan er wel waardevolle informatie worden verkregen die kan bijdragen dragen aan dit onderzoek.

3.4 Open, axiaal en selectief coderen

Na het afleggen van de interviews moest de verkregen data worden geordend. Hierbij is gebruik gemaakt van open, axiaal en selectief coderen. Allereerst zijn de interviews doorgenomen om de fragmenten die belangrijk zijn voor de beantwoording van de onderzoeksvraag te selecteren en te labelen. Aan elk fragment is een code, of kernbegrip gekoppeld, waarbinnen dat fragment kan worden opgeborgen. Deze oriënterende fase wordt open coderen genoemd en vormt de eerste stap in het codeerproces (Hak, 2007: 6). Hierbij is het voorgekomen dat aan één fragment meerdere kernbegrippen zijn toegevoegd. In één fragment kunnen door de respondent meerdere begrippen en thema’s worden aangehaald. Vervolgens zijn de verschillende kernbegrippen met elkaar vergeleken in de axiale codeerfase. Sommige kernbegrippen kunnen in deze fase worden samengevoegd, omdat ze dezelfde betekenis hebben (Boeije, 2005: 9). Inzichtelijkheid en openheid in resultaat zijn hier een voorbeeld van. Door alle kernbegrippen met dezelfde betekenis onder één noemer samen

25 te brengen kan inzicht worden verkregen in welke mate bepaalde kernbegrippen naar voren zijn gekomen in de interviews. Vervolgens kunnen de verschillende codes worden ondergebracht in de verschillende thema’s en sub-thema’s. Uit de literatuurstudie is naar voren gekomen dat onderwijskwaliteit bestaat uit twee dimensies, namelijk de cognitieve en de sociaal-emotionele dimensie. Om de bijdrage van prestatiemetingen aan die kwaliteitsdimensies te meten moest vervolgens onderscheid worden gemaakt tussen de positieve bijdrage en de negatieve bijdrage van prestatiemeting op beide kwaliteitsdimensies. Zodoende konden de onderstaande vier sub-thema’s worden opgesteld, waarbinnen alle verschillende codes zijn opgeslagen. Het gaat om 1. De positieve bijdrage van prestatiemeting aan de cognitieve kwaliteit, 2. De negatieve bijdrage van prestatiemeting aan de cognitieve kwaliteit, 3. De positieve bijdrage van prestatiemeting aan de sociaal-emotionele kwaliteit en 4 De negatieve bijdrage van prestatiemeting aan de sociaal-emotionele kwaliteit. Door middel van deze sub-thema’s kan door de onderzoeker de samenhang tussen de verschillende codes duidelijk worden gepresenteerd. In bijlage 2 is de codeboom weergegeven waarin de verschillende codes zijn ondergebracht binnen de vier sub-thema’s.

Tijdens het selectieve coderen staan de verbanden tussen de thema’s en kernbegrippen centraal (Boeije, 2004: 106). De onderzoeker gaat in deze fase verder in op de vraag wat de boodschap van de respondenten precies is. Hierbij speelt de interpretatie van de onderzoeker een belangrijke rol. De bevindingen die de onderzoeker doet zullen vervolgens ook met de literatuur worden vergeleken.

3.5 Validiteit en Betrouwbaarheid

Bij de uitvoering van elk onderzoek moet goed worden gekeken of de toegepaste methode past bij het onderzoek. Geven de conclusies die voortkomen uit het onderzoek antwoord op de onderzoeksvragen en in welke mate wordt er objectieve kennis gegenereerd? In kwalitatief onderzoek is er nooit geheel sprake van objectiviteit, aangezien interpretatie altijd een rol van betekenis zal blijven spelen (Van Zwieten & Willems, 2004: 38). Kwalitatief onderzoek wordt om deze reden dan ook vaak interpretatief onderzoek genoemd. Er wordt bij kwalitatief onderzoek daarom niet geprobeerd om subjectiviteit volledig uit te sluiten. Wel moet te allen tijde worden voorkomen dat de onderzoeker zorgt voor een vertekening van de onderzoeksresultaten (Van Zwieten & Willems, 2004: 38). De invloed van de onderzoeker mag niet leidend zijn voor de uitkomst van het onderzoek. Door de validiteit en betrouwbaarheid te toetsen, wordt dit gewaarborgd.

26 van systematische vertekeningen in de onderzoeksresultaten (Van Zwieten & Willems, 2004: 39). Hierbij kan onderscheid worden gemaakt tussen de interne en externe validiteit. Interne validiteit duidt op de methoden die zijn toegepast om passende onderzoeksresultaten te generen. In dit hoofdstuk is uitleg gegeven over de gekozen onderzoeksmethode. Deze keuze is overdacht en tevens beargumenteerd in de bovenstaande alinea’s. Externe validiteit betreft de mate waarin conclusies van toepassing zijn op andere personen binnen het onderwerp (Van Zwieten & Willems, 2004: 39). De externe validiteit kan worden bepaald door te kijken naar de samenstelling van respondenten. De respondenten zijn voor dit onderzoek doelgericht geselecteerd aan de hand van vooraf opgestelde criteria. Door het kleine aantal respondenten kan niet met zekerheid worden gesteld in welke mate de resultaten ook van toepassing zijn op andere leerkrachten. Meer leerkrachten verdeeld over meer basisscholen had bij kunnen dragen aan de externe validiteit.

Ook bij betrouwbaarheid kan onderscheid worden gemaakt tussen interne en externe betrouwbaarheid. De interne betrouwbaarheid van kwalitatief onderzoek betreft de mate waarin de invloeden van de onderzoeker leiden tot een vertekend beeld van de onderzoeksresultaten (Van Zwieten & Willems, 2004: 39). Openheid over de manier van analyseren en coderen zijn belangrijk om inzicht te krijgen in de kwaliteit van een onderzoek. Daarnaast moet duidelijk worden vermeld hoe de data is verzameld. In bijlage 1 kan het semigestructureerde interview, dat gebruikt is bij de data-verzameling, worden teruggevonden. Daarnaast is uitgebreid aandacht geschonken aan de manier van coderen in kopje 3.4. De externe betrouwbaarheid betreft de herhaalbaarheid van het onderzoek, oftewel de mate waarin hetzelfde onderzoek in de nabije toekomst overeenkomstige resultaten zal opleveren (Van Zwieten & Willems, 2004: 39). Hierbij is de afbakening van de precieze methoden en definities een factor van belang. Daarnaast is het bij de externe betrouwbaarheid van belang dat er aandacht wordt geschonken aan de context waarbinnen het onderwerp zich bevindt. Die context is in het theoretisch kader uitvoerig besproken.

Bij zowel het opzetten, als bij de uitvoering van dit onderzoek is veel aandacht besteed aan zowel de validiteit, als de betrouwbaarheid. Alle stappen die in het onderzoek zijn gezet, zijn beschreven en worden beargumenteerd. Zodoende is gepoogd om een onderzoek uit te voeren dat kwalitatief in orde is. De openheid moet ervoor zorgen dat deze kwaliteit ook daadwerkelijk controleerbaar is.

27

4. Resultaten

In hoeverre draagt prestatiemeting in het basisonderwijs bij aan de kwaliteit van het basisonderwijs? Om deze hoofdvraag te kunnen beantwoorden moet de verkregen data allereerst overzichtelijk worden weergegeven. Aangezien er wordt onderzocht in hoeverre prestatiemetingen bijdragen aan de onderwijskwaliteit, zal in dit hoofdstuk onderscheid worden gemaakt tussen de positieve en de negatieve bijdragen. Daarnaast zijn er twee kwaliteitsdimensies. De resultaten die gelden voor de cognitieve kwaliteit en de resultaten die gelden van de sociaal-emotionele kwaliteit zullen apart worden besproken. De resultaten komen alle voort uit de interviews die zijn afgenomen bij de tien respondenten. De lijst met respondenten is terug te vinden in tabel 3.2. In dit hoofdstuk worden quotes uit de interviews gebruikt om een duidelijk beeld van de bevindingen te krijgen. Hierbij wordt gerefereerd naar de respondenten (R) 1 tot en met 10.

4.1 Onderwijskwaliteit

Allereerst wordt gekeken hoe respondenten aankijken tegen het begrip kwaliteit in relatie tot het basisonderwijs. Deze eerste stap is nodig om uiteindelijk een beeld te krijgen over welke bijdragen het precies gaat. Bij het analyseren van de data zijn twee thema’s opgesteld: Kwaliteitsdimensies (waaronder cognitief en sociaal-emotioneel) en Kwaliteitsvoorwaarden. Kwaliteitsdimensies geven een globaal overzicht van wat onderwijs precies inhoudt en wat het doel is van het basisonderwijs. Kwaliteitsvoorwaarden gaan dieper in op hoe de doelen vervolgens behaald kunnen worden.

4.1.1 Kwaliteitsdimensies

Wanneer het gaat om de kwaliteit van het basisonderwijs, zijn de cognitieve en de sociaal-emotionele dimensies dominant gebleken. Er kan daarom worden gesteld dat de kwaliteit van het basisonderwijs voor het grootste gedeelte wordt bepaald door de invulling die wordt gegeven aan deze twee dimensies. Een basisschool moet alles in het werk stellen om leerlingen te helpen bij zowel de cognitieve, als de sociaal-emotionele ontwikkeling. Hierbij moet niet uit het oog worden verloren dat deze ontwikkeling sterk afhankelijk is van de capaciteiten van de leerlingen. In de onderstaande quote wordt de manier waarop leerkrachten naar onderwijskwaliteit kijken duidelijk samengevat:

“Goed onderwijs houdt in dat je primair het onderste uit de kan haalt bij de leerling. Bij iedere leerling moet eruit worden gehaald wat binnen zijn