Prestatiemeting in het onderwijs: ROC Mondriaan en Florijn College

(1)

Overheersen de perverse effecten van prestatiemeting naarmate de afstand tussen de be-stuurder en het primaire proces groter is?

MSc Management van de publieke sector

Strategische advisering en Human Resource Management

Auteur: Kozar Borleh Studentennummer: s1569740 Vak: Master thesis

Scriptiebegeleider: Mr. Dr. G.S.A. Dijkstra

2e_{Scriptielezer} _{Prof. Dr. F.M. van der Meer} Plaats/datum: Den Haag, 20 mei 2016

Aantal woorden: 16.807

Prestatiemeting in het onderwijs:

ROC Mondriaan en Florijn College

(2)

Pagina 1 van 50

Inhoudsopgave

Voorwoord ... 2 Samenvatting ... 3 1.Inleiding ... 6 1.1 Aanleiding ... 6 1.2 Probleemstelling ... 7 1.3 Maatschappelijke relevantie ... 8 1.4 Wetenschappelijke relevantie ... 8

1.5 Focus van het onderzoek ... 8

2. Theoretisch kader ... 10

2.1 Prestatiemeting binnen de publieke sector ... 10

2.2 Prestatiemeting volgens Hans de Bruijn ... 11

2.2.1 Positieve effecten van prestatiemeting ... 12

2.2.2 Perverse effecten van prestatiemeting ... 13

2.3 Hypothese ... 16

2.4 Conceptualisering en operationalisering van variabelen ... 16

3. Onderzoeksstrategie, methoden en kwaliteit ... 18

3.1 Onderzoekstype ... 18 3.2 Case selectie ... 18 3.3 Dataverzameling ... 20 3.3.1 Literatuuronderzoek ... 20 3.3.2 Interview ... 21 3.3 Validiteit ... 21 3.4 Betrouwbaarheid ... 22 4. Casus ... 23 4.1 ROC Mondriaan ... 23 4.2 Florijn College ... 28 5. Analyse ... 35

5.1 ROC Mondriaan en Florijn College ... 35

6. Conclusie ... 42

7. Conclusie met reflectie theorie ... 45

8. Literatuurlijst ... 48

9. Bijlage ... 49

(3)

Pagina 2 van 50

Voorwoord

Voor u ligt het onderzoek over prestatiemeting binnen het middelbaar beroepsonderwijs in Ne-derland. Op basis van één van de theorieën van Hans de Bruijn is de volgende hypothese ge-toetst: ‘Naarmate de bestuurder verder afstaat van het primaire proces, dan overheersen de

perverse effecten van prestatiemeting. De hypothese is getoetst in de praktijk, namelijk bij ROC

Mondriaan in Den Haag en het Florijn College in Breda. Dit onderzoek is bedoeld om meer inzicht te bieden in hoeverre de theorie van Hans de Bruijn overeenkomt met de bevindingen uit de praktijk. Tevens zal dit onderzoek bouwstenen kunnen leveren voor het verbeteren van de prestatiemeting binnen het onderwijs.

Alvorens ik dieper in de materie zal gaan, wil ik allereerst de universiteit van Leiden bedanken voor de gelegenheid om dit wetenschappelijk onderzoek te mogen doen in kader van mijn op-leiding MSc Management van de publieke sector. Daarnaast wil ik mijn scriptiebegeleider de heer Gerrit Dijkstra ontzettend bedanken voor zijn paraatheid, feedback en steun voor het on-derzoek. Uiteraard wil ik tevens mijn ouders bedanken voor de enorme steun die ik gedurende dit jaar en vele jaren heb mogen ontvangen. Elke keer als het tegenzat, dan was het mijn vader en moeder die mij erop wees om nog harder te werken en door te zetten.

Mede door de harde inzet en steun is het mij gelukt om dit onderzoek en de resultaten helder en gestructureerd te presenteren. Naar mijns inziens mag het resultaat er zijn. Met vol trots over-handig ik u schriftelijk mijn thesis.

Kozar Borleh

(4)

Pagina 3 van 50

Samenvatting

Achtergrondinformatie

De kwaliteit van het Nederlands onderwijs daalt (Van der Steeg, Vermeer & Lanser, 2011:3). Het gaat niet goed met de mbo-scholen in Nederland. In 2010 heeft de onderwijsinspectie na-melijk aangegeven dat 500 mbo-opleidingen zwak tot zeer zwak presteren (NRC, 2010). Dit is niet gunstig voor de scholen, want aan de hand van de prestaties krijgen de scholen een budget van de overheid. Mede hierdoor ligt binnen het mbo steeds meer de nadruk op het sturen op prestaties (ROC Mondriaan, 2015). Alhoewel het meten van prestaties lastiger is dan het lijkt. Volgens Hans de Bruijn (2006) is prestatiemeting namelijk meer dan alleen productiecijfers opleggen en vervolgens te concluderen dat die cijfers zijn gerealiseerd. De productiecijfers zeg-gen nog niet veel over de professionaliteit en de kwaliteit van de prestatie (De Bruijn, 2006). Hans de Bruijn (2006) geeft tevens aan dat perverse effecten van prestatiemeting overheersen naarmate de bestuurder verder van het primaire proces afstaat. De afstand van de bestuurder op het primaire proces kan leiden tot verlies van zicht op de causale verbanden tussen inspanning en prestatie. De bestuurder loopt het risico op om grond van informatie over prestaties een eigen causaliteit vast te stellen. (De Bruijn, 2006).

Methode

In dit onderzoek is er gekeken of de theorie van Hans de Bruijn in de praktijk klopt, namelijk in hoeverre de afstand van de bestuurder op het primaire proces leidt tot het overheersen van perverse effecten van prestatiemeting bij ROC Mondriaan en het Florijn College. Dit onderzoek is afgebakend tot de Juridische afdeling van beide scholen. Dit leidt tot de volgende probleem-stelling: Overheersen de perverse effecten de positieve effecten van prestatiemeting naarmate de af-stand tussen de bestuurder en het primaire proces groter is? De voorlopige beantwoording (hypothese) van de probleemstelling luidt dan als volgt: ‘Naarmate de bestuurder verder afstaat van het pri-maire proces, dan overheersen de perverse effecten de positieve effecten van prestatiemeting’.

Het doel van dit onderzoek is om een wetenschappelijke bijdrage te leveren aan de theorie van Hans de Bruijn. Er wordt namelijk gekeken of aan de hand van de resultaten van dit onderzoek de theorie kan worden bevestigd. In de reflectie (zie hoofdstuk 7) zal duidelijk worden wat die eventuele uitkomsten betekenen voor de theorie van Hans de Bruijn.

(5)

Pagina 4 van 50 Analyse en conclusie

Hans de Bruijn (2006) geeft aan dat perverse effecten van prestatiemeting overheersen naarmate de bestuurder verder van het primaire proces afstaat. De afstand van de bestuurder op het pri-maire proces kan leiden tot verlies van zicht op de causale verbanden tussen inspanning en prestatie. De bestuurder loopt hiermee het risico om op basis van informatie over prestaties een eigen causaliteit vast te stellen.(De Bruijn, 2006). Uit de analyse van dit onderzoek is te con-cluderen dat de hypothese van dit onderzoek bevestigd wordt door alle respondenten van dit onderzoek. Het bestuurslid van ROC Mondriaan heeft deze theorie van Hans de Bruijn (2006) bevestigd. De bestuurder is van mening dat het College van Bestuur dichter tot het primaire proces dient te staan. Volgens de bestuurder was er voorheen weinig overzicht over wat er gaande was bij de school. Hierdoor traden er perverse effecten, namelijk dat men de neiging had om te focussen op de cijfers uit de prestatiemeting. De onderwijsmanager, van ROC Mond-riaan is op de hoogte van de wens van het College van Bestuur, namelijk om dichter tot het process te staan. Hij is echter van mening dat de directeur dichterbij het onderwijs zit dan het College van Bestuur. Volgens hem kan het college de medewerkers lastig beoordelen omdat zij slechts cijfers te zien krijgen van bijvoorbeeld het aantal behaalde diploma’s of vroegtijdig schoolverlaters. Ook de afstand van de bestuurder leidt tot bureaucratie, omdat de managers door middel van beoordelingsformulieren de prestatie van medewerkers rapporteren aan het bestuur. Dit brengt volgens de onderwijsmanager meer administratieve lasten met zich mee. Ook hieruit is te concluderen dat naarmate de afstand van de bestuurder op het proces toeneemt, dan nemen de perverse effecten toe. Het is mogelijk dat de bestuurder van het proces alleen inzicht heeft in de geaggregeerde gegevens. De bestuurder loopt het risico op om grond van die informatie een eigen causaliteit vast te stellen (De Bruijn, 2006). De bestuurder van het Florijn College geeft aan dat het mogelijk is dat een cijferdoelstelling wordt nagestreefd, waardoor een ‘feitenfetisjisme’ ontstaat. Hierdoor wordt er meer gelet op ‘objectiveerbare’ vereisten, studie-rendementen en contacturen etc. Volgens de bestuurder van het Florijn college leidt dit we-derom tot het verlies van de achterliggende verhaal van de cijfers. De onderwijsmanager van het Florijn College bevestigt tevens dat prestatiemeting meer dan alleen cijfers zijn. Volgens hem wordt er teveel getoetst binnen het onderwijs. Het is niet altijd duidelijk of een bepaald doel daadwerkelijk is behaald. Volgens de teamleider van het Florijn College kijkt het bestuur te snel naar de cijfermatige kant van prestatiemeting. Hierbij wordt er niet of nauwelijks geke-ken naar de achterliggende verhaal van de cijfers. De zojuist genoemde perverse effecten ont-staan naarmate de bestuurder verder afstaat van het primaire proces. Daarnaast is te conclude-ren dat prestatiemeting leidt tot het verhullen van de daadwerkelijke prestatie (de Bruijn, 2006).

(6)

Pagina 5 van 50 Conclusie met reflectie theorie

Wat betekent de uitkomsten van dit onderzoek voor de theorie van Hans de Bruijn?

De meerwaarde van dit onderzoek is gelegen in de bijdrage van het onderzoek aan één van de theorieën van Hans de Bruijn. Hans de Bruijn (2006) geeft namelijk aan dat de afstand van de bestuurder op het primaire proces kan leiden tot verlies van zicht op de causale verbanden tus-sen inspanning en prestatie. De bestuurder loopt namelijk het risico op om grond van informatie over prestaties een eigen causaliteit vast te stellen (De Bruijn, 2006:33). Uit deze studie is te constateren dat de theorie van Hans de Bruijn toepasbaar is bij ROC Mondriaan en Florijn College. Aan de hand van deze studie kan namelijk worden gesteld dat bij de juridische afdeling van ROC Mondriaan en het Florijn College de afstand van de bestuurder op het primaire proces wel degelijk invloed heeft op de overheersing van perverse effecten van prestatiemeting. Er waren meer sprake van perverse effecten van prestatiemeting naarmate de bestuurder verder afstaat van het primaire proces. De perverse effecten van prestatiemeting zijn het blokkeren van innovaties en ambities, verhullen van de daadwerkelijke prestaties, verdrijven van de professi-onele habitus, imitatiegedrag en prestatiemeting leidt niet tot leren. Tot slot leidt prestatieme-ting tot een straf op prestaties stimuleert prestatiemeprestatieme-ting strategisch gedrag. De beantwoording van de probleemstelling luidt dan als volgt: ‘Naarmate de bestuurder verder afstaat van het

primaire proces, dan overheersen de perverse effecten de positieve effecten van prestatieme-ting’. Kortom, de meerwaarde van dit onderzoek is gelegen in het bevestigen van die theorie

(7)

Pagina 6 van 50

1. Inleiding

1.1 Aanleiding

Prestatiemeting binnen de publieke sector is haast niet meer weg te denken. New Public Ma-nagement (NPM) speelt hierbij een belangrijke rol. De overheid moest steeds meer bedrijfsma-tig te werk gaan. Vanaf de jaren’90 is het idee ontstaan dat men binnen de publieke sector moest gaan werken met prestatie-indicatoren. Het doel hiervan was om transparantie en efficiëntie van organisaties met een publieke dienst te bevorderen (Noordegraaf, Bos, Pikker & Ter Horst, 2014:10).

In de afgelopen jaren is er steeds meer kritiek gekomen op prestatiemanagement (Noordegraaf, Bos, Pikker & Ter Horst, 2014:10). Hierbij gaat het met name om de wijze waarop prestatie-management vorm krijgt. Zo blijkt dat prestaties binnen de publieke sector lastig te meten zijn. Daarnaast blijkt tevens dat prestatiemanagement niet per definitie leidt tot meer efficiëntie (Noordegraaf, Bos, Pikker & Ter Horst, 2014:10). Dit betekent echter niet dat prestatiemana-gement onnodig is. Binnen de publieke sector is tenslotte het verantwoordingsprincipe onver-mijdelijk. De positieve en perverse effecten van prestatiemanagement bieden inzicht in de in-dicatoren die bruikbaar zijn voor de publieke professional. Het vaststellen van inin-dicatoren is niet altijd eenvoudig vanwege de complexiteit van de publieke praktijk (Noordegraaf, Bos, Pik-ker & Ter Horst, 2014:11) De diensten van de overheid zijn namelijk meervoudig en komen in coproductie tot stand (De Bruijn, 2006).

Prestatiemeting is meer dan alleen productiecijfers opleggen en vervolgens te concluderen dat die cijfers zijn gerealiseerd. De productiecijfers zeggen nog niet veel over de professionaliteit en de kwaliteit van de prestatie (De Bruijn, 2006). Hans de Bruijn (2006) geeft aan dat perverse effecten van prestatiemeting overheersen naarmate de bestuurder verder van het primaire proces afstaat. De afstand van de bestuurder op het primaire proces kan leiden tot verlies van zicht op de causale verbanden tussen inspanning en prestatie. De bestuurder loopt hiermee het risico om op basis van de informatie over prestaties een eigen causaliteit vast te stellen (De Bruijn, 2006).

(8)

Pagina 7 van 50

In dit onderzoek is bij ROC Mondriaan en het Florijn College onderzocht in hoeverre de afstand van de bestuurder op het proces daadwerkelijk leidt tot het overheersen van perverse effecten van prestatiemeting.

1.2 Probleemstelling

De kwaliteit van het Nederlands onderwijs daalt (Van der Steeg, Vermeer & Lanser, 2011:3). Dit is zorgwekkend aangezien de kwaliteit van het onderwijs bepalend is voor de economische prestaties van een land. Dit maakt het noodzakelijk om de kwaliteit van het onderwijs hoog te houden (Van der Steeg, Vermeer & Lanser, 2011:3). Dat geldt tevens voor de kwaliteit van het middelbaar beroepsonderwijs (MBO) in Nederland. In 2010 heeft de onderwijsinspectie aan-gegeven dat 500 mbo-opleidingen zwak tot zeer zwak presteren (NRC, 2010). De inspectie sluit tevens niet uit dat die lijst nog blijft groeien (NRC, 2010).

Het mbo heeft de laatste decennia veel organisatorische en structurele veranderingen onder-gaan. In Nederland is er rond het einde van de jaren 90 een regionaal opleidingencentrum (ROC) opgebouwd. Het ROC is een samenwerkingsverband van onderwijsinstituten in het middelbaar beroepsonderwijs (Geertsma, 2014). In samenwerking met gemeenten, het voort-gezet onderwijs, het hoger onderwijs, bedrijven en overige instellingen wordt er gestreefd om iedereen die school-en leerbaar is een passende opleiding te bieden (ROC Mondriaan, 2015).

Binnen het mbo ligt steeds meer de nadruk op het sturen op prestaties (ROC Mondriaan, 2015). De toekenning van een groter deel van de rijksmiddelen is namelijk afhankelijk van de prestaties in het onderwijs (ROC Mondriaan, 2015). Toch is het niet eenvoudig om prestaties te meten. Volgens Hans de Bruijn (2006) is prestatiemeting meer dan alleen productiecijfers opleggen en vervolgens te concluderen dat die cijfers zijn gerealiseerd. De productiecijfers zeggen nog niet veel over de professionaliteit en de kwaliteit van de prestatie (De Bruijn, 2006). Hans de Bruijn (2006) geeft aan dat perverse effecten van prestatiemeting overheersen naarmate de bestuurder verder van het primaire proces afstaat. De afstand van de bestuurder op het primaire proces kan leiden afstand kan namelijk leiden tot verlies van zicht op de causale verbanden tussen inspan-ning en prestatie. De bestuurder loopt het risico op om grond van informatie over prestaties een eigen causaliteit vast te stellen. (De Bruijn, 2006).

Dit leidt tot de volgende probleemstelling: Overheersen de perverse effecten de positieve effecten van prestatiemeting naarmate de afstand groter is tussen de bestuurder en het primaire proces?

(9)

Pagina 8 van 50

In dit onderzoek is er gekeken of de eerder genoemde theorie van Hans de Bruijn in de praktijk klopt, namelijk in hoeverre de afstand van de bestuurder op het primaire proces leidt tot het overheersen van perverse effecten van prestatiemeting bij ROC Mondriaan en het Florijn Col-lege. Dit onderzoek is afgebakend tot de Juridische afdeling van beide scholen. De meerwaarde van dit onderzoek is gelegen in de bijdrage van de eerdergenoemde theorie van Hans de Bruijn (2006). In de reflectie (zie hoofdstuk 7) zal duidelijk worden wat de uitkomsten van dit onder-zoek betekenen voor de theorie van Hans de Bruijn.

1.3 Maatschappelijke relevantie

Deze studie is gericht op het verbeteren van de prestatiemeting van het onderwijs in Nederland. Er wordt aandacht besteed aan de effecten van de prestatiemeting en in hoeverre de afstand van de bestuurder invloed heeft op die effecten van prestatiemeting. De resultaten kunnen input leveren voor verdere uitwerking van prestatiemeting binnen het onderwijs. Het doel is om de kwaliteit van onderwijs te verbeteren. De scholen willen tenslotte actief bijdragen aan de eco-nomische en sociale ontwikkeling van de student. Het maatschappelijk doel hiervan is om de studenten en cursisten op te leiden tot vakkundige beroepsbeoefenaren en verantwoordelijke burgers (ROC Mondriaan, 2015).

1.4 Wetenschappelijke relevantie

Prestatiemeting is een krachtig communicatiemiddel om slechte prestaties van de organisaties te signaleren en te corrigeren (De Bruijn, 2006). Het streven naar de realisatie van productie-cijfers kan de professionaliteit en kwaliteit van de diensten schaden. Hoewel er al theorie over prestatiemeting binnen de publieke sector is geschreven, de causaliteit tussen de perverse ef-fecten van de prestatiemeting en de afstand van de bestuurder op het primaire proces binnen het onderwijs is onderbelicht gebleven. Aan de hand van dit onderzoek wordt dat theorie getoetst in de praktijk, namelijk bij ROC Mondriaan en het Florijn College. Vervolgens worden de re-sultaten van ROC Mondriaan en het Florijn College met elkaar vergeleken om vervolgens die theorie van Hans de Bruijn te toetsen.

1.5 Focus van het onderzoek

Het onderwerp ‘prestatiemeting binnen de publieke sector’ is in deze studie afgebakend tot prestatiemeting binnen de Juridische afdeling van ROC Mondriaan en het Florijn College. Hier-bij gaat het om in hoeverre de afstand van de bestuurder op het primaire proces leidt tot het

(10)

Pagina 9 van 50

overheersen van perverse effecten van prestatiemeting. De reden voor de afbakening is de be-perkte tijd en middelen voor dit onderzoek. Bovendien is er bewust gekozen voor beide scholen. Bij het Florijn College in Breda bestaan de teams namelijk uit ‘Resultaatverantwoordelijke Teams’ (jaarplan 2016 Florijn College:5). Dit houdt in dat de medewerkers meer eigen verant-woordelijkheden krijgen. Dit biedt ruimte voor de medewerkers om het werk in te kunnen rich-ten om de gewenste resultarich-ten te kunnen boeken. Dit betekent tevens dat de rol van de bestuur-der kleiner is dan bij scholen zonbestuur-der enige vorm van zelfsturing. Binnen ROC Mondriaan wordt er geen gebruik gemaakt van resultaatverantwoordelijke teams. Deze verschillende afstanden van het bestuur maakt het mogelijk om de theorie van Hans de Bruijn uitgebreider te toetsen. Deze studie is op een deductieve wijze vormgegeven. Een deel van de theorie van Hans de Bruijn wordt getoetst, namelijk of de afstand van de bestuurder op het primaire proces daad-werkelijk invloed heeft op de overheersing van perverse effecten van prestatiemeting. Deze toetsing vindt plaats aan de hand van de bevindingen uit de praktijk, namelijk binnen ROC Mondriaan en het Florijn College.

(11)

Pagina 10 van 50

2. Theoretisch kader

2.1 Prestatiemeting binnen de publieke sector

In de jaren 80 kregen publieke organisaties steeds meer kritiek vanwege inefficiënt handelen en door weinig te verantwoorden (Noordegraaf, Bos, Pikker & Ter Horst, 2014:6). De opkomst van het New Public Management (NPM) heeft ervoor gezorgd dat publieke organisaties meer gaan lijken op private organisaties. Hierdoor lag de focus steeds meer op efficiëntie en presta-tiemanagement.

Vanaf de jaren 90 speelde prestatiemanagement in de publieke sector steeds meer een belangrijk rol. Wat wordt er verstaan onder prestatiemanagement? Prestatiemanagement is het toepassen van verschillende technieken om prestatiedata te genereren (Noordegraaf, Bos, Pikker & Ter Horst, 2014:6). Daarnaast is het middel voor verantwoording, namelijk het rapporteren van prestaties. Het doel van prestatiemanagementsystemen binnen publieke organisaties is het op-lossen van inefficiënte overheidsuitgaven en de verbetering van de kwaliteit van publieke dienstverlening (Noordegraaf, Bos, Pikker & Ter Horst, 2014:6).

Publieke organisaties ontwikkelen prestatie-indicatoren om de output te kunnen meten. Daar-naast definiëren zij hun diensten op basis van prestatieafspraken. Het doel van prestatieafspra-ken is om bepaalde doelstellingen zo effectief en efficiënt mogelijk te bereiprestatieafspra-ken (Noordegraaf, Bos, Pikker & Ter Horst, 2014:6). Uit die afspraken komen resultaten voort die tevens worden bijgehouden en gerapporteerd. De resultaten kunnen eventueel leiden tot bijsturing of aanpas-sing van de prestatieafspraken (Noordegraaf, Bos, Pikker & Ter Horst, 2014:6)

Toch blijkt dat prestatiemanagement in het praktijk niet zo eenvoudig te zijn. Prestaties in de publieke sector blijken moeilijk te meten vanwege de grote variëteit aan belanghebbenden, de moeilijkheid om targets voor prestaties te definiëren en de afwezigheid van benodigde kennis van publieke professionals (Noordegraaf, Bos, Pikker & Ter Horst, 2014:6). Dit houdt in dat prestatiemanagement niet per definitie leidt tot meer efficiëntie (Noordegraaf, Bos, Pikker & Ter Horst, 2014:6).

(12)

Pagina 11 van 50 2.2 Prestatiemeting volgens Hans de Bruijn

Naarmate een losse koppeling is tussen de bestuurder en het primaire proces overheersen de perverse effecten de positieve effecten (De Bruijn, 2006). Wat zijn die perverse effecten van

prestatiemeting, wat is prestatiemeting en wie is de bestuurder? In dit onderdeel wordt ingegaan op de definitie van prestatiemeting en op de positieve en perverse effecten van prestatiemeting. Hierbij wordt gebruik gemaakt van de theorie van Hans de Bruijn dat centraal staat in dit on-derzoek.

Prestatiemeting

Prestatiemeting is een krachtig communicatiemiddel om met name slechte prestaties te detec-teren om de diensten te kunnen verbedetec-teren (De Bruijn, 2006:12-13). Beoogde prestaties worden geformuleerd aan de hand van prestatie-indicatoren. Deze indicatoren worden tevens gebruikt om prestaties te kunnen meten. Hans de Bruijn heeft aandacht besteedt aan professionele orga-nisaties in het publieke domein. Voorbeelden hiervan zijn traditionele professionele organisa-ties zoals ziekenhuizen, universiteiten, de rechterlijke organisatie, de politie, de reclassering en een groot aantal departementale uitvoeringsorganisaties (De Bruijn, 2006:15).

De centrale gedachte achter prestatiemeting is dat een overheidsorganisatie beoogde prestaties heeft en op basis daarvan worden prestatie-indicatoren gedefinieerd. Vervolgens kan duidelijk worden gemaakt of de beoogde prestaties zijn gerealiseerd. (De Bruijn, 2006:16). Hans de Bruijn (2006) geeft aan dat de effecten van overheidsinterventies vaak moeilijk te meten zijn. De reden hiervoor is dat de diensten van de overheid meervoudig zijn en in coproductie tot stand komen. Het uiteindelijke effect van prestatie (outcome) is hierdoor vaak niet te bepalen. Dat geldt met name voor abstracte doelen. Hans de Bruijn heeft ervoor gekozen om in zijn boek de betekenis van prestatiemeting te beperken tot de effecten van overheidsoptreden die meet-baar zijn (De Bruijn, 2006:16). Door middel van input-output analyse krijgt de instantie over-zicht in welke producten zij leveren en welke kosten hieraan verbonden zijn. De directe effecten van prestaties zijn echter wel meetbaar. Voor het onderwijs zijn de directe effecten de gemid-delde cijfers die door de student wordt behaald. Prestatiemeting levert zowel positieve als per-verse effecten (De Bruijn, 2006:16).

Hans de Bruijn (2006) benoemt tevens dat prestatiemeting een aantal functies vervult. Trans-parantie is één van de functies van prestatiemeting. Volgens Hans de Bruijn leidt prestatieme-ting tot transparantie en kan zo een rol spelen in verantwoordingsprocessen (De Bruijn,

(13)

2006:17). Leren is een andere functie van prestatiemeting. Hans de Bruijn bedoelt hiermee dat vanwege transparantie een organisatie kan leren. Denk dan aan alles wat een organisatie goed doet. Daarnaast biedt het inzicht in de verbeterpunten voor een organisatie (De Bruijn, 2006:17). Oordelen wordt tevens als functie van prestatiemeting benoemt door Hans de Bruijn. Op grond van de prestaties is het mogelijk om een oordeel over het functioneren van een orga-nisatie. Dit kan leiden tot positieve of negatieve sancties. Er volgt een positieve sanctie bij goed presteren en een negatieve sanctie wanneer een organisatie niet goed heeft gepresteerd (De Bruijn, 2006:17).

Tot slot maakt Hans de Bruijn (2006) een onderscheid tussen een bestuurder en een professio-nal. De professional is degene die het primaire proces vorm geeft. De bestuurder probeert onder andere door prestatiemeting dit proces te sturen en de bestuurder draagt hierover verantwoor-delijkheid (De Bruijn, 2006:15). In zijn boek benadrukt hij tevens dat dezelfde speler beide rollen kunnen vervullen. De reden hiervoor is dat professionele organisaties vaak gelaagde or-ganisaties zijn (De Bruijn, 2006:15).

2.2.1 Positieve effecten van prestatiemeting

Hans de Bruijn (2006) geeft aan dat prestatiemeting leidt tot transparantie. Transparantie leidt tot innovatie. Hierbij wordt een onderscheid gemaakt tussen interne en externe functie van transparantie. Bij een interne functie van transparantie is er binnen de instantie beperkte externe prikkels voor effectiviteit en efficiency. Dit kan ertoe leiden dat er ontwikkeling van red tape zich voortdoet. Een gevolg hiervan is dat er geen inzicht is in de bijdrage van veel activiteiten aan het primaire proces binnen een overheidsinstantie. Dit tast het bestaansrecht van de organi-satie. Bij een externe functie van transparantie spreekt de burgers de politiek aan op de dienst-verlening van de instanties. Hierbij zijn politici genoodzaakt om de organisaties ter verantwoor-ding te roepen voor de dienstverlening (De Bruijn, 2006:17-18).

Daarnaast leidt prestatiemeting tot beloning en voorkomt prestatiemeting bureaucratie. Presta-tiemeting is ook een vorm van outputsturing. Deze vorm van sturing is meer gewenst dan de input- en throughtputsturing, omdat input en throughtputsturing een negatieve prikkel zijn voor presteren. Door middel van inputsturing worden geformuleerde doelen, plannen en intenties beloond. Dit kan leiden tot een claimcultuur, omdat plannen met elkaar concurreren om schaarse middelen. Sturing op throughput is gericht op de processen en activiteiten binnen or-ganisatie. De onderzoeker wordt niet beloond op grond van het output of input, maar op grond

(14)

van tijdbesteding. Het gevolg hiervan is dat het kan leiden tot een declaratiecultuur, want het is aantrekkelijk om meer uren te maken. Sturing op prestatie beloont producten en is daardoor een prikkel voor prestaties. Prestatiemeting leidt tevens tot minder bureaucratie omdat er geen noodzaak is om te investeren in plannen of tijdschrijfsystemen (De Bruijn, 2006:19-20).

Bovendien stimuleert prestatiemeting het leren binnen organisaties en tussen organisaties. Hans de Bruijn (2006) spreekt over een non-interventie beginsel. Dit betekent dat professionals niet met elkaars domein interveniëren. Volgens hem kan dit schadelijk zijn voor de organisatie, want het hindert de leerprocessen binnen de organisaties. Volgens Hans de Bruijn (2006) door-breekt prestatiemeting dat proces. Een voorbeeld hiervan is de productiecijfer van een organi-satie. Door middel van productiecijfers kan er een vergelijking worden gemaakt tussen de ver-schillende managementteams. Dit kan aanleiding zijn om onderling van elkaar te leren. Leren tussen organisaties is tevens relevant. Aan de hand van de verschillen tussen de organisaties worden best practices geïdentificeerd. Daarnaast leidt benchmark tot leren omdat het leidt tot problemawareness (De Bruijn, 2006:20-21).

Tot slot leidt prestatiemeting tot een verbetering van de intelligence. Hiermee bedoelt Hans de Bruijn (2006) dat prestatiemeting informatie levert die kan bijdragen aan het verbeteren van de professionele dienstverlening. Hierbij spelen de productiecijfers een rol. De cijfers kunnen na-melijk worden gebruikt om de intelligence van een organisatie te verbeteren. De intelligence is van belang omdat veel overheidsorganisaties afhankelijk zijn van elkaar. Een voorbeeld hiervan is de samenwerking tussen het Openbaar Ministerie en de politie. De output van de politie maakt het mogelijk voor het Openbaar Ministerie om haar eigen input beter te voorspellen en haar productieproces beter in te richten (De Bruijn, 2006:22)

2.2.2 Perverse effecten van prestatiemeting

Hans de Bruijn (2006) benoemt in zijn boek de perverse effecten van prestatiemeting. Hieruit blijkt prestatiemeting een stimulans is voor strategisch gedrag (De Bruijn, 2006:29). De pro-ductie van een organisatie wordt zichtbaar door middel van prestatiemeting. Hierdoor kan het meten en belonen van producten een belangrijke prikkel zijn voor strategisch gedrag. Dit houdt in dat professionele organisatie de productie verhogen om aan de criteria van het systeem te kunnen voldoen.

(15)

Vanuit professioneel perspectief heeft de productieverhoging geen of een negatieve betekenis (De Bruijn, 2006:29). Als voorbeeld benoemt Hans de Bruijn een prestatie-indicator van de Amerikaanse FBI, namelijk het aantal arrestaties. Wanneer de overheid besluit om dat aantal te verhogen, dan nodigt dit uit tot strategisch gedrag. De FBI zal dan meer arrestaties moeten uitvoeren om slechts aan de prestatienormen te kunnen voldoen (De Bruijn, 2006:30).

Daarnaast blijkt dat prestatiemeting innovaties ook kan blokkeren (De Bruijn, 2006:31). De organisaties zullen de productie zoveel mogelijk optimaliseren om zo efficiënt mogelijk de ge-wenste prestaties te realiseren. Dit geldt met name wanneer de prestaties gekoppeld zijn aan financiële beloningen. Hierbij wordt er met name gekeken naar de producten die relatief een-voudig geproduceerd kunnen worden om zoveel mogelijk geld te krijgen. Het minimaliseren van de throughput gaat ten koste van innovatie. Innovatie is niet aantrekkelijk omdat er risico wordt genomen en dat kan schadelijk zijn voor de productie van een organisatie. Prestatieme-ting beloont ten slotte het voortdurend reproduceren van het bestaande (De Bruijn, 2006:31).

Prestatiemeting blokkeert tevens ambities. Organisaties optimaliseren de input om de prestaties te verhogen. Hiermee wordt zo min mogelijk throughput vereist om de gewenste output te krij-gen. Een voorbeeld hiervan is dat bepaalde studenten met een leer- of gedragsstoornis niet wor-den aangenomen binnen een school om de prestatie hoog te houwor-den (De Bruijn, 2006:32).

Hans de Bruijn (2006) geeft tevens aan dat prestatiemeting daadwerkelijke prestaties verhuld. Hiermee duidt hij op het verder afstaan van primaire proces wordt veroorzaakt door het aggre-geren van informatie over prestaties. Dit leidt tot verlies van zicht op de causale verbanden tussen inspanning en prestatie. Dit betekent dat de bestuurder van het proces alleen inzicht heeft in de geaggregeerde gegevens. De bestuurder loopt het risico op om grond van die informatie een eigen causaliteit vast te stellen. Er zijn twee betekenissen van prestatiemeting, namelijk de betekenis van prestaties op het niveau van het primaire proces en de betekenis op managerial niveau. Als deze betekenissen teveel uiteenlopen, dan kunnen de perverse effecten optreden. Hierdoor kunnen er verkeerde conclusies getrokken worden of verkeerde instructies gegeven worden (De Bruijn, 2006:33-34).

(16)

Prestatiemeting kan tevens de professionele habitus verdrijven. Prestatie-indicatoren meten kwantiteiten en zijn met name bruikbaar voor het definiëren van waarden. Dit leidt tot een trade-off van waarden is en het gevolg daarvan is een vertekend beeld krijgen van de professi-onele prestaties. Dit leidt tot het verdrijven van de professiprofessi-onele habitus. Dit kan zich ook voort-doen tussen organisaties, zoals de professionele inzichten die organisaties ontwikkelen en be-schikbaar stellen aan andere organisaties. De onderliggende mechanisme is dat prestatiemeting dwingt om de eigen prestaties te optimaliseren en dat kan in de weg staan van de samenwerking met organisaties (De Bruijn, 2006:35-37).

Prestatiemeting kan, in plaats van leren, leiden tot imitatie. Een voorbeeld hiervan is benchmar-king. Benchmarking kan leiden tot imitatiegedrag. De best practices van anderen worden ge-transplanteerd in de organisatie terwijl het niet altijd te transplanteren is. Met andere woorden, benchmark bevat risico's, zoals reductie, rationalisatie en de imitatie van bepaalde zaken zijn niet altijd te transplanteren is (De Bruijn, 2006:37-39)

Prestatiemeting kan tevens leiden tot een straf op prestaties. Hans de Bruijn (2006) maakt hier-bij onderscheid tussen vier mechanismen. Wanneer iedereen beter presteert, dan wordt op basis van een financiële beloning geprikkeld om de productiviteit te verhogen. In feite leidt de ver-hoging niet tot beloning indien het budget van de organisatie gelijk blijft. Dit betekent dat beter presteren niet wordt beloond. Een ander mechanisme is dat transparante en goed presterende organisatie kwetsbaar zijn door hogere targets te stellen. Hogere targets kunnen ervoor zorgen dat goede prestaties worden gestraft en slechte prestaties worden beloond vanwege de gelijk-blijvende targets en middelen. Een ander mechanisme is dat de organisatie beter presteert in een omgeving waarin niet wordt gepresteerd. Op basis van die prestatie krijgen zij een financi-ële sanctie. Dit betekent dat bepaalde organisaties een productiviteitsstijging zien, terwijl ander organisaties achterblijven. Tot slot prikkelt prestatiemeting tot presteren mits de prestaties niet veel uiteenlopen. Prestatiemeting geeft inzicht in de oorzaken voor een organisatie dat niet presteert. Hieruit vloeien consequenties uit. Het achterblijven van prestaties leidt tot financiële consequentie waardoor resources afnemen. Het gevolg daarvan is dat prestaties verminderen (De Bruijn, 2006:39-42).

(17)

Pagina 16 van 50 2.3 Hypothese

Voor deze studie is de volgende hypothese opgesteld:

Naarmate de bestuurder verder afstaat van het primaire proces, dan overheersen de perverse effecten de positieve effecten van prestatiemeting.

Toelichting hypothese

De hypothese veronderstelt dat de perverse effecten van prestatiemeting overheersen naarmate de bestuurder verder afstaat van het primaire proces. De bestuurder loopt namelijk het risico op om grond van die informatie een eigen causaliteit vast te stellen. Hierdoor kunnen er verkeerde conclusies getrokken worden of verkeerde instructies gegeven worden (De Bruijn, 2006).

2.4 Conceptualisering en operationalisering van variabelen

Concept Indicatoren Operationaliseren

1. Prestatiemeting 1. Functie - Heeft prestatiemeting geleidt tot meer trans-parantie?

- Is er geleerd van de resultaten uit de prestatie-meting?

- Is er .a.d.h.v prestatiemeting een oordeel ge-geven over het functioneren van de organisa-tie

- Heeft de prestatiemeting geleid tot bepaalde sancties (positief, negatief, financieel etc.)? - Worden de prestaties vergeleken met

soortge-lijke onderwijsinstanties (benchmark)? 2. Autonomie

en verantwoor-ding

- Wie heeft de bevoegdheid gegeven om de op-leiding in te richten?

- Aan wie en hoe legt u verantwoording af? - Ervaart u autonomie bij het uitvoeren van uw

taken? 2. Effecten van

prestatiemeting

1. Positieve effecten

- Heeft prestatiemeting geleidt tot innovatie? (bijv: geleidt tot interne discussies over acti-viteiten)

- Is er een duidelijke criterium voor het beoor-delen van procedures of structuren binnen uw onderwijsafdeling? (welke bijdrage leveren ze)

- Leidt prestatiemeting volgens u tot beloning en voorkomt het bureaucratie? Zo ja, waaruit blijkt dat?

- Levert prestatiemeting informatie op die kan worden gebruikt voor een verbetering van de professionele dienstverlening?

(18)

2. Perverse ef-fecten

- Blokkeert prestatiemeting volgens u innova-ties? Zo ja, waaruit blijkt dat? (geen risico's nemen)

- Blokkeert prestatiemeting volgens u ambi-ties? Zo ja, waaruit blijkt dat? (focus ligt op input, vb: scholieren met gedragsstoornissen) - Verhult prestatiemeting volgens u de

daad-werkelijke prestaties?

- Leidt prestatiemeting tot het verdrijven van de professionele habitus? Zo ja, welke waar-den?

- Is er sprake van benchmark als het gaat om prestaties? Zo ja, worden er best practices van anderen getransplanteerd in de organisatie? - Leidt prestatiemeting volgens u tot sancties?

(19)

3. Onderzoeksstrategie, methoden en kwaliteit

3.1 Onderzoekstype

Dit onderzoek is empirisch en verklarend van aard. Het is een verklarend onderzoek naar de invloed van de afstand van de bestuurder op de effecten van prestatiemeting. Hierbij wordt er een verklaring gegeven in welke mate de perverse effecten de positieve effecten van prestatie-meting overheersen naarmate de afstand van de bestuurder groter is. Het onderzoek is tevens deductief van aard. Een verklaring is niet mogelijk zonder de voorafgaande beschrijving van het onderwerp (Bryman, 2012:711). Er is eerst aan de hand van theorieën een hypothese gesteld. Deze voorspelling is vervolgens getoetst. Kortom, de aard van dit onderzoek is verklarend en voorspellend.

3.2 Case selectie

Case study

In dit onderzoek is er sprake van een case study. Een case study is een intensieve analyse van een enkele eenheid of een klein aantal eenheden. Het doel van een case study is het rijkdom aan empirische informatie. Deze informatie kan de input leveren voor nieuwe theorievorming of het verbeteren van bestaande theorievorming (Bryman, 2012:66-68). Vanwege de beperkte tijd en toegang voor dit onderzoek is er bewust gekozen om een case study te houden. In dit onder-zoek vormen twee scholen de casus, namelijk ROC Mondriaan en het Florijn College. Daar-naast is er theorie beschikbaar over het onderwerp en op basis daarvan is de hypothese gefor-muleerd en getoetst. Dit is aan de hand van X1/Y-centered gebeurd. Dit houdt in dat er een causale relatie tussen een specifieke X en een specifieke Y variabel onderzocht is (Punch, 2006:153). In dit onderzoek is de x variabel de afstand van de bestuurder op het primaire proces en de y variabel is de overheersing van de perverse effecten van de prestatiemeting.

Case selectie

Door middel van deze studie wordt er een verklaring gegeven op de volgende vraag: overheer-sen de perverse effecten de positieve effecten van prestatiemeting naarmate de bestuurder ver-der afstaat van het primaire proces? Deze vraag is gebaseerd op de theorie van Hans de Bruijn (2006). Hans de Bruijn heeft aandacht besteedt aan professionele organisaties in het publieke domein. Voorbeelden hiervan zijn traditionele professionele organisaties zoals ziekenhuizen, scholen, de rechterlijke organisatie, de politie, de reclassering en een groot aantal departemen-tale uitvoeringsorganisaties (De Bruijn, 2006:15).

(20)

De focus op die bepaalde organisaties maakt het noodzakelijk dat ook binnen deze studie één van die bepaalde organisaties wordt geselecteerd. Deze selectie maakt het namelijk mogelijk om de theorie van Hans de Bruijn te kunnen toetsen. Om een verklaring te geven op de vraag is er een selectie van de case gemaakt. Hierbij is de eerste afweging gebaseerd op het kiezen van één van de organisaties die door Hans de Bruijn zijn onderzocht. Hierdoor is er gekozen voor het onderwijs. Het middelbaar beroepsonderwijs is een interessant onderwijsinstelling om te bestuderen. Dit heeft te maken met de kwaliteit van het mbo en de daarbij behorende orga-nisatorische veranderingen binnen het mbo. De kwaliteit van het middelbaar beroepsonderwijs (mbo) in Nederland neemt namelijk af. In 2010 heeft de onderwijsinspectie aangegeven dat 500 mbo-opleidingen zwak tot zeer zwak presteren (NRC, 2010). Daarnaast heeft het mbo de laatste decennia veel organisatorische en structurele veranderingen ondergaan. In Nederland is er rond het einde van de jaren 90 een regionaal opleidingscentrum (ROC) opgebouwd.

In deze studie is het mbo afgebakend tot de Juridische afdeling van ROC Mondriaan en het Florijn College. De reden voor de afbakening is de beperkte tijd en middelen voor dit onder-zoek. Daarnaast is er bewust gekozen voor beide scholen. Bij het Florijn College in Breda be-staan de teams namelijk uit ‘Resultaatverantwoordelijke Teams’ (Florijn College, 2016:5). De medewerkers krijgen hierdoor meer verantwoordelijkheden en ruimte om het werk in te kunnen richten om de gewenste resultaten van de school te kunnen behalen. Dit houdt tevens in dat de rol van de bestuurder kleiner is dan bij scholen zonder enige vorm van zelfsturing. Binnen ROC Mondriaan wordt er geen gebruik gemaakt van resultaatverantwoordelijke teams. Deze ver-schillende afstanden van het bestuur maakt het mogelijk om de theorie van Hans de Bruijn uitgebreider te toetsen.

Tot slot is er een afweging gemaakt op basis van de toegankelijkheid van gegevens om de hy-pothese van dit onderzoek te toetsen. Hierbij is gebruik gemaakt van het eigen netwerk van de onderzoeker. Hierdoor was het contact met de school en de desbetreffende personen een stuk eenvoudiger. Daarnaast is gelet op het feit dat de probleemstelling zich richt op prestatiemeting binnen het onderwijs en de rol van de bestuurder binnen het onderwijs. Hierdoor is het van belang dat er naast een literatuurstudie ook meerdere personen worden ondervraagd om meer diepgaande informatie te krijgen. Bij het selecteren van de onderzoekdoelgroep is er rekening gehouden met het onderscheid dat Hans de Bruijn maakt, namelijk tussen de bestuurder en de professional. Hieruit is voortgekomen dat de ondervraagde onderwijsmanagers en teamleider de professionals zijn, omdat zij degene zijn die het primaire proces vormgeven. Het College

(21)

van Bestuur van beide scholen zijn de bestuurder, omdat zij dit proces proberen te sturen en de hierover verantwoordelijkheid dragen.

Kortom, deze studie is op een deductieve wijze vormgegeven. Een deel van de theorie van Hans de Bruijn wordt getoetst, namelijk of de afstand van de bestuurder op het primaire proces daad-werkelijk invloed heeft op de overheersing van perverse effecten van prestatiemeting. Deze toetsing vindt plaats aan de hand van de bevindingen uit de praktijk, namelijk binnen ROC Mondriaan en het Florijn College.

3.3 Dataverzameling

Voor de dataverzameling zijn twee verschillende methoden gebruikt. De selectie van de case is gebaseerd op de literatuurstudie (zie paragraaf 3.3.1) waarbij het boek van Hans de Bruijn centraal stond, namelijk: ‘Prestatiemeting in de publieke sector’. Alle overige databronnen zijn opgenomen in de literatuurlijst. Daarnaast zijn er interviews gehouden om de hypothese van deze studie al dan niet te bevestigen. Hierbij zijn de onderwijsmanagers, het bestuur en de teamleider van ROC Mondriaan en het Florijn College ondervraagd (zie paragraaf 3.3.2). Het doel hiervan is om vanuit meerdere perspectieven informatie te verkrijgen om de hypothese te kunnen toetsen.

3.3.1 Literatuuronderzoek

Nel Verhoeven (2007) zegt dat een literatuuronderzoek deel uitmaakt van elk onderzoeksopzet. Een analyse van wetenschappelijke teksten, om samen te vatten welke inzichten er al bestaan over een onderwerp, is onmisbaar voor een gedegen onderzoek (Verhoeven, 2007:126-127). In dit onderzoek is er gebruik gemaakt van een literatuurstudie. Hierbij is gebruik gemaakt van het boek van Hans de Bruijn, namelijk: Prestatiemeting in de publieke sector. In dat boek zegt Hans de Bruijn (2006) dat wanneer er een afstand is tussen de bestuurder en het primaire proces, dan overheersen de perverse effecten de positieve effecten van prestatiemeting. Daarnaast is per school het jaarplan van 2016 geraadpleegd. Het doel hiervan is om te achterhalen welke doestellingen de scholen hebben en uiteraard om na te gaan hoe de scholen de beoogde doelen willen behalen. Deze databron is door de school zelf opgesteld. Bovendien is er gebruik ge-maakt van meerdere documenten om de casus van dit onderzoek te kunnen schrijven en te ana-lyseren. In de literatuurlijst zijn alle gebruikte literatuur weergegeven.

(22)

Pagina 21 van 50 3.3.2 Interview

Om de hypothese in de praktijk te kunnen toetsen is het van belang om interviews te houden. De interviews dragen namelijk bij aan het al dan niet bevestigen van de hypothese van deze studie. Een interview is een vraaggesprek. In het interview staat de beleving van de geïnter-viewde centraal. Door middel van een interview wil de onderzoeker zoveel mogelijk informatie verzamelen. Voor deze studie is er gebruik gemaakt van een open interview. Een open interview is wenselijk indien er wordt gevraagd naar de motieven van de respondenten. Daarnaast kan het helpen bij het bespreken van gevoelige onderwerpen (Verhoeven, 2007:124)

De reden voor een open interview is dat het onderwerp enigszins gevoelig kan zijn, omdat in dit onderzoek de focus wordt gelegd op de rol van de bestuurder.

Voor deze studie is er gebruik gemaakt van het halfgestructureerde interview. Bij dit type in-terview is er een vragenlijst aanwezig (zie hoofdstuk 9). Dit neemt niet weg dat er alle ruimte is voor het eigen inbreng van de respondent. Hierbij dient de onderzoeker flexibel op te stellen en in te spelen op de situatie (Verhoeven, 2007:126). Het bestuur, onderwijsmanagers en de teamleider van ROC Mondriaan en het Florijn College zijn ondervraagd. Het doel hiervan is om vanuit meerdere perspectieven informatie te verkrijgen om de hypothese te kunnen toetsen. De keuze voor de te interviewen personen is gebaseerd op de theorie van Hans de Bruijn. Hans de Bruijn maakt namelijk een onderscheid tussen de bestuurder en de professional. De profes-sional is degene die het primaire proces vorm geeft en de bestuurder is degene die, onder andere door prestatiemeting, probeert om dit proces te sturen en hiervoor vaak verantwoordelijkheid draagt (De Bruijn, 2006:15). Gelet op het feit dat dezelfde speler beide rollen kunnen vervullen (De Bruijn, 2006:15) is ervoor gekozen om de leden van het College van Bestuur van beide scholen te aanschouwen als de bestuurder van het primaire proces. De ondervraagde onderwijs-managers en teamleider behoren tot de professionals. De respondenten van dit onderzoek heb-ben kennis te onderzoeken variabelen, namelijk over prestatiemeting en de effecten daarvan. Daarnaast hebben zij vanwege hun functies zicht op de afstand van de bestuurder op het pri-maire proces.

3.3 Validiteit

Validiteit is de mate waarin datgene wat werd gemeten hetzelfde is wat men bedoelde te meten. Er mag geen sprake zijn van systematische fouten. Er zijn verschillende vormen van validiteit (Bryman, 2012). Voor dit onderzoek is de inhoudsvaliditeit en interne validiteit van toepassing. Inhoudsvaliditeit is de mate waarin de dimensies van het te meten construct vertegenwoordigd

(23)

zijn in de vragen. Het te meten constructen zijn vertegenwoordigd in de hypothese, namelijk de losse koppeling tussen de bestuurder en het primaire proces en dat leidt tot overheersing van perverse effecten van prestatiemeting. De theorie zal in de praktijk worden getoetst. Interne validiteit is in welke mate er causale conclusies getrokken kunnen worden (Bryman, 2012). Door middel van de gekozen onderzoeksstrategie en –methode moet het mogelijk zijn om de centrale vraagstelling van dit onderzoek te beantwoorden. Hiermee wordt datgene wat voor het onderzoek relevant is ook daadwerkelijk gemeten.

3.4 Betrouwbaarheid

Is het onderzoek vrij van toevalsfouten? Leidt het herhalen van dezelfde observatie nog steeds tot dezelfde uitslag geeft? Nauwkeurigheid en consistentie, waarmee onder andere hypotheses worden gemeten, is bepalend voor de betrouwbaarheid van het onderzoek (Bryman, 2012). Dit onderzoek is betrouwbaar, want het bevat geen toevalsfouten. De analyse is aan de hand van de theorie van Hans de Bruijn en aan de hand van de casus uitgevoerd. Dit is nauwkeurig gebeurd. Voor dit onderzoek is het tevens van belang dat de bestuurder en onderwijsmanager (professi-onal) deelnemen aan dit onderzoek. De reden hiervoor is om het onderzoek meer diepgang te geven door vanuit verschillende perspectieven informatie te verkrijgen om de hypothese te toet-sen.

Voor dit onderzoek was het relevant om de respondenten tijdig te informeren over de aard van het onderzoek en dat deelname aan het onderzoek anoniem is. De respondent is ingelicht over de aard, methode en doel van het onderzoek. Vervolgens werden de respondenten in staat ge-steld om al dan niet deel te nemen aan dit onderzoek. In dit onderzoeksrapport is enkel de functie van de respondenten benoemd. Hierdoor is echter de kans groot dat de respondenten alsnog herkenbaar worden. Desondanks is er besloten om de anonimiteit te waarborgen door geen persoonlijke gegevens te benoemen in dit onderzoeksrapport. De reden hiervoor is dat het onderwerp enigszins gevoelig kan zijn, omdat er in dit onderzoek de focus wordt gelegd op de rol van de bestuurder bij prestatiemeting. Hierdoor kan het lastig zijn voor de respondenten om alle vragen zo eerlijk mogelijk te beantwoorden. Om dit te voorkomen zijn alle respondenten individueel ondervraagd.

(24)

4. Casus

In dit hoofdstuk is de casus in kaart gebracht. Er wordt beschreven hoe prestaties worden ge-meten en wanneer positieve en perverse effecten optreden volgens de onderwijsmanagers en bestuurders van ROC Mondriaan en het Florijn College en de teamleider van het Florijn Col-lege.

4.1 ROC Mondriaan Achtergrondinformatie

ROC Mondriaan bestaat uit het College van Bestuur, Raad van Toezicht, de directeuren, staf-diensten en de onderwijsmanager. Het College van Bestuur is het bevoegd gezag van ROC Mondriaan. Het College houdt zich bezig met de gang van zaken van het ROC. De Raad van Toezicht houdt intern toezicht op de werkwijze van het College van Bestuur en de Raad van Toezicht is de werkgever en adviseur van het College van Bestuur. ROC Mondriaan bestaat uit 27 scholen die onder leiding staan van een onderwijsmanager. De directeur ondersteunt de on-derwijsmanager hierbij. Er zijn een aantal stafdiensten die de onon-derwijsmanagers directeur en het College van Bestuur faciliteert en adviseert (ROC Mondriaan, 2015).

ROC Mondriaan streeft ernaar om iedereen die school-en leerbaar is een passende opleiding te bieden. In samenwerking met de gemeenten, het voortgezet onderwijs, het hoger onderwijs, bedrijven en overige instellingen wordt dat doel behaald. Het voorkomen van voortijdig school-verlaten, het studiesucces en de kwaliteit van het onderwijs vormen hierbij belangrijke aspec-ten. De toekenning van een groter deel van de rijksmiddelen is tevens afhankelijk van die drie aspecten. Om die doelen te kunnen realiseren is door ROC Mondriaan een strategisch plan (Strategie 2016-2019: Vakkundig, Innovatief, Betrokken) geformuleerd. De kernwaarden van het plan zijn vakkundigheid, innovatie en betrokkenheid. Om deze kernwaarden te realiseren heeft ROC Mondriaan een aantal uitdagingen geformuleerd. Eén van de interne uitdagingen is de professionalisering van de medewerkers van ROC Mondriaan. ROC Mondriaan streeft naar een permanente instroom en ontwikkeling van opgeleide docenten, medewerkers en instruc-teurs uit het bedrijfsleven. Het is tevens wenselijk dat de zeggenschap over het onderwijs meer met die professionals geschiedt. De kwaliteit van de medewerker is essentieel om de interne uitdaging(en) aan te gaan (ROC Mondriaan, 2015).

(25)

Pagina 24 van 50 Bestuurslid ROC Mondriaan

Het bestuurslid werkt 4,5 jaar bij ROC Mondriaan en het bestuurslid is verantwoordelijk voor zaken zoals financiën, ICT, vastgoed etc.

In het interview geeft het bestuurslid van ROC Mondriaan aan dat prestatiemeting onmisbaar is binnen het onderwijs in Nederland. Aan de hand van prestaties krijgt het onderwijs geld van het ministerie van Onderwijs, Cultuur en Wetenschap (OCW). Hij geeft aan dat er een lande-lijke regiegroep is dat samen met de onderwijsinspectie afspraken maakt over de bekostiging van het onderwijs. Het bestuurslid benoemt dat scholen vrijheid willen als het gaat om de fi-nanciering van hun eigen school. “Zij zijn de professionals en weten hierdoor beter hoe zij het

budget kunnen besteden”, aldus het bestuurslid van ROC Mondriaan. Volgens het bestuurslid

is uit het verleden duidelijk geworden dat dat aanleiding is geweest voor perverse effecten bin-nen het onderwijs. De politiek wil daar juist controle op hebben door toezicht te houden en het geld niet zomaar over te laten aan de scholen.

Het College van Bestuur van ROC Mondriaan houdt zich bezig met prestatiemeting. Per school van ROC Mondriaan zijn er vier prestatie-indicatoren waar er specifiek op wordt gelet. Volgens het bestuurslid van ROC Mondriaan hebben die indicatoren onderling een verband met elkaar en kunnen de indicatoren daardoor niet los van elkaar worden gezien. Eén van die indicatoren is de tevredenheid van studenten. De meting van de tevredenheid van studenten is uitbesteed en wordt door middel van de JOB-enquête gemeten. De tevredenheid van medewerkers is een ander indicator dat om het jaar wordt gemeten door het onderzoeksbureau Effectery. Het be-stuurslid van ROC Mondriaan geeft aan dat die twee indicatoren een sterk verband hebben. Een slechte relatie tussen beiden kunnen leiden tot ontevredenheid. Een ander indicator is het meten van het onderwijs. ROC Mondriaan leidt de studenten op voor de arbeidsmarkt, vervolgonder-wijs, als goede en zelfredzame burger in de maatschappij. De maatschappelijke vorming van studenten en actuele kwesties in de maatschappij, zoals radicalisering en terrorisme krijgen vol op aandacht. De tevredenheid van het bedrijfsleven en afnemers wordt ook gemeten. Het on-derwijs-rendement, zoals het diplomarendement en schooluitval is de vierde indicator. Deze gegevens worden op elk school gemeten. De onderwijsinspectie controleert en kijkt naar het jaarrendement, diplomarendement en voortijdig schoolverlaat. Aan de hand van die normen van de inspectie wordt de school beoordeeld. Hieruit volgt prestatiebeloning of sancties zoals het opheffen van opleidingen of in het uiterste geval het intrekken van de onderwijslicentie.

(26)

Volgens de bestuurder kan dat leiden tot perverse effecten om toch gewenste prestaties te be-halen.

Het bestuurslid van ROC Mondriaan vindt dat het College van Bestuur dichter tot het primaire proces van prestatiemeting dient te staan. Volgens hem was er voorheen weinig overzicht over wat er gaande was binnen de school. Het college van bestuur heeft uiteindelijk besloten om dichter bij scholen te komen. Het bestuurslid van ROC Mondriaan geeft in het interview aan dat er rechtstreeks contact is met de scholen van ROC Mondriaan. Het College van Bestuur grijpt tevens in zodra de kwaliteit van het onderwijs in gevaar komt. Jaarlijks wordt in het voor-jaar de prestatie van de scholen overhandigd aan het College van Bestuur. Het College van Bestuur houdt daarbij rekening met eventuele factoren die een rol spelen bij de prestaties. Daar-naast geeft het bestuurslid van ROC Mondriaan aan dat het College van Bestuur het proces stuurt, maar dat de scholen de bevoegdheid hebben om te bepalen hoe zij omgaan met eventuele negatieve resultaten uit de prestatiemeting. Het College van Bestuur kijkt in hoeverre elk school zich heeft verbeterd. Het college kan eventueel sancties hanteren. De persoon in kwestie kan ontslagen worden of op een andere school worden geplaatst. Andere sancties zijn bijvoorbeeld coachen. Door het college zijn er kaders gesteld om sancties te stellen, maar dat is volgens het bestuurslid subjectief. Er wordt namelijk per geval gekeken naar een eventuele passende sanc-tie.

Het bestuurslid van ROC Mondriaan benadrukt dat het essentieel is om te weten wat er aan de hand is binnen de scholen. Volgens hem is de afstand van het primaire proces nadelig, omdat er dan weinig zicht is op hetgeen wat zich daadwerkelijk afspeelt binnen de scholen. Het be-stuurslid van ROC Mondriaan zegt dat hierdoor een pervers effect kan optreden, namelijk dat men de neiging heeft om te focussen op de cijfers uit de prestatiemeting. Hij vindt dat het col-lege moet leren en rolvast moet blijven in dat proces. Het colcol-lege geeft advies en stuurt in hoofdlijnen de processen in het onderwijs aan. Transparantie vanuit scholen is hierbij van be-lang. Scholen moeten zelf aangeven hoe het bij hun op school aan toe gaat. Uit ervaring van het bestuurslid van ROC Mondriaan komen daar speerpunten uit. Volgens het bestuurslid van ROC Mondriaan dienen scholen te leren van fouten. Het bestuurslid van ROC Mondriaan benadrukt tevens dat er veel gedaan wordt aan benchmark op het gebied van studieresultaten, financiële plaatje, ict etc. De resultaten uit de benchmark worden door het college gebruikt als beginpunt van een gesprek met scholen. Daarnaast kunnen scholen op die manier van elkaar leren. Het bestuurslid van ROC Mondriaan geeft wel aan dat niet alle scholen vergelijkbaar zijn omdat

(27)

niet alle scholen hetzelfde zijn. Het College van Bestuur kijkt hierdoor naar de verschillen om te achterhalen in hoeverre verbeteringen mogelijk zijn. Daarnaast wordt door het college de scholen gestimuleerd om transparant te zijn. Dit doet het college door aan te geven dat er geen afrekencultuur is. Zij moeten leren van de fouten die zij maken.

Indien een school van ROC Mondriaan onder de maat blijft presteren, dan worden er sancties opgelegd. Hierbij worden de desbetreffend onderwijsmanagers en directeuren aangesproken op de prestaties. Bovendien wordt er gezocht naar oorzaken voor de slechte prestaties. Het risico bestaat namelijk dat het College van Bestuur meer focust op de cijfers in plaats van de achter-liggende verhaal voor de cijfers. De gesprekken moet dat inzichtelijk maken. ROC Mondriaan hanteert voor elk school een bepaald percentage om te behalen. 80 procent moet bestaan uit opleidingen en het aantal studenten en het overige percentage is bedoeld voor het aantal stu-denten dat zijn of haar diploma behaald.

Onderwijsmanager ROC Mondriaan

Naast het lid van het College van Bestuur van ROC Mondriaan is de onderwijsmanager van de school voor Economische en Juridische beroepen ondervraagd. De onderwijsmanager geeft in het interview aan dat prestaties van medewerkers aan de hand van voortgangs- en beoordelings-gesprekken worden gemeten. Daarnaast zijn er beoordelingsformulieren die gebruikt worden om medewerkers te beoordelen op basis van hun prestaties. Het College van Bestuur heeft be-sloten om aan de hand van de formulieren medewerkers te beoordelen. Het is een objectieve maatstaf om aan te kunnen tonen dat de gesprekken zijn gevoerd met de docenten.

De onderwijsmanager vindt het gesprek met de medewerkers relevanter dan de beoordelings-formulieren. De reden hiervoor is dat hij aangeeft dat er geen strakke richtlijnen moet zijn om medewerkers te beoordelen en het motiveert de managers niet om tot een beoordeling te komen. Het brengt juist allerlei administratieve handelingen met zich mee. De kern is het onderhouden van contacten met de medewerkers. De onderwijsmanager vindt dat er gestreefd moet worden naar een tussentijds contact met de medewerkers. De onderwijsmanager benadrukt dat de pres-tatiemeting van medewerkers leidt tot bureaucratie, omdat de beoordelingsformulieren admini-stratieve lasten met zich meebrengt voor de onderwijsmanager. Dit neemt niet weg dat de me-dewerkers een belangrijke rol spelen als het gaat om de leerlingen. Volgens De onderwijsma-nager hebben met name docenten invloed op de prestaties van leerlingen. De onderwijsmaonderwijsma-nager benadrukt echter dat de invloed van docenten op de prestaties van leerlingen lastig te meten

(28)

zijn. De reden hiervoor is dat er hier geen concrete prestatie-indicatoren voor zijn. Bij inciden-ten of het niet behalen van de gewenste prestaties, dan worden er gesprekken gevoerd met de docenten. In het gesprek wordt de docent niet zozeer afgerekend. In het gesprek ligt de focus meer op het stimuleren van docenten om meer betrokken te zijn. De onderwijsmanager bena-drukt dat docenten het eigen vak het beste kennen en hierdoor meer betrokken moeten zijn om de gewenste prestaties te behalen.

Wat betreft autonomie, de onderwijsmanager ervaart autonomie in zijn werkzaamheden. Dit neemt niet weg dat de onderwijsmanager verantwoording dient af te leggen. De onderwijsma-nager geeft aan dat het bestuur niet op de hoogte hoeft te zijn over hoe de prestaties zijn behaald. Het bestuur dient te weten in hoeverre de doelen zijn gerealiseerd.

Tot slot geeft de onderwijsmanager aan dat het College van Bestuur begin dit jaar de wens heeft om gesprekken te voeren met de medewerkers om hun prestaties te beoordelen. Hiermee wil het college dichterbij komen te staan bij dat proces door prestaties te beoordelen en door aan te geven wat eventueel beter kan. De onderwijsmanager geeft aan dat dit niet gewenst is omdat de directeuren hiermee achterwege worden gelaten. De onderwijsmanager heeft liever dat er direct contact is met de directeur. Volgens hem staan directeuren dichterbij het onderwijs en het Col-lege van Bestuur staat er ver van af. De onderwijsmanager benoemt in het interview een aantal perverse effecten van de afstand van de bestuurder op het primaire proces. Volgens hem kan het college de onderwijsprestaties lastig beoordelen omdat zij slechts cijfers te zien krijgen van bijvoorbeeld het aantal behaalde diploma’s of voortijdig schoolverlaters. Een ander voorbeeld is het aantal studenten op school. De scholen krijgen voor het aantal studenten een budget. Dit is een prikkel om zoveel mogelijk studenten aan te nemen. Een ander voorbeeld is het besteden van het jaarlijks budget. Dit budget moet in hetzelfde jaar benut zijn. Indien dat niet het geval is, dan krijgt de school een minder budget.

(29)

Pagina 28 van 50 4.2 Florijn College

Achtergrondinformatie

Het Florijn College valt onder ROC West-Brabant. De ambitie van het Florijn College is om studiesucces en doorstroom van studenten te verhogen. De begeleiding, vermogens en ambities van de student staat hierbij centraal. Voor 2016-2020 heeft het Florijn College het doel om helder te krijgen wat dit van de deskundigheid van de professionals vraagt (Florijn, 2016:4). Dit houdt in dat deskundigheidsbevordering op maat wordt ontwikkeld, ingekocht en beschik-baar wordt gemaakt. Er zijn bepaalde instrumenten die inzicht bieden in de ontwikkeling en groei van professionals. Concreter betekent dit dat er georiënteerd wordt op de essentie van leren, de rol van docent, loopbaangerichte in- en uitstroom en loopbaangerichte leeromgeving. Vervolgens worden kenmerken van volginstrument vastgesteld. Tot slot wordt de lerende or-ganisatie gestimuleerd. Denk dan aan activiteiten zoals studiedag, trainingen etc. (Florijn, 2016:4). Tot slot, de teams van het Florijn College in Breda bestaan uit ‘Resultaatverantwoor-delijke Teams’ (Florijn College, 2016:5). Dit houdt in dat de medewerkers meer eigen verant-woordelijkheden krijgen. Dit biedt ruimte voor de medewerkers om het werk in te kunnen rich-ten om de gewenste resultarich-ten te kunnen boeken.

Bestuurslid Florijn College

Het bestuurslid van het Florijn College houdt zich bezig met externe representatie, strategie, algemeen bestuurlijke zaken, communicatie & PR, facilitair, inkoop en huisvesting, concern control, het onderwijs, kwaliteitszorg en innovatie.

In het interview geeft het bestuurslid aan dat er op bepaalde manieren prestatiemanagement wordt toegepast in het onderwijs. Het jaarlijks budget van de overheid wordt onder andere be-paald aan de hand van de prestaties van de scholen. De bedrijfsvoering speelt hier tevens een belangrijke rol. Elk kalenderjaar wordt er gekeken hoeveel geld de scholen nodig hebben. De uitgaven kunnen elk jaar verschillen doordat de school bijvoorbeeld een grotere pand nodig hebben. Het is de bedoeling dat deze kosten voortijdig worden gerapporteerd. Het ministerie van Onderwijs, Cultuur en Wetenschap (OCW) zal uiteindelijk bepalen wat het bedrag zal zijn. Ook hier geldt dat de onderwijsinspectie de scholen controleert door te kijken naar het jaarren-dement, diplomarendement en voortijdig schoolverlaat. Aan de hand van die normen wordt de school beoordeeld. Ook hieruit kan prestatiebeloning of sancties volgen.

(30)

Binnen het Florijn College zijn de tevredenheid van studen-ten en medewerkers prestatie-indicatoren. De meting van de tevredenheid van studenten wordt door middel van de JOB-enquête gemeten. De tevredenheid van medewerkers is een ander indicator dat om het jaar wordt gemeten. Hierbij wordt er ook gebruik gemaakt van een gesprekscyclus. Per jaar vin-den er gesprekken met het bestuur plaats. Het bestuurslid wil geen afstandelijk bestuur. ROC West-Brabant bestaat uit 100 teams en heeft een platte organisatie. Het bestuur maakt gebruik van een eigen monitoring. Het bestuur gaat het gesprek aan met onder andere de directie en de onderwijsmanagers. Het bestuur wil namelijk op de hoogte blijven van de scholen en daarnaast ook zichtbaar blijven. In het gesprek wordt er verder gekeken dan alleen naar de cijfers. Er wordt tevens gekeken naar de effecten van de prestaties, maar ook naar de tevredenheid van de medewerkers. Het bestuur vindt met name het complimenteren van de teams voor de geleverde prestaties relevant. Uit de ervaring van het bestuurslid blijkt dat de medewerkers de compli-menten op prijs stellen.

In kader van de resultaatverantwoordelijke teams hebben de teams meer verantwoordelijkheden gekregen om de gewenste resultaten te kunnen boeken. De afstand tussen het bestuur en het team wordt hierdoor een stuk groter. “Dit neemt niet weg dat de rol van het bestuur belangrijk

is en blijft”, aldus het bestuurslid van het Florijn College. Vanwege de afstand is het belangrijk

om afspraken met elkaar te maken. Dat geldt met name voor de monitoring van de prestaties. De uitspraak van het bestuurslid luidt als volgt: "Niet meer meten, maar slim meten om de

tun-nelvisie weg te nemen". Het bestuurslid doelt hiermee op hetgeen te meten wat daadwerkelijk

relevant is om een beperkte kijk op zaken te voorkomen. Hiermee kan tevens de kwaliteit en professionaliteit van de scholen verbeteren.

Het bestuurslid benoemt een drietal aan punten als het gaat om slim meten. Allereerst dient de leider na te gaan welke resultaten gewenst zijn. Hierbij dient er een belangrijk onderscheid gemaakt te worden in de input, throughtput en output. Er dient dus gekeken te worden naar welke soort middelen nodig zijn om een proces op te starten (input), het creëren van een goed werkproces (throughput) en tot slot de uitkomsten daarvan (output). Vervolgens dient er op basis van die analyse een selectie gemaakt te worden. De uitkomsten uit de selectie dient meet-baar te worden gemaakt en uiteindelijk met elkaar te worden vergeleken.

"Niet meer meten, maar slim meten om de

(31)

Tot slot zijn de begrippen neutraliteit en onafhankelijkheid essentieel om slim te willen meten. Men dient namelijk zo objectief mogelijk te kijken naar hetgeen dat wordt gemeten.

Het bestuurslid is bekend met de effecten van ting. Volgens het bestuurslid helpt en dwingt prestatieme-ting om duidelijk te maken wat de (gewenste) resultaten zijn. Wat en hoe doet een school iets en het aantal voortijdig schoolverlaters zijn hier voorbeelden van. “Prestatiemeting

is een claim op leiding”, aldus het bestuurslid van het

Flo-rijn College. Het bestuurslid bedoelt hiermee op de touw-tjes in handen te nemen en om zicht te krijgen in wat er zich afspeelt binnen de scholen. Op basis van de resultaten uit de prestatiemeting ontstaat er een gesprek met het bestuur en medewerkers om samen de verantwoordelijkheid te nemen om de beoogde resultaten te behalen.

“Zo zijn er ook negatieve effecten van prestatiemeting”, aldus het bestuurslid van het Florijn

College. Het bestuurslid geeft aan dat het mogelijk is dat een cijferdoelstelling wordt nage-streefd. Dit houdt in dat er teveel gelet wordt op de resultaten en niet zozeer op de daadwerke-lijke betekenis van de cijfers. Het bestuurslid geeft aan dat hierdoor een ‘feitenfetisjisme’ kan ontstaan. Dit houdt in dat er steeds meer gelet wordt op ‘objectiveerbare’ vereisten, studieren-dementen en contacturen etc. Er is nauwelijks aandacht voor de normatieve uitgangspunten over de cijfers. Daarnaast kan prestatiemeting leiden tot meer bureaucratie. De teams dienen de resultaten uit de prestatiemeting om de zoveel tijd te rapporteren. Dit brengt administratieve lasten met zich mee. Dat moet volgens het bestuurslid op een andere manier gedaan worden. Het heeft geen zin om stapels aan gegevens te ontvangen. Tot slot weet het bestuurslid niet zo goed of de medewerkers transparant durven te zijn richting het bestuur. Dat geldt met name voor wanneer het niet goed gaat. “Wellicht zijn de medewerkers bang om daarop te worden

afgerekend”, aldus het bestuurslid van het Florijn College. Het bestuurslid benadrukt dat het

bestuur het contact met de medewerkers moet behouden. Op dit moment gebeurd dit aan de hand van functioneringsgesprekken. Naast het vaste gesprekscyclus neemt het bestuur tevens de tijd om persoonlijk in gesprek te gaan met de medewerkers die moeilijkheden ervaren. Het doel hiervan is om eventuele zorgen en onduidelijkheden weg te nemen.

Onderwijsmanager Florijn College “Prestatiemeting is een