Verrijking aan de theorie
De meerwaarde van dit onderzoek is vooral gelegen in de bijdrage van het onderzoek aan één van de theorieën van Hans de Bruijn. Hans de Bruijn heeft aandacht besteedt aan professionele organisaties in het publieke domein. Voorbeelden hiervan zijn traditionele professionele orga- nisaties zoals ziekenhuizen, universiteiten, de rechterlijke organisatie, de politie, de reclassering en een groot aantal departementale uitvoeringsorganisaties (De Bruijn, 2006:15).
Hans de Bruijn geeft aan dat de afstand van de bestuurder op het primaire proces kan leiden tot verlies van zicht op de causale verbanden tussen inspanning en prestatie. De bestuurder loopt namelijk het risico op om grond van informatie over prestaties een eigen causaliteit vast te stel- len. (De Bruijn, 2006).
Hoewel er al theorie over prestatiemeting binnen de publieke sector is geschreven, de causaliteit tussen de perverse effecten van de prestatiemeting en de afstand van de bestuurder op het pri- maire proces binnen het mbo is onderbelicht gebleven. Uit deze studie is te constateren dat de theorie van Hans de Bruijn toepasbaar is bij ROC Mondriaan en Florijn College. Aan de hand van deze studie kan namelijk worden gesteld dat bij de juridische afdeling van ROC Mondriaan en het Florijn College de afstand van de bestuurder op het primaire proces wel degelijk invloed heeft op de overheersing van perverse effecten van prestatiemeting. Er waren meer sprake van perverse effecten van prestatiemeting naarmate de bestuurder verder afstaat van het primaire proces. De perverse effecten van prestatiemeting zijn het blokkeren van innovaties en ambities, verhullen van de daadwerkelijke prestaties, verdrijven van de professionele habitus, imitatiege- drag en prestatiemeting leidt niet tot leren. Tot slot leidt prestatiemeting tot een straf op presta- ties stimuleert prestatiemeting strategisch gedrag. De beantwoording van de probleemstelling luidt dan als volgt: ‘Naarmate de bestuurder verder afstaat van het primaire proces, dan over-
heersen de perverse effecten de positieve effecten van prestatiemeting’. Kortom, de meerwaarde
van dit onderzoek is gelegen in het bevestigen van die theorie van Hans de Bruijn.
De beperkingen van dit onderzoek
Dit onderzoek kent een aantal beperkingen vanwege gebrek aan tijd en middelen. Per school zijn de onderwijsmanagers en de bestuurders ondervraagd. Daarnaast is de teamleider van het
Pagina 46 van 50
Florijn College ondervraagd. Het was relevant om de teamleiders van beide scholen te intervie- wen. Zij staan immers dichter tot het primaire proces. Vanwege persoonlijke omstandigheden was het niet meer mogelijk om de teamleider van de juridische afdeling van ROC Mondriaan te interview. Hierdoor werd het lastig om de mening van de teamleider van het Florijn College te vergelijken met iemand met een soortgelijke functie. Kortom, het meten van prestatiemeting binnen het onderwijs en de rol van de bestuurder verliep niet zoals gepland.
Daarnaast zijn de uitkomsten van dit onderzoek niet te generaliseren. De reden hiervoor is dat deze studie een casestudy betreft. Bij een casestudy wordt er een verklarende uitspraak over een sociaal verschijnsel bij slechts één onderzoekseenheid gegeven (Braster, 2000:72). Uit de conclusie van deze studie is namelijk gebleken dat de perverse effecten van prestatiemeting overheersen naarmate de bestuurder verder afstaat van het primaire proces. Dit is getoetst bij het ROC Mondriaan en het Florijn College. Meerdere onderwijsinstellingen in het mbo zijn vanwege tijdsgebrek niet ondervraagd. Voor dit onderzoek was er geen directe noodzaak om de onderzoeksuitkomsten te generaliseren. Er is namelijk bewust gekozen voor de onderzoeks- doelgroep (zie hoofdstuk 3.2) Het blijft echter wel interessant om te kijken of een verklaring voor één geval ook opgaat voor meerdere gevallen (Braster, 2000:72). Om onderzoeksuitkom- sten te generaliseren dient er een meervoudige casestudy te worden uitgevoerd. Vanwege ge- brek aan tijd en middelen was het onmogelijk om meerdere cases te bestuderen (Braster, 2000:72).
Vervolgonderzoek
Er zijn nog wel wat open deuren om nader te onderzoeken. Hans de Bruijn heeft in zijn boek het al te eenvoudig gebruik van prestatiemeting geproblematiseerd. In zijn boek heeft Hans de Bruijn (2006) een opsomming gemaakt van type producten waarbij prestatiemeting mogelijk is en type producten waarbij prestatiemeting problematisch kan zijn. Zo geeft Hans de Bruijn (2006) aan prestatiemeting problematisch is zodra producten meervoudig zijn, een organisatie dat proces georiënteerd is en producten die tot stand komen in relatie met anderen. Daarnaast voegt Hans de Bruijn eraan toe dat dat tevens geldt voor wanneer de causaliteit onbekend is en de kwaliteit niet in prestatie-indicatoren te definiëren zijn. Tot slot geeft Hans de Bruijn (2006) aan dat een variëteit aan producten en een dynamische omgeving tevens leidt tot een complexe prestatiemeting (De Bruijn, 2006:23). Veel van deze kenmerken zijn terug te zien bij publieke
Pagina 47 van 50
organisaties. Betekent dit dat prestatiemeting problematisch zal zijn bij elke publieke organisa- tie? Geldt dit tevens voor het onderwijs? Op basis van deze studie kan daar geen antwoord op worden gegeven. Dit is een interessante vraag om uit te zoeken.
Een ander open deur is de onderlinge relatie tussen de verschillende niveaus van prestatieme- ting. Wat betekent de onderzoeksuitkomsten van deze studie voor de onderlinge relatie tussen de verschillende niveaus van prestatiemeting? Deze vraag kan aan de hand van de theorieën van Hans de Bruijn niet beantwoord worden. Prestatiemeting vindt op verschillende niveaus plaatsvinden, namelijk op individueel niveau, publieke organisatie en de overheid als geheel. Hans de Bruin gaat echter niet in op de onderlinge relaties tussen de verschillende niveaus van prestatiemeting. Uit de casus komt naar voren dat er op verschillende niveaus prestatiemeting binnen onderwijs plaatsvind. Prestatiemeting binnen ROC Mondriaan vindt op individueel ni- veau plaatsvind, namelijk de individuele beoordeling van de medewerkers van ROC Mondri- aan. Daarnaast is er sprake van benchmarking. De resultaten uit de prestatiemeting van ROC Mondriaan worden vergeleken met andere scholen. Daarnaast wordt er binnen het onderwijs gesprekken gehouden met het landelijke regieteam om op zoek te gaan naar een passende wijze van prestatiemeting binnen het onderwijs. Bovendien speelt de onderwijsinspectie van het mi- nisterie van OCW een belangrijke rol bij prestatiemeting van het onderwijs. De inspectie con- troleert namelijk de resultaten uit de prestatiemeting van het onderwijs. Aan de hand van die gegevens worden de scholen uiteindelijk beloond of gesanctioneerd. Kortom, er is hier een dui- delijke relatie tussen verschillende niveaus van prestatiemeting binnen het onderwijs.
Om te kunnen onderzoeken wat de effecten van prestatiemeting betekenen voor de verschil- lende niveaus van prestatiemeting, zou een vervolgonderzoek nodig zijn waarbij de focus wordt gelegd op de verschillende niveaus van prestatiemeting binnen het onderwijs en de relaties daartussen. Hierdoor zal een completer beeld ontstaan over de daadwerkelijke relaties op ver- schillende niveaus van prestatiemeting binnen het onderwijs en wat voor impact de perverse effecten hebben op die relatie. Dat zal bijdragen aan kennis over de effectiviteit van prestatie- meting in die branche. Het is ieder geval van belang een heldere afbakening te maken tussen die verschillende niveaus van prestatiemeting. Hierdoor krijg je per niveau inzicht op de effec- ten van prestatiemeting en de gevolgen daarvan.
Pagina 48 van 50