Prestatiemeting in het middelbaar beroepsonderwijs : de invloed van prestatiemeting op het gedrag van professionals

Prestatiemeting in het middelbaar

beroepsonderwijs

De invloed van prestatiemeting op het gedrag van professionals

Masterscriptie Politicologie Bestuur en Beleid

Shelley van Alphen

Universiteit van Amsterdam 10729860

‘Managing public and private organizations: what’s the difference?’ Begeleider: dr. Anne-Marie Reynaers Tweede lezer: dr. Imrat Verhoeven Woorden: 20.797

Inhoudsopgave

Begrippen prestatiemeting en functies prestatiemeting ... 12

Ontstaan en ontwikkeling van prestatiemeting bij de overheid ... 13

De positieve en perverse effecten van prestatiemeting ... 14

Condities waaronder perverse effecten kunnen ontstaan ... 18

Verklaring voor optreden perverse effecten ... 19

Casestudies ten aanzien van prestatiemeting ... 20

Conclusie ... 22 Hoofdstuk 3. Methodologie ... 24 Empirische cyclus ... 24 Onderzoeksdesign ... 25 Case selectie ... 25 Selectie respondenten ... 27 Dataverzameling ... 28

Methode van analyse ... 29

Hoofdstuk 4. Analyse ... 35

Algemene bevindingen ... 35

Bevindingen positieve gedragingen ... 36

Innovatief gedrag ... 36

Doelgericht handelen ... 37

Verantwoording ... 38

Bevindingen perverse gedragingen ... 39

Strategisch gedrag ... 39 Meetfixatie ... 42 Schijnverantwoording ... 44 Bureaucratisch handelen ... 44 Overige bevindingen ... 45 Geen verandering ... 45 Bewustwording ... 46 Scherpte ... 47 Sociale controle ... 47 Conclusie ... 48 Hoofdstuk 5. Conclusie ... 49

Beantwoording empirische deelvragen ... 49

Beantwoording centrale vraag ... 53

Aanbevelingen ... 55

Beperkingen onderzoek en vervolgonderzoek ... 56

Hoofdstuk 6. Literatuurlijst ... 58

Hoofdstuk 7. Bijlage ... 62

Bijlage 1: Interviewvragen ... 62

Voorwoord

Voor u ligt mijn afstudeerscriptie ‘Prestatiemeting in het middelbaar beroepsonderwijs – de invloed van prestatiemeting op het gedrag van professionals’. Deze afstudeerscriptie is geschreven ter afronding van mijn Master Politicologie (richting Bestuur en Beleid) aan de Universiteit van Amsterdam.

Het uitvoeren van het onderzoek was een complex proces, waarbij de nodige tegenslagen niet te vermijden waren. Ondanks deze obstakels is het onderzoek afgerond en ben ik daar zeer tevreden over. Ik wil hiervoor in het bijzonder mijn dank betuigen aan dr. Anne-Marie Reynaers, wie mij gedurende deze afstudeerperiode zeer goed begeleid heeft en mij altijd van zinvolle feedback heeft voorzien.

Daarnaast wil ik mijn tweede lezer dr. Imrat Verhoeven bedanken voor zijn goede feedback in de laatste fase van mijn onderzoek. Tot slot wil ik alle twaalf respondenten bedanken, zonder hun waardevolle informatie had dit onderzoek niet uitgevoerd kunnen worden.

Hoofdstuk 1. Inleiding

Sinds de jaren tachtig zijn managementtechnieken uit het bedrijfsleven diep in overheidsorganisaties van verschillende landen geworteld (De Bruijn, 2006: 11). De gedachte is dat overheden, net zoals in het bedrijfsleven, producten en diensten leveren en op deze prestatie beoordeeld kunnen worden. Een gerecht kan namelijk worden afgerekend op het aantal vonnissen dat het wijst, een politiecorps op het aantal verbalen dat het uitschrijft en de wetenschapper op het aantal publicaties in wetenschappelijke tijdschriften. Overheden zijn daarmee resultaatgerichter geworden. (De Bruijn, 2006: 11).

Het resultaatgericht managen van overheden ontstond door felle kritieken op de bureaucratische sturing van ambtelijke organisaties. Tot de jaren tachtig werden overheden bestuurd als een hiërarchische, stabiele en bureaucratische organisatie. Dit werd gezien als inefficiënt en ineffectief. Hierdoor zouden overheden niet genoeg kunnen functioneren en presteren (Geut & Stolk, 2011: 1). Om deze kritieken tegen te gaan, is in de jaren tachtig New Public Management (NPM) ontstaan. NPM is een benadering waarbij de nadruk ligt bij het resultaatgericht managen van de overheid. NPM gaat uit van het principe ‘run government like business’ (Linker, 2006: 298). Een overheid dient daarvoor haar functioneren te ‘bedrijfsmatigen’ (Geut & Stolk, 2011: 1). De NPM-benadering is ontstaan in West-Europa en de Verenigde Staten (Linker, 2006: 298). Afhankelijk van het land en de context kent NPM verschillende verschijningsvormen (Geut & Stolk, 2011: 2).

In Nederland is NPM in de jaren negentig geïmplementeerd. NPM moest zorgen voor verbeteringen bij de overheid (Korsten, 2011:1). Dit betekende voor ons land de start van een efficiencyoperatie tijdens de twee paarse kabinetten van Kok, een scheiding van beleid en uitvoering en een concentratie op kerntaken (Geut & Stolk, 2011:2).

Volgens het Sociaal en Cultureel Planbureau lijken burgers tegenwoordig algemeen tevreden te zijn over het publieke domein. Toch is er stof tot nadenken, omdat het imago van de overheid niet geheel positief was en is (Korsten, 2011: 1). Met de vele bezuinigingen en financiële tekorten in het achterhoofd, uiten veel mensen hun ongenoegen.

Een belangrijk onderdeel van NPM is prestatiemeting. Thomas (2004) beschrijft prestatiemeting als “het op regelmatige wijze genereren, verzamelen, analyseren, rapporteren en gebruiken van een waaier aan gegevens, die gerelateerd zijn aan de werking van overheidsorganisaties en overheidsprogramma’s, en die betrekking hebben op middelen (inputs), prestaties (outputs) en effecten (outcomes) (Bouckaert, 2006: 241).

In Nederland kunnen we niet meer om prestatiemeting heen. Sinds de jaren negentig is de vraag naar prestaties sterk toegenomen (Bouckaert, 2006: 238). Volgens Korsten (2011: 41) is prestatiemeten een onderdeel van de praktische toepassing van NPM-beginselen en uitgangspunten in contractmanagement. Van een prestatiegerichte aanpak is sprake wanneer er gestreefd wordt naar meetbare doeleinden en het nemen van verantwoordelijkheid over bereikte resultaten. Wanneer behaalde resultaten positief zijn, wordt iemand hiervoor beloond. Maar wanneer de gewenste resultaten niet worden bereikt, wordt men hierop afgerekend (ibid).

De stellingen over prestatiemeting worden vaak snel ingenomen. Deze zijn positief of negatief van aard. Enerzijds draagt prestatiemeting bij aan transparantie en legitimiteit van de overheid, immers een gerecht kan worden afgerekend op het aantal vonnissen dat het wijst, maar anderzijds zijn organisaties als rechtbanken, politie en/of onderwijsinstellingen niet uitsluitend kwantificeerbaar (De Bruijn, 2006). Het afrekenen van mensen op basis van prestatie-indicatoren heeft dan ook twee kanten: het kan een heilzame werking hebben voor professionele organisaties, maar kan ook problematisch zijn en voor veel complexiteit zorgen. Vooral de problematiek rondom prestatiemeting is nadrukkelijk aanwezig in de literatuur. Zo zou het voor veel perverse effecten zorgen: het zou een organisatie doen bureaucratiseren, waardoor alle prikkels voor professionaliteit en vernieuwing worden vernietigd en waardoor prestatiemeting vooral tot strategisch gedrag leidt (De Bruijn, 2006: 13). Korsten (2011: 41-42) schetst een stelling die de complexiteit van dit probleem pakkend omschrijft:

“Ambtelijke sectoren van professionals binnen overheidsorganisaties die met een prestatiemeting geconfronteerd worden, waarvan een dreiging op ‘afrekenen’ uitgaat, ondergaan een prestatiesysteem niet lijdzaam maar richten zich gedwongen op het halen van prestaties, ook als dat tot pervers gedrag leidt.”

In verschillende ambtelijke sectoren wordt er kritiek geuit op prestatiemeting, dit geldt eveneens voor het onderwijs. Zo zou prestatiemeting ook binnen onderwijsinstellingen tot pervers gedrag leiden. Korsten (2006:5):

“Als een minister van onderwijs met universiteiten afspreekt om ze te financieren op basis van aantal bachelor- en masterdiploma’s en deze financieringsgrondslag naar faculteiten doorvertaling vindt, zal de neiging bestaan om studenten makkelijker te laten slagen. Immers, hoe meer afgestudeerden hoe meer geld. Wat je erin stopt, komt eruit. Prestatieafspraken en

meting kunnen zogezegd verloederend werken. De actoren uit een universiteit kunnen zich dus gaan gedragen zoals de incentivestructuur wil dat ze zich gedragen.”

Over het gebruik van prestatiemeting is veel geschreven. In dit onderzoek wordt onderzocht of prestatiemeting invloed heeft op het gedrag van professionals die werkzaam zijn in het middelbaar beroepsonderwijs. Hierbij staan de bedoelde of onbedoelde (positieve en/of perverse) gedragingen van prestatiemeting centraal. Het onderzoek toetst of de theorie rondom prestatiemeting overeenkomt/toepasbaar is in het middelbaar beroepsonderwijs op lokaal niveau. Het onderzoek richt zich hierbij op de specifieke casus van het Regionaal opleidingscentrum (ROC) Tilburg.

ROC Tilburg

Het ROC Tilburg werkt sinds een aantal jaren met prestatiemetingen. Dit is voornamelijk op verzoek van de overheid en uit zich op twee manieren. De eerste manier is ontstaan door het actieplan ‘Focus op vakmanschap’. In 2011 is het ROC gestart met het actieplan waarmee de minister van Onderwijs, Cultuur en Wetenschap wilde bereiken dat studenten mbo-scholen een zeven als rapportcijfer zouden geven. Het actieplan is ontstaan doordat er de nodige zorg was over het mbo. Zo waren er veel klachten over uitval van lesuren en waren de examens van onvoldoende kwaliteit (Rijksoverheid.nl, 2011).

De tweede manier van prestatiemeten heeft te maken met de instroom, doorstroom en uitstroom van studenten. Voor de instroom van studenten wordt de school financieel beloond. Voor de uitstroom gelden andere regels. Wanneer studenten slagen krijgt het ROC Tilburg een financiële beloning, maar wanneer een student een vroegtijdig schoolverlater wordt, krijgt de school een boete opgelegd. Op deze manier werkt de school met prestatiemetingen, iets wat door maatregelen van de overheid is ontstaan.

Probleemstelling

Op basis van de literatuur kan er een bepaalde verwachting geschetst worden. Prestatiemeting in het onderwijs zou namelijk tot pervers gedrag leiden. Pervers gedrag is gedrag dat in strijd is met de intenties van het prestatiesysteem en dat disfunctioneel voor de organisatie is (Korsten, 2011: 41-42). Dit leidt er binnen het onderwijs bijvoorbeeld toe dat er de neiging bestaat om studenten eerder te laten slagen. Scholen kunnen zich gaan gedragen zoals de incentivestructuur wil dat ze zich gaan gedragen (Korsten, 2006: 5). Toch is niet al het onderzoek negatief en lijken prestatiemeetsystemen in de omgeving van de academische professional zelfs een positieve invloed te hebben op gemeten prestaties (Pen, 2009: 5-15).

Het onderzoek borduurt voort op hetgeen al eerder verricht is: onderzoek naar prestatiemeting in het hoger en wetenschappelijk onderwijs. Het voegt er een ander perspectief aan toe, namelijk vanuit mbo-oogpunt. Literatuur dat een conceptueel overzicht geeft van de invloed van prestatiemeting op het mbo is schaars. Empirisch onderzoek naar prestatiemeting op het mbo is daarom relevant te onderzoeken, omdat het meer inzicht verschaft over prestatiemeting in deze sector. Om te achterhalen of de literatuur daadwerkelijk overeenkomt met de praktijk, zal de centrale vraagstelling de volgende zijn:

‘Welke invloed heeft prestatiemeting binnen het middelbaar beroepsonderwijs op het gedrag van professionals?’

Om tot een antwoord te komen op de centrale vraag, worden de volgende deelvragen beantwoord:

Theoretische vragen:

1) Welke belangrijkste theorieën bestaan er met betrekking tot prestatiemeting? 2) Welke positieve en perverse effecten zijn te onderscheiden in de literatuur? 3) Onder welke omstandigheden kan prestatiemeting tot pervers gedrag leiden?

Empirische vragen:

4) Welke positieve en perverse gedragingen, afgeleid uit de literatuur, zijn te herkennen bij de organisatie?

5) Hoe en onder welke condities zijn deze perverse gedragingen ontstaan?

De eerste deelvraag geeft een overzicht met betrekking tot de kennis over prestatiemeting. De deelvraag is ter achtergrondinformatie en informeert de lezer over het onderwerp zelf. De tweede deelvraag beschrijft welke positieve en perverse effecten er in de literatuur te onderscheiden zijn en is tevens ondersteunend bij het beantwoorden van de vierde deelvraag. De derde deelvraag beschrijft onder welke omstandigheden deze perverse gedragingen tot stand komen en ondersteunt deelvraag vijf. Vervolgens wordt in deelvraag vier en vijf getoetst of de literatuur beschreven in deelvraag twee en drie overeenkomt met de praktijk.

Relevantie

In dit onderzoek wordt gekeken welke invloed prestatiemeting heeft op het gedrag van professionals binnen het mbo. Zoals reeds besproken borduurt het onderzoek voort op hetgeen al eerder verricht is: onderzoek naar prestatiemeting binnen het onderwijs op hbo- en wo-niveau. Dit is relevant te onderzoeken, omdat onderzoek naar prestatiemeting op het mbo schaars is. Op deze manier verschaft het onderzoek meer inzicht over prestatiemeting in deze sector. Het voegt er een ander perspectief aan toe, wat een aanvulling kan zijn op de wetenschap. Daarnaast kan het een aanvulling zijn op de huidige discussie. De meeste literatuur is gericht op de negatieve perverse aspecten van prestatiemeting. Toch zijn er auteurs die een genuanceerder oordeel vellen over prestatiemeting. Daarbij is de hamvraag: wiens perspectief komt het meest overeen? Auteurs die stellen dat prestatiemeting vooral voor perverse effecten en gedragingen zorgen? Of hebben de auteurs gelijk die ook de positieve kanten van prestatiemeting aanduiden? Dit is wetenschappelijk gezien relevant om te onderzoeken, omdat het de huidige discussie en de wetenschappelijke kennis over prestatiemeting aanvult.

In het onderzoek staat de theoretische relevantie niet los van de praktische relevantie. De praktische relevantie vloeit voort uit de theorie. In de literatuur heeft men voornamelijk een kritische houding naar het gebruik van prestatiemeting. Zo zou het kunnen leiden tot pervers gedrag. Pervers gedrag doet het niveau van het onderwijs zelf niet ten goede. Dit is gebleken rondom het InHolland-schandaal, waarbij flopdiploma’s werden uitgereikt om aan bepaalde quota’s te voldoen (Volksrant.nl, 2010). Het uitreiken van flopdiploma’s zorgt niet voor een stijging van het educatieniveau. Integendeel, het zou zelfs tot een achteruitgang van het niveau kunnen leiden. Wanneer uit dit onderzoek naar voren komt dat educatie onder prestatiemeting lijdt, zouden keuzes omtrent het gebruik van prestatiemeting wellicht anders gemaakt kunnen worden.

Leeswijzer

Het onderzoek bestaat uit vijf hoofdstukken. Hoofdstuk twee is een literatuurstudie waarbij onder meer bestaande literatuur over prestatiemeting en de positieve en perverse effecten van prestatiemetingen beschreven wordt. In hoofdstuk drie wordt uitgelegd welke methodes zijn gebruikt voor de uitvoering en analysering van het onderzoek. Vervolgens wordt in hoofdstuk vier de verworven data beschreven en geanalyseerd. Tot slot wordt in de conclusie antwoord gegeven op de empirische deelvragen en de probleemstelling.

Hoofdstuk 2. Literatuurstudie

In dit hoofdstuk worden de belangrijkste concepten beschreven die gebruikt worden voor het onderzoek en welke ondersteunen bij het beantwoorden van de probleemstelling. De literatuur wordt gebruikt om te analyseren of de praktijk overeenkomt met de theorie. In de conclusie van dit hoofdstuk wordt tevens een verwachting geformuleerd.

Context

In Nederland kunnen we niet meer om de term governance heen. Waar lange tijd de termen governance en governing door elkaar werden gebruikt, heeft governance sinds de jaren negentig een bredere betekenis gekregen. De term government wordt aangeduid als overheidsbestuur. Dit is een bestuursvorm waarbij de overheid haar voornemens tracht te realiseren op basis van haar bevoegdheden en door gebruik te maken van haar uitvoeringsorganisaties (Tielenburg, 2008: 20). De governance theorie daarentegen wordt gebruikt als indicatie voor een coöperatief model van regeren, waarbij statelijke en niet-statelijke actoren participeren in een mix van publieke en private actoren (Mayntz, 2003: 27). De essentie van governance is de verbinding tussen enerzijds zelforganisatie en anderzijds openbaar bestuur. Het is een bestuursvorm dat gericht is op activiteiten tussen de overheid, het bedrijfsleven en speciale non-profitorganisaties met een maatschappelijk doel (Tielenburg, 2008: 20). Waar de overheid tot de jaren negentig volgens de government theorie werd bestuurd, wordt Nederland sindsdien bestuurd volgens de governance theorie

Een managementvorm dat op de governance theorie voortborduurt is New Public Management (NPM). NPM is een benadering waarbij de bedrijfsmatigheid van werken binnen de overheid centraal staat (Korsten, 2011: 6). In een review van Hood (1991), De Vries (1995) en Van Dam (1998), vat Korsten (2011: 6) NPM als volgt samen: “NPM is het geheel van analyses, ideeën en aanbevolen werkwijzen van bestuurskundigen en andere wetenschappers over vernieuwing van de overheid in termen van een meer (zakelijke en) bedrijfsmatig werken, in casu met meer oog voor onder meer resultaatgericht, prestatiemeting, decentrale verantwoordelijkheden (contractmanagement) en een alternatieve inrichting door op afstand plaatsing van overheidsorganisaties, privatisering, en bevordering van concurrentie en marktwerking”.

NPM is ontstaan door tekortkomingen binnen het traditionele model: Public Administration (PA). PA is een benadering waarbij er een duidelijke scheiding is tussen enerzijds politiek en gekozen politici en anderzijds administratie en benoemde bestuurders (Robinson, 2015: 5). Het is voorspelbaar en gebaseerd op regels. Er bestaat dan ook een duidelijke taakverdeling binnen een hiërarchie van taken en mensen (idem). De tekortkomingen van PA zorgde voor het ontstaan van NPM. Hierbij veranderden de rol van de overheid in de maatschappij, de verhouding tussen politiek en administratie en de verhouding tussen centraal en lokaal bestuur (Van de Walle, 2012). Pollit (2003) formuleert de veranderingen als volgt: er vond een verschuiving plaats waarbij de focus ligt bij de output en outcome van producten. Hierbij is de focus op de input en processen grotendeels komen te vervallen. Daarnaast werden er prestatie-indicatoren en standaarden ontwikkeld, waardoor resultaten sindsdien worden gemeten. En waar de voorkeur voorheen uitging naar grote hiërarchische en bureaucratische organisaties, gaat deze nu uit naar organisaties die plat en autonoom zijn (Qutbyar, 2013: 14). Tot slot ontstond er een groot gebruik van bedrijfsmatige mechanismen voor het leveren van publieke diensten, kwam er een vervaging van de grenzen tussen het publieke en private domein door het ontstaan van publieke, private partnerschappen (PPS) en ontwikkelde zich een verschuiving naar efficiëntie en individualisme (Qutbyar, 2013: 14). Volgens Hood (1991) maken overheden de overstap naar NPM-denken wanneer er de noodzaak bestaat om financiële problemen het hoofd te bieden of wanneer er het gevoel is dat de overheid groot en log is (Korsten, 2011: 12-13).

NPM is in de jaren 1980-2000 opgekomen en heeft wereldwijd invloed (gehad). Ondanks deze invloeden zijn er critici die menen dat de private sector als bedrijfsmatige overheid een zwakte is van NPM. Zo zou een overheid geen bedrijf zijn dat op winst gericht is. Het handelt vanuit andere doelstellingen dan commercialiteit, zoals zorgen voor betaalbare huur- of koopwoningen (Korsten, 2011: 7). Hughes (2003) geeft echter aan dat de voordelen van NPM zwaarder wegen dan de nadelen. Wel beschrijft Hughes dat NPM niet klakkeloos moet worden overgenomen en toegepast, maar zo moet worden ingericht dat de verschillen tussen de publieke sector in acht worden genomen (Qutbyar, 2013: 16).

Prestatiemeting

Prestatiemeting staat centraal in het overheidsmanagement en dan met name binnen de NPM-stroming. Volgens Bouckaert (2006: 239) is het onmogelijk om het beheer in het publieke domein (op financieel-, personeel-, organisatie-, strategie- en communicatiegebied) te bekijken zonder gepaste aandacht te schenken aan het opvolgen van resultaten en het meten van prestaties. Deze afstemming tussen beheer, resultaten en prestaties kan worden vastgesteld vanuit NPM-kenmerken (idem). Zoals in besproken in hoofdstuk 1 is er sprake van een prestatiegerichte aanpak wanneer er gestreefd wordt naar meetbare doeleinden en het nemen van verantwoordelijkheid over bereikte resultaten. Wanneer behaalde resultaten positief zijn, wordt iemand hiervoor beloond. Maar wanneer de gewenste resultaten niet worden bereikt, wordt men hierop afgerekend (Korsten, 2011: 41). Er bestaat veel literatuur over prestatiemeting. In de volgende paragrafen is de belangrijkste kennis over prestatiemeting beschreven.

Begrippen prestatiemeting en functies prestatiemeting

In de literatuur worden verschillende concepten gebruikt om prestatiemeting aan te duiden. Het eerste concept is prestatie. Prestatie kan geïdentificeerd worden vanuit een activiteit, programma of beleid en heeft betrekking op het individu, de organisatie of een combinatie van beide (Bouckaert, 2006: 241). Het tweede concept betreft prestatiemeting. Thomas (2004) geeft een uitgebreide definitie van prestatiemeting: “het op regelmatige wijze genereren, verzamelen, analyseren, rapporteren en gebruiken van een waaier aan gegevens, die gerelateerd zijn aan de werking van overheidsorganisaties en overheidsprogramma’s, en die betrekking hebben op middelen (inputs), prestaties (outputs) en effecten (outcomes). Ook wordt prestatiemeting vaak aangeduid als prestatiemanagement. Een visie ziet het managen van prestaties als het aandacht hebben voor meting. Een breder begrip verwijst naar het onpartijdig of eerlijker maken van ‘people management’, wat betekent dat de manager zich hard maakt voor de carrière van zijn medewerkers (Bouckaert, 2006: 241). Maar gewoonlijk wordt het begrip prestatiemanagement gezien als een van de verschillende managementprocessen, naast het gebruikelijke financieel management, human resources management en strategisch management (Bouckaert, 2006: 242). Naast deze drie termen wordt er ook vaak gesproken over prestatie-indicatoren. Wanneer een overheidsorganisatie beoogt een prestatie te leveren, wordt deze gemeten door gebruik te maken van prestatie-indicatoren (Korsten, 2006: 2).

Prestatiemeting kan een aantal functies vervullen. De volgende worden genoemd:

1. Transparantie. Prestatiemeting leidt tot transparantie en kan zo een rol spelen in verantwoordingsprocessen. Een organisatie kan transparantie geven over de kosten, door de producten die worden geleverd duidelijk in kaart te brengen;

2. Leren. Door het in kaart brengen van de producten en de kosten kan een organisatie leren waar zij goed in is en waar verbetering nodig is;

3. Oordelen. Door middel van prestatiemeting kan een organisatie beoordeeld worden op het functioneren van de organisatie;

4. Afrekenen. Na het vormen van een oordeel kan er een sanctie worden opgelegd. Dit kan een positieve sanctie zijn voor goed presteren en een negatieve sanctie voor slecht presteren (De Bruijn, 2006: 17, Van Mil, 2008).

Ontstaan en ontwikkeling van prestatiemeting bij de overheid

De afgelopen jaren heeft er een verschuiving plaatsgevonden binnen overheidsorganisaties. Overheden waren traditioneel gewend om te sturen op beschikbare middelen en het budget gaf inzicht in de uitgaven. Maar waar voorheen de nadruk lag op regels en procedures, ligt de nadruk tegenwoordig meer bij de prestaties die de organisaties leveren (Camstra, 2006: 21).

Deze hervorming heeft te maken met het feit dat de overheidsuitgaven in de jaren zeventig enorm waren toegenomen, wat wereldwijd tot veel kritiek leidde. Dit uitten zich voor het eerst in Engeland en in de Verenigde Staten. Volgens deze landen was de overheid te groot geworden, betrokken bij teveel activiteiten en miste het een goede organisatiestructuur (Camstra, 2006: 21). In landen als Australië, Frankrijk en Nederland was de kritiek minder fel, maar ook hier was men niet geheel tevreden.

In deze periode ontstond NPM, waarbij de hervormingen in gang werden gezet. Ondanks dat het NPM-fenomeen door verschillende critici verschillend beschreven wordt, blijft er een grote overlap bestaan tussen de landen die de NPM-hervormingen doorvoerden (Hood, 1995: 95).

Ook in Nederland werden overheidstaken heroverwogen. Deze werden geïntroduceerd in de jaren negentig. Vooral op gemeentelijk niveau ontstond een soortgelijke NPM-hervorming. Dit kwam tot uiting met de wijziging van management en organisatorische veranderingen binnen lokale autoriteiten en het gebruik van output georiënteerde informatie. Een organisatorische verandering was het verdwijnen van de centrale organisatiestructuur (secretary model): een decentrale organisatiestructuur (sector model) deed zijn intrede. Het verschil tussen een centrale en decentrale organisatiestructuur heeft te maken met de mate

van autonomie binnen de divisies. Een decentrale organisatiestructuur is meer autonoom dan een centrale organisatiestructuur. Een goed voorbeeld van een decentrale organisatiestructuur is het Tilburgse model, de eerste gemeente die deze wijziging doorvoerde. Hierbij was de gemeente verantwoordelijk voor de voorbereiding en de uitvoering van het beleid (Budding & Groot, 2004: 423). Ook het BBI-project is een vergelijkbaar initiatief. BBI staat voor Bestuurlijke Vernieuwing, Bedrijfsvoering en Informatie. Het doel van dit project was de beleidsmatige en organisatorische informatievoorzieningen en zodoende de positie van het politieke bestuur (B&W en gemeenteraad) te verbeteren. Op deze manier werd getracht het gehele gemeentelijke apparaat meer bedrijfsmatig te laten functioneren (Kapteyn & de Bie 2001: 242).

Wanneer we kijken naar de ontwikkeling die prestatiemeting binnen de overheid heeft doorgemaakt, kan gesteld worden dat prestatiemeting een belangrijk aandeel heeft verworven in bestuurlijk Nederland. In sectoren als de politie, de gezondheidszorg, het onderwijs en het gevangeniswezen zijn systemen van prestatiemeting ingevoerd (De Bruijn, 2002: 9).

De positieve en perverse effecten van prestatiemeting

Positieve effecten van prestatiemeting

In de literatuur wordt er veel aandacht besteedt aan de gevolgen van prestatiemetingen. Dit betreffen zowel positieve als negatieve perverse effecten. In deze paragraaf worden de positieve effecten van prestatiemeting beschreven.

In de eerste plaats: prestatiemeting leidt tot transparantie en is daarmee een prikkel voor innovatie. Zoals reeds beschreven kan prestatiemeting inzicht geven in de omvang van het aantal geleverde producten en de kosten per product. Ook kan het aangeven hoeveel een organisatieonderdeel bijdraagt aan de productie van een organisatie (Korsten, 2006: 3). Prestatiecijfers geven daarmee inzicht in de output, effecten of doelmatigheid van het functioneren van de organisatie. Om deze reden is het belangrijk dat organisaties en hun medewerkers verantwoording afleggen over hun positie. Prestatiecijfers spelen daardoor een rol in de verantwoording naar hun managers en/of organisatie toe (Pen, 2009: 48-49; Korsten, 2006: 4). Daarbij zou transparantie ook een prikkel voor innovatie zijn (De Bruijn, 2006: 17). Wanneer doorlooptijden van promoties te lang zijn, zal inzicht in deze cijfers ongetwijfeld leiden tot ideeën over organisatorische of inhoudelijke innovaties om de doorlooptijden te verkorten (De Bruijn; De Bruijne; Noordink; Stutje, 2015: 19).

Een tweede positief effect van prestatiemeting is dat het bureaucratie voorkomt en prestaties beloont. Prestatiemeting is een vorm van outputsturing, omdat input- en throughputsturing een negatieve prikkel kan zijn voor presteren. Sturing op prestatie beloont producten en is daardoor een prikkel voor prestaties: niet de schone intentie (input) of de inspanning (throughput) maar het resultaat wordt beloond. Ook draagt prestatiemeting bij aan de de-bureaucratisering van een organisatie. Een organisatie hoeft immers minder te investeren in plannenmakerij (input) en systemen (throughput). Tevens zal een organisatie die goed presteert vaak beloond worden met autonomie (De Bruijn, 2006: 19-20). Een gevolg hiervan is dat de doelgerichtheid van de organisatie als geheel groter wordt, omdat medewerkers gestimuleerd worden om zich te richten op prestatiemetingen. Hierbij wordt vaak gerefereerd naar Behn (2003): ‘What gets measured, gets done’ (Pen, 2009: 49).

In de derde plaats kan prestatiemeting bevorderlijk zijn voor leerprocessen (Pen, 2009: 49; De Bruijn, 2006: 20-21). Dit kan zowel tussen of binnen organisaties zijn. Tussen organisaties omdat door cijfers een vergelijking kan worden getrokken. Deze verschillen kunnen aanleiding zijn om best practices te identificeren: handelwijzen die tot betere prestaties leiden. Maar het kan tevens een prikkel zijn, omdat het tot problem awareness kan leiden. Niet alleen tussen organisaties kan het bevorderlijk zijn voor het leerproces, ook binnen organisaties kan dit het geval zijn. Productiecijfers maken de verschillen tussen de eenheden duidelijk en bieden het management de mogelijkheid de eenheden op deze verschillen te bevragen (De Bruijn, 2006: 20:21).

Prestatiemeting leidt tevens tot verbetering van de professionele dienstverlening en intelligence. Prestatiemeting levert productiecijfers op, welke benut kunnen worden voor een verbetering van de professionele dienstverlening. Productiecijfers kunnen ook worden gebruikt om de intelligence van een organisatie te verbeteren. Dit is van belang, omdat veel overheidsorganisaties afhankelijk van elkaar zijn (De Bruijn, 2006: 22).

Tot slot zorgt prestatiemeting voor een verbetering van de kwaliteit van beleid en besluitvorming. Prestatiemeting is een sterke prikkel voor externe verantwoording: een uitvoerende organisatie moet zijn eigen doelen namelijk duidelijk hebben. De beleidsmakers van een organisatie zullen na enige tijd veel kwantitatieve gegevens hebben over de prestaties. Deze informatie zal de ervaren beleidsmaker helpen bij het ontwikkelen van beleid. Prestatiemeting biedt daardoor ondersteuning bij het maken van beleidsbeslissingen. Dit leidt vervolgens tot een ‘evidence-based’ beleid (De Bruijn, 2002: 11; Van Mil, 2008; Pen, 2009: 50).

Perverse effecten van prestatiemeting

In de voorgaande paragraaf zijn de positieve effecten van prestatiemeting beschreven. In deze paragraaf worden de perverse effecten van prestatiemeting toegelicht. We spreken van perverse effecten omdat deze vaak onbedoeld en ongunstig van aard zijn (Korsten, 2006: 4). Zulk pervers gedrag is gedrag dat strijdig is met de intenties van het prestatiesysteem en wellicht disfunctioneel is voor de organisatie of professionele doelen (Korsten, 2011: 41-42).

Het werken met prestatiemetingen kan een prikkel zijn voor strategisch gedrag. Een vorm van strategisch gedrag is wanneer een organisatie alle kaarten inzet op gevraagde prestaties. Prestaties die niet gevraagd worden kunnen worden verwaarloosd, terwijl deze wellicht uit professioneel of klantperspectief belangrijk(er) zijn (Korsten, 2011: 4). Naast strategisch gedrag kan prestatiemeting ook een prikkel zijn voor manipulatief gedrag. Het kan namelijk zo zijn dat mensen zich tegen het prestatiemeetsysteem gaan verzetten of het verwerpen. Hierdoor kan manipulatief gedrag ontstaan, dit kan verschillende vormen aannemen. Mensen kunnen weerstand bieden door de cijfers te manipuleren, dit wordt clouding the transparancy genoemd (Pen, 2009: 53). Ook kan men de neiging krijgen om keuzes te maken die ervoor zorgen dat gemeten waarden beter voor de dag komen dan hoe de werkelijkheid is: gaming the numbers of gamesmanship (Pen, 2009: 53; Goddard, 2000; Schoenmaker, 2012; Kerpershoek, 2015). Hierdoor wordt de relevantie van prestatiecijfers voortdurend onder vuur genomen, wat beating the system wordt genoemd (Pen, 2009: 53). Een ander gevolg van prestatiemeting is het blokkeren van ambities. Wanneer een organisatie haar input optimaliseert, levert zij in op haar ambities. Input optimalisatie betekent dat er voor het selectiecriterium voor de input zo min mogelijk throughput vereist is om de gewenste output te verkrijgen. Dit wordt creaming, cherry picking genoemd. Dit betekent dat de kwaliteit of kwantiteit van de input wordt gemanipuleerd, zodat een organisatie minder inspanningen hoeft te leveren om een gewenste output te realiseren. Hierdoor levert een organisatie in op haar ambities (De Bruijn, 2006: 32-33; Pen, 2009: 59; Korsten, 2006: 6). Ook zou het innovaties blokkeren. Wanneer een organisatie werkt met prestatiemetingen, zal zij ervoor willen zorgen dat prestaties zo efficiënt mogelijk worden gerealiseerd. Hierdoor bestaat de kans dat er in cash cows wordt gedacht. Dit betekent dat men zich bij het realiseren van producten richt op producten die relatief eenvoudig worden vervaardigd om op die manier zoveel mogelijk geld te genereren. Het denken in cash cows betekent dat een organisatie haar throughput dusdanig minimaliseert dat het vrijwel altijd ten koste gaat van innovatie (De Bruijn, 2006: 31; Pen, 2009:59; Korsten, 2006: 5).

Een ander negatief effect waar prestatiemeting toe zou leiden is het verhullen van de daadwerkelijke prestaties. Prestatiemeting kan de prestaties van een organisaties verhullen. Wanneer er meer informatie wordt verkregen, komt de organisatie verder van het primaire proces te staan, waarvoor ze is ontstaan. Hierdoor kan het zicht op de causale verbanden tussen inspanning en prestatie (op het niveau van het primaire proces) verloren gaan. Het gevolg is dat de organisatie alleen de eigen geaggregeerde gegevens ziet en op grond hiervan de eigen causaliteiten gaat construeren. De prestatiemeting verhult dan de causale verbanden (De Bruijn, 2006: 33). Prestatiemeting kan eveneens de daadwerkelijke prestaties verhullen doordat de cijfers tot schijnverantwoording leiden. Cijfers geven immers maar een beperkt beeld van de prestatie. Een goed voorbeeld hiervan zijn middelbare scholen die kunnen worden gerankt op hun examenresultaten: het zegt iets, maar niet heel veel (De Bruijn; De Bruijne; Noordink; Stutje, 2015: 23).

Daarnaast leidt prestatiemeting tot kopiëren, niet tot leren. Zoals reeds besproken kan prestatiemeting tot leerprocessen leiden. Maar het kan ook uitmonden in wat benchmarking heet: het laten inspireren door de ervaring van andere organisaties, maar waar wel eigen keuzes worden gemaakt. Echter kan benchmarking verworden tot imitatiegedrag. Hierbij worden practices van andere organisaties eenvoudigweg getransplanteerd. Imiteren is risicovol: het is namelijk nooit duidelijk wat precies de best practice is om te imiteren (De Bruijn, 2006: 37-38).

Een ander pervers gevolg van prestatiemeting is bureaucratie. In tegenstelling tot wat eerder is gezegd zou prestatiemeting bureaucratie niet doen voorkomen, maar juist doen laten toenemen. Talbot (2005) stelt dat wanneer prestaties complex van aard zijn, deze tot bureaucratie leidt. Dit zou komen door de overlading van informatie die prestatiemetingen met zich meebrengen (Korsten, 2006: 16).

Ondanks dat prestatiemeting productiviteit beloont, kan het ook voor komen dat het productiviteit bestraft. Wanneer een organisatie met prestatiemeting werkt, zorgt transparantie over de prestaties ervoor dat er inzicht kan worden verkregen in welke organisaties beter presteren en welke minder. Het gevolg hiervan is dat een externe financier tot inzicht komt dat dezelfde output met minder input bereikt kan worden, waarna het budget verlaagd wordt. Deelnemende organisaties zullen daardoor het gevoel hebben dat zij in hun ‘eigen vlees snijden’ (Korsten, 2011: 6-7).

Prestatiemeting kan tevens leiden tot meetfixatie. Oorzaak hiervan is dat prestatie-indicatoren voornamelijk kwantiteiten meten en hierdoor vooral aangrijpen op prestaties die goed te definiëren en te meten zijn (De Bruijn, 2002: 26; Pidd, 2005: 486). Wanneer de

organisatie zich vooral op deze aspecten gaat richten, kan de organisatie een tunnelvisie ontwikkelen. Dit wordt myopia (bijziendheid) genoemd: mensen fixeren cijfers die op korte termijn een positief beeld geven (Pen, 2009: 52; Pidd, 2005: 486). Door overmatig te richten op cijfers waarop wordt afgerekend (measure fixation), kunnen andere taken verwaarloosd worden (Pen, 2009: 52; Pidd, 2005: 486).

Tot slot kan prestatiemeting zorgen voor verstarring van het meetsysteem. Het ontwikkelen van een prestatiemeetsysteem is niet eenvoudig en het duurt circa vier jaar voordat het is ingevoerd. Dit vergt grote inspanning. Wanneer het systeem eenmaal is ontwikkeld is het niet eenvoudig om het aan te passen. Verandering is dus niet gewenst, wat voor een verstarring van het systeem kan zorgen. Daarentegen kan ook een tegenovergestelde effect ontstaan. Dit is het geval wanneer een organisatie ontvankelijk is voor voortdurende veranderingen van het systeem. Hierdoor kan mushrooming ontstaan, het uitdijen van prestatie-indicatoren (Pen, 2009: 59). En hoe verder een systeem uitdijt, hoe groter de kans dat het bureaucratischer wordt (Bouckaert en Halligan, 2007).

Condities waaronder perverse effecten kunnen ontstaan

In de vorige paragrafen is beschreven wat de positieve en perverse effecten van prestatiemeting zijn. Onder welke condities zullen nu de positieve effecten domineren en onder welke condities de perverse effecten? (De Bruijn, 2006: 49).

Het antwoord op de vraag onder welke condities de positieve of perverse effecten van prestatiemeting zullen domineren is sterk afhankelijk van de functie die productiecijfers hebben. Productiecijfers kunnen ideaaltypisch een lage- en een hoge impact hebben. Productiecijfers hebben een lage impact wanneer zij slechts de functie van transparantie hebben. Dit betekent dat de productiecijfers gepubliceerd worden, maar geen invloed hebben op de professional. Van een hoge impact is sprake wanneer productiecijfers wel degelijk zware consequenties hebben. Een voorbeeld van een hoge impact zijn financiële sancties. Dit kan een positieve of negatieve sanctie zijn. Wanneer het toekomstig budget bijvoorbeeld afhankelijk is van de prestatie, krijgt de organisatie die onderpresteert een malus en een organisatie dat over presteert een bonus. De impact is hoog omdat toekomstige budgetten voor een groot deel de beperkingen en mogelijkheden van een organisatie bepalen (De Bruijn, 2006: 49-50).

Een ander voorbeeld is naming and shaming. Wanneer productiecijfers van een organisatie worden gepubliceerd en de organisaties worden gerankt, wordt publiekelijk duidelijk gemaakt welke organisatie beter scoort en welke slechtere prestaties levert. De

impact daarvan kan hoog zijn, omdat een lage ranking van invloed kan zijn op het keuzegedrag van klanten, maar ook op dat van toekomstig personeel, dat liever voor een organisatie kiest met een hoge ranking. Tot slot kunnen bestuurlijke en managerial interventies een hoge impact hebben. Dit is bijvoorbeeld het geval wanneer organisaties van het gemiddelde afwijken. Met name de organisaties die onder het gemiddelde uitkomen. Zij lopen het risico van een bestuurlijke of managerial interventie: meer bemoeienis met de dagelijkse gang van zaken, verscherpt toezicht et cetera. Dit tast de vrijheidsgraden van een organisatie aan en is daarmee onaantrekkelijk (De Bruijn, 2006: 50)

Een prestatiemeetsysteem met een lage impact kan op twee manieren gewaardeerd worden. De eerste is dat prestatiemeetsystemen met een lage impact waarschijnlijk weinig prikkels voor presteren geeft. Immers, de productiecijfers hebben nauwelijks een functie en zijn daarmee ongevaarlijk. De tweede manier stelt dat een lage impact voldoende is om prestatiemeting effectief te laten zijn. Matige of slechte prestaties kunnen namelijk zelfhelend werken vanwege de professionele eer. Om deze reden worden prestaties van een organisatie verbeterd. Wanneer dit zelfhelende mechanisme zich niet voordoet, is het gewenst om de impact te verhogen. Immers, een lage impact levert geen prikkels op voor prestatie. De gedachte is: wanneer de impact toeneemt, nemen de positieve effecten van prestatiemeting eveneens toe. Echter kan de potentiele impact zo hoog zijn, dat pervers gedrag ontstaat. Wanneer de prestaties van een organisatie worden gerankt en gepubliceerd, ontstaan er prikkels voor perverse gedragingen. Dit wordt de Wet van de Afnemende Effectiviteit genoemd: wanneer de impact toeneemt, neemt de effectiviteit van prestatiemeting af, omdat er sterke prikkels voor pervers gedrag ontstaan (De Bruijn, 2006: 50-53).

Verklaring voor optreden perverse effecten

Er bestaan verschillende verklaringen voor het optreden van perverse effecten. De Bruijn (2006: 43) stelt dat prestatiemeting armoedig en unfair is, wat perverse effecten kan oproepen. Bij een organisatie is het primaire proces altijd complex en kennisintensief. Dit heeft gevolgen voor de organisatie die dit proces vormgeeft. Wie een ‘armoedig’ systeem van prestatiemeting hanteert, behandelt de professional unfair en lokt perverterend gedrag uit. Wanneer een handelswijze als deze ontstaat, kan dit soort opportunistisch gebruik als volstrekt normaal worden gezien (De Bruijn, 2006: 45).

Daarnaast zou prestatiemeting niet levendig zijn. Prestatiemeting kan voor opportunistisch gebruik zorgen, doordat het systeem veelal statisch is. Het neemt de geleverde producten in beschouwing op een moment in de tijd, waardoor de professionele activiteit onvoldoende recht wordt gedaan (idem).

Een derde verklaring voor het optreden van perverse effecten is het niet rekening houden met omstandigheden. Wanneer bij prestatiemeting de context niet wordt meegenomen, kunnen perverse effecten ontstaan. Een fictief voorbeeld: wanneer iemand een tentoonstelling opent over de ramp door extremisten in regio X, kan deze goed lopen of door omstandigheden floppen. Wanneer het laatste dreigt te gebeuren, kan het perverse effecten uitlokken. Simpelweg omdat prestatiemeetsystemen geen rekening houden met dit soort omstandigheden (Korsten, 2006: 8).

Prestatiemeting voor de ondernemende professional is daarmee armoedig, unfair en niet levendig. Daarnaast houdt het geen rekening met omstandigheden. Het legitimeert perverterend gedrag, doordat het systeem gevoed wordt met informatie die er slechts toe dient de positie van de professional in een gunstig daglicht te stellen (De Bruijn, 2006: 46-47).

Casestudies ten aanzien van prestatiemeting

In de literatuur worden de positieve en perverse effecten van prestatiemeting veelvuldig beschreven. Hierbij ligt de nadrukkelijk voornamelijk bij de perverse effecten van prestatiemeting. Deze disfunctionele perverse effecten hebben veel aandacht gekregen sinds de invoering van prestatiemeting. Het belang van prestatiemeting wordt door velen erkend, maar gaat vaak samen met pervers disfunctioneel gedrag (Adnan, Jamil & Nor, 2013: 29). Drongelen en Fischer (2003) stellen dat medewerkers te maken hebben met een ethisch dilemma: moet men doen wat goed is voor hunzelf of wat is goed voor hun collega’s en voor de organisatie als geheel?

Het werk van Argyris (1953) illustreert hoe het meten van prestaties leidt tot onbedoelde outcomes, als gevolg van het negatieve beeld wat medewerkers hebben ten opzichte van prestatiemetingen. Argyris (1953) heeft namelijk ontdekt dat het werken met metingen mensen direct beïnvloedt, doordat men metingen als een basis zien voor zowel belonen als straffen: “it affects people so directly that employees frequently perceive it as a basis for both rewarding and also penalizing”(Adnan, Jamil & Nor, 2013: 30). Volgens Adnan, Jamil & Nor (2013: 29) leidt deze prestatiemetingen tot het spelen met budgetten, het manipuleren van informatie en tot ‘gaming’ (zoals gaming the numbers).

Bevan en Hood (2006: 9) hebben onderzoek gedaan naar prestatiemeting in de Engelse gezondheidszorg en concluderen hetzelfde. Zij beweren zelfs dat ‘gaming’ en de onbedoelde perverse prikkels en gedragingen onvermijdelijk zijn wanneer er gewerkt wordt met prestatiemetingen. In hun onderzoek wordt gewezen op de beperkingen van prestatiemeting binnen de overheid en worden de ‘scheve’ gedragingen en effecten die het veroorzaakt gepresenteerd, zoals datamanipulatie en het doelbewust uitstellen van medische behandelingen (idem).

Wheeler (2000: 20) beweert dat wanneer mensen onder de druk worden gezet om een bepaald target te halen, hun gedrag verandert. Dit is volgens Wheeler (2000) onvermijdbaar en deze stelt dat één of meer reacties volgen: “(1) they work to improve the system, (2) they distort the system or (3) they distort the data” (idem). Voorstanders van prestatiemetingen verwachten dat uitkomst 1 de reactie van mensen zal zijn, terwijl anderen uitkomst 2 en 3 verwachten. Dit is volgens hen onvermijdelijk (Seddon, 2008).

In het publieke domein komen perverse prikkels, gedragingen en gaming op verschillende plekken voor. De gezondheidszorg, politie en het onderwijs zijn hier voorbeelden van (Guilfoyle, 2012: 253). Om deze reden zijn er nog altijd twijfels over de werking van prestatiemeting. Pidd (2005) schrijft hier het volgende over: “there is still considerable concern about the dysfunctional aspects of performance measurement in the public sector. It is well known that the use of performance measures and indicators can have perverse effects and unintended consequences in any organization” (Pidd, 2005: 482).

Toch zijn er auteurs die een genuanceerder oordeel vellen over prestatiemeting. Pen onderzocht de doorwerking van prestatiemeting in de omgeving van de academische professional. In het onderzoek beschrijft Pen (2009) dat de literatuur wijst op de heilzame werking en de tekortkomingen van prestatiemeting. Ondanks dat de literatuur veelvuldig wijst op de perverse effecten van prestatiemetingen, is uit het caseonderzoek gebleken dat perverse effecten ontbreken. De systemen lijken zelfs een positieve invloed te hebben op gemeten prestaties. Een verklarende factor is dat prikkels niet zo sterk worden doorgegeven als op het eerste gezicht leek. Pen beschrijft dat prestatiemeting wel degelijk een functie in het onderzoeksbeleid van de faculteit heeft en bijdraagt aan een hogere productiviteit (Pen, 2009: 5-15). Kelly en Rivenbark (2011) menen zelfs dat prestatiemetingen in iedere case een positief effect heeft. Volgens hen zouden onderzoekers en uitvoerders zich bezig moeten houden met de vraag ‘how to construct good measures’, in plaats van ‘arguing against perfomance measurement’ (Vitezić, 2014: 22).

Conclusie

In het theoretisch kader is duidelijkheid verschaft over de context waarin prestatiemeting is ontstaan, als onderdeel van NPM. Uit de theorie is gebleken dat er meerdere begrippen worden gebruikt om prestatiemeting aan te duiden, te weten: prestatie, prestatiemeting en prestatiemanagement. Prestatiemeting is ontstaan door kritiek op het hoge uitgavenpatroon van de overheid. Als onderdeel van NPM ontstond prestatiemeting, met als doel het gat met het bedrijfsleven te verkleinen en meer resultaatgericht te werken. Daarnaast is in kaart gebracht wat de functies van prestatiemeting zijn, namelijk: transparantiebevordering, leren, oordelen en afrekenen. Ook is gebleken dat er veel positieve en perverse effecten van prestatiemeting bestaan. In de tabel 1 zijn deze positieve en perverse effecten nogmaals opgesomd:

Positieve effecten van prestatiemeting Perverse effecten van prestatiemeting

Prestatiemeting leidt tot transparantie en is daarmee een prikkel voor innovatie

Prestatiemeting is een stimulans voor strategisch gedrag

Prestatiemeting is bevorderlijk voor leren Prestatiemeting blokkeert ambities en innovaties

Prestatiemeting leidt tot verbetering van de intelligence

Prestatiemeting verhult daadwerkelijke prestaties

Prestatiemeting beloont prestaties en is een prikkel voor presteren

Prestatiemeting verdrijft de professionele habitus

Prestatiemeting zorgt voor een verbetering van de kwaliteit van beleid en besluitvorming

Prestatiemeting leidt tot kopiëren, niet tot leren

Prestatiemeting leidt tot outputsturing en draagt bij aan de-bureaucratisering

Prestatiemeting leidt tot een straf op prestaties

Prestatiemeting leidt tot verantwoording afleggen naar de manager/organisatie toe

Prestatiemeting is een stimulans voor manipulatief gedrag (clouding the transparancy, beating the system, creaming, cherry picking)

Prestatiemeting leidt tot doelgericht handelen Prestatiemeting leidt tot meetfixatie (myopia, measure fixation)

Prestatiemeting leidt tot de verbetering van de intelligence

Prestatiemeting zorgt voor een verstarring van het systeem

van de kwaliteit van beleid en besluitvorming

Prestatiemeting leidt niet tot innovatief gedrag, maar tot denken in cash cows

Prestatiemeting is een prikkel voor schijnverantwoording

Tabel 1. Gebaseerd en ontwikkeld op basis van de literatuur van De Bruijn (2006). Daarnaast is gebleken dat wanneer de impact toeneemt, de effectiviteit van prestatiemeting afneemt, omdat er sterke prikkels voor pervers gedrag ontstaan. Dit wordt de Wet van de Afnemende Effectiviteit genoemd. Vervolgens zijn er verklaringen gegeven voor het ontstaan van dit soort perverterend gedrag.

Tot slot zijn casestudies ten aanzien van prestatiemeting uit het verleden bekeken en beschreven. Uit deze casestudies is gebleken dat auteurs voornamelijk schrijven over de negatieve perverse effecten van prestatiemeting. Perverse prikkels binnen het publieke domein zouden zich in verschillende sectoren voordoen. Toch is niet al het onderzoek negatief en lijken prestatiemeetsystemen in de omgeving van de academische professional zelfs een positieve invloed te hebben op gemeten prestaties. De verschillende percepties ten aanzien van prestatiemeting maken onderzoek naar dit onderwerp interessant en relevant. Hierbij is de hamvraag: doen perverse effecten en gedragingen zich daadwerkelijk voor binnen het onderwijs of is de praktijk niet zo zwart-wit als de literatuur beweert?

Omdat de literatuur grotendeels de negatieve kant van prestatiemeting belicht, kan verwacht worden dat perverse effecten in dit onderzoek de overhand zullen hebben. Echter is niet alle literatuur negatief van aard en bestaat er om deze reden een kans dat er in deze case een ander positiever resultaat uitkomt. Dit geeft nogmaals de relevantie van het onderzoek aan, omdat het de huidige discussie aanvult.

Hoofdstuk 3. Methodologie

In dit hoofdstuk wordt uitgelegd hoe het onderzoek is uitgevoerd en hoe de data zijn geanalyseerd. Voor de betrouwbaarheid van het onderzoek wordt dit stap voor stap beschreven, zodat het onderzoek reproduceerbaar is. Het onderzoek toetst de bestaande literatuur. Er wordt getoetst welke beschreven positieve en perverse gedragingen, afgeleid van de positieve en perverse effecten, zich voordoen in de praktijk. Ook worden uitkomsten die niet in de literatuur vermeld worden onderzocht. De hoofd- en deelvragen worden beantwoord middels een literatuuronderzoek en middels empirische beschrijvingen van een specifieke casus, namelijk het ROC van Tilburg. De uiteindelijke doelstelling van het onderzoek is het achterhalen welke invloed prestatiemeting binnen het middelbaar beroepsonderwijs heeft op het gedrag van professionals binnen het onderwijs. Of terwijl:

‘Welke invloed heeft prestatiemeting binnen het middelbaar beroepsonderwijs op het

gedrag van professionals?’

Welke invloed refereert naar de invloed die prestatiemeting op mensen kan hebben. Hiermee worden de positieve of negatieve perverse invloeden bedoelt. Dit wordt onderzocht op het middelbaar beroepsonderwijs en toetst het gedrag van professionals wanneer er gebruik wordt

gemaakt van prestatiemetingen.

Empirische cyclus

De empirische cyclus volgens De Groot (1968) is een model dat systematiek aanbrengt in het werk van wetenschappelijke onderzoekers. Het werkt namelijk in fases en verantwoordt de stappen. In figuur 1 is de cyclus van De Groot te zien (Bergh, Ruijssenaars & Schoorl, 2000:95).

Figuur 1. Empirische cyclus volgens De Groot (1968) in Bergh, Ruijssenaars & Schoorl (2000: 95).

Het onderzoek bestaat grotendeels uit een deductieve en gedeeltelijk uit een inductieve fase. Onderzoek op basis van deductie betekent dat de onderzoeker bestaande theorieën gebruikt en toetst. Inductie is het tegenovergestelde van deductie en leidt juist tot nieuwe theorieën (Van Thiel, 2007). Het onderzoek is grotendeels deductief van aard, omdat in het onderzoek de

bestaande literatuur wordt getoetst. Het onderzoek bekijkt namelijk of bepaalde gedragingen beschreven in literatuur terugkomen in de empirie. Daarnaast is het onderzoek deels inductief van aard, omdat de bestaande theorie via empirische beschrijvingen aangevuld wordt met nieuwe theorie.

Onderzoeksdesign

Voor het uitvoeren van het onderzoek zijn er verschillende strategieën te onderscheiden: het experiment, de enquête, de casestudy, de ‘grounded theory’, de etnografie en de ‘action research’. Welke strategie het best bij een onderzoek past hangt onder meer af van de onderzoeksvragen en de doelstelling van het onderzoek (Booij, Lewis, Saunders, Thornhill en Veckens (2011: 95-97). In dit onderzoek ligt de casestudy het meest voor de hand. Volgens Booij et al. (2011: 95-97) kan een casestudy een hele waardevolle manier zijn om bestaande theorie te onderzoeken. Een casestudy maakt het namelijk mogelijk om onderzoek te doen naar een relatief klein aantal gevallen of soms zelfs één geval. Hierbij is het hoofddoel om de casestudy zelf te doorgronden (Jochems & Joosten, 2008 :5). Een persoon of groep kan hierbij representatief zijn voor de gehele groep. Daarnaast kan een eenvoudige, goed opgezette casestudy het mogelijk maken om een bestaande theorie aan te vechten en kan het een bron van nieuwe hypothesen zijn (Booij et al., 2011: 95-97). Omdat er onderzoek gedaan wordt bij één onderwijsinstelling en het onderzoek deductief en inductief van aard is, is de casestudy het meest geschikt voor dit onderzoek.

Case selectie

Om inzicht te krijgen in de doorwerking van prestatiemeting in onderwijsinstellingen, is er empirisch onderzoek uitgevoerd bij een specifieke case. Er zijn verschillende redenen om te kiezen voor een bepaalde case. Soms verwacht de onderzoeker dat de case vernieuwende theorie zal opleveren en in een andere situatie is de case uniek en daarom relevant (Bryman: 2012: 70). De keuze voor het ROC Tilburg als case is in dit geval gemaakt uit praktische overweging. Het ROC Tilburg is onderdeel van een grootschalige onderwijsinstelling, die in de jaren negentig is ontstaan. Dit gebeurde door fusies van verschillende mbo-opleidingen. In totaal zijn er meer dan vijfhonderd mbo-opleidingen samengevoegd tot ongeveer vijftig ROC’s, waarvan ROC Tilburg er een is (Technischwerken.nl, 2014). De onderzoeker kon middels haar netwerk informatie vergaren over deze organisatie. Uit deze informatie is gebleken dat de organisatie aan bepaalde vooraf opgestelde casecriteria voldoet. Om het onderzoek uit te kunnen voeren, was het namelijk van belang dat de organisatie aan een aantal criteria voldeed. Voor deze case selectie criteria, zie tabel 2:

Case selectie criteria

In de organisatie wordt er een prestatiemeetsysteem gehanteerd

Het prestatiemeetsysteem moet minimaal vijf jaar bestaan zodat de effecten zichtbaar zijn Prestatie-informatie speelt een rol bij het ‘belonen en afrekenen’ van professionals

Het prestatiemeetsysteem moet leven onder de professionals Tabel 2. Case selectie criteria

Sinds 2011 wordt er bij het ROC gewerkt met een prestatiemeetsysteem. In 2011 is er door de minister van Onderwijs, Cultuur en Wetenschap het actieplan ‘Focus op Vakmanschap 2011-2015’ opgezet, met als doel het rapportcijfer van de studenten op te hogen naar een ruime zeven. De kwaliteit van een aantal opleidingen zou namelijk onvoldoende zijn geweest, zo stelde de commissie Oudeman op aanbevelen van minister Van Bijsterveldt (Rijksoverheid.nl, 2011).

Het werken met een prestatiemeetsysteem betekent voor de organisatie dat de prestaties sinds vijf jaar nauwkeurig gemeten worden. Deze metingen geven de school en haar medewerkers een beeld van de ontwikkeling van de organisatie ten opzichte van de beoogde doestellingen. Binnen de organisatie worden er drie aspecten gemeten: instroom, doorstroom en uitstroom. Met instroom wordt het aantal studenten dat aangenomen wordt bedoeld, doorstroom is het aantal studenten dat van opleiding wisselt en uitstroom zijn het aantal vroegtijdig schoolverlaters. Hierbij worden de professionals niet beloond of afgerekend in de vorm van een sanctie, maar worden zij er wel op aangesproken als de cijfers niet in orde zijn. Daarnaast is uitgezocht of het meten van prestaties leeft onder de professionals. Dit bleek het geval te zijn.

Wegens het voldoen aan de selectiecriteria is ervoor gekozen om de organisatie te benaderen. De organisatie was bereid mee te werken aan het onderzoek omdat gemerkt werd door de organisatie dat prestatiemeting onder de medewerkers leeft. Ter informatie: in tabel 3 de karakteristieken van de organisatie op een rij:

Case karakteristieken

De organisatie is een semioverheidsinstelling en wordt gesubsidieerd door de overheid De organisatie verzorgt opleidingen in het middelbaar beroepsonderwijs

De organisatie heeft een aanbod van ongeveer 150 opleidingen

Per jaar behalen 3.500 studenten en 2.500 werknemers (via een bedrijfsopleiding) hun mbo-diploma

Selectie respondenten

Het selecteren van respondenten wordt met zorg gedaan. Dit komt omdat verschillende factoren van invloed kunnen zijn. Bij het selecteren van respondenten in een kwalitatief onderzoek, is de onderzoeksvraag van belang. Het idee is namelijk dat een onderzoeksvraag een richtlijn kan zijn voor het selecteren van respondenten (Bryman, 2012: 416). Wanneer we kijken naar de onderzoeksvraag geeft deze een bepaalde richting aan: de respondenten moeten professionals zijn die werken met een prestatiemeetsysteem. Net zoals bij de case zelf, moeten de respondenten tevens aan een aantal criteria voldoen. In tabel 4 is een overzicht gemaakt van de criteria waaraan de respondenten moesten voldoen:

Respondentenselectie criteria

De respondenten moeten op één dezelfde school werken, zodat een beeld kan worden gevormd van de school als geheel

De respondenten moeten professionals zijn die werken met een prestatiemeetsysteem

De respondenten moeten langer dan een jaar in dienst zijn, zodat deze bekend zijn met prestatiemetingen

De respondenten moeten bestaan uit mannen en vrouwen, omdat het verschil in geslacht mogelijk van invloed is op de visie van de professional

Tabel 4. Respondentenselectie criteria

Het onderzoek is gericht op professionals die daadwerkelijk werken met een prestatiemeetsysteem. Omdat de organisatie een onderwijsinstantie is, zijn de professionals in deze case docenten die lesgeven aan MBO-studenten. De docenten zijn gekozen op basis van een zogenoemd sneeuwbal steekproef. Bij deze steekproef kiest de onderzoeker namelijk een aantal relevante respondenten uit voor de onderzoeksvragen, waarbij de respondenten vervolgens andere respondenten aanbevelen (Bryman, 2012: 424). Wel is het zo dat de aanbevolen respondenten aan de selectiecriteria moesten voldoen. Gesproken is met twaalf medewerkers van het ROC Tilburg, waarvan negen docenten en drie beroepspraktijkvorming begeleiders. Van de 12 respondenten waren er vier vrouw en acht man. Deze waren allemaal langer dan een jaar in dienst. Voor het deelnemen aan het onderzoek krijgen de docenten geen beloning, wel ontvangen zij de resultaten van het onderzoek. Voor een overzicht van de respondenten en hun karakteristieken, zie tabel 5:

Tabel 5. Respondenten karakteristieken

Dataverzameling

De onderzoeksmethode die gekozen is voor de dataverzameling is het interview. Het voordeel van het afnemen van een interview is dat de onderzoeker snel informatie kan krijgen over veel onderwerpen en onmiddellijk kan doorvragen als daartoe aanleiding bestaat. Het doel is om geldige en betrouwbare informatie te verkrijgen die ik als onderzoeker op grond van de probleemstelling geselecteerd heb (Reulink & Lindeman, 2005: 13). Gezien de aard van de hoofd- en deelvragen en de gevoeligheid van het onderwerp leek deze het meest geschikt.

Er bestaan verschillende soorten interviewtechnieken. In dit onderzoek is gekozen voor een semigestructureerd interview. Een semigestructureerd interview is een interview waarbij de interviewer van te voren vragen opstelt in een schema, maar waarbij afgeweken mag worden in de volgorde van de vragen. Ook is het mogelijk om door te vragen op wat de geïnterviewde vertelt (Bryman, 2012: 212). Dit betekent dat het interview wel een bepaalde richting opgeduwd wordt om bruikbare informatie te vergaren, zodat deze informatie vergeleken kan worden met de bestaande theorie. Echter is het wel de bedoeling dat het interview zo openlijk mogelijk blijft, zodat de respondent de ruimte krijgt en het gevoel heeft

Respondent Functie Geslacht Naam Datum

1 Docent rekenen Man D1 7-4-2016

2 Docent logistiek (6x) Man D2 7-4-2016

3 Docent logistiek Vrouw D3 7-4-2016

4 Docent logistiek Man D4 8-4-2016

5 Docent logistiek Man D5 8-4-2016

6 Docent logistiek Man D6 8-4-2016

7 Docent logistiek Man D7 8-4-2016

8 Docent Nederlands Vrouw D8 8-4-2016

9 Docent burgerschap competenties Vrouw D9 8-4-2016 10 Beroepspraktijkvorming begeleider (3x) Vrouw D10 9-4-2016 11 Beroepspraktijkvorming begeleider Man D11 9-4-2016 12 Beroepspraktijkvorming begeleider Man D12 9-4-2016

door te kunnen praten. Dit heeft met een stukje vertrouwen te maken, zodat sociaal wenselijke antwoorden kunnen worden vermeden.

De interviewvragen zijn grotendeels opgesteld vanuit de theorie. Vanzelfsprekend kan er niet gevraagd worden of zij pervers gedrag vertonen, omdat het een gevoelig onderwerp is en respondenten mogelijk niet vrijuit zullen spreken. Wel kan gevraagd worden of men in hun werkomgeving ervaring heeft met strategisch gedrag. Op deze manier konden de effecten en gedragingen beschreven in de theorie terugkomen in de interviewvragen. Tijdens het uitvoeren van de interviews zijn de vragen tweemaal aangepast, om uiteindelijk specifieker antwoord te kunnen geven op de centrale vraag. Na het afnemen van het eerste interview werd duidelijk dat deze te lang was, doordat sommige vragen teveel op elkaar leken. De interviews zijn afgenomen tussen 7 april 2016 en 9 april 2016.

Voor het opstellen van de interviewvragen is de theorie rondom deelvraag 1 niet meegenomen, deze deelvraag wordt meer gebruikt ter achtergrondinformatie. De theorie rondom deelvraag 2 en 3 is wel gebruikt voor het opstellen van de interviewvragen, zodat onderzocht kan worden onder welke omstandigheden deze gedragingen zich voordoen.

Na het afnemen van de interviews zijn er transcripten geschreven. Dit zorgt voor een volledig overzicht van het interview, zodat er geen onderdelen vergeten worden. De transcripten zorgen er tevens voor dat de interviews terug te lezen zijn. De resultaten worden geanalyseerd aan de hand van coderingen. Hoe deze tot stand zijn gekomen, wordt in de volgende paragraaf uitgelegd.

Methode van analyse

Zoals reeds beschreven, worden de resultaten geanalyseerd aan de hand van coderingen. Op deze manier kunnen de kernconcepten uit de empirie gemeten worden. Er zijn drie schema’s met coderingen ontwikkeld. De eerste twee schema’s zijn opgesteld aan de hand van de beschreven literatuur in hoofdstuk 2. Specifiek betekent dit dat de positieve en perverse effecten als achtergrondinformatie worden gebruikt om codes te ontwikkelen. Effecten worden omgezet in gedragingen, immers er wordt onderzoek gedaan naar gedrag en niet naar effecten. Dit betekent in praktische zin dat de codenaam omgezet wordt. Zo stelt de literatuur dat prestatiemeting de ambities blokkeert. Dit is een effect en geen gedraging. Wel kan dit effect leiden tot manipulatief gedrag. Daarom is een code ‘manipulatief gedrag’, in plaats van ‘het blokkeren van ambities’. Op deze manier zijn er twee codeerschema’s ontstaan: een codeerschema van positieve gedragingen en van perverse gedragingen.

Niet alle effecten konden omgezet worden in een gedraging. Deze effecten zijn om deze reden niet opgenomen in de codeerschema’s. De ontwikkelde codes op basis van de literatuur zijn in tabel 6 weergegeven:

Schema 1: coderingen positief gedrag Schema 2: coderingen pervers gedrag

Innovatief gedrag Strategisch gedrag

Leren Manipulatief gedrag (clouding the

transparancy, beating the system, creaming, cherry picking)

Outputsturing Blokkeren innovatief gedrag

Verantwoordelijk voelen Verhullen van de daadwerkelijk prestaties

Doelgericht handelen Bureaucratischer handelen

Presteren Imitatiegedrag

Meetfixatie (myopia, measure fixation) Cash cows

Schijnverantwoording

Tabel 6. Ontwikkelde codes van positief en pervers gedrag, gebaseerd op de theorie van onder anderen de Bruijn (2006).

Om deze positieve en perverse gedragingen te kunnen analyseren zijn er specifieke vragen gesteld in de interviews. De vragen zijn grotendeels tot stand gekomen door de ontwikkelde codes. De codes gaven een richtlijn voor het opstellen van de interviewvragen. Om vervolgens te achterhalen welke positieve gedragingen de respondenten vertonen, werden vragen gesteld als: ‘Welke voordelen heeft prestatiemeting voor u persoonlijk?’, ‘Krijgt u binnen uw werkveld de ruimte om innovatief en ambitieus te zijn?’ en ‘herkent u positieve effecten van prestatiemeting binnen uw organisatie? Zo ja, welke?’ Om perverse gedragingen te analyseren, zijn onder meer de volgende vragen gesteld: ‘herkent u vormen van strategisch gedrag binnen uw organisatie? Zo ja, kunt u hier voorbeelden van geven?’, ‘Welke invloed heeft prestatiemeting en de mogelijke strategische gedragingen op de prestaties van de organisatie en het onderwijs in het algemeen?’ en ‘welke nadelen heeft prestatiemeting voor u persoonlijk?’

Tot slot is er een derde codeerschema ontwikkeld. Deze is ontwikkeld door de data zelf. De codes zijn ontstaan door antwoorden uit de interviews die niet duidelijk te herkennen zijn in de literatuur, maar wel relevant zijn omdat deze meerdere malen naar voren zijn gekomen bij de respondenten. Het derde codeerschema vult daarmee de huidige literatuur aan.