2020
Het meten van prestaties: niet tellen
maar vertellen
EEN ONDERZOEK NAAR DE EFFECTIVITEIT VAN PROFIELBEKOSTIGING IN HET HOGER ONDERWIJS
Mandy Bekooij Universiteit Leiden Studentnummer: s2303191 Faculteit Governance en Global Affairs (FGGA)
Master Management van de Publieke Sector Specialisatie: strategie, advies en verandermanagement (SAV) Eerste lezer: dr. P. E. A. van den Bekerom Tweede lezer: dr. C.J.A. van Eijk
Datum: 09-01-2020
1
Voorwoord
Voor u ligt de scriptie ‘het meten van prestaties: niet tellen maar vertellen’. Dit ex ante beleidsonderzoek naar de effectiviteit van profielbekostiging is uitgevoerd door in gesprek te gaan met diverse onderwijsinstellingen- en organisaties.
Al vroeg in mijn studiecarrière ontdekte ik mijn passie voor het onderwijs. Hieruit vloeide logischerwijs voort dat ik met mijn masterscriptie wilde bijdragen aan relevante casuïstiek binnen het onderwijs. Tijdens de master Management van de Publieke Sector volgde ik onder andere het vak prestatiemanagement. Dit vond ik zo interessant, dat ik besloot om dit als capstone te kiezen voor mijn masterscriptie. De mogelijke invoering van profielbekostiging in het hoger onderwijs was de perfecte samenkomst tussen mijn passie voor onderwijs en interesse in prestatiemanagement. Ik heb dit onderzoek dan ook met veel plezier en enthousiasme uitgevoerd.
Allereerst wil ik alle respondenten bedanken voor hun tijd en moeite. Hun input heeft mij veel duidelijkheid verschaft rondom prestatiemanagement in het onderwijs. Zonder hen had ik dit onderzoek niet tot een goed einde kunnen brengen.
Een tweede bedankje gaat uit naar mijn scriptiebegeleidster dr. Petra van den Bekerom. Haar enthousiasme voor dit onderwerp en de goede aansturing hebben mijn plezier in het uitvoeren van dit onderzoek zeker bevorderd.
Alvorens u veel leesplezier te wensen, wil ik mijn familie, en bovenal mijn lieve vriend Robin, bedanken voor de steun in de afgelopen maanden. De omstandigheden zijn niet altijd even makkelijk geweest. Toch is door jullie het woord ‘opgeven’ nooit in mijn hoofd opgekomen.
Veel leesplezier!
Mandy Bekooij
2
Abstract
In juni 2019 bracht de Adviesraad voor Wetenschap, Technologie en Innovatie het adviesrapport ‘Het stelsel op scherp’ uit. Dit adviesrapport stelt dat het huidige stelsel voor hoger onderwijs en onderzoek niet toekomstbestendig is. Universiteiten en hogescholen zouden zich sterker moeten profileren en meer moeten samenwerken. Eén van de gegeven aanbevelingen is het wijzigen van de huidige bekostigingssystematiek door het invoeren van profielbekostiging. Met profielbekostiging wordt bedoeld dat een deel van de Rijksbijdrage die een onderwijsinstelling ontvangt, gekoppeld wordt aan het behalen van de vooraf opgestelde doelen in het instellingsprofiel.
De theorie rondom prestatiemetingen laat zowel positieve effecten als mogelijke perverse effecten zien. Zo kan het meten van prestaties het leren en ontwikkelen van een organisatie bevorderen. Aan de andere kant wordt gesteld dat mogelijke perverse effecten juist zijn dat innovatie geblokkeerd wordt en dat niet alles te kwantificeren is. Een voorbeeld hiervan is het aantal afgestudeerden. De hoogte van dit aantal zegt niets over of deze afgestudeerden daadwerkelijk bekwaam zijn. De vraag is dan ook of de resultaten in de publieke sector kwantificeerbaar zijn of niet. Dit kan een risico vormen voor de bruikbaarheid van prestatiemanagement binnen de publieke sector.
De doelstelling van dit onderzoek is om inzichtelijk te maken hoe effectief het invoeren van profielbekostiging is voor de sector hoger onderwijs. De centrale vraagstelling luidt dan ook als volgt: ‘’Hoe effectief zal het invoeren van profielbekostiging zijn voor de sector hoger onderwijs?’’ De beantwoording van deze centrale onderzoeksvraag geschiedt door de beantwoording en uiteenzetting van een drietal deelonderwerpen:
1. Hoe is het huidige bekostigingsstelsel ingericht?; 2. Wat is de beoogde insteek van profielbekostiging?;
3. Wat zijn de belangrijkste perspectieven van prestatiemanagement in de publieke sector?;
Dit onderzoek is kwalitatief van aard. Dit onderzoek maakt gebruik van deskresearch en semigestructureerde diepte-interviews. Er zijn in totaal acht interviews afgenomen. Om een goed beeld te krijgen van de effectiviteit van profielbekostiging zijn er scenario’s ontwikkeld. Deze scenario’s zijn gebaseerd op de spelregels die horen bij de ontwerpprincipes Dynamiek, Interactie en Variëteit ontwikkeld door de Bruijn (2006). De eerste spelregel komt voort uit het ontwerpprincipe Dynamiek. Deze spelregel omschrijft dat er niet alleen geoordeeld moet worden over de productie maar ook over het proces. De tweede spelregel komt voort uit het ontwerpprincipe Variëteit. Deze spelregel stelt dat wanneer een prestatie meervoudig is, de meting ook meervoudig dient te zijn. Er behoort een variëteit binnen het meetsysteem te zitten alsmede een variëteit aan meetsystemen. De derde spelregel komt voort uit het ontwerpprincipe Interactie en stelt dat de impact van prestatiemetingen beperkt moet blijven. Wanneer een groot deel van het budget van een organisatie afhankelijk is van kwantitatieve prestaties,
3 neemt de kans dat het systeem perverteert toe. Aan de respondenten is gevraagd welk scenario zij prefereerden en waarom dit zo was.
De conclusie is dat een invoering van profielbekostiging geen noemenswaardige invloed of verandering teweeg zal brengen binnen het stelsel van hoger onderwijs en onderzoek. De gesproken onderwijsinstellingen zetten zich al in op (regionale) profilering en willen zich laten leiden door de maatschappelijke en (regionale) beroepsmatige vraag. Instellingen hebben hierbij mogelijkheden nodig voor innovatie en creativiteit. De respondenten stellen dat dit bereikt kan worden door het verduidelijken van de maatschappelijke opdracht en het introduceren van een inspannings-en resultaatverplichting. Middelen hiervoor zijn (1) extra bekostiging bovenop de eerste geldstroom, (2) bekostiging op basis van staffeltjes en (3) duidelijkheid over de reikwijdte van de autonomie van de overheid en de onderwijsinstellingen.
Mocht de profielbekostiging wel geïntroduceerd worden in het hoger onderwijs, is de mate van draagvlak geheel afhankelijk van de invulling van deze profielbekostiging. Deze randvoorwaarden zijn:
- Besteed aandacht aan de combinatie tussen het proces en het product. Het verhaal achter de cijfers is dus van cruciaal belang om een oordeel te kunnen geven over de prestatie van een onderwijsinstelling;
- Bied ruimte voor variëteit van meetsystemen. De meningen van peers, medewerkers en studenten zijn van belang en kunnen bijdragen aan het delen van kennis.
- Instellingen waarderen verschillende indicatoren wanneer het gaat om subjectieve en lastig te meten begrippen als onderwijskwaliteit. Aan de andere kant kunnen verschillende definities en indicatoren vergelijkingsmechanismen als benchmarking juist weer vermoeilijken;
- Het gekoppelde bekostigingspercentage dient niet hoger te zijn dan maximaal 10-15%. Daarbij is het van belang dat de profielbekostiging voortkomt uit extra beschikbaar geld en dus een bonus is. Het is belangrijk dat dit geen zwart-wit systeem betreft. Dit houdt in dat het bekostigingssysteem niet alleen financiert wanneer voor 100% wordt voldaan aan de gestelde doelen;
- Houd met het inregelen van de bekostigingssystematiek rekening met de bezwaren die ingediend kunnen worden op de toegewezen Rijksbijdrage. Aangezien een bezwaarproces jaren kan duren, is het belangrijk goed na te denken over de invulling van dit proces.
Voor toekomstig onderzoek is het van belang dat er een eenduidig beeld gevormd wordt van alle onderwijsinstellingen in het hoger onderwijs. Dit kan door de scenario’s ook voor te leggen aan de niet geïnterviewde onderwijsinstellingen.
Daarnaast kan er door middel van een nieuw onderzoek worden onderzocht en uitgeprobeerd welke andere prikkels kunnen worden gekoppeld aan doelen en ambities. Denk hierbij aan het verlagen van regeldruk en verantwoordingsmechanismen.
4 Indien de profielbekostiging wordt ingevoerd is het van belang dat er via monitoring wordt bijgehouden of de financiële stabiliteit en mogelijkheden van de onderwijsinstellingen op peil blijven. Ook moet er via een ex post evaluatie controle plaatsvinden op de uiteindelijke effectiviteit van het ontwikkelde beleid.
5
Inhoudsopgave
1. Inleiding...7 § 1.1 Achtergrond ...7 §1.2 Probleemstelling ...8 §1.3 Vraagstelling ...9 §1.4 Relevantie ... 102. Het Nederlandse stelsel hoger onderwijs... 12
§2.1 Het huidige bekostigingsstelsel ... 13
§2.2 Feiten en cijfers ... 15
3. Theoretisch kader ... 16
§3.1 Geschiedenis van prestatiemanagement ... 16
§3.2 Wat is prestatiemanagement ... 17
§3.2.1 Conceptualisatie prestatiemanagement ... 17
§3.2.2 Functies prestatiemanagement ... 19
§3.3 Positieve effecten prestatiemanagement ... 19
§3.4 Perverse effecten prestatiemanagement ... 22
§3.5 Omstandigheden en spelregels ... 25 §3.5.1 Ontwerpprincipe 1: interactie ... 25 §3.5.2 Ontwerpprincipe 2: variëteit... 26 §3.5.3 ontwerpprincipe 3: dynamiek ... 27 §3.6 Conclusie ... 28 4. Profielbekostiging ... 29 §4.1 Waarom profielbekostiging? ... 29 §4.2 Wat is profielbekostiging? ... 30 §4.2.2 Beleidstheorie ... 32 5. Methodologie ... 34 §5.1 Onderzoeksontwerp ... 34 §5.2 Observatie-eenheid ... 35 §5.3 scenario-ontwikkeling ... 35 5.3.1 Scenario’s... 36 §5.4 Operationalisatie ... 41 §5.5 Analyse strategie ... 42 6. Analyse ... 43 §6.1 Prestatiemanagement ... 43 §6.2 Invulling profielbekostiging... 44
6 §6.2.2 Profielbekostiging... 45 §6.3 De scenario’s ... 47 §6.3.1 Variëteit ... 47 §6.3.2 Dynamiek ... 50 §6.3.3 Interactie ... 52
§6.4 Een toekomstbestendig stelsel ... 53
§6.5 Het bekostigingsstelsel ... 54
7. Conclusie ... 56
8. Discussie ... 62
§8.1 De respondenten ... 62
§8.2 De scenario’s ... 62
§8.3 Externe validiteit & theorie ... 63
§8.4 Aanbevelingen voor toekomstig onderzoek ... 63
9. Bronnenlijst ... 65
Bijlagen ... 68
Bijlage 1: operationalisatie-schema ... 68
Bijlage 2: interviewleidraad CvB... 70
Bijlage 3: interviewleidraad AWTI... 72
Bijlage 4: interviewleidraad DUO ... 74
Bijlage 5: interviewtranscripten ... 76
Overzicht respondenten ... 76
Transcripten ... 76
7
1.
Inleiding
§ 1.1 Achtergrond
De Adviesraad voor Wetenschap, Technologie en Innovatie (hierna AWTI genoemd) bracht in juni 2019 een advies uit om het onderwijsstelsel in het hoger onderwijs en onderzoek op scherp te zetten. Eén van de adviezen die in dat rapport wordt geïntroduceerd is gericht op het aanpassen van de bekostiging, namelijk de invoering van profielbekostiging. De AWTI stelt dat het huidige bekostigingsstelsel tot diverse knelpunten in het stelsel voor hoger onderwijs en onderzoek leidt. Deze knelpunten zijn onder andere dat instellingen en onderzoek onvoldoende geprofileerd zijn en dat de opleidingen niet aansluiten bij de maatschappelijke vraag. Dit kan volgens de AWTI leiden tot beperkte concurrentie van Nederland op de globaliserende markten en beperkte aantrekkelijkheid voor innovatieve bedrijven. Om ervoor te zorgen dat het bekostigingsstelsel in het hoger onderwijs toekomstbestendig is, is het volgens de AWTI nodig dat de bekostiging de profilering van instellingen en hun bijdragen aan de gewenste stelseldoelen ondersteunt (AWTI, 2019 pp. 52). De AWTI stelt daarbij voor dat de Rijksbijdrage aan universiteiten en hogescholen voor een deel gekoppeld moet worden aan de realisatie van de vastgelegde profielen van de universiteiten en hogescholen.
Op dit moment vindt de huidige bekostiging van instellingen in het hoger onderwijs plaats door een vaste financiële bijdrage van de Rijksoverheid en verkrijgen instellingen geld door de ontvangen collegegelden en subsidies. De AWTI stelt voor deze vorm van subsidiëring te wijzigen en een deel van de financiële bijdrage van de Rijksoverheid in te houden. Instellingen worden dus gekort op hun budget en kunnen, indien zij de doelen en resultaten hebben behaald die vooraf opgesteld zijn, het gekorte budget deels of geheel later nog ontvangen. Deze doelen en resultaten worden opgesteld conform het profiel dat de instelling aanneemt. Hierin staan het stellen van doelen, het behalen van resultaten en presteren centraal.
Het concept ‘prestatie’ staat centraal in de hedendaagse moderne overheid. Het meten en managen van prestaties, ofwel prestatiemanagement, vindt haar oorsprong in de beweging New Public Management (hierna NPM genoemd).
Het NPM ontstond in de crisis van de jaren ’80. Publieke organisaties kregen de kritiek dat zij inefficiënt handelden. Het NPM zorgde er met deze ontwikkelingen voor dat publieke organisaties meer moesten gaan lijken op private organisaties. Zo verschoven de traditionele Weberiaanse waarden, die gericht waren op regels, loyaliteit en neutraal zijn (van der Vlugt, 2005) naar meer klantgerichtheid, efficiency en het meten van prestaties (’t Hart, 2014).
Bouckaert (2006) stelt dat prestaties relevant zijn voor (het beleid van) organisaties. Maar wat is prestatiemanagement nu precies? Korsten (2007) ziet prestatiemanagement als een vorm van sturing. Prestatiemanagement stuurt op de resultaten en stuurt hiermee op de output (korte termijn prestaties) en de outcome (uiteindelijke resultaten). Volgens Bouckaert (2006) kan prestatiemanagement gezien
8 worden als een algemeen doel om activiteiten en prestaties te koppelen, prestaties aan effecten van organisaties en hun beleid. Prestatiemanagement is daarnaast een cyclisch proces (Bouckaert, 2006). Hiermee wordt bedoeld dat het een proces is dat zich continu herhaalt. Prestatiemanagement kan dus dienen als een sturings- en verantwoordingsmiddel en het helpt bij het verkrijgen van inzichten. Het meten van prestaties is hierbij een groot onderdeel. Prestatiemanagement biedt dan ook duidelijke voordelen. Het bevordert transparantie doordat inzichtelijk wordt hoe de behaalde resultaten en gemaakte kosten zich verhouden. Hier kan de organisatie vervolgens van leren en eventuele doelen bijstellen.
Echter, de laatste jaren is er meer kritiek ontstaan op prestatiemanagement. Eén van de grootste kritiekpunten is dat het meten van prestaties en het sturen op prestaties niet of maar deels mogelijk is binnen publieke organisaties. De Bruijn (2006) omschrijft in zijn boek prestatiemeting in de publieke sector diverse stellingen over dit kritiekpunt. Zo wordt er gesteld dat publieke organisaties hun diensten niet kwantificeerbaar kunnen maken (de Bruijn, 2006). Dit omdat universiteiten bijvoorbeeld wel zoveel mogelijk kunnen publiceren, maar dit niets zegt over de kwaliteit van deze publicaties. Binnen zorginstellingen gaat het ook om de kwaliteit van de zorg en niet om de hoeveelheden behandelde patiënten. Naast deze tegenstrijdigheden neemt prestatiemanagement ook diverse mogelijke perverse effecten met zich mee. Zo stelt de Bruijn (2006) dat één van deze perverse effecten het blokkeren van innovatie is. De blokkering van innovatie ontstaat doordat prestaties gekoppeld worden aan financiële beloningen. Dit wordt ook wel cash cows genoemd: producten die relatief eenvoudig gerealiseerd kunnen worden, worden gegenereerd zodat dit leidt tot zoveel mogelijk geld. De throughput wordt dus zo veel mogelijk geminimaliseerd en de innovatie wordt zo verminderd. Prestatiemeting beloont hierdoor het reproduceren van het bestaande (De Bruijn, 2006:31).
§1.2 Probleemstelling
Het advies van de AWTI om universiteiten en hogescholen (beter) te laten profileren, is het invoeren van profielbekostiging. Zoals eerder uitgelegd, wordt hierdoor een deel van de Rijksbijdrage ingehouden totdat is voldaan aan de gestelde doelen. De AWTI geeft onder andere als voorbeeld dat een instelling als ambitie heeft met een bepaalde opleiding extra bij te dragen aan de maatschappelijke behoefte aan kennis en bekwame mensen in een bepaalde sector. De geformuleerde ambitie kan dan zijn: een toenemend aantal studenten opleiden die na hun afstuderen terecht komen in die betreffende sector (AWTI, 2019: 53). De hoogte van dit aantal zegt echter niets over of deze afgestudeerden daadwerkelijk bekwaam zijn. Dit haakt aan bij de vraag of de resultaten in de publieke sector kwantificeerbaar zijn of niet en vormt dus ook een risico voor de bruikbaarheid van prestatiemanagement binnen de publieke sector. Om aan te sluiten bij een quote van de socioloog William B. Cameron: ‘’not everything that can be counted counts, and not everything that counts can be counted (W. Cameron, 1963 pp.13).
Daarnaast stelt de AWTI dat het hoger onderwijsstelsel zich meer moet focussen op innovatie om aantrekkelijk te blijven op de globaliserende markten. Dit terwijl de Bruijn (2006) stelt dat één van
9 de perverse effecten van prestatiemanagement het blokkeren van innovatie is. Het is belangrijk om ons te realiseren dat innovatie geen doel op zich moet zijn, maar daadwerkelijk het hoger onderwijs moet verbeteren. Het advies van de AWTI om profielbekostiging in te voeren en hiermee de profilering en innovatie in het Nederlands hoger onderwijs te verbeteren, valt hierdoor te betwisten.
De doelstelling van dit onderzoek is om inzichtelijk te maken hoe effectief het invoeren van profielbekostiging is voor de sector hoger onderwijs. Dit gebeurt door naar de theoretische inzichten van prestatiemanagement in de publieke sector te kijken, te bekijken hoe het huidige bekostigingsstelsel eruitziet, wat nu precies deze profielbekostiging inhoudt en door de mogelijke gevolgen van profielbekostiging in kaart te brengen.
§1.3 Vraagstelling
Het onderzoeken van profielbekostiging geschiedt op basis van een beleidsevaluatie. Er zijn diverse vormen van beleidsevaluaties te onderscheiden, waaronder onder andere monitoring, een ex post evaluatie en een ex ante evaluatie (Korsten, 2007). Monitoring is een vorm van evaluatie waarbij je, na de invoering van beleid, probeert inzicht te verkrijgen in de voortgang van de uitvoering. Dit kan ook wel procesevaluatie worden genoemd. Doelrealisatie is hierbij van belang. Er wordt indien nodig bijgestuurd (Korsten, 2013). Ook de ex post evaluatie vindt plaats nadat het beleid is ingevoerd. Echter, deze vorm van evalueren beoordeelt een voorstel/beleid achteraf op efficiëntie en effectiviteit. Dit is meer een verantwoordingsmechanisme. Doordat de invoering van profielbekostiging een gegeven advies is en dus nog niet is ingevoerd, is er nog weinig/niets bekend over de daadwerkelijke effecten van profielbekostiging voor de sector hoger onderwijs. Hierdoor zijn het monitoren en een ex post evaluatie niet mogelijk. Dit onderzoek probeert de verwachte effecten van profielbekostiging in het hoger onderwijs vóóraf in kaart te brengen. Dit gebeurt door een ex ante evaluatie. Een ex ante evaluatie is een integraal afwegingskader voor het vormgeven van beleid en regelgeving. Ex ante evaluaties worden gebruikt om de potentiële effectiviteit van nieuw beleid of regelgeving na te gaan (Kenniscentrum Wetgeving en Juridische zaken, 2019)
Dit leidt tot de volgende centrale vraagstelling: Hoe effectief zal het invoeren van profielbekostiging zijn voor de sector hoger onderwijs?
De beantwoording van deze centrale onderzoeksvraag geschiedt door de beantwoording en uiteenzetting van een drietal deelonderwerpen:
4. Hoe is het huidige bekostigingsstelsel ingericht?; 5. Wat is de beoogde insteek van profielbekostiging?;
10 Het eerste deelonderwerp wordt besproken door te kijken naar wat de invulling van het huidige bekostigingsstelsel is, hoe de bekostiging plaatsvindt en op basis waarvan instellingen bekostiging ontvangen.
Het tweede deelonderwerp wordt uiteengezet door uit te leggen waarom profielbekostiging volgens de AWTI een goed idee is en wat deze profielbekostiging volgens de AWTI inhoudt. Vervolgens wordt er op basis van het beleidsadvies van de AWTI een beleidstheorie geformuleerd. Deze beleidstheorie dient als input voor het onderzoek doordat aan de respondenten wordt gevraagd of de manier waarop profielbekostiging wordt ingestoken inderdaad leidt tot het beoogde doel. Op basis van deze antwoorden kan de beleidstheorie eventueel worden aangepast.
Het derde deelonderwerp wordt besproken middels theorie. Allereerst wordt de geschiedenis van prestatiemanagement toegelicht. Daaropvolgend wordt uitgelegd wat prestatiemanagement is. Daarna volgen de positieve en mogelijke perverse effecten van prestatiemetingen. Als laatste worden de ontwerpprincipes en spelregels om perversie tegen te gaan volgens de Bruijn (2006) beschreven. Op basis van deze ontwerpprincipes en spelregels worden er scenario’s ontworpen. Tijdens de interviews spreken de respondenten hun voorkeuren uit over de scenario’s. Zo vormt er zich een antwoord op de centrale vraagstelling.
§1.4 Relevantie
Het is maatschappelijk relevant om te onderzoeken hoe effectief profielbekostiging is voor de sector hoger onderwijs. Volgens de AWTI (2019) is het nodig om het onderwijsstelsel in het hoger onderwijs op scherp te zetten. Dit valt ook te lezen in het rapport De Staat van het Onderwijs (2019) waarin beschreven wordt dat het rendement in het wetenschappelijk onderwijs afneemt en studenten behoeften hebben aan aanpassingen aan onder andere het tempo, de volgorde en inhoud van het onderwijsprogramma. Volgens de AWTI is onder andere de introductie van profielbekostiging hier een goed middel voor.
Echter, een recent gepubliceerd rapport van de Organisatie voor Economische Samenwerking en Ontwikkeling (OESO) stelt dat Nederland een van de beter gefinancierde stelsels van hoger onderwijs heeft. Ook gaat er relatief veel overheidsgeld naar onderzoek en ontwikkeling toe. Het is nog maar de vraag of het goed is voor het Nederlands hoger onderwijsstelsel wanneer dit geld minder kan worden wanneer een instelling niet voldoet aan de vastgelegde profielen. Het kan namelijk niet de bedoeling zijn het onderwijs juist te verslechteren. De resultaten van dit onderzoek kunnen dienen als input om al dan niet via profielbekostiging de kwaliteit van onderwijs en onderzoek te verbeteren.
De theorie rondom prestatiemanagement omvat diverse inzichten over (mogelijke) perverse effecten. Smith (1995) heeft als een van de eerste onderzoek gedaan naar de onbedoelde en (mogelijke) perverse effecten van prestatiemanagement in de publieke sector. Hij onderscheidt diverse effecten, namelijk: meetfixering, tunnelvisie, myopia, sub-optimalisering, gaming, verkeerde interpretatie en verkeerde representatie. Ook de Bruijn (2006) en Bouckaert (2006) omschrijven diverse mogelijke
11 perverse effecten van prestatiemetingen. Om zulke mogelijke perversies tegen te gaan, heeft de Bruijn drie ontwerpprincipes opgesteld. Deze ontwerpprincipes richten zich op interactie (1), variëteit (2) en dynamiek (3). Het ontwerpprincipe Interactie stelt dat vertrouwen een belangrijke waarde is binnen prestatiemetingen. Een belangrijk uitgangspunt is dan ook om het gesprek achter de cijfers aan te gaan. Het ontwerpprincipe Variëteit stelt dat het belangrijk is dat prestaties op verschillende manieren gemeten en beoordeeld kunnen worden. Het ontwerpprincipe Dynamiek stelt dat levendigheid van prestatiemeting belangrijk is. Hierbij is er aandacht voor het professionele proces van totstandkoming en veranderingen in de waardering van producten. Binnen deze ontwerpprincipes worden diverse spelregels geformuleerd om mogelijke perversie tegen te gaan. Met dit onderzoek wordt getracht te bekijken of het beleidsadvies van de AWTI voldoet aan deze gestelde spelregels en ontwerpprincipes en of de spelregels ook in het onderwijs van belang zijn. Dit onderzoek richt zich daarbij op effectiviteit van profielbekostiging in het Nederlandse hoger onderwijs. Dit onderzoek kan bijdragen aan data over de invloed van prestatiemetingen in de publieke sector. Het onderzoek geeft namelijk inzicht in de mogelijke effecten van de invoering van profielbekostiging. Het geeft ook inzichten in welke mogelijke perverse effecten zich voordoen in bepaalde situaties. Het is daardoor ook voeding voor het debat over of prestatiemeting in de publieke sector wel of niet mogelijk/wenselijk is.
12
2.
Het Nederlandse stelsel hoger onderwijs
In Nederland vallen alle universiteiten en hogescholen onder het hoger onderwijs. Er wordt onderscheid gemaakt in bekostigd onderwijs (dit wordt voor een groot deel gefinancierd vanuit de Rijksoverheid) en niet bekostigd onderwijs (dit is particulier onderwijs). In totaal zijn er 18 bekostigde universiteiten in Nederland. Hiervan zijn er 13 lid van de Vereniging van Universiteiten (hierna VSNU genoemd). De overige vier bestaan uit de theologische universiteiten en de Universiteit voor Humanistiek (VSNU, z.d.). Het aantal bekostigde hogescholen in Nederland staat op 36 hogescholen. (VH, z.d.).
Binair stelsel hoger onderwijs
In Nederland hanteren wij een binair stelsel in het hoger onderwijs. Dat wil zeggen dat er onderscheid wordt gemaakt tussen het wetenschappelijk onderwijs (hierna WO genoemd) en het hoger beroepsonderwijs (hierna HBO genoemd) (Nuffic, 2019). Deze scheiding is onder andere goed te zien op het gebied van programmaoriëntatie, de soorten studieniveaus die worden aangeboden en de onderzoekscapaciteit. Onderstaande figuur laat deze scheiding zien voor de universiteiten en hogescholen.
Universiteiten Hogescholen
Programma-oriëntatie wetenschappelijk onderwijs (academisch, leren, onderwijzen en onderzoek)
Hoger professioneel onderwijs (gericht op specifieke beroepen)
Aangeboden programmaniveaus Programma’s op ISCED1 6-8 (bachelors, masters en doctoralen)
Meeste programma’s op ISCED 5 en 6 (associate degree en bachelor)
manieren van aanbieding Fulltime en parttime Fulltime en parttime
Duale- trainingsprogramma’s Aangeboden Aangeboden
Onderzoekscapaciteit Groot aanbod van onderzoeksactiviteiten
Praktijk-georiënteerd onderzoek gerelateerd aan specifieke sectoren en beroepen
In 2019 is er al vaker stilgestaan bij de houdbaarheid van dit stelsel. Zo vragen de VSNU en de VH zich af of het niet beter is te komen tot een nieuw stelsel voor het hoger onderwijs (Scienceguide, 2019). De VH en de VSNU vragen zich af of het binaire stelsel nog wel van deze tijd is. Ook de AWTI stelt vraagtekens bij de inrichting van het huidige stelsel en voorziet diverse knelpunten voor in de toekomst (AWTI, 2019). Deze knelpunten hebben betrekking op onder andere het opheffen van de scheiding
1 ISCED: International Standard Classification of Education. Dit is de internationale onderwijsindeling van UNESCO naar niveau en richting van de studie.
Figuur 1. Bron: Organization for Economic Collaboration and Development (OESO), benchmarking higher education system performance The Netherlands, 2019.
13 tussen de universiteiten en hogescholen, een mismatch tussen opleidingen en de arbeidsmarkt en de manier van bekostigen. Dit onderzoek richt zich louter op de gevraagde aanpassing op bekostigingsgebied.
§2.1 Het huidige bekostigingsstelsel
Onderwijsinstellingen ontvangen een vast bedrag van de Rijksoverheid. Dit budget wordt ieder jaar opnieuw vastgesteld. Deze vorm van financiering staat beschreven in de Wet op het hoger onderwijs en wetenschappelijk onderzoek (WHW), het uitvoeringsbesluit WHW 2008 (UWHW) en de Regeling financiën hoger onderwijs. Deze Rijksbijdrage komt als volgt tot stand:
➔ Het aanmeldproces: de student meldt zich aan via studielink. Studielink stuurt daaropvolgend gegevens door naar de desbetreffende instelling, de student en de Dienst Uitvoering Onderwijs (hierna DUO genoemd). De desbetreffende instelling ontvangt dit verzoek en de gegevens van DUO. De vooropleiding van de student is daarbij een indicator voor het voorlopige collegegeldbedrag.
➔ Inschrijven en voorlopige statustoekenning: de desbetreffende instelling meldt de student/ de graden aan. DUO ontvangt deze informatie, legt deze informatie vast en kan een voorlopige status toekennen.
➔ Definitieve statustoekenning: DUO stelt een basisregister onderwijs onderzoek (OBO) op. De instelling vraagt dit OBO aan en ontvangt deze. De instellingsaccountant van de desbetreffende instelling geeft vervolgens het Assurance-rapport2 af. DUO registreert vervolgens dit rapport (de goedgekeurde OBO’s en bijvoorbeeld proefschriften). Vervolgens kan hierop volgend de definitieve status worden toegekend.
➔ DUO berekent de Rijksbijdrage. De instelling ontvangt deze geraamde Rijksbijdrage.
De instellingen ontvangen in oktober een informatiebrief met de geraamde Rijksbijdrage voor het volgende kalenderjaar. In juli ontvangen de instellingen de definitieve berekening van de Rijksbijdrage. In december vindt er een herberekening plaats. Het kan zijn dat er wijzigingen plaatsvinden voor een bepaalde instelling.
Naast het vaste bedrag ontvangen de onderwijsinstellingen ook een variabel bedrag. Dit bedrag varieert op basis van het aantal inschrijvingen bij een erkende bachelor- en masteropleiding, het voltooien van de erkende bachelor- en masteropleiding binnen de nominale studieduur en het aantal voltooide bachelors- en masters waarvoor een diploma is verleend (Rijksoverheid, z.d.). Deze Rijksbijdrage wordt verdeeld op basis van het landelijk verdeelmodel.
2 In dit assurance-rapport zijn de aantallen Registers proefschriften, ontwerperscertificaten en joint doctorates te vinden
14 Landelijk verdeelmodel
De instellingen ontvangen hun Rijksbijdrage op basis van een landelijk verdeelmodel. Dit model valt te onderscheiden in drie delen:
1. Onderwijsdeel 2. Onderzoekdeel 3. Prestatiebekostiging
Het onderwijsdeel van het landelijk verdeelmodel valt uiteen in de volgende onderdelen:
o Een bedrag per bekostigde inschrijving. (Hier vallen onder andere premasterstudenten, studenten die een tweede opleiding volgen en studenten die ook aan een andere instelling een opleiding volgen niet onder.); o Een bedrag per
bekostigde bachelor- en mastergraad; o Een vaste
onderwijsopslag.
Het onderzoekdeel van het landelijk verdeelmodel valt uiteen in de volgende onderdelen:
o Onderzoeksopslag over diploma’s. Hierbij levert een
masterdiploma meer op dan een
bachelorsdiploma; o Het aantal promoties; o Een vaste
onderzoeksopslag.
Een deel van de Rijksbijdrage is een prestatiebekostiging. Deze hangt samen met:
o Prestaties op onderwijskwaliteit; o Studiesucces; o Onderwijsintensivering; o Profilering; o Zwaartepuntvorming.
Naast de financiële bijdrage van de Rijksoverheid, ontvangen de onderwijsinstellingen ook geld door middel van het collegegeld en vanuit subsidies.
Er zijn twee soorten collegegelden. Dit zijn het wettelijke collegegeld en het instellingscollegegeld. De hoogte van het wettelijke collegegeld wordt jaarlijks bepaald door de Rijksoverheid. Je komt als student in aanmerking voor het wettelijke collegegeld wanneer je voor het eerst een bachelor-studie of een masterstudie aan een hogeschool of universiteit volgt. Voor het studiejaar 2019-2020 is het wettelijk collegegeld geraamd op €2.083,- Je betaalt als student instellingscollegegeld wanneer je studeert aan een particuliere instelling of als je, na de afronding van je bachelor- of masterstudie een tweede bachelor- of masterstudie gaat volgen (diverse uitzonderingen weggelaten3). Instellingen bepalen zelf hun tarief. Dit ligt meestal hoger dan het wettelijke
collegegeldtarief (de Dienst Uitvoering Onderwijs, z.d.).
3 Denk hierbij aan de halvering collegegeld voor nieuwe eerstejaarsstudenten, het betalen voor één studie terwijl je er twee volgt en dat er altijd het wettelijke tarief geldt wanneer je een studie volgt in de richting van de zorg of het onderwijs. Ook wanneer je al een bachelor en/of master hebt gevolgd.
15 Figuur 3 Bron: European University Association, Thematic Report Funding for Excellence, 2014
Figuur 4 Bron: Prestaties in perspectief: trendrapportage universiteiten 2000-2020 (OECD, 2010).
Instellingen kunnen subsidies ontvangen voor hun onderzoeksmiddelen. Deze subsidies komen onder andere van de Nederlandse Organisatie voor Wetenschappelijk Onderzoek en de Koninklijke Nederlandse Akademie van Wetenschappen. Deze onderzoeksmiddelen worden vaak verdeeld op basis van competitie. Er bestaan diverse soorten programma’s en beurzen voor allerlei soorten wetenschappen en wetenschappers. Dit komt bij onderzoeksgroepen en onderzoekers terecht in de vorm van een persoonsgebonden of projectgebonden subsidie. Deze subsidies vinden plaats in de tweede geldstroom. Een derde geldstroom omvat alle overige inkomsten. Ook in deze geldstroom zijn subsidies te vinden. Dit gaat via collectebusfondsen en specifieke doelsubsidies van Nederlandse ministeries en de Europese Unie (VSNU, z.d.).
Het bekostigingsproces wordt geregeld door DUO. Om te weten wat er betaald moet worden aan de instellingen, wordt er gebruik gemaakt van het Basisregistratie Onderwijs (BRON). Hierin zijn alle studentgegevens te vinden. Naast de gegevens van BRON, worden ook de personeelsgegevens en salarisgegevens van de salarisverwerkers die voor het bevoegd gezag werken via een periodieke aanlevering door het bevoegd gezag gebruikt (Dienst Uitvoering Onderwijs, z.d.).
§2.2 Feiten en cijfers
De OECD publiceerde in 2010 een trendrapportage over het Nederlandse hoger onderwijs. Hieruit blijkt dat de uitgaven in Nederland per student in het hoger onderwijs met 1 procent is gedaald in de periode 1995-2007. Dit geldt voor zowel het onderwijsdeel als voor het onderzoeksdeel. De omvang van beiden is sterk gewijzigd in de afgelopen jaren. Dit komt onder andere door de groei van het aantal studenten en de overheveling van onderzoeksmiddelen naar de tweede geldstroom, maar ook door bezuinigingen.
16
3.
Theoretisch kader
Dit theoretisch kader focust zich voornamelijk op de theorie rondom prestatiemanagement. Allereerst wordt omschreven wat de geschiedenis is van prestatiemanagement. Daaropvolgend wordt uitgelegd wat prestatiemanagement precies is en worden de positieve en mogelijke negatieve effecten uiteengezet. Het doel van dit theoretisch kader is om een duidelijk beeld te krijgen van de positieve effecten en de mogelijke perverse effecten van prestatiemetingen. Deze informatie wordt vervolgens gebruikt als input voor de interviewvragen. Het theoretisch kader draagt bij aan het creëren van een beeld over waar wel of niet rekening mee moet worden gehouden wanneer je prestaties meet.
§3.1 Geschiedenis van prestatiemanagement
Het denken binnen prestaties en prestatiemanagement is hedendaags niet meer weg te denken. Maar wat is prestatiemanagement nu precies? Zoals Bouckaert (2006) stelt: prestaties en prestatiemanagement zijn veelgebruikte termen, die in hun concrete operationalisering soms echt vaag blijven (Bouckaert, 2006: 237).
In het begin hielden prestatiemetingen zich bezig met het meten van overheidsactiviteiten die uiteindelijk werden gedefinieerd als dienstverlening. Er werd in termen gedacht als ‘Government by the Good’. In het begin van de 20e
eeuw veranderde dit in ‘Government by the Efficient’. De focus verschoof naar zuinigheid en efficiëntie (Mosher, 1982).
Rond de jaren 80/90 kwam de aandacht te liggen op metingen en management. Het Financial Management Initiative (FMI) werd in 1982 opgericht. Dit was bedacht om meer aandacht te richten op doelstellingen en het meten van outputs. Een onderdeel hiervan waren, en zijn nog steeds, de prestatie-indicatoren (ofwel, Performance Indicators (PI’s). Tegenwoordig wordt hierin ook onderscheid gemaakt tussen PI’s en Key Performance Indicators (KPI’s). Het verschil tussen een PI en een KPI is dat een PI weergeeft wat je moet doen om (in een bepaalde periode) succes te behalen. Een KPI geeft een duidelijk beeld van hoe het gaat met de organisatie, maar weergeeft niet wat je moet doen om een resultaat te verbeteren (Parmenter, 2010). Er ontstond een grotere managementfocus. Dit betekende veel voor de efficiëntie-agenda en voorzag een grotere rol voor prestatie en meten. Hieruit volgde de beweging: management van prestaties. Binnen deze beweging vielen het management van individuele en organisatie prestaties bij elkaar (Bouckaert, 2006).
Prestatiemanagement was ook cruciaal binnen het NPM. Dit nieuwe overheidsmanagement lijkt aansluiting te vinden met vier andere ‘megatrends’:
(i) Proberen de groei van het overheidsapparaat (in medewerkers en financiën) te vertragen of terug te dringen;
(ii) Proberen te verschuiven richting het privatiseren en semi-privatiseren van overheidsorganisaties;
17 (iv) Het ontwikkelen van een meer internationale agenda. (Hood, 1991).
Binnen deze megatrends worden diverse doctrines uiteengezet. Eén van deze doctrines is het expliciteren van standaarden en het meten van prestaties. Hiermee wordt bedoeld: het definiëren van doelen, targets en succesindicatoren. Dit met voorkeur in kwantitatieve termen en vooral bedoeld voor professionele diensten (Hood, 1991: 4). Met het meten van deze overheidsprestaties wordt getracht bewijsmateriaal te vinden en de uitdrukkelijke effecten van overheidshandelingen te verzamelen.
§3.2 Wat is prestatiemanagement
Prestatiemanagement valt onder te verdelen in het meten van prestaties en prestatie-informatie, of zoals Bouckaert en van Dooren (2002) het omschrijven: het kan zowel gaan om meting en management als om informatie en actie.
§3.2.1 Conceptualisatie prestatiemanagement
Bouckaert (2006) stelt dat prestaties gewoonlijk worden uitgedrukt in termen die betrekking hebben op het individu of de organisatie, of beide. Prestaties kunnen worden geïdentificeerd uit een activiteit, programma of beleid. Talbot (2005) schetst daarbij de verschillende dimensies van prestaties, namelijk: verantwoording, gebruikerskeuze, klanten-dienstverlening, efficiëntie, resultaten en effectiviteit, middelenallocatie en het creëren van publieke waarde. Een prestatie is dus eigenlijk het behalen van een bepaald doel of een activiteit.
Volgens Bouckaert zijn prestaties relevant voor (het beleid van) organisaties. Het algemene doel bestaat erin middelen aan activiteiten en prestaties te koppelen, prestaties aan effecten van organisaties en hun beleid, en soms zelfs prestaties te koppelen aan tevredenheid over of vertrouwen in afzonderlijke organisaties, het beleid en zijn instituties (Bouckaert, 2006: 252).
Prestatiemeting kan volgens Bouckaert (2006) specifiek of breed gedefinieerd worden. Een uitgebreide definitie van prestatiemeting is: ‘het op regelmatige wijze genereren, verzamelen, analyseren, rapporteren en gebruiken van een waaier aan gegevens, die gerelateerd zijn aan de werking van overheidsorganisaties en overheidsprogramma’s en die betrekking hebben op middelen (inputs), prestaties (outputs) en effecten (outcomes)’ (Thomas, 2004). Hierin kan ook nog onderscheid worden gemaakt in tussentijdse en uiteindelijke effecten.
De Bruijn (2006) stelt in zijn boek dat, nadat de organisatie inspanning heeft verricht, duidelijk kan worden gemaakt of de beoogde prestaties zijn gerealiseerd en wat ze hebben gekost (De Bruijn, 2006: 16). Dit kan worden geïnterpreteerd als prestatie-informatie. Deze prestatie-informatie omvat de outcome, ofwel het uiteindelijke effect van de prestatie, en de output, ofwel de directe effecten van prestaties. Bouckaert (2006) beschrijft dat prestatiemanagement zowel gaat om ‘meting en management’ als om ‘informatie en actie’. Het deel omtrent de informatie kan volgens hem gedefinieerd worden als: ‘het afleggen van verantwoording voor de resultaten van dat systeem’ (Bouckaert, 2006: 242).
18 Binnen dit onderzoek wordt verstaan onder prestatie-informatie: de input, throughput en de zowel directe (output) als uiteindelijke (outcome) effecten van prestaties die verantwoording afleggen aan de resultaten van het systeem.
Korsten (2007) ziet prestatiemanagement als een vorm van sturing. Hij stelt hierbij dat er onderscheid gemaakt kan worden in inputsturing, throughputsturing en outputsturing. Met inputsturing wordt het sturen op middelen bedoeld. Met throughputsturing wordt het sturen op het proces bedoeld. De outputsturing staat hierbij gelijk aan sturing op resultaat. Met output wordt dus bedoeld: de direct zichtbare prestaties/resultaten. Volgens Korsten is dit een synoniem voor prestatiemanagement (Korsten, 2007: 2). Ook Aguinis (2007) geeft een definitie van prestatiemanagement: het is een continu proces, gericht op het identificeren, meten en ontwikkelen van de prestatie van de organisatieleden en het afstemmen van de prestaties met de strategische doelen van de organisatie. Het meten van prestaties is dus een onderdeel van prestatiemanagement en staat niet gelijk aan prestatiemanagement.
Dit leidt tot de volgende definitie van prestatiemanagement: het doorlopend genereren, verzamelen, analyseren, rapporteren en gebruiken van gegevens die betrekking hebben op middelen (inputs), de directe prestaties (outputs) en de uiteindelijke effecten (outcomes).
De Bruijn (2006) stelt dat prestaties gemeten kunnen worden door prestatie-indicatoren. Segers (1993:191) definieert prestatie-indicatoren als volgt: prestatie-indicatoren zijn empirische gegevens die het functioneren van een instelling beschrijven. Volgens Korsten (2007) zijn prestatie-indicatoren vereist om prestaties te meten. Volgens Korsten zijn prestatie-indicatoren een middel om
daadwerkelijk te meten of de organisatie de beoogde prestatie heeft geleverd (Korsten, 2007:2).
Binnen dit onderzoek wordt de definitie van Van der Hoek & Van den Bekerom gebruikt: prestatie-indicatoren betreffen het bepalen van de maatstaven waarmee gemeten kan worden in hoeverre de doelen van een organisatie zijn behaald (Van der Hoek & Van den Bekerom, 2018:229). Deze definitie bevat alle hierboven beschreven definities.
Volgens Hoogerwerf (1983:18) wordt effectiviteit omschreven als de mate waarin een bepaald beleid of een bepaald middel bijdraagt aan het bereiken van een bepaald doel. Kraan-Jetten (1992) stelt dat een middel echter nooit op zichzelf staat en altijd aan een actor gekoppeld kan worden. Daarom hanteert Kraan-Jetten (1992: 75) de volgende definitie van effectiviteit: de mate waarin de toepassing van een middel bijdraagt tot het bereiken van de door de actor met dat middel beoogde doel. Deze definitie past beter binnen dit onderzoek omdat prestatiebekostiging (het middel) ervoor moet zorgen dat de actor (de instelling) het beoogde doel (namelijk een toekomstbestendig hoger onderwijsstelsel) behaalt.
Binnen dit onderzoek wordt de volgende definitie van effectiviteit gehanteerd: de mate waarin de toepassing van een middel bijdraagt tot het bereiken van de door de actor met dat middel beoogde doel.
19
§3.2.2 Functies prestatiemanagement
Korsten (2007) en de Bruijn (2006) benoemen diverse functies van prestatiemeting, namelijk:
- Transparantiebevordering. Een organisatie kan duidelijk maken welke producten en diensten worden geleverd en welke kosten hieraan verbonden zijn. Dit leidt tot transparantie en kan zo een rol spelen in verantwoordingsprocessen;
- Leren. Hier gaat het om het leren van de prestaties. De transparantie die is ontstaan, biedt inzicht in wat er goed gaat en waar verbetering mogelijk is;
- Oordelen. Doordat er prestatiemeting plaatsvindt, ontstaat de mogelijkheid om die prestaties te beoordelen. Men kan een negatief of positief oordeel vellen over de gemeten prestaties; - Afrekenen. Op basis van het gemaakte oordeel kunnen positieve of negatieve sancties volgen.
Dit is afhankelijk van of dit gaat om een positieve prestatie of een negatieve prestatie. Denk hierbij bijvoorbeeld aan een bonus bij goed functioneren of bij het beperken van budget bij het niet (volledig) voldoen aan de afspraken.
Volgens Paauwe, Biron en Farndale (2011) kunnen de doelen van prestatiemanagement samengevat worden in twee hoofdcategorieën, namelijk die van strategische doelen (1) en die van tactische doelen (2).
Paauwe et al. (2011) stellen dat prestatiemanagementsystemen zijn ontwikkeld om het topmanagement te helpen hun strategische doelen te bereiken. Dit gebeurt doordat de organisatiedoelen gekoppeld worden aan de individuele doelen van medewerkers. Dit versterkt het prestatiemanagementgedrag dat gericht is op het realiseren van doelen. Wanneer medewerkers ervaren dat de prestatiemanagement activiteiten van de organisatie bij elkaar aansluiten en elkaar versterken, geeft dit een signaal over welke houdingen en gedragingen bij kunnen dragen aan de effectiviteit van de organisatie.
Prestatiemanagementsystemen zijn ontwikkeld om bruikbare en valide informatie te leveren voor het maken van beslissingen, het (h)erkennen van prestaties en het toekennen van eventuele sancties/beloningen. Wanneer werknemers zich bewust zijn van de indicatoren waarop performance-gerelateerde beloningen zijn gebaseerd, geeft dit een signaal over wat de organisatie belangrijk vindt. Hierdoor ontstaan tactische doelen.
Belangrijk onderscheid om te maken is wel dat op de korte termijn het uiteindelijke effect niet altijd direct zichtbaar is. Dit betekent dat op de korte termijn de prestatie (output) te zien valt, maar pas op de lange termijn het uiteindelijk effect (outcome) te zien is. Hierdoor is het leren, beoordelen of afrekenen op prestaties niet altijd mogelijk of juist.
§3.3 Positieve effecten prestatiemanagement
De Bruijn (2006) omschrijft in zijn boek diverse perspectieven rondom prestatiemanagement. Volgens De Bruijn (2006:16) is de centrale gedachte achter prestatiemeting dat een overheidsorganisatie beoogde
20 doelen heeft en op basis daarvan prestatie-indicatoren kan ontwikkelen. Het meten van prestaties heeft, zoals reeds benoemd, diverse functies. Deze functies kunnen leiden tot diverse positieve effecten. Zo kan het leiden tot:
1. Transparantie. Dit heeft een interne functie doordat er meer zicht ontstaat op eventuele niet-productieve taken. Ook heeft het een externe functie. Het biedt een verantwoordingsmiddel waarnaar de burger kan kijken. Zo wil een student goed onderwijs en kan vervolgens kijken hoe een instelling staat aangeschreven;
2. Innovatie. Er kunnen interne discussies op gang komen doordat de prestaties gemeten worden en er is een duidelijk criterium voor de beoordeling van procedures en structuren;
3. Het leidt tot beloningen: een hoge output kan leiden tot bijvoorbeeld meer financiering; 4. Het leidt tot leren: dit kan zowel tussen als binnen organisaties. De productiedata bieden de
mogelijkheid om te vergelijken en best practices te identificeren. Daarnaast kunnen deze scores leiden tot beleids-en/of strategieverandering (De Bruijn, 2006: 17-21).
Ook Wouters en Groen (2019) beschrijven diverse voordelen van prestatiemanagement. Belangrijk om te vermelden is dat zij zich hebben gericht op een ondersteunende rol van prestatiemetingen. Ondersteunende prestatiemeting is geen doel op zich, maar de positieve effecten van ondersteunende prestatiemeting maken het de moeite waard om te evalueren of het zinvol is voor een specifieke organisatie om het prestatiemeetsysteem op een ondersteunende manier in te richten (Wouters & Groen, 2019: 152). De volgende positieve effecten worden omschreven:
1. Het vergroot inzicht in de strategie van een organisatie; 2. Het verkleint onzekerheden;
3. Je hebt betrouwbaardere cijfers;
4. Er is meer uitwisseling en creatie van kennis;
5. Positievere houding van medewerkers ten aanzien van prestatiemeting; 6. Hogere prestaties.
Behn (2003) zet in zijn artikel ‘Why measure performance’ vanuit het oogpunt van verscheidene auteurs positieve effecten uiteen. Onder andere de volgende effecten worden beschreven:
1. Prestatiemanagement draagt bij aan de effectiviteit van organisaties;
2. Prestatiemanagement draagt bij aan de monitoring van werknemers, het formuleren en bepalen van budgetten, verbeteren van de diensten en het verbeteren van communicatie;
3. Prestatiemanagement bevordert de publieke betrokkenheid en politieke besluitvorming; 4. Prestatiemanagement kan organisaties op de verantwoordelijkheden wijzen en sancties
21 Ook stelt Behn dat er acht redenen voor managers zijn om prestatiemanagement te gebruiken. Deze redenen zijn:
1. Evalueren: hoe goed presteert mijn organisatie?;
2. Controleren: hoe weet ik zeker dat mijn werknemers het goede doen?;
3. Budgetteren: in welke programma’s, medewerkers of projecten moet de organisatie haar budget steken?;
4. Motiveren: hoe kan ik mijn medewerkers, managers, stakeholders en burgers motiveren om de dingen te doen die de prestaties verbeteren?;
5. Promoten: hoe kan ik de politiek, juristen, stakeholders, media en burgers overtuigen dat mijn organisatie haar werk goed doet?;
6. Vieren: welke prestaties zijn het waard om te vieren?; 7. Leren: waarom werkt het ene wel en het andere niet?;
8. Verbeteren: wat moeten we anders doen om onze prestaties te verbeteren?
Op basis van bovenstaande uiteengezette positieve effecten kan gesteld worden dat er enige consistentie zit in de positieve effecten van prestatiemanagement. De voornaamste positieve effecten zijn transparantie (1), controleren (2) leren (3) en belonen (4).
Het meten van prestaties maakt dus inzichtelijk hoeveel er van iets geproduceerd wordt, wat de doorlooptijd is en hoeveel iets heeft gekost. Deze transparantiebevordering kan bijdragen aan rationalisatie van de bedrijfsvoering of verandering in de productieomvang. Ook is prestatiemeting een prikkel voor productie. Prestatiemeting is niet gericht op de input of op de activiteiten (throughput) maar op de prestaties (output) en resultaten (outcome). Het hanteren van een outputmodel kan de productie stimuleren en doen verhogen. Tevens is prestatiemeting ook een vorm van verantwoording. Zo worden er binnen diverse organisaties prestatieafspraken gemaakt. Denk hierbij bijvoorbeeld aan de politie (bonnenquota) en kwaliteitsafspraken in het onderwijs. Op deze manier kunnen organisaties laten zien wat zij hebben gedaan met de middelen die zij hebben gekregen (Korsten, 2007).
Prestatiemanagement in de publieke sector
Ongeacht de sector, verwacht prestatiemanagement/het meten van prestaties een vorm van resultaatgerichtheid. Niet alleen van de organisatie maar ook van de medewerker. Maar om resultaatgericht te zijn, moet je weten wat het ‘resultaat’ of de ‘prestatie’ is. Dit is echter niet altijd mogelijk. Dit is afhankelijk van de functie. Van der Kolk (2018) stelt dat het voor een functie met een duidelijk afgebakende en meetbare taak eenvoudig is om output te meten. Voor de complexere taken is het lastiger om dit te zeggen. Denk bijvoorbeeld aan de functie van beleidsmedewerker. Hierbij gaat het niet om zoveel mogelijk beleidsrapporten te schrijven, maar of het beleidsrapport inhoudelijk klopt en kwalitatief is.
22 Echter, deze tegenstrijdigheid doet zich niet alleen voor binnen functies maar ook binnen organisaties. Zo is het voor een privaat bedrijf, dat zich richt op het binnenhalen van targets en het verkopen van zoveel mogelijk producten, makkelijker om prestaties te meten. Voor publieke organisaties is dit lastiger. Denk bijvoorbeeld aan publieke universiteiten. Zij hebben geen winstoogmerk. Het is daardoor lastiger te sturen op prestaties. Hierdoor komen we weer bij de quote van W. B. Cameron: ‘’not everything that can be counted counts, and not everything that counts can be counted (W. Cameron, 1963 pp. 13). De Bruijn (2006) stelt in zijn boek dat de prestaties van publieke organisaties niet altijd kwantificeerbaar te maken zijn en dat er diverse mogelijke perverse effecten kunnen ontstaan bij het gebruik van prestatiemetingen.
§3.4 Perverse effecten prestatiemanagement
Naast deze positieve effecten van prestatiemanagement zijn er ook diverse mogelijke perverse effecten te vinden. Een organisatie kan bijvoorbeeld strategisch gedrag gaan vertonen, ambities blokkeren en innovatie blokkeren.
Smith (1995) heeft als een van de eersten onderzoek gedaan naar de niet bedoelde en vaak perverse effecten van prestatiemetingen in de publieke sector. Hij onderscheidt de volgende effecten:
- Tunnelvisie. Hiermee wordt bedoeld dat de organisatie weet welke aspecten worden gemeten. Het kan dan gebeuren dat de organisatie zich alleen hier nog op gaat richten;
- Myopia. Organisaties gaan zich enkel focussen op kortetermijndoelstellingen. Dit gebeurt doordat er bij de prestatiemetingen niet wordt gekeken naar de projecten/doelen op de lange termijn (Van Thiel & Leeuw, 2002, p.274).
- Meetfixering. Wilson et al (2006) stellen dat elke prestatiemeting een incomplete meting is waardoor instanties worden uitgenodigd om zich alleen te richten op die elementen die worden meegeteld bij de meting. Het fenomeen ‘Teaching to the test’ verschijnt dan. Dit ontstaat bijvoorbeeld als organisaties al op voorhand weten op welke indicatoren zij getest gaan worden. Die specifieke onderdelen worden dan heel goed voorbereid waardoor de andere criteria niet meer aan bod komen. In dit geval wordt er gesproken van ‘fixatie’.
- Sub-optimalisatie. Een organisatie kan ervoor kiezen om de lastig te meten onderdelen weg te laten. Hierdoor kunnen alleen de meest positieve onderdelen getoond worden.
- Gaming. De organisatie kent op een gegeven moment de eisen van de auditorganisatie. Hierdoor weet de organisatie dat het tot een positieve uitkomst leidt. In dit geval is er sprake van gaming. - Verkeerde representatie. Hier kan spraken van zijn wanneer cijfers onjuist worden gepresenteerd of worden verdraaid. Een voorbeeld is dat alle leerlingen op een school nooit lager dan een acht halen. Dit hoeft niet te betekenen dat deze school de slimste kinderen heeft: het kan ook zo zijn dat er op alle mogelijke manieren wordt geprobeerd dat kinderen hoge cijfers halen.
23 - Verkeerde interpretatie. Een verhoging van een cijfer hoeft niet te betekenen dat het ook echt beter gaat met de organisatie. Een voorbeeld hiervan is een positie van een instelling in ranglijsten. Een verhoging van de positie van een instelling in ranglijsten hoeft niet te betekenen dat studenten ook echt beter presteren en leren.
Het beoordelen van het succes van prestatiemetingen en prestatiemanagement in het onderwijs is moeilijk. Niet alleen is de effectiviteit moeilijk te beoordelen door eventuele perverse activiteiten, het leerproces is een continu proces dat zich opstapelt en niet zomaar aan de hand van één werknemer, vakgebied of moment gemeten kan worden (Kortez, 2002).
De Bruijn (2006) beschrijft in zijn boek de volgende mogelijke perverse effecten:
1. Prestatiemeting is een stimulans voor strategisch gedrag. Als medewerker of organisatie weet je waarop je gecontroleerd wordt (je weet wat de prestatie-indicatoren zijn). Dit kan resulteren in ‘creatief boekhouden’ door bijvoorbeeld bepaalde cijfers niet te noteren wanneer het doel is deze cijfers omlaag te brengen. Een ander voorbeeld is de bonnenquota: er worden veel sneller bekeuringen uitgeschreven terwijl dit misschien niet altijd nodig is;
2. Prestatiemeting blokkeert innovaties. De blokkering van innovatie ontstaat doordat prestaties gekoppeld worden aan financiële beloningen. Het denken in cash cows kan zich voor gaan doen: producten die relatief eenvoudig gerealiseerd kunnen worden, worden gegenereerd zodat dit leidt tot zoveel mogelijk geld. De throughput wordt dus zo veel mogelijk geminimaliseerd en de innovatie wordt zo verminderd. Prestatiemeting beloont hierdoor het reproduceren van het bestaande (De Bruijn, 2006:31);
3. Prestatiemeting blokkeert ambities. Organisaties willen beter presteren door het optimaliseren van de input. Vervolgens wordt er gefocust op het gebruik van zo min mogelijk throughput om de gewenste output te verkrijgen;
4. Prestatiemeting verhult de daadwerkelijke prestaties. Hoe meer prestatie-informatie wordt geaggregeerd, hoe verder dit van het primaire proces komt te staan. Het inzicht in de relatie tussen de inspanning en de prestatie kan hierdoor verloren raken. Dit kan leiden tot verkeerde inzichten wanneer louter wordt uitgegaan van de geaggregeerde gegevens;
5. Prestatiemeting verdrijft de professionele habitus: het kan tot een vertekend beeld leiden doordat gefocust wordt op de kwantitatieve, meetbare resultaten. Dit kan ten koste gaan van het echte doel van de organisatie. Ook kan het de systeem- of bestelverantwoordelijkheid verdrijven. Daarnaast biedt het ook een negatieve prikkel voor samenwerking;
6. Prestatiemetingen leiden tot kopiëren en niet tot leren. Doordat er productiecijfers zijn, is het mogelijk om gebruik te maken van benchmarking. Zo kan men op zoek gaan naar elkaars best practices en hiervan leren. Dit betekent niet het overnemen van het systeem van de organisatie, maar dat gebeurt wel;
24 7. Prestatiemetingen leiden tot straf. Dit kan gebeuren wanneer niet voldaan wordt aan de gestelde doelen of afspraken. Er kan dan bijvoorbeeld een deel van het financiële budget worden ingehouden.
Naast dat de Bruijn diverse negatieve punten benoemt in zijn boek, omschrijft Bouckaert (2006) ook een drietal negatieve punten, namelijk:
1. De aandacht voor prestaties is dikwijls een retorisch gegeven. Het is gebaseerd op stereotypen en totaal niet onderbouwd door empirische data. Hiermee bedoelt Bouckaert (2006) dat er spanning is tussen de noodzaak om prestatie-informatie te hebben en beleid te betrekken en de onmogelijkheid om het direct te meten op een betrouwbare, auditeerbare en valide manier. Een voorbeeld is onderwijskwaliteit. Het is retorisch om te vragen of men dit belangrijk vindt: iedereen zal dit beamen. Het is alleen ontzettend lastig om kwaliteit te meten.
2. Van managers wordt verwacht dat zij functioneren binnen de gestelde parameters van een rationeel prestatiemanagement. Ook is er een rationeel beperkt model van onder andere besluitvorming en beloningsbeleid. Dit zorgt voor spanningen tussen op vertrouwen gebaseerde beheerssystemen die werken in een traditionele en professionele omgeving en op prestatie gebaseerde beheerssystemen die de strikte logica van het management volgen.
3. Een derde probleem is het verschil tussen het objectieve (output/outcome) van prestaties en het subjectieve (gepland, gerealiseerd, gepercipieerd). Sturen op prestaties kan hierdoor lastig zijn. Zeker wanneer dit een beleids- of beheerssysteem wordt met een resultaatgerichte begroting of prestatieovereenkomsten. Een voorbeeld dat Bouckaert (2006) hierbij noemt is veiligheid: dit kan objectief gemeten worden aan de hoeveelheden overtredingen. Echter, er zijn altijd overtredingen die niet gezien en gemeten worden. Daarnaast bestaat er ook nog het subjectieve veiligheidsgevoel (Bouckaert: 240).
Het eerste negatieve punt van Bouckaert (2006) komt overeen met wat de Bruijn (2006) het verhullen van de daadwerkelijke prestaties noemt. Er ligt meer focus op het aggregeren en genereren van prestatie-informatie dan dat er ligt op de betekenis van deze prestatie-prestatie-informatie.
Het tweede negatieve punt van Bouckaert (2006) sluit goed aan bij wat de Bruijn (2006) omschrijft als het verdrijven van de professionele habitus. Er komt een spanning te staan op het behalen van prestaties en het dichtbij blijven van de kern van de organisatie.
Het derde en laatste negatieve punt van Bouckaert (2006) kan aansluiting vinden bij wat de Bruijn (2006) omschrijft als een stimulans voor strategisch gedrag, een afname van innovatie en het leiden tot straf. Doordat er een verschil zit tussen objectief en subjectief, en het hierdoor lastig is om te meten, kan het
25 gebeuren dat men zich louter focust op het objectiveerbare. Dit kan al helemaal gebeuren wanneer hier een resultaatgerichte begroting aan vastzit.
Samengevat kan dus worden gesteld dat de mogelijke perverse effecten zijn: het vertonen van strategisch gedrag (1), het blokkeert innovatie (2), het verhult de daadwerkelijke prestaties (3) en het leidt tot sancties (4).
§3.5 Omstandigheden en spelregels
De paragrafen hierboven hebben de positieve en mogelijke perverse effecten van prestatiemetingen beschreven. Het is belangrijk om te bekijken welke omstandigheden of randvoorwaarden van belang zijn om de mogelijke perverse effecten te voorkomen. De Bruijn (2006) heeft een drietal ontwerpprincipes ontwikkeld om het gebruik van prestatiemetingen te matigen en voorspelbaar te maken. Deze ontwerpprincipes zijn: interactie (1), variëteit (2) en dynamiek (3). Binnen deze ontwerpprincipes heeft de Bruijn (2006) diverse spelregels uiteengezet.
§3.5.1 Ontwerpprincipe 1: interactie
Een belangrijke waarde bij het gebruik van prestatiemeting is vertrouwen. Dit vertrouwen kan alleen ontstaan als de prestatiemetingen zijn gebaseerd op interactie tussen het bestuur en de professional. Het ontwerp van een systeem van prestatiemeting is het resultaat van interactie, maar ook het gebruik kent veel momenten van interactie. Belangrijk uitgangspunt is om het gesprek achter de cijfers aan te gaan.
Doordat er interactie is, neemt de kans op draagvlak voor het systeem toe. Dit heeft diverse redenen. Eén reden is de trade off conflicterende managerial en professionele waarden. Dit houdt in dat er spanning kan ontstaan tussen de waarden van de bestuurder en die van de professional. Interactie kan hieraan bijdragen doordat er een vorm van prestatiemeting kan ontstaan die recht doet aan de waarden.
Een tweede reden is dat manager en professional eigenaar worden van het systeem. Het systeem komt door middel van interactie tot stand. Hierdoor zijn er meerdere eigenaren en neemt de kans op betekenisvol gebruik van het systeem toe.
Een derde reden is het ontstaan van wederzijds vertrouwen. Interactie kan bijdragen aan het vertrouwen dat bestuurder en professional hebben in hun onderlinge relatie. Dit komt doordat de professional weet dat hij ook invloed heeft op de wijze waarop prestaties worden gemeten. Hierdoor heeft hij ook meer vertrouwen in de manager. Prestatiemeting wordt voorspelbaar voor beide partijen: beiden kunnen invloed uitoefenen en beiden weten dat er geen eenzijdige acties plaatsvinden.
De volgende spelregels zijn ontwikkeld om een perversie van het systeem te voorkomen:
1. Bied duidelijkheid over de functies en fora. Als prestatie-indicatoren maar deels informatie aanleveren, is het noodzaak dat de manager en professional afspraken maken over de functies van de cijfers en de fora waarvoor de informatie bestemd is. Waar worden de cijfers voor
26 gebruikt en wie krijgt de cijfers te zien? Zonder zulke afspraken is er een grotere kans op een geperverteerd systeem. Dit komt doordat het vertrouwen kan omslaan in wantrouwen.
2. Het is hierbij van belang dat er geen eenzijdige wijziging van de functie of de fora plaatsvindt. 3. Ook is het verstandig dat het aantal functies en fora beperkt blijft. Iedere functie en forum roept
eigen heilzame en mogelijke perverse effecten op.
4. Beperk de impact van prestatiemeting. Wanneer een groot deel van het budget, de reputatie of vrijheid van een organisatie afhankelijk zijn van kwantitatieve prestaties, perverteert het systeem. Voorkom daarnaast een directe koppeling tussen productie, oordeelsvorming en impact. Er moet sprake zijn van een indirecte koppeling tussen de output en impact van deze output. Een directe koppeling zou betekenen dat de oordeelsvorming/impact van de productie self-executing is.
5. Bied ruimte om de prikkel van prestaties af te dempen. Tolereer een decentrale prikkelstructuur die afwijkt van de centrale prikkelstructuur.
6. Zet een boundary spanner tussen management en professie. Om conflicten te voorkomen tussen management en de medewerkers, is het belangrijk een actor in te zetten die zich op de grens tussen het management en het professionele systeem bevindt. Deze boundary spanner kan afwegingen maken tussen de managerial en professionele belangen.
7. Maak controle een interactief proces. Door controle interactief te maken, ontstaat er gezaghebbende controle. Ook ontstaat er zo een leerproces. De ervaringen kunnen worden gebruikt ter verbetering van het systeem.
§3.5.2 Ontwerpprincipe 2: variëteit
Binnen de publieke dienstverlening is er sprake van meervoudigheid: producten van een organisatie kunnen op verschillende manieren geïdentificeerd worden. Dit betekent dat ze dus ook op verschillende manieren gemeten en beoordeeld kunnen worden. Als dit zo is, dient er variëteit in de criteria waarop ze gemeten en beoordeeld worden te zitten. Ook is er vaak meervoudige verantwoording vereist. Dit vraagt ook om een tolerantie voor variëteit. Deze variëteit is bevorderlijk voor de inhoud van prestatiemeting. Dit op zijn beurt draagt weer bij aan het inhoudelijke gezag van prestatiemeting.
De inhoud van prestatiemeting wordt beter wanneer dit vanuit meerdere perspectieven bekeken wordt. Er wordt zo recht gedaan aan de meervoudigheid van de prestatie. Dit kan op drie manieren worden uitgewerkt.
De eerste manier is wie er betekenis mag geven aan cijfers. De Bruijn (2006) noemt dit ook wel meaning-making rights. Er zijn verschillende interpretaties van hetzelfde cijfer toegestaan.
Een tweede manier is het tolereren van conflicterende productdefinities. Dezelfde prestatie wordt op verschillende, concurrerende manieren zichtbaar gemaakt.
Een derde en laatste manier is dat variëteit tegenover integraliteit staat. Integraliteit betekent dat alle prestaties worden gemeten en dat deze prestaties in een integraal systeem worden opgenomen.
27 Variëteit zorgt ervoor dat de typen prestaties gedefinieerd worden en dat er vervolgens getolereerd wordt dat niet alle typen een rol spelen of een andere rol spelen in het systeem.
Binnen dit ontwerpprincipe worden de volgende spelregels gehanteerd:
1. Geen monopolie op de meaning-making rights. Omdat er meerdere, en ook tegenstrijdige, betekenissen mogelijk zijn, is het belangrijk dat de betekenisgeving geen monopolie is. Er moet ruimte zijn voor variëteit aan de betekenisgeving.
2. Bied ruimte voor variëteit in productdefinities en prestatie-indicatoren. Daarnaast mag er geen sprake zijn van integrale prestatiemeting en geen eenduidige prestatiemeting. Prestatiemetingen kunnen namelijk voor verschillende fora of functies een andere definitie of kwantificering vergen. Ook moet er de mogelijkheid zijn tot inconsistentie. Daarnaast is het lastig eenduidig te zijn als de wereld juist meerduidig is.
3. Differentieer tussen typen producten. Als de organisatie de producten differentieert, moet er vervolgens gekozen worden op welke producten de organisatie zich gaat richten. Dit kan door middel van relevantie van het product en de aard van het product.
§3.5.3 ontwerpprincipe 3: dynamiek
Levendigheid van prestatiemeting is belangrijk. Prestatiemetingen moeten kunnen omgaan met de dynamiek die producten en diensten met zich meebrengen. Aan deze levendigheid hangen twee eisen: prestatiemeting dient het proces van voortbrenging van producten (1) en prestatiemeting dient de dynamiek in productontwikkeling zichtbaar te maken (2).
Prestatiemetingen kunnen zich richten op het professionele proces van totstandkoming. Bij het proces van de totstandkoming staan vragen als ‘welke inspanning levert een organisatie’ en ‘hoe innovatief is ze’ centraal. Als een organisatie haar productie op peil houdt door het proces van totstandkoming van producten te innoveren, ondanks de omstandigheden die zich voor doen, doet het louter meten van prestaties de organisatie geen recht. De productie blijft namelijk ongewijzigd, maar het proces van totstandkoming is wel degelijk gewijzigd. Wanneer je je alleen richt op de producten, ben je blind voor de dynamiek. Dit geeft dan een beperkt beeld van prestaties.
Ook is er aandacht nodig voor veranderingen in de waardering van producten. Wanneer er bijvoorbeeld een nieuwe politieke leiding ontstaat, kan dit leiden tot ontwikkelingen in het primaire proces waardoor nieuwe productdefinities van belang zijn. Hierbij houdt levendige prestatiemeting in dat er aan deze dynamiek de ruimte wordt gegeven.
Binnen dit ontwerpprincipe zijn de volgende spelregels van belang:
1. Er zijn meerdere maatstaven mogelijk voor eenzelfde soort prestatie. Zo zijn er productiecijfers en doorlooptijden, maar ook is er bijvoorbeeld communiceerbaarheid en motivatie;
2. Oordeelsvorming vraagt om een continue dialoog tussen professional en manager. Eenzijdige oordeelsvorming is risicovol omdat er geen rekening wordt gehouden met specifieke situaties;
