Een case onderzoek naar de invoering van prestatieafspraken voor de Nederlandse Universiteiten

Het Ontwerp van een Prestatiemeetsysteem

in de Publieke Sector

Een case onderzoek naar de invoering van prestatieafspraken voor de Nederlandse Universiteiten

Naam: Harm Jan van der Spek Studentnummer: s1710737

Adres: Admiraal de Ruyterlaan 17, 9726 GN, Groningen Telefoon: 06-10528806

Mail: harmvanderspek@gmail.com

Universiteit: Rijksuniversiteit Groningen Faculteit: Economie en Bedrijfskunde

Programma: MSc Bedrijfskunde, Organizational & Management Control Eerste begeleider: Drs. M.M. Bergervoet

Voorwoord

Geachte lezer,

Met trots presenteer ik u mijn afstudeeronderzoek! Dit onderzoek betekent voor mij, de afronding van mijn opleiding Bedrijfskunde met de master: Organizational Mangement and Control. De afsluiting van een traject van zeven mooie en waardevolle jaren, waarin ik zowel op bedrijfskundig als persoonlijk vlak enorm ben gegroeid.

Het schrijven van dit afstudeeronderzoek was niet mogelijk geweest zonder de steun van een aantal belangrijke mensen. Hiervoor wil ik daarom allereerst mijn begeleider, Marcel Bergervoet, hartelijk bedanken voor zijn waardevolle feedback en steun tijdens dit proces. Verder gaat mijn dank uit naar de personen die voor mij tijd vrij wilde maken voor het geven van een interview: Renée van der Ploeg (ISO), Olga Wessels (LSVb), Toon de Baets (RUG), Piet Rodenburg (UvA), René Hageman (VSNU), Frans Vught en Frans Kaiser (Reviewcommissie), Saskia Rijghard en Fleur Boselie (OCW) en Paul van Meenen (D66). Naast dat de verworven kennis zeer waardevol is gebleken voor mijn onderzoek, heb ik alle gesprekken met veel plezier gevoerd!

Als laatste wil ik mijn vriendin, familie en vrienden bedanken voor hun enorme steun. Zij hebben mij de ruimte en het vertrouwen geven om dit onderzoek tot een goed einde te brengen. Speciale aandacht gaat hierbij uit naar mijn vriendin Lisa en vader Henk. Beide personen waren zeer nauw betrokken tijdens het proces en hebben de ups en downs in volle glorie mogen ervaren! Hoewel het schrijven van een afstudeeronderzoek een individuele taak is, waren zij voor mij een echte steun in de rug!

Voor de lezer rest mij nog een laatste tip, het lezen van dit onderzoek gedijt het beste buiten in de zon met een bakje olijven en heerlijk witbier.

Ik wens u veel plezier met lezen!

Harm Jan van der Spek

6 blinde mannen onderzoeken een olifant…

bron:Landman (2014)

Maar al te vaak varen allen, denk ik, alledag,

Hun eigen koers, volkomen onwetend over wat de ander denken mag, En spreken zij allen van een olifant,

die geen van hen ooit zag.

Samenvatting

De invoering van ‘New Public Management’ heeft er de afgelopen decennia toe geleid dat de publieke sector steeds bedrijfsmatiger wordt gemanaged. Hierbij wordt gebruikt gemaakt van prestatiemeetsystemen (PMS) op strategisch niveau met als doel de prestaties in de publieke sector beter te beheersen. Door de ontwikkeling van prestatie-indicatoren met daaraan gekoppeld beloningen, wordt getracht gedragingen van stakeholders te beïnvloeden. Daar waar eerst de controle op budgetten centraal stond, gaat het nu om het meten en belonen van prestaties.

Doordat publieke organisaties aan een zeer divers scala van kwaliteitseisen moeten voldoen, is het ontwerp van een evenwichtig prestatiemeetsysteem niet eenvoudig. Hierdoor ontstaat er al snel een polarisatie van kwaliteitsbelangen tussen de stakeholders die zijn betrokken bij publieke organisaties. Het gevolg hiervan is dat de krachten van stakeholders niet worden gebundeld, maar de focus te veel ligt op de realisatie van individuele kwaliteitsbelangen. Doordat de bezuinigende overheid momenteel leidend is in het ontwerp van het PMS, komt de nadruk nu voornamelijk te liggen op efficiëntie en effectiviteit. Hierin voelen de belangrijkste stakeholders: werknemers, afnemers en organisatiebestuurders, zich duidelijk in te kort gedaan.

Een PMS moet draagvlak hebben bij alle betrokken stakeholders om goed te werken. Wanneer dit niet het geval is verliest het zijn kracht tot leren, innoveren en aansprakelijkheid. Een niet goed ontworpen PMS kan zelfs perverse prikkels tot gevolg hebben waardoor de kwaliteitstimulering averechts werkt. Om tot een evenwichtig goed functionerend PMS te komen, wordt in dit onderzoek voorwaarden ontwikkeld die aansluiting vinden bij de eigenschappen van de publieke sector en de kwaliteitsbelangen van de belangrijkste stakeholders daarin. Aan de hand van een case analyse over de invoering van prestatieafspraken voor de Nederlandse universiteiten (bijlage 3), zijn een achttal voorwaarden ontwikkeld die essentieel zijn voor de ontwikkeling van een PMS.

Essentiële voorwaarden voor het ontwerp van een PMS in de publieke sector zijn de volgende: 1) Interactie tussen de belangrijkste stakeholders in de publieke sector (overheid, werknemers,

afnemers en organisatiebestuurders) is het essentieel om draagvlak en vertouwen te creëren. 2) Een grote variatie in kwaliteitsbelangen is van belang om zo’n compleet mogelijk beeld van de werkelijkheid te krijgen. Echter op het moment dat tegenstrijdigheden elkaar negatief beïnvloeden moeten er keuzes in kwaliteitsbelangen worden gemaakt. 3) Het niveau waar het PMS zich op moet richten moet puur strategisch zijn. De operationalisering is niet te vangen in prestatie-indicatoren en lijdt tot pervers prikkels. 4) Het PMS moet meer ingericht worden op horizontale verantwoording. Hierdoor ontstaat een bredere en betere beoordeling van kwaliteit. 5) De toepasbaarheid van kennis en kunde in de maatschappij moet meer gestimuleerd worden. 6) Autonomie, flexibiliteit, diversiteit en verdieping zouden namens de belangrijkste stakeholders meer gestimuleerd moeten worden. 7) Er moeten meer proces en outcome indicatoren worden toegevoegd om betere aansluiting te krijgen bij de kwaliteitsbelangen van stakeholders. 8) Kwantitatieve prestatie-indicatoren moeten meer aandacht krijgen. Hierdoor ontstaat er minder kans op fixatie van kwaliteitseisen en wordt er een bredere kwaliteit nagestreefd.

Inhoudsopgave

1.Introductie 1

2.Theoretisch Kader 3

2.1. Ontwerpcriteria PMS in Publieke Sector 3

2.1.1. Publieke Sector als Politiek Netwerk 3

2.1.2. PMS in Politiek Netwerk 4 2.1.3. Ontwerpcriteria PMS 6 2.2. Kwaliteitsbelangen Stakeholders 8 2.2.1. Instrumenteel perspectief 8 2.2.2. Institutioneel perspectief 9 2.2.3. Beschrijving kwaliteitsbelangen 10 2.3. Type Prestatie-indicatoren 11

2.3.1. Productie proces politiek netwerk 11

2.3.2. Ontwerp Prestatie-indicatoren 12 2.3.3. Beschrijving Prestatie-indicatoren 13 2.4. Conceptueel Model 16 3. Onderzoeksmethodiek 17 3.1. Type Onderzoek 18 3.2. Dataverzamelingsmethoden 18 3.3. Geïnterviewden stakeholders 18 4. Resultaten 19 4.1. Uitkomsten Interviews 19

4.1.1, Ontwerpcriteria in Publieke Sector 19

4.1.2, Kwaliteitsbelangen Stakeholders 23

4.1.3. Type Prestatie-indicatoren 24

4.2. Analyse 26

4.2.1. Ontwerpcriteria PMS in Publieke Sector 26

4.2.2. Kwaliteitsbelangen Stakeholders 27

4.2.3. Type Prestatie-indicatoren 29

4.3. Discussie 30

4.3.1. Ontwerpcriteria PMS in Publieke Sector 30

4.3.2. Kwaliteitsbelangen Stakeholders 31

4.3.3. Type Prestatie-indicatoren 32

5. Conclusie en Aanbevelingen 32

5.1. Essentiële voorwaarden ontwerp PMS 33

5.2. Bijdrage Onderzoek 34 5.3. Beperkingen Onderzoek 35 5.4. Aanbevelingen 36 6. Literatuurlijst 37 Bijlagen Bijlage 1: Antwoordenschema 41 Bijlage 2: Interpretatieschema 43

Bijlage 3: Case Introductie 44

Bijlage 4: Geïnterviewden & Vragen Interviews 47

Bijlage 5: Uitwerkingen Interviews 51

1

1. Introductie

De prestatiebeheersing van organisaties in de publieke sector heeft de afgelopen decennia een radicale omslag ondergaan. Daar waar eerst vooral de focus lag op de beheersing van budgeten, komt er nu steeds meer nadruk te liggen op het meten en belonen van prestaties met behulp van een prestatiemeetsysteem (PMS). Deze omslag binnen de publieke sector wordt New Public Management genoemd en heeft als doel de effectiviteit en efficiëntie binnen de publieke sector beter te beheersen. Hierdoor wordt er bij universiteiten steeds meer aandacht besteed aan slagingspercentages, bij een gerecht aan het aantal vonnissen en bij een ziekenhuis aan het aantal behandelingen (Hood, 1995; Thiel en Leeuw, 2002; Bruijn, 2006; Verbeeten, 2007). Dit zorgt echter voor een polarisatie van kwaliteitsbelangen binnen de publieke sector waarin de belangrijkste belangen van de overheid gericht op efficiëntie en effectiviteit de voorkeur krijgen, maar de kwaliteitsbelangen van werknemers en afnemers onvoldoende lijken te worden afgedekt (Verbeeten, 2007; Kaplan, 2001; Ter Bogt en Scapens, 2013).

De functie van een PMS is voorzien in betrouwbare prestatie-informatie voor strategische en operatieve doeleinden. Hiervoor worden prestatie-indicatoren ontwikkeld die de kwaliteit van de prestaties moeten meten. Door het koppelen van beloningen aan de gewenste prestaties wordt het gedrag van individuele personen of groepen beïnvloed. Op deze manier wordt geprobeerd om de prestaties te beheersen (Merchant & van der Stede, 2007). Het meeste onderzoek, zoals Kaplan en Norton (1996) en Simons (2000), is gebaseerd op een PMS wat gebruikt wordt voor de interne beheersing van organisaties op een laag operatief organisatieniveau. Echter, naar de ontwikkeling van een PMS op strategisch niveau waarin verschillende stakeholders in een netwerk met elkaar samenwerken is nog weinig onderzoek gedaan.

In de publieke sector is er behoefte voor een betere beheersing van de prestaties. Echter is dit een lastig proces doordat een publieke sector zich kenmerkt door sterke tegenstrijdige individuele belangen van stakeholders, maar daarnaast ook de onderlinge afhankelijkheid om doelen te bereiken. Hierdoor is het van belang om een evenwicht te vinden in de belangen van de betrokken stakeholders om zo tot gemeenschappelijke doelen te komen (Kraus en Lindholm, 2010, p140-141; Kaplan e.a., 2010, Yin, 2011; Pekkola, 2013). Bekend is dat de meeste samenwerkingsverbanden in de publieke sector mislukken doordat de prestaties van de stakeholders in een netwerk echter nog te veel gericht zijn op het bereiken van hun individuele doelstellingen. Te weinig aandacht wordt besteed aan samenwerkingsverbanden voor het bereiken van gemeenschappelijk strategische lange termijn doelstellingen (Kaplan e.a., 2010). Dit kan alleen ontstaat wanneer het ontwerp van het PMS in gezamenlijk overleg tot stand komt. Er ligt een uitdaging om een transparant PMS te ontwikkelen dat door alle stakeholders wordt ondersteund. Hierdoor kan de lange termijn efficiëntie van publieke organisaties worden gestimuleerd, zodat risico op opportunistisch gedrag en beslissingen gericht op individueel succes op korte termijn kunnen worden voorkomen (Thiel & Leeuw, 2000; Kraus en Lindholm, 2010, p140-141; Kaplan e.a., 2010, Yin e.a., 2011; Pekkola, 2013).

2 kwaliteitseisen. Zo ligt bijvoorbeeld de nadruk binnen het huidige PMS van universiteiten voornamelijk op rendementen. Wanneer zulke productiecijfers de overhand krijgen zegt realisatie hiervan weinig over de kwaliteit. Voor organisaties is het namelijk niet lastig om een bepaalde productie te draaien wanneer andere kwaliteitseisen worden losgelaten. Hierdoor kan het bereiken van productiecijfers de kwaliteit zelfs beschadigen. Het kan bijvoorbeeld ten koste gaan van innovatie en maatschappelijke betrokkenheid van universiteiten en ziekhuizen (Ylijoki, 2005; De Bruijn, 2006; Berings e.a., 2010; ter Bogt en Scapens, 2012).

Ook vanuit de praktijk blijkt dat er angst heerst voor deze gevaren. Volgens Dam (docent faculteit Bedrijfskunde Rijksuniversiteit Groningen) kan het sturen op slagingspercentages ten koste gaan van de kwaliteit van het onderwijs. ‘Ik ben huiverig voor cijferinflatie, je wilt ook geen InHolland praktijken’ (Vegelien, 2012, p10). Ook de Vrije Universiteit (VU) in Amsterdam is een schijnend voorbeeld waarbij de invoering van een PMS heeft geleid tot weerstand (Funnekotter & Logtenberg, 2013). Docenten kwamen in opstand en uitte hevige kritiek: ‘De oorspronkelijke kerntaken, wetenschapsbeoefening en onderwijs, worden ondergeschikt gemaakt aan de economische modellen’(Manifest VU, 2012, p1). Dit bleek de voorbode te zijn van het uiteindelijke opzeggen van het vertrouwen in het college van bestuur (Funnekotter & Logtenberg, 2013). Echter spelen deze problemen niet alleen binnen het wetenschappelijke onderwijs, maar ook op andere gebieden binnen de publieke sector. Zo wees oud-minister van financiën Wouter Bos onlangs op de verontrustende situatie binnen de gezondheidzorg. ‘Bos benadrukt dat de financiële prikkels in de zorg niet kloppen, omdat het zou lonen om mensen te behandelen. Hij pleit ervoor een beloning te laten afhangen van de gezondheid van mensen’ (ANP, 2013). In alle gevallen gaat het hier over de angst dat de verhoogde druk op efficiëntie en effectiviteit indicatoren leidt tot perverse prikkels. Hierdoor ontstaan er averechtse effecten die afbreuk doen aan de kwaliteit van de publieke organisaties.

De invoering van een PMS moet leiden tot een betere beheersing van de kwaliteit van publieke organisaties. Er worden echter problemen ervaren bij de afstemming van het PMS op de diversiteit aan stakeholders en kwaliteitsbelangen. Vanuit de praktijk en theorie heerst angst voor een eenzijdige, kwantitatieve benadering die ten koste kan gaan van belangrijke kwaliteitsaspecten. Van belang is dat de inrichting van het PMS wordt afgestemd op de kenmerken van de publieke sector en de kwaliteitsbelangen van stakeholders hierin. Hiermee wordt verdere polarisatie voorkomen en kan er een harmoniemodel worden ontwikkeld waarin samenwerking plaats vindt. Dit onderzoek richt zich daarom ook op: de voorwaarden waaraan een PMS in de publieke sector zou moeten voldoen om aansluiting te vinden bij de kenmerken van deze sector en kwaliteitsbelangen van stakeholders hierin. Deze kennis is bruikbaar om tot het juiste PMS te komen in de publieke sector. De problematiek die speelt binnen het wetenschappelijk onderwijs is namelijk ook van toepassing in de gezondheidzorg en publieke veiligheid. Het PMS is vooral op operationeel niveau ontwikkeld, voor samenwerkingsverbanden tussen stakeholders op strategisch is deze nog onderbelicht. Dit onderzoek zal, gericht op de publieke sector, hiervoor van toegevoegd waarde zijn.

Doelstelling

Inzicht geven in de werking van een PMS in de publieke sector, waarbij de belangen van de stakeholders en de kenmerken van de publieke sector centraal staan. Op basis hiervan voorwaarden ontwikkelen die essentieel zijn voor de inrichting van een PMS.

Hoofdvraag

3 Om een basis te creëren voor het beantwoorden van de hoofdvraag zullen eerst de kernconcepten van dit onderzoek aan de hand van de bestaande theorieën verder worden beschreven. De vragen die hiervoor aan de theorie gesteld worden zijn de volgende:

Wat zijn de kenmerken van de publieke sector waarmee in het belang van de stakeholders rekening gehouden dient te worden bij het ontwerp van een PMS?

Wat zijn de kwaliteitsbelangen van de belangrijkste stakeholders van publieke organisaties en op welke manier beïnvloeden deze belangen de inrichting van het PMS?

Welke type prestatie-indicatoren worden er gebruikt voor het PMS in de publieke sector? De beantwoording van deze vragen vindt hierna plaats in het theoretisch kader. Het hoofdstuk wordt afgesloten met een conceptueel model om een visuele samenvatting te geven van de kernconcepten en de onderlinge relaties binnen dit onderzoek. Vervolgens worden de deelvragen gegeven die op basis van de theorie de relaties in de praktijk gaan onderzoeken. In hoofdstuk 3 wordt de onderzoeksmethodiek beschreven. Deze bestaat uit een case studie (bijlage 3) over de invoering van een nieuw PMS (prestatieafspraken) binnen de publieke sector van universiteiten. Dataverzameling gebeurt door middel van diepte interviews met de vertegenwoordigers van de stakeholders van universiteiten. In hoofdstuk 4 worden de resultaten van het onderzoek gepresenteerd en volgt er een analyse en discussie. In hoofdstuk 5 wordt afgesloten met een conclusie en aanbevelingen.

2. Theoretisch Kader

In het theoretisch kader worden de kernconcepten en de onderlinge relaties van dit onderzoek aan de hand van de huidige theorieën en praktijkvoorbeelden beschreven. Paragraaf 2.1 begint met een beschrijving van de kenmerken van de publieke sector en de ontwerpcriteria voor een PMS hierin. Om een betere betekenis te kunnen geven aan de krachten die spelen binnen de publieke sector wordt deze gedefinieerd als politiek netwerk. Hierdoor wordt er beter aansluiting gevonden bij het huidige onderzoek. In paragraaf 2.2 komen de verschillende kwaliteitsbelangen van de stakeholders aanbod en de invloed daarvan op de inrichting van het PMS. Paragraaf 2.3 besteed aandacht aan de verschillende type prestatie-indicatoren die in de publieke sector gebruikt worden voor de inrichting van een PMS. Tot slot wordt in paragraaf 2.4 een conceptueel model geven waarin de relaties tussen de kernconcepten visueel worden weergegeven.

2.1. Ontwerpcriteria PMS in Publieke Sector

2.1.1. Publieke Sector als Politiek Netwerk

4 van grote invloed zijn op de samenleving (Jansen, 2004). De exacte definitie voor politiek netwerk die in dit onderzoek gebruikt wordt is als volgt:

‘More or less stable patterns of social relations between interdependent actors, which take shape around policy problems’ (Kickert e.a., 1997, p6).

Door de grote politieke invloed is de samenwerking tussen stakeholders in het politieke netwerk van een publieke organisaties extra complex. Dit komt doordat de stakeholders in een politiek netwerk, net als in de politiek, sterke tegenstrijdige belangen hebben. Doordat de stakeholders echter allemaal verschillende resources (hulpmiddelen) in handen hebben die van belang zijn bij oplossen van een maatschappelijk probleem dient er samenwerking plaats te vinden. Echter hebben de stakeholders weer verschillende individuele belangen binnen het centrale politieke probleem. Voorbeelden zijn het bereiken van goede kwaliteit van zorg, onderwijs en veiligheid voor de afnemer tegenover kostenefficiëntie en effectiviteit van de overheid. Hierdoor ontstaan er complexe interactie en onderhandelingsprocessen (Rhodes, 1990; Gage & Mandell, 1990; Klijn, 1997). Een voorbeeld hiervan is het politiek netwerk dat ontstond rond de wederopbouw van huizen na de 2de wereldoorlog. Het politieke probleem betrof het tekort aan huizen en bouwcapaciteit. De stakeholders die hierbij betrokken waren hadden allemaal zo hun individuele belangen. Bouwbedrijven hadden belang bij een continue vraag aan opdrachten. Huisvestingorganisaties waren geïnteresseerd in een groeiende vraag aan afnemers. Afnemers zelf hadden belang bij betaalbare woningen en investeerders waren geïnteresseerd in hoge rendementen (Kickert e.a., 1997, p7).

2.1.2. PMS in Politiek Netwerk

Het besturen van politieke netwerken wordt in de theorie public management genoemd en betreft de bewuste acties die worden ondernomen om de sociale processen binnen politieke netwerken te beïnvloeden in belang van de maatschappij. Het politieke proces dat hierdoor ontstaat wordt vormgegeven door de overheid. Echter is het wel zo dat de rol van de overheid niet langer wordt gezien als de centrale stakeholder die leiding geeft, maar één van de stakeholders in het politieke netwerk (Klijn, 1997). De taak van de overheid is om het ontwerp van een PMS met verscheidenheid aan doelen van stakeholders te faciliteren. De regels en systemen die een directe invloed uitoefenen op de sociale processen binnen het netwerk worden control systemen genoemd. Het belangrijkste control systeem wat wordt uitgevoerd door de overheid is het PMS. Hierin worden de gemeenschappelijke doelen vertaald in prestatie-indicatoren en via prestatiecontracten gekoppeld aan beloningen. Het PMS zorgt doormiddel van financiële prikkels voor de stimulering van tactische en strategische beslissingen binnen het politieke netwerk.

Positieve effecten prestatiemeeting

Prestatiemeting heeft als doel om de gewenste prestaties te verduidelijken en meetbaar te maken. Hiervoor wordt gebruikt gemaakt van prestatie-indicatoren. Wanneer de organisatie haar inspanningen geleverd heeft wordt aan de hand van de scores op de prestatie-indicatoren gekeken in welke mate de gewenste prestaties geleverd zijn. Prestatiemeting heeft volgens onderzoek (Fitzgerald & Moon, 1996; Bruijn 2006; Merchant & van der Stede, 2007) de volgende positieve effecten:

Transparantie voor innovatie. Prestatiemeting leidt zowel intern als extern tot

5 organisatie die hier wel niet aan bijdragen. Dit prikkelt de werknemers om te innoveren. Extern zorgt prestatiemeting voor transparantie naar de samenleving toe. Zo kunnen de publieke organisatie die gefinancierd worden met belastinggeld zich verantwoorden naar de samenleving.

Leren. Prestatiemeting zet aan tot leren in en tussen organisaties. Doormiddel van

prestatiemeting ontstaat er vergelijkingsmateriaal tussen afdelingen binnen organisaties en tussen organisatie in haar geheel. Hiermee kan op zoek worden gegaan naar de best practice. Organisaties of afdelingen die het beter doen kunnen als voorbeeld dienen voor de rest.

Aansprakelijkheid. Doormiddel van prestatiemeting kan men aansprakelijk worden

gehouden voor geleverde prestaties. Dit geeft meer druk om goed te presteren.

Negatieve effecten (perverse prikkels) prestatiemeting

Naast de positieve effecten die prestatiemeting teweeg kunnen brengen zijn er ook diverse perverse prikkels die het gevolg kunnen zijn van prestatiemeting. Door het bloot leggen van de prestaties van een organisatie en het afrekenen op bepaalde resultaten kan het gedrag van werknemers ook negatief worden beïnvloed. De volgende perverse prikkels zijn vanuit onderzoek (Fitzgerald & Moon, 1996; Bruijn 2006; Merchant & van der Stede, 2007) bekend:

Stimuleert strategisch gedrag. Wanneer prestatie-indicatoren te veel focus leggen op

productiviteit en efficiëntie kan dit leiden tot ‘gaming the numbers’. Werknemers richten zich puur op het behalen van targets zonder dat de doelstelling die er achter zit gehaald wordt. Een voorbeeld hiervan is het terugdringen van de wachttijd tot behandeling in de zorg. Ziekenhuizen kunnen dit eenvoudig reduceren door vrij snel een verpleegster langs te sturen om te zeggen dat de behandeling is begonnen. Vervolgens duurt het lang voordat er een arts langs komt die de behandeling daadwerkelijk start. De wachttijd op papier is verkort maar in werkelijkheid niet.

Blokkeert innovaties. Naast het stimuleren van innovaties, zoals eerder besproken, kan

prestatiemeting juist ook schadelijk zijn voor innovaties. ‘Prestatiemeting beloont het voortdurend reproduceren van het bestaande (Bruijn, 2006, p31)’. Zo kan het voor onderzoekers aantrekkelijker zijn om veel te publiceren over een bekend onderwerp in plaats van een onzeker nieuw onderzoek te starten.

Verbloemt werkelijke prestaties. Wanneer voor de kwaliteitscontrole van organisaties

meer gebruik wordt gemaakt van prestatie-indicatoren, is de kans groot op een hoger abstractie niveau. Men denkt een helikopter view te hebben, maar krijgt echter steeds minder zicht in het verband tussen inspanning en prestaties.

Om perverse prikkels te voorkomen is het van belang dat een PMS de complexe prestaties in een politiek netwerk terug te brengt tot de essentie. De ontwikkeling van het PMS moet daarvoor een afspiegeling zijn van de belangen die spelen in het politiek netwerk (Radin 2006; Frederickson and Frederickson 2006; Moynihan 2008; Kenis en Provan 2009). Moynihan (2008) beschrijft dit als volgt:

6

and internal stakeholders into a series of information categories such as strategic goals objectives performance measures, and targets’ (Moynihan, 2008, 6).

Voordat de verschillende kwaliteitsbelangen van de stakeholders aanbod komen in paragraaf 2.2. Richten we ons eerst op de kenmerken van de samenwerkingsverbanden tussen stakeholders die van belang zijn voor he ontwerp van het PMS.

2.1.3. Ontwerpcriteria PMS

Onderzoekers (Godfroy, 1981; Rhodes, 1990, Kickert e.a., 1997; Bruijn 2006; Klijn, 1997) komen tot drie belangrijke kenmerken waarmee rekening gehouden dient te worden bij het ontwerp van een PMS om pervers prikkels te voorkomen. In tabel 1 worden deze kenmerken genoemd en wordt er vervolgens direct een link gemaakt met de gevolgen hiervan voor het ontwerp van het PMS.

Tabel 1: Kenmerken politiek netwerk gekoppeld aan ontwerpcriteria

Kenmerk Belangrijke Waarde Ontwerpcriteria

Onderlinge afhankelijkheid Vertrouwen Interactie tussen stakeholders Diversiteit in doelen

Stakeholders

Inhoud Variëteit in PMS

Wisselende relaties en innovatie Levendigheid Dynamiek in PMS

Interactie tussen stakeholders

Een netwerk rondom een publieke organisatie ontstaat omdat de stakeholders van een publieke organisatie elkaar nodig hebben om hun individuele doelen te bereiken. De onderlinge afhankelijkheid van de stakeholders komt samen in publieke organisaties doordat de stakeholders interesses hebben in dezelfde specifieke publieke sector. Binnen deze sector worden financiële middelen verdeeld over de verschillende stakeholders. Het PMS wordt gebruikt voor een eerlijke verdeling van deze middelen ter bevordering van het algemeen belang in de publieke sector (Bruijn 2006; Klijn, 1997). Belangrijk element hierbij is het vertouwen van de verschillende stakeholders in het PMS. Wanneer er geen vertrouwen is zal men proberen het prestatiesysteem te misleiden en verliest het daardoor zijn waarde en dus ook de bevordering van het algemeen belang. Dit vertrouwen kan alleen ontstaan als er sprake is van interactie tussen de stakeholders bij het ontwerp van het PMS. Door deze interactie kan er meer draagvlak worden gecreëerd omdat (Bruijn, 2006):

Interactie kan zorgen voor begrip van elkaars individuele doelen, zodat hiermee in het ontwerp van het PMS rekening mee gehouden wordt.

Door middel van interactie kent het prestatiesysteem meerdere eigenaren, wat leidt tot een completere beoordeling van kwaliteit. Dit in tegenstelling tot wanneer alleen de overheid eigenaar zal zijn en puur kijkt naar efficiëntie en effectiviteit.

Een PMS wat door interactie tot stand is gekomen geeft meer onderling vertrouwen. De stakeholders weten hierdoor dat zij van invloed zijn op de prestaties die gemeten worden en hoe deze gemeten worden. De voorspelbaarheid van het systeem is groter en men begrijpt elkaars invloed op de prestaties.

Variëteit in PMS

7

‘Meervoudigheid impliceert dat de producten van een organisatie op verschillende manieren kunnen worden gedefinieerd en dus ook op verschillende wijzen kunnen worden gemeten’(Bruijn, 2006, p74).

Doordat er sprake is van deze meervoudigheid in een politiek netwerk is het van belang dat in het ontwerp van het PMS rekening wordt gehouden met variëteit. Deze variëteit dient betrekking te hebben op de prestatie-indicatoren die gebruikt worden om kwaliteit te definiëren en te meten. Voor een volledig beeld van de kwaliteit van de dienstverlenende organisaties in de publieke sector dient rekening gehouden te worden met de diversiteit in kwaliteitseisen. Wanneer dit niet het geval is ontstaat er een te eenzijdige focus op kwaliteit en dus een vertekend beeld van de werkelijkheid. Er ontstaat een zwakke correlatie tussen de prestatie-indicatoren en de daadwerkelijke kwaliteit van de prestaties waardoor er een performance paradox ontstaat. Dit betekent dat resultaten van de prestatie-indicatoren zelf niet verslechteren, maar dat de prestatie-indicatoren geen goed beeld meer geven van de werkelijke kwaliteit prestaties die geleverd worden. Bijvoorbeeld de kwaliteit van universiteiten beoordelen op slagingspercentages zegt niks over de inhoudelijke kwaliteit van het onderwijs. De volgende problemen kunnen zich volgens onderzoek (Meyer & O’shaughnessy, 1993; Meyer & Gupta; 1994; Thiel & Leeuw, 2002; Verbeeten, 2007) voordoen wanneer er sprake is van onvoldoende variëteit

Afnemende innovatie door prestatie-indicatoren die alleen maar op de korte termijn

efficiëntie gericht zijn. Hierdoor wordt er te weinig aandacht besteed aan de langere termijn.

Doordat werknemers zich alleen maar richten op de prestaties die gemeten worden ontstaat er een Tunnelvissie en metingfixatie. Dit betekent dat onderliggende doelstellingen en kwaliteitsaspecten verloren gaan.

Doordat managers zich alleen maar richten op de doelstellingen van de eigen organisatie ontstaat er suboptimalisatie. Hierbij wordt het collectieve belang van de organisatie vergeten.

Een eenzijdige inrichting van een PMS kan leiden tot een verlies in draagvlak van de stakeholders. Stakeholders die niet geloven in een evenwichtige beoordeling van kwaliteit zullen het systeem dus niet ondersteunen.

Dynamiek in PMS

De relaties tussen stakeholders in een netwerk en de ontwikkelingen in de kwaliteit van publieke organisaties staat nooit stil. Van belang is dat een PMS oog heeft voor deze veranderingen. Belangrijk hiervoor is een dynamisch PMS wat hiermee rekening houdt.

8 De relaties tussen stakeholders in een netwerk worden ook wel instituties genoemd. Dit zijn de formele en informele regels die ontstaan door de interactie tussen stakeholders (Klijn, 1997). Door veranderende machtsverhoudingen kunnen de relaties tussen stakeholders ook veranderen. Dit zou kunnen betekenen dat de invloed op elkaar veranderd. Van belang is om bij de inrichting van het PMS hiermee rekening te houden. Wanneer een stakeholder machtiger wordt dient dit ook in de overlegstructuren te worden weerspiegeld (Bruijn 2006; Klijn, 1997).

2.2 Kwaliteitsbelangen Stakeholders

2.2.1. Instrumenteel perspectief

Het PMS in de publieke sector was in het begin alleen gericht op de informatiebehoefte van de overheid als belangrijkste financier. De prestatie-indicatoren waren dan ook volledig gericht op deze verticale relatie tussen opdrachtgever en uitvoerder (Otley, 1995; Hopwood, 1996). De verzameling van financiële informatie voor de beheersing van budgetten stond hierin centraal (Birgnall & Modell, 2000). In 1980 beschreef Porter echter voor het eerst het belang om ook rekening te houden met de niet-financiële belangen van werknemers en afnemers. Samen met de overheid vormen zij namelijk de belangrijkste stakeholders van een publieke organisatie (Birgnall & Modell, 2000). De erkenning van het belang van verschillende stakeholders heeft de ontwikkeling van multidimensionale prestatiemeetsystemen als de balanced scorecard van Kaplan en Norton (1992) tot gevolg. Deze systemen zijn onderdeel van de contingency theorie (Birnberg, 1998; Merchant and van der Stede, 2007) en besteden aandacht aan prestatie-indicatoren gericht op de belangen van de verschillende stakeholders. Door ook aandacht te besteden aan niet-financiële prestatie-indicatoren ontstaat een meer compleet beeld van de kwaliteit van de prestaties van een publieke organisatie:

‘The Balanced Scorecard has been promoted as a safeguard against adverse effects on quality stemming from a heavy emphasis on financial control (Forgione, 1997). Public sector organizations are also said to be ‘under siege’ (Chow e.a.., 1998, p. 264) and need to adopt PM systems better responding to multiple stakeholder demands than the plethora of unrelated indicators often in place’ (Modell, 2004, p44).

9

Accounting, with its focus on hierarchical coordination within a single company, is in conflict with changes in the business landscape of this kind, which increase the importance of horizontal coordination between independent companies’ (Hakansson et al, 2010, p2).

Het gevaar van een instrumentele en hiërarchische benadering, waarbij er onvoldoende rekening wordt gehouden met de individuele belangen van stakeholder, is het gebruik van de-coupling door de publieke organisatie in het netwerk. De-coupling is het proces waarbij er een splitsing plaats vind in het gebruik van prestatie-indicatoren. Hierbij gebruiken publieke organisaties bijvoorbeeld andere prestatie-indicatoren voor de verantwoording naar de overheid, dan degene die intern worden gebruikt. Er worden hierdoor intern andere prestaties gestimuleerd dan degenen die worden opgedragen door de overheid. Voor de publieke organisatie is dit een middel om de verschillende stakeholders tevreden te houden. Hierdoor is er echter geen geïntegreerd PMS en dus sprake van de-coupling. De invloed van een PMS om de prestaties van publieke organisatie te beheersen wordt hiermee uitgeschakeld. Daarom is het ook van belang om bij het ontwerp van de prestatie-indicatoren rekening te houden met de belangen van verschillende stakeholders. Hiermee word voorkomen dat er de-coupling ontstaat.

De macht van stakeholders met tegenstrijdige belangen heeft invloed op manier waarop een control systeem wordt gebruikt. Voor een goede werking van prestatiemeeting zonder perverse prikkels is het daarom van belang dat er afstemming plaats vindt tussen de verschillende stakeholders. Doormiddel van interactie tussen de stakeholders kan deze afstemming ontstaan waardoor er ook meer draagvlak voor het PMS wordt gecreëerd (Bruijn, 2006). Van belang is eerst om de huidige relaties tussen de stakeholders in beeld te brengen. Hiervoor maken we in het volgende stuk gebruik van de institutionele theorie.

2.2.2. Institutioneel Perspectief

De contingency theorie is vooral gericht op verticale relaties tussen de publieke organisaties en haar stakeholders. Centraal staat de aansluiting tussen prestatie-indicatoren en individuele stakeholders. Echter bevind een publieke organisatie zich in een netwerk van zowel verticale als horizontale relaties. Stakeholders bevinden zich vaak op hetzelfde niveau en moeten onderling overeenstemming bereiken over de inrichting van het PMS. De institutionele theorie besteedt daarom ook aandacht aan deze horizontale relaties. De institutionele theorie (Meyer en Zucker, 1989; Goodstein, 1994; Otely e.a.,1995; Hopwood; 1996 Birgnal en Modell, 2000) probeert inzichtelijk te maken hoe de verschillen die van nature aanwezig zijn tussen stakeholders van invloed zijn op het ontwerp van een PMS. Deze verschillen worden veroorzaakt door dat elke stakeholder zijn eigen instituties heeft. Deze instituties zijn de formele en in informele regels die de kwaliteitsbelangen van stakeholders bepalen. De focus ligt hierbij op de polarisatie die zich afspeelt tussen de belangrijkste stakeholders in het politieke netwerk van een publieke organisatie (Meyer en Zucker, 1989; Goodstein, 1994 Birgnal en Modell, 2000). Deze polarisatie is binnen de contigency theorie grotendeels genegeerd (Otley, 1980). Wanneer de verscheidenheid in instituties inzichtelijk wordt gemaakt kan worden nagegaan in hoeverre het PMS in balans is:

10

2.2.3. Beschrijving Kwaliteitsbelangen

Aan de hand van het model van Birgnall en Modell (2000) worden de kwaliteitsbelangen van de belangrijkste stakeholders beschreven: overheid, werknemers en afnemers. De kwaliteitsbelangen worden omschreven in de behoefte aan informatie die zij hebben over de prestaties van publieke organisaties. Deze informatiebehoefte is de basis voor het ontwerp van prestatie-indicatoren van het PMS (Performance Measurement Systeem = PMS). Birgnall en Modell (2000) hebben hiervoor een model (figuur 1) ontworpen waarin zij de relaties van de belangrijkste stakeholders visueel weergeven. Ze baseren zich hierbij op onderzoek in de publieke sector in Engeland en Scandinavië. Ze benadrukken dat het een algemeen model is die de relaties van stakeholders weergeeft en dus toepasbaar is in verschillende settingen binnen de publieke sector.

Figuur 1: De invloed van stakeholders op het PMS

Funding bodies (overheid)

De informatiebehoefte van de overheid richt zich voornamelijk op:

Efficiëntie: mate waarin middelen nodig zijn om doelen te bereiken, kosten per output. Effectiviteit: mate waarin formele doelen gerealiseerd worden.

Budgeten: mate waarin uitgaven en inkomsten binnen de begroting vallen.

Waar de focus voor de invoering van new public management vooral op de budgeten lag, is dit nu meer verschoven naar de efficiëntie en effectiviteit. De overheid is geïnteresseerd in financiële informatie over het efficiënt gebruik van het geld van de belastingbetaler (resource utilization). Daarnaast wordt het uitdrukken van de effectiviteit van publieke organisaties in financiële cijfers steeds belangrijker (financial results) (Hood, 1995). Dit heeft geleid tot het afsluiten van prestatiecontracten tussen overheid en publieke organisaties waarop de bekostiging wordt gebaseerd. Zo heeft dit voor universiteiten geresulteerd in prestatieafspraken gericht op slagingspercentages en prestatierendement (OCW, 2012) en moeten ziekenhuizen de kosten per behandeling inzichtelijk maken.

Professionals (werknemers publieke organisatie)

11 er gerealiseerd wordt. Dit betreft de kwaliteit van de interne processen die wordt vormgeven door regels en routines, maar daarnaast ook de externe processen met de afnemer waarbij de dienst wordt over gebracht aan de afnemer. Voor een universiteit betekenen de interne processen de organisatie van roosters, collegezalen en omgang met collega’s. Externe processen betreffen de methodes die worden gebruikt voor onderwijs en onderzoek. Hierin zijn de werknemers geïnteresseerd in de werknemerstevredenheid die zich in de volgende kenmerken laat vertalen (Fitzgerald & Moon, 1996; Birgnall en Modell, 2000):

Autonomie: mate van ruimte voor zelfstandigheid in werk.

Innovatie: mate waarin de zoektocht naar nieuwe ontwikkelingen wordt gestimuleerd Competentie gerichte training: mate waarin trainingen worden gegeven om bekwaamheid in functie te verbeteren)

Stress: mate waarin stress wordt ervaren in het werk

Motivatie: mate waarin werknemers zich gedreven voelen in hun functie

Purchasers(afnemers)

De afnemers van publieke organisaties zijn vooral geïnteresseerd in de prijs/kwaliteit (quality) verhouding van de porcessen vergeleken met andere organisaties (competitveness). Kwaliteitseisen van afnemers worden omschreven door (Fitzgerald & Moon, 1996; Birgnall en Modell, 2000):

Flexibiliteit: mate waarin afnemers dienst of product kan vormen naar zijn eigen wensen Communicatie: mate waarin er heldere communicatie plaats vindt

Betrouwbaarheid: mate waarin beloftes worden nagekomen

Vriendelijkheid: mate waarin de afnemer het contact met de organisatie als prettig ervaart Door deze kwaliteitskenmerken in verhouding te zetten met de prijs wordt er gebruik gemaakt van marktmechanismen. Dit vergt een integratie van prestatie-indicatoren gericht op kwaliteit en kosten. In Engeland is er bewijs dat steeds meer afnemers deze informatie van publieke organisatie gaan opeisen (Bryan and Beech, 1991; Llewellyn, 1993; Ellwood, 1996). Ook in de Nederlandse gezondheidzorg zie je dat transparantie in prestatie-indicatoren over kosten en kwaliteit van ziekhuizen steeds belangrijker wordt. Tevens ontstaan door technische ontwikkelen ook steeds meer middelen om de prestatie-informatie te genereren. De transparantie van deze informatie kan er voor zorgen dat publieke organisatie de juiste afwegingen maken tussen kwaliteit en kosten (resource utilization). Integratie van prijs als kwaliteit prestatie-indicatoren zal echter botsen met de belangen van de overheid en de professionals.

2.3. Type Prestatie-Indicatoren

2.3.1 Productieproces Politiek Netwerk

12

Figuur 2: PMS in politiek netwerk

Bron: PMS in netwerk (Koliba, 2004, p91)

De input van een netwerk bestaat uit de middelen (resources) van de verschillende stakeholders: financiering (financial), werknemers en afnemers (human), gebouwen (fysiek) en kennis (knowledge). Deze middelen worden door het PMS verdeeld op basis van eerder gerealiseerd prestaties. Het middelste blok bestaat uit de interactie en onderhandelingsprocessen. Hier probeert elke stakeholder naast het gemeenschappelijke doel zijn individuele doelen probeert te bereiken. De output en outcome bestaan uit de gemeenschappelijke prestaties die door het netwerk worden geleverd. Output bestaat uit de directe korte termijn prestaties terwijl outcome betrekking heeft op de invloed van de prestaties voor de langere termijn. Op basis van prestatie-informatie over het gehele proces voeren de stakeholders (stakeholders perceptions) druk uit voor aanpassingen in het PMS (performance management subsystem). Aanpassingen in het PMS en de koppeling van beloningen hieraan zorg voor andere kwaliteitsstimuleringen. Elke stakeholder probeert druk uit te oefenen op de inrichting van het PMS gericht op zijn of haar kwaliteitsbelangen.

2.3.2. Ontwerp Prestatie-indicatoren

Met de invoering van New Public Management in de publieke sector kwam er een einde aan de eenzijdige focus op de input (budgetten) binnen de publieke sector. Hoewel de input nog steeds van belang bleef, kwam de nadruk meer te liggen op de efficiëntie (input/output) en effectiviteit (outcome). Het model wat hiervoor gebruikt wordt is het 3E’s model. De prestatie-indicatoren die in het 3E’s model worden gebruikt zijn gericht op:

Economy Expenditure (economische uitgaven): kosten per input.

Efficiency (efficiëntie): mate waarin middelen nodig zijn om doelen te bereiken, kosten per output

Effectiveness (effectiviteit): mate waarin formele doelen gerealiseerd worden.

Figuur 3: 3E’s model

Economy

Expenditure Effectiveness

Input Output Outcome Efficiency

13 Deze eenzijdige focus op efficiëntie en effectiviteit werkt polarisatie binnen het politiek netwerk in de hand. Belangrijke toevoegingen die er aan dit model gedaan zijn:

Kwantitatieve prestatie-indicatoren (Boye, 2004): gericht op kwaliteit in plaats van kwantiteit Proces prestatie-indicatoren (Jansen, 2004): gericht op de inhoud van het service proces

Wanneer deze type indicatoren worden toegevoegd aan het 3E’s model ontstaat er een meer complete set van prestatie-indicatoren (Beekhuis, 2013). Deze toevoeging staat hieronder in tabel 2 weergeven en worden vervolgens beschreven.

Tabel 2: Type prestatie-indicatoren in de publieke sector

Type Prestatie-indicatoren

Input Proces Output Outcome

Kwantitatieve Prestatie-indicatoren

Economische Efficiëntie Effectiviteit Effectiviteit

Kwalitatieve Prestatie-indicatoren

Kwaliteit Kwaliteit Kwaliteit Kwaliteit

(Bron: Beekhuis, 2013)

Kwantitatieve vs. Kwalitatieve Prestatie-indicatoren

De definities die in dit onderzoek gebruikt worden voor kwantitatieve en kwalitatieve prestatie-informatie zijn afkomstig uit onderzoek van Verbeeten (2007) die zijn definities baseert op Carter e.a. (1992):

‘Quantitative performance refers to quantitative aspects of performance such as the use

of resources (budget depletion or economy), number of outputs produced, and efficiency (Carter e.a.., 1992, p.36). Although the last aspect relate output to input, it can still be considered as a quantitative performance measure since it usually contains no (or limited) indication of quality (Verbeeten, 2007, p430)’

‘Qualitative performance refers to both “operational quality” (for example, accuracy;

Carter e.a.., 1992) as well as “strategic capacity” (fox example, innovation and long-term effectiveness (Verbeeten, 2007, p430))’

Het gebruik van kwantitatieve prestatie-indicatoren zoals in het 3 E’s model is afkomstig uit de private sector. In de private sector zijn de prestaties goed te meten op basis van kwantitatieve data als prijs voor een dienst en de aandeelwaarde van een bedrijf. Deze informatie wordt op basis van marktmechanismen gecreëerd en zegt iets over de kwaliteit van een bedrijf. Wanneer de kwaliteit van een dienst minder is dan de concurrent zal dit de prijs naar beneden drukken omdat consumenten niet bereid zijn hier evenveel voor te betalen. En wanneer een bedrijf waardevolle investeringen voor de toekomst doet zal het dit worden weerspiegeld in de waardering van de aandelenprijs. Dit zijn goede kwantitatieve prestatie-indicatoren voor de waardering van de kwaliteit van een organisatie op basis van marktmechanismen.

14 verschillende opleidingen hetzelfde bedrag aan collegegeld zonder dat het verschil in kwaliteit bekend is. Het collegegeld wordt wettelijk bepaald en is niet gebaseerd op kwaliteit. Daarnaast is het bedrag aan collegegeld lang niet dekkend voor de kosten van de opleiding. Omdat de prestaties van een publieke organisatie niet direct worden gewaardeerd met een prijs of aandeelwaarde door afnemers is het gebruik van kwantitatieve data lastiger (Smith, 1993; Jansen, 2004). Om toch tot een goede waardering van de prestaties te komen, dienen er naast kwantitatieve data ook kwalitatieve prestatie-indicatoren gebruikt te worden die veel lastiger te meten zijn (Smith, 1993; Atkinson e.a.; 1997; Kaplan, 2001; Bruijn, 2006; Verbeeten, 2007). Kwantitatieve informatie binnen de publieke sector is vaak gericht op efficiëntie en effectiviteit op de korte termijn. Kwalitatieve prestatie-indicatoren kunnen echter de kwaliteit op lange termijn meten (Verbeeten, 2007). Het zijn juist de publieke organisaties die belang hebben bij kwalitatieve prestatie-indicatoren. Zij bevinden zich vaak in lange trajecten waarvan de uitkomst van een interventie niet direct meetbaar is. Onderzoek aan (Kloot en Martin, 2000; De Lancer Julnes en Holzner, 2001; Pollitt, 2006) toont aan dat kwantitatieve prestatie-indicatoren de kwaliteit van publieke diensten verkeerd kunnen waarderen. Ook Atkinson e.a. (1997) en Kaplan (2001) onderschrijven het belang dat prestatie-indicatoren worden ingericht met zowel kwantitatieve als kwalitatieve prestatie-indicatoren, om zowel korte als lange termijn efficiëntie in de publieke sector te meten.

Proces gerichte Prestatie-indicatoren

Een andere belangrijke toevoeging aan het 3E’s model’ komt van Jansen (2004) en betreft de toevoeging van prestatie-indicatoren gericht op het proces. Door de toevoeging van proces-indicatoren krijgen de ander proces-indicatoren meer betekenis. Zo kan bijvoorbeeld worden getoetst of hoge scores op output-indicatoren, gepaard is gegaan met een kwalitatief professioneel proces. Zo kan een chirurg hoog scoren op productiviteit. Echter wanneer uit een proces-indicator blijk dat er niet hygiënisch geopereerd is, geeft het direct een totaal andere betekenis aan de beoordeling van de output-prestatie van de chirurg. Ook kan het zo zijn dat een onderzoeker slecht scoort op de output-indicator die het aantal publicaties meet. Echter wanneer men naar het proces kijkt en de onderzoeker blijkt baanbrekend onderzoek te doen naar een nieuw medicijn voor kanker, dan staat de output-indicator direct in een ander perspectief. Wanneer gebruik wordt gemaakt van een proces-indicatoren heeft men meer oog voor de vaak complexe materie die speelt in een politiek netwerk.

Door het gebruik van proces-indicatoren wordt In tegenstelling tot enkel een beoordeling van de uitkomst van het proces er meer de nadruk gelegd op de totstandkoming hiervan. Er ontstaat een levendig proces waarin steeds naar verbeteringen in het proces wordt gekeken. Hierdoor vindt er meer interactie tussen de stakeholders plaats wat al eerder in dit onderzoek werd genoemd als belangrijke criteria. Proces-indicatoren zijn er opgericht om te leren hoe het proces verbeterd kan worden. Het gebruik van output prestatie-indicatoren is veel te statisch en gericht op afrekenen. Het beste is echter om een combinatie van prestatie-indicatoren te gebruiken gericht op zowel de output als het proces (Bruijn, 2006). Er wordt niet alleen gekeken naar het aantal vonnissen dat wordt uitgesproken, maar ook naar de kwaliteit van de processen waarmee deze tot stand zijn gekomen. Op welke manier houdt de rechter zijn kennis up to date? Hoe worden de regels uit de wet toegepast? Op welke manier worden de dossiers doorgenomen?

2.3.3. Beschrijving Prestatie-indicatoren

15

Input

Input prestatie-indicatoren gericht op kwantitatieve data geven informatie over de kosten per input. Meer gedetailleerd gaat het om de totale hoeveelheid belastinggeld, de kosten aan gebouwen en de totale kosten aan salaris per eenheid input. Voor de invoering van NPM was de controle van de overheid binnen de publieke sector vooral gericht op deze kwantitatieve input informatie. In de rijksbegroting werden budgetten opgesteld waarbinnen de publieke sector hun taken moesten volbrengen. De controle van de overheid lag vooral op de handhaving van deze budgetten. Voor de rest kregen publieke organisaties veel vrijheid om hun eigen PMS in te richten (Hatry 1990, p1-10; Mensah 1993, p67; Jansen; 2004). Kwalitatief kan het meten van de input bestaan uit het meten van het niveau van de middelen die in het serviceproces gebruikt worden. Dit kan bijvoorbeeld bestaan uit de kwaliteit van werknemers en gebouwen.

Proces

Het proces betreft alle organisatieprocessen van het serviceproces die vooraf gaan aan de realisatie van de output (eindproduct). Voorbeelden hiervan zijn het onderwijsproces van een universiteit en behandelingsproces van een ziekenhuis (Jansen, 2004; Bruijn, 2006). Voor het meten van de prestaties van deze processen zijn verschillende prestatie-indicatoren te gebruiken.

Kwantitatieve prestatie-indicatoren meten kosten per output (efficiëntie). Voorbeelden hiervan zijn:

de kosten per nieuwe heupoperatie, de gemiddelde kosten per afgestudeerde student en de kosten per uur voor een gerechtelijk proces. Kwalitatieve informatie over het proces kan gemeten worden door te kijken naar interactie tussen werknemer en afnemer. Belangrijk is te kijken naar de werknemerstevredenheid en klanttevredenheid. Voor de werknemerstevredenheid kan gekeken worden naar: autonomie, innovatie, competentie training, mate van stress en motivatie. Bij afnemerstevredenheid kan het gaan om: flexibiliteit, comfort, communicatie, beschikbaarheid, betrouwbaarheid en vriendelijkheid (Fritzgerald e.a., 1996).

Output

De output van een publieke organisatie bestaat uit het geleverde eindproduct, bijvoorbeeld het diploma als afsluiting van het onderwijsproces van een universiteit. Dit diploma staat voor bepaalde verworven kennis en vaardigheden of de genezen patiënt aan het einde van een behandelingsproces.

Kwantitatieve prestatie-informatie kan worden gemeten door te kijken of de gewenste output cijfers

zijn gerealiseerd (effectiviteit). Bijvoorbeeld: slagingspercentages van universiteiten, behandelde patiënten van ziekenhuizen of aantal behandelde zaken van een rechtbank. Kwalitatieve informatie gaat over de gerealiseerde kwaliteit van het eindproduct. Bijvoorbeeld: aantal wetenschappelijke geschreven onderzoeken met een directe maatschappelijke waarden en het aantal volledig herstelde patiënten.

Outcome

16 In tabel 3 is een overzicht gegeven van de type prestatie-indicatoren waaraan de verschillende stakeholders volgens de theorie in een politiek netwerk de meeste waarde aan hechten.

Tabel 3: Type prestatie-indicatoren per stakeholder

2.4 Conceptueel model

Het conceptueel model is een visuele weergave van de kenmerken en relaties tussen de kernconcepten van dit onderzoek zoals beschreven in het theoretisch kader. Hiermee wordt vanuit de theorie de basis gevormd voor de beantwoording van de hoofdvraag: Welke voorwaarden zijn van

belang om tot een evenwichtig PMS te komen voor organisaties in de publieke sector, zodat de belangen van de belangrijkste stakeholders daarin voldoende worden afgedekt?

De twee blokken uiterst link betreffen de onafhankelijke variabelen in dit onderzoek. In het eerste blok links bovenin worden de kenmerken van een publieke sector genoemd en de vereisten die hierdoor worden verbonden aan de inrichting van het PMS zoals staat beschreven in paragraaf 2.1. Het blok links onderin is een beschrijving van de theorie uit paragraaf 2.2 waarin de kwaliteitsbelangen van de verschillende stakeholders worden besproken. Het middelste blok van het conceptueel model betreft de intermediaire variabele waarin de verschillende type prestatie-indicatoren staan zoals in paragraaf 2.3 beschreven. Het blok uiterst rechts betreft de afhankelijke variabele van dit onderzoek. Hierin worden de voorwaarden genoemd die de hoofdvraag beantwoorden, deze staan beschreven in de conclusie van het onderzoek. De pijlen in het model geven aan dat de invulling van deze afhankelijke variabel wordt bepaald door de kenmerken van de publieke sector en de belangen van de stakeholders hierin. Gezamenlijk geven zij vorm de type prestatie-indicatoren die het beste aansluiten bij een evenwichtig PMS in de publieke sector.

Income Proces Output Outcome

Overheid Kwantitatief: budgetten Kwantitatief efficiëntie Kwantitatief effectiviteit Kwantitatief effectiviteit & efficiëntie Werknemers Kwalitatief Werknemerstevredenheid: autonomie, innovatie,

17

Figuur 3: Conceptueel Model ontwerpcriteria

Nu de relaties en de definities van de kernconcepten volgens de theorie bekend zijn is het van belang om te onderzoeken hoe deze relaties daadwerkelijk in de praktijk liggen en wat hieraan verbeterd kan worden. Aan de hand van de volgende deelvragen zal dit onderzocht worden.

Deelvragen:

(1) In hoeverre is het PMS tot stand gekomen op basis van interactie tussen de stakeholders en zit er voldoende variëteit en dynamiek in de set van prestatie-indicatoren?

(2) In hoeverre houdt het huidige PMS rekening met de individuele kwaliteitsbelangen van de overheid, organisatiebestuurder, werknemers en afnemers?

(3) In hoeverre is het huidige PMS gericht op de input, het proces, de output of de outcome van de prestaties en worden er kwantitatieve en/of kwalitatieve prestatie-indicatoren gebruikt?

3. Onderzoeksmethodiek

In dit onderzoek wordt gezocht naar de beantwoording van de volgende hoofdvraag: Welke

voorwaarden zijn essentieel voor het ontwerp van een evenwichtig PMS in de publieke sector, zodat de belangen van de belangrijkste stakeholders daarin voldoende worden afgedekt? De

onderzoeksmethodiek die hiervoor gebruikt wordt staat hieronder beschreven. Type prestatie-indicatoren -Input Kwantitatief vs kwalitatief -Proces Kwantitatief vs kwalitatief -Output Kwantitatief vs kwalitatief -Outcome Kwantitatief vs kwalitatief Ontwerpcriteria PMS in Publieke Sector

-Onderlinge Afhankelijkheid Stakeholders Interactie in ontwerp vereist -Diversiteit in doelen stakeholders

Variëteit in indicatoren vereist -Wisselende relaties en innovaties

Dynamiek in indicatoren vereist Kwaliteitsbelangen Stakeholders -Overheid

Budgetten, Efficiëntie & Effectiviteit -Werknemers

18

3.1. Type Onderzoek

Dit onderzoek bestaat uit een kwalitatief case onderzoek (bijlage 3). Er is hiervoor gekozen omdat deze manier van onderzoek een grondig beeld kan schetsen van de belangen die spelen bij de stakeholders in de publieke sector (Flick, 2006; Baarda e.a., 2005). Het doel van een case studie is namelijk om een organisatie of groep op een bepaald tijdstip in zijn geheel vanuit meerder invalshoeken te bestuderen. In tegenstelling tot een kwantitatief statistisch onderzoek biedt een case onderzoek de mogelijkheid voor een diepte onderzoek naar de verschillende perspectieven van de stakeholders. Hierdoor kan er een compleet en alomvattend beeld vanuit de praktijk worden verkregen over hoe stakeholders in de publieke sector aankijken tegen de inrichting van het PMS (Flick, 2006; Baarda e.a., 2005).

Door het gebruik van diepte interviews met landelijk vertegenwoordigers (uitgezonderd docenten), is de interne validiteit van de onderzoeksgroep (stakeholders universiteiten) hoog. Met behulp van diepte interviews kan namelijk goed tot de kern van de stakeholder belangen worden ondervraagd. Daarnaast spreken de landelijke vertegenwoordiger allemaal namens een grote achterban waarvan ze regelmatig om input vragen.

Doordat er maar één case in de publieke sector is onderzocht lijkt de externe validiteit voor stakeholders in andere publieke sectoren laag (Flick, 2006; Baarda e.a., 2005). Echter is de inrichting van het PMS binnen het universitaire onderwijs goed te vergelijken met andere publieke sectoren. Volgens onderzoek (DiMaggio en Powell, 1983; Birgnall en Model, 2000) zijn de krachten van stakeholders die spelen in de universitaire setting namelijk vergelijkbaar voor bijvoorbeeld de gezondheidzorg of veiligheid. Daarnaast is er gekozen voor een der mate hoog abstractie niveau waardoor verworven kennis eenvoudiger is toe te passen in andere publieke sectoren. Deze twee aspecten maken dit onderzoek tot een acceptabel niveau van externe validiteit.

3.2. Dataverzamelingsmethoden

Voor de verzameling van data zijn semigestructureerde interviews gehouden met de belangrijkste stakeholders van universiteiten. Hiervoor is gekozen omdat dit de ruimte geeft om dieper op de onderwerpen in te gaan dan een volledig gestructureerde vragenlijst (Baarda e.a., 2005). De structuur die in de interviewvragen (zie bijlage 4) is aangebracht is herleid uit de deelvragen van het onderzoek. Alle interviews zijn gehouden op de locatie van de geïnterviewde. De interviews zijn allemaal opgenomen met een voice-recorder waarvan kopies van de opnames zijn toegevoegd (bijlage 5). Hiervoor is gekozen omdat dit de meest betrouwbare methode is van allemaal (Yin, 2009). Samenvattingen van de interviews op papier zijn ook toegevoegd (Bijlage 2).

19

3.3. Geïnterviewden stakeholders

Zoals in het theoretisch kader beschreven staat komt uit onderzoek (Birgnall &Modell, 2000) naar voren dat de overheid, afnemers en de werknemers (professionals) de belangrijkste stakeholders zijn van de publieke sector. In eerste instantie was de data verzameling dan ook volledig gericht op deze drie stakeholders (overzicht bijlage 4). Echter kwamen in de gesprekken met deze stakeholders naar voren dat ook de bestuurders van de universiteiten, verenigd in de VSNU, een belangrijke stakeholder te zijn. Daarom is er voor gekozen om ook deze partij als belangrijke stakeholder op te nemen in het onderzoek. Verder is er nog gesprokken met de Reviewcommissie. Hiervoor is gekozen omdat zei een belangrijke rol hadden in het ontwerpproces van de prestatieafspraken. Deze commissie is namelijk aangesteld als adviesorgaan voor het ministerie. Zij moesten de overheid advies geven over de voorstellen van universiteiten voor individuele prestatieafspraken. Het interview is gebruikt als achtergrond informatie om een helder beeld te krijgen van de totstandkoming van het PMS.

Omdat de invoering van prestatieafspraken landelijke beleid betreft is er gezocht naar landelijke vertegenwoordigers van de stakeholders. Voor alle partijen is dit ook gelukt alleen met docentvertegenwoordiger is er op instellingsniveau gepraat (leden universiteit- en medezeggenschapsraad). Hoewel docenten landelijke vertegenwoordigd zijn in het LOVUM (Landelijke Overleg Voorzitters Universitaire Medezeggenschapsorganen), betreft dit slechts een tweemalig overleg per jaar in tegenstelling tot vergelijkbare studentorganisaties met een dagelijks bestuur. Er is wel contact geweest met het LOVUM, maar het is uiteindelijk niet gelukt om iemand te interviewen. Wel bevestigde het LOVUM dat interviews met de leden van een universiteit- en medezeggenschapsraad op instellingsniveau ook goede vertegenwoordigers van docenten zijn.

4. Resultaten

In dit hoofdstuk worden de resultaten van het case onderzoek gepresenteerd. Een introductie van deze case staat beschreven in bijlage 3. Als eerste worden in paragraaf 4.1 de uitkomsten van de interviews beschreven en wordt de data in een antwoordenschema (bijlage 1) overzichtelijke weergegeven. Paragraaf 4.2 bestaat uit een koppeling van de uitkomsten van de interviews met de beschreven theorie en het conceptueel model uit hoofdstuk 2. Hier wordt vooral gekeken in welke mate de uitkomsten van de interviews de bestaande theorieën ondersteunen of daar juist van afwijken. Ook hiervan is een overzichtelijk schema gemaakt in de vorm van een interpretatieschema (Bijlage 2). Het hoofdstuk wordt afgesloten met een paragraaf discussie waarin de vragen die dit onderzoek heet opgeroepen worden bediscussieerd.

4.1. Uitkomsten Interviews

4.1.1. Ontwerpcriteria PMS in Publieke Sector

Deelvraag 1: In hoeverre is het prestatiemeetsysteem tot stand gekomen op basis van interactie

tussen de stakeholders en zit er voldoende variëteit en dynamiek in de set van prestatie-indicatoren?

Studenten

20

‘Docenten en studenten weten het beste wat goed is voor een instelling. Daarin te veel sturen door de overheid is niet goed (bijlage 5.2, interview LSVb).’

Over de interactie die heeft plaats gevonden met studentenvertegenwoordiger tijdens het ontwerp van de prestatieafspraken zijn de LSVb en de ISO erg ontevreden. In de laatste 2 fases (Hoofdlijnenakkoord en Individuele prestatieafspraken) waarin de prestatieafspraken daadwerkelijk gestalte kregen zijn geen studentvertegenwoordigers betrokken:

‘In de fase waarin het ontwerp van de prestatie-indicatoren plaats vond is de betrokkenheid van studenten echt schijnend geweest (bijlage 5.2, interview LSVb).’

De enige mogelijkheid om input te leveren was tijdens het ontwerp de instellingvoorstellen via de medezeggenschapsraad van de universiteiten. In deze laatste fase lagen de prestatie-indicatoren al vast en werd alleen nog invulling geven aan de ambities hierop. Echter door het korte tijdsbestek van twee maanden waar binnen de instellingsvoorstellen geschreven moesten worden, was er nauwelijks voldoende tijd voor input vanuit de medezeggenschapsraad. Ook ervaart men dat de invloed van de medezeggenschapsraad per universiteit erg verschillende is.

Qua variatie zien beide studentenorganisatie forse tekortkomingen in de gekozen prestatie-indicatoren. De LSVb ziet vooral een focus op rendement:

‘5 van de 7 indicatoren gaan over rendementen, terwijl dit in de gewone bekostiging ook al beloond wordt. Voor ons is een ideaal systeem om zoveel mogelijk verschillende prestatie-indicatoren te hebben. Dat een instelling van te voren niet weet op welke indicatoren gecontroleerd gaat worden (bijlage 5.2, interview LSVb).’

De ISO is was milder. Zij constateren namelijk wel dat er via veel verschillende invalshoeken naar de onderwijskwaliteit wordt gekeken, echter zien zij ook veel perverse prikkels.

Volgens de LSVb is er binnen de prestatieafspraken voldoende rekening gehouden met de dynamiek van de universitaire sector:

‘Iedereen heeft zijn eigen ambities kunnen stellen binnen de huidige

prestatie-indicatoren dus dat maakt ze wel dynamisch. Hierdoor wordt niet iedereen over één kam geschoren. Het is aan de Reviewcommissie de taak om rekening te houden met veranderende omstandigheden binnen het onderwijs (bijlage 5.2, interview LSVb).’

De ISO plaatst meer haar vraagtekens bij de mate waarin er rekening is gehouden met de dynamiek waar universiteiten mee te maken hebben:

‘Ik vraag me af of er binnen de huidige prestatie-indicatoren voldoende ruimte is om in te spelen op veranderingen binnen het hoger onderwijs. Om bepaalde ontwikkelingen kunnen ze niet heen, maar de druk ligt toch voornamelijk bij de prestatieafspraken (bijlage 5.1, interview ISO).’

Docenten

21 niet, echter op lokaal niveau wel. De minimale interactie van studenten in het ontwerpproces van de prestatieafspraken is vergelijkbaar voor docenten. Ook zij hadden alleen via de medezeggenschapsraad de mogelijkheid om input te leveren:

‘Prestatie-indicatoren zijn de universiteiten afgedwongen door het ministerie en niet tot

stand gekomen na consensusvorming (interview 5.3, RUG).’

Volgens de docentvertegenwoordigers is er sprake van onvoldoende variëteit in de prestatie-indicatoren die gebruikt worden. De heer Rodenburg van UvA stelt zelfs dat dit in de toekomst geen haalbare kaart is:

‘Een gebalanceerde set van prestatie-indicatoren is onmogelijk… Er is nooit voldoende variëteit (bijlage 5.4, UvA).’

Ook de dynamiek van de huidige prestatie-indicatoren laat volgens de docentvertegenwoordigers nog te wensen over. Het gaat hier met namen over de ruimte die door de prestatie-indicatoren wordt geboden om mee te gaan met ontwikkelingen op het gebeid van digitalisering.

‘Er wordt te weinig rekening gehouden met vormen van digitale communicatie tussen docent en student (in het bijzonder email-verkeer) die het fysieke contact (het spreekuur) grotendeels hebben vervangen (bijlage 5.3, RUG).’

Universiteitsbestuurders

De universiteitsbestuurders van de VSNU zien net als de docenten de universiteiten zelf, onder leiding van het college van bestuur, als belangrijkste stakeholder. Zij zijn degene met wie de overheid in gesprek moeten gaan over ‘wat’ men wil bereiken. Over ‘hoe’ dit uiteindelijk bereikt gaat worden is de taak van de universiteiten zelf. Zij hebben met de medezeggenschapsraad en raad van toezicht al genoeg controlerende organen. Extern komt daar nog de inspectie, NVAO en Reviewcommissie bij. De overheid zelf moet zich niet ook nog een keer gaan bemoeien met de interne processen van een universiteit. De VSNU is erg tevreden over diens betrokkenheid en de interactie die heeft plaats gevonden tijdens het ontwerp van het PMS in het Hoofdlijnenakkoord. Hierin is de VSNU de directe gesprekspartner geweest van het ministerie van OCW. Het Hoofdlijnenakkoord wordt door de VSNU omschreven als hun eigen afspraken en doelstellingen. Voor de VSNU was het geen gemis dat de studenten en docenten niet betrokken waren bij dit proces:

‘Het is een charmante gedachte om iedereen te betrekken bij het ontwerp van de prestatie-indicatoren. Praktisch zie ik het alleen niet voor me hoe jij personeel en studenten van alle afzonderlijke universiteiten wilt betrekken bij landelijke prestatieafspraken (bijlage 5.5, VSNU).’

Echter is de VSNU wel erg teleurgesteld over de interactie tijdens de vertaling van het Hoofdlijnenakkoord in concrete individuele prestatieafspraken voor de instellingen: