In deze paragraaf wordt een uiteenzetting gegeven van empirische onderzoeken als het gaat om pay-for-performance in de publieke sector. In deze paragraaf worden zowel onderzoeken gepresenteerd die globaal ingaan op pay-for-performance resultaten, en onderzoeken die specifieke omgevings-, en taakkenmerken laten meewegen in de resultaten.
Perry et al. (2006) hebben 62 artikelen over performance contracting in de publieke en private sector geanalyseerd. Ze focusten zich hierbij op de verschillende aspecten van performance contracting. Zij komen tot gemixte conclusies, ze vinden zowel studies die concluderen dat onder bepaalde omstandigheden de performance verbeterd, als studies die de performance ziet dalen. Over het algemeen leidt pay-for-performance niet tot performance verbeteringen, en daar waar het wel leidt tot een verbetering, is deze hoogstens ‘moderately effective’. Cardona (2006) komt tot een soortgelijke conclusie aan de hand van een analyse van wetenschappelijke artikelen, rapportages van de OECD en de Worldbank. Cardona komt tot de conclusie dat er geen eenduidig empirisch bewijs te vinden is dat pay-for-performance “effectively helped to improve motivation and performance within the public service. No link has been found between performance-related pay for managers and improvements in organizational performance“ (Cardona, 2006, p. 2).
In een later onderzoek verrichten Perry et al. (2009) eveneens14 een analyse van empirische onderzoeken naar pay-for-performance. Ditmaal van 57 pay-for-performance studies uitgevoerd tussen 1977 en 2008. Dit betrof studies die zich richten een aantal facetten binnen de publieke sector: onder andere de centrale overheid, de publieke gezondheidszorg, het leger en het onderwijs. Allereerst concludeerden zij dat voorgaande analysis van empirische onderzoeken, onder andere verricht door Ingraham (1991) en Kellough & Lu (1993) geen positief effect toekenden aan het gebruik van performance contracting in de publieke sector. Enigszins verbaasd over de aanhoudende performance contracting stelden Perry et al. (2009) opnieuw een onderzoek in naar de effectiviteit van performance contracting, dit omdat inmiddels een aantal nieuwe studies verricht waren. Zij concludeerden dat pay-for-performance “consistently fails to deliver on its promise” (p. 43). Wel stellen zij dat de resultaten suggereren dat pay-for-performance beter presteert voor taken waar duidelijk is wat van de uitvoerder van de taak verwacht wordt. Dit in lijn met de verwachting, waarin wordt gesteld dat performance contracting een positief effect heeft op simpelere, beter gedefinieerde taken.
Newberry & Pallot (2004, 2005, 2006) brengen een scheiding aan in de soort performance, enerzijds korte termijn kwantitatieve performance, en anderzijds lange termijn kwalitatieve performance. Zij hebben onderzoek verricht naar het de resultaten van performance contracting in publieke sector van New Zeeland. Zij concludeerden dat op korte termijn efficiency winsten zijn behaald, maar dat de beoogde effectiviteitswinsten op de lange termijn niet zeker zijn. In een eerder artikel komen Gray & Jenkings (1993) op een zelfde conclusie. Zij concluderen dat binnen de Engelse publieke sector een verschuiving heeft 14 In 2009 onder een andere samenstelling.
34
plaatsgevonden van de lange termijn resultaten naar de korte termijn resultaten. In een later artikel stellen zij dat dit wellicht komt doordat onder performance contracting, doorgaans de makkelijk meetbare aspecten van performance gekwantificeerd worden, en niet de moeilijkmeetbare kwaliteitsaspecten (Gray & Jenkins, 1995).
Verbeeten (2008) heeft onderzoek verricht naar de invloed van meerdere factoren op de effectiviteit van performance measurement in de publieke sector. Zo is de invloed van duidelijke doelstellingen, sector, size en incentives onderzocht. Dit heeft plaatsgevonden aan de hand van een survey onder 93 managers van Nederlandse publieke instellingen. Dit betrof voornamelijk managers in de centrale overheid en gemeenten. Onderzocht zijn de effecten van deze factoren op de performance, welke onderverdeeld zijn in kwalitatieve performance en kwantitatieve performance. Verbeeten (2008) veronderstelt dat pay-for- performance (incentives) de kwantitatieve performance (korte termijn efficiency, aantal geproduceerd) inderdaad verbeterd, en de kwalitatieve performance (lange termijn stiptheid, innovatie, kwaliteit service) niet verbeterd. Verbeeten (2008) komt tot de conclusie dat performance contracting leidt tot een verbetering van de kwantitatieve prestaties, maar dat de kwalitatieve aspecten niet verbeterd worden. Dit in overeenstemming met de consensus dat pay-for-performance bruikbaar is voor goed definieerbare doelstellingen, waar de performance goed meetbaar is. Verbeeten stelt dat kwalitatieve doelstellingen moeilijker te definiëren zijn, en de resultaten moeilijker meetbaar. Hij stelt dat kwaliteitsdoelstellingen waarschijnlijk niet behaald zullen worden door het introduceren van performance measurement systemen met incentives. Deze bevindingen zijn in overeenstemming met de bevindingen van Newberry & Pallot (2004, 2005, 2006) en Gray & Jenkings (1993, 1995).
Verbeeten (2008) stelt in zijn onderzoek dat performance contracting geschikt is om efficiency winsten te behalen bij simpele taken, maar waarschuwt voor een wijdverspreide uitrol van performance contracting in de publieke sector, waar tevens complexe taken worden uitgevoerd die kwaliteitsverlies niet kunnen gebruiken (bijv. gezondheidszorg). Weibel et al. (2009) maken onderscheid tussen de effecten van pay-for-performance op basis van de taakkarakteristieken. Aan de hand van een meta-analysis van 46 empirische onderzoeken, gepubliceerd tussen 1971 en 2006, hebben zij onderzocht in hoeverre pay-for- performance leidt tot een verbetering van de performance in de publieke sector. Onderzocht werd in hoeverre taakeigenschappen invloed hebben op de performance. Weibel et al. (2009) maakten een indeling op basis van hoe interessant een taak is. Zij onderverdeelden twee groepen: een groep met ‘non-interesting’ taken, taken die relatief simpel zijn en de andere groep met ‘interesting’ taken, dit zijn taken die complexer zijn en uitdagender. Als performance maatstaf zijn kwantitatieve en kwalitatieve performance in het onderzoek betrokken. Veronderstelt is dat non-interesting taken gevoeliger zijn voor extrinsieke
motivatie, waardoor pay-for-performance bij de simpele taken een positief effect heeft op de performance. Interesting taken daarentegen zijn minder gevoelig voor extrinsieke motivatie, waardoor verwacht wordt dat pay-for-performance hier niet het beoogde effect op de performance zal bereiken. Uit de resultaten blijkt dat overall performance stijgt door pay-for- performance. Tevens blijkt dat het soort taak inderdaad invloed heeft gehad op het effect van pay-for-performance. In lijn met de verwachting van Weibel et al. (2009) stijgt de performance bij de non-interesting taken, en daalt de performance bij de interesting taken. Dit in lijn met hetgeen Frey et al. (2013) verwachten, namelijk een positief effect op performance van simpele taken. Hoewel geen expliciet onderscheid wordt gemaakt tussen kwantitatieve en kwalitatieve performance, is uit de gepresenteerde tabellen op te maken dat de resultaten doorgaans gebaseerd zijn op kwantitatieve performance metingen. Dit in lijn met het onderzoek van Verbeeten (2008) waarin tevens positieve effecten worden gemeten op de kwantitatieve performance. De invalshoek van Weibel et al. betreft hier motivatie van de werknemers, echter, er is naar mijn mening wat voor te zeggen dat simpelere taken in hogere mate voldoen aan de voorwaarden uitgezet in hoofdstuk 3. Dit zou een verklaring kunnen zijn waarom successen geboekt worden bij performance contracting van simpele ‘non-interesting’ taken, en negatieve resultaten geboekt worden bij de complexere ‘interesting’ taken. Dit in lijn met Frey et al. (2013), die stellen dat performance contracting met output indicatoren doorgaans geschikter is voor simpele taken.
In een empirisch onderzoek verricht door Speklé & Verbeeten (2014) wordt de rol van de organisatorische context bij het gebruik van performance measurement systemen op verschillende manieren nader onderzocht. Het onderzoek vindt plaats aan de hand van een survey onder 101 managers van publieke instanties in Nederland. Onderzocht wordt in hoeverre de variabele ‘contractibility’ van invloed is op de performance van een instantie en de effectiviteit van hoe de instantie een PMS gebruikt (incentive-oriented of exploratory). ‘Contractibility’ wordt gedefinieerd als: “clarity of goals, the ability to select undistorted performance metrics, and the degree to which managers know and control the transformation process” (Speklé & Verbeeten, 2014, p. 131). Speklé & Verbeeten (2014) duiden met contractibility aan de mate waarin aan de voorwaarden van performance contracting onder NPM is voldaan. Zij onderzoeken in hoeverre de mate van contractibility effect heeft op de positieve effecten van een PMS gebruik. Zij onderscheiden het incentive- oriented gebruik van een PMS (doelstellingen zetten, evalueren van performance en het voorzien in incentives) en het exploratory gebruik van een PMS (het communiceren van doelstellingen, het identificeren van nieuwe beleidsopties en prioriteiten stellen, het
formuleren van strategieën en learning & improvement).15 Het incentive-oriented gebruik vergelijken Speklé & Verbeeten (2014) met performance contracting onder NPM.
Speklé & Verbeeten (2014) verwachten dat contractibility een positieve invloed heeft op de performance van een organisatie, dat het incentive-oriented gebruik van een PMS beter uitpakt indien de contractibility hoog is, en dat het exploratory gebruik van een PMS slechter uitpakt met een hoge contractibility. Het model dat zij testen is weergeven in figuur 4. In het artikel wordt gesteld dat een hoge mate van contractibility nodig is voor het goed functioneren van het incentive-oriented gebruik van een PMS.16 Zij stellen dat incentive-oriented gebruik overeenkomt met performance contracting à la NPM (Speklé & Verbeeten, 2014). In wezen onderzoeken Speklé & Verbeeten in dit artikel in hoeverre performance contracting à la NPM een positief effect heeft op de performance, en daarnaast in hoeverre voldoening aan de voorwaarden (contractibility) dit effect versterkt.
Figuur 3. Theoretisch model Speklé & Verbeeten (2014, p. 132)
Van de 101 surveyanten zijn er 97 overgebleven, op basis daarvan zijn de volgende resultaten verkregen. Allereerst wordt een positieve relatie gevonden tussen contractibility en performance. Daarnaast wordt in eerste instantie een negatieve relatie gevonden tussen het incentive-oriented PMS gebruik en de performance. Dit negatieve effect van incentive- oriented PMS gebruik op de performance wordt minder negatief indien de contractibility hoog
15 Voor een uitgebreidere omschrijving, zie paragraaf 2.3
16 Indien de contractibility laag is, zal het incentive-oriented gebruik leiden tot dysfunctioneel gedrag (Speklé &
Verbeeten, 2014), in paragraaf 3.2 wordt een uiteenzetting gegeven van mogelijk dysfunctioneel gedrag.
37
is. In tweede instantie, waar de gegevens dusdanig zijn aangepast dat de contractibility hoog is, heeft het gebruik van een incentive oriented gebruik van de PMS geen (positief of negatief) effect op de performance. In een derde en vierde ‘run’, waar de variabelen steeds weer anders gedefinieerd worden, blijven de resultaten hetzelfde als in de tweede run (Speklé & Verbeeten, 2014, pp. 140-142). In de vijfde en laatste ‘run’ wordt een onderscheid gemaakt tussen kwalitatieve en kwantitatieve performance17. Op basis van die gegevens wordt de relatie tussen incentive-oriented gebruik en de kwalitatieve performance nog minder significant. Deze resultaten kunnen erop wijzen dat pay-for-performance ook in de Nederlandse publieke sector geen positief effect heeft op de kwalitatieve performance.
Op basis van deze (1e run) gegevens stellen Speklé & Verbeeten dat: “These results suggest that an incentive-oriented use does not improve public sector performance universally, and will harm organizational performance in low-contractibility settings” (2014, p. 140).18 Op basis van deze onderzoeksresultaten kan gesteld worden dat performance contracting (incentive-oriented use) een negatief effect heeft op de performance indien niet wordt voldaan aan de voorwaarden, en een neutraal effect op de performance indien wel wordt voldaan aan de voorwaarden. In beide gevallen levert performance contracting geen positief effect. Aan de hand van deze resultaten concluderen Speklé & Verbeeten dat: “NPM- type performance contracting with its emphasis on incentives and individual accountability, however, is not the universal answer” (2014, p. 144).
Speklé & Verbeeten hebben naast bovengenoemd onderzoek onder 101 managers van publieke instanties in Nederland, tevens een survey gehouden onder 96 managers van gemeenten in Nederland (Speklé & Verbeeten, 2013). Dit onderzoek heeft een bredere scope: er wordt een uiteenzetting gegeven van de working theorie van NPM, waarna deze centrale ideeën van NPM empirisch worden getest aan de hand van een survey. Centraal staat de resultaat gerichte cultuur, performance contracting en de decentralisatie van beslissingsbevoegdheden. Getest wordt onder andere in hoeverre performance contracting onder NPM een positief effect heeft op de resultaat gerichte cultuur en de performance van de gemeenten.
Geen onderscheid wordt gemaakt tussen kwantitatieve of kwalitatieve performance, noch wordt rekening gehouden met de voldoening aan de voorwaarden van performance contracting. Uit de resultaten blijkt dat het gebruik van een incentive-oriented gebruik van PMS geen positief effect heeft op de resultaat gerichte cultuur, en dat de performance tevens niet positief beïnvloed wordt (Speklé & Verbeeten, 2013). Deze resultaten zeggen dus niet zozeer iets over waar performance contracting precies niet of wel werkt, het weergeeft enkel
17 Een soortgelijke setting als het onderzoek verricht door Verbeeten (2008).
18 Na de laatste run wordt deze stelling wederom bevestigd (Speklé & Verbeeten, 2014, p. 142). 38
dat performance contracting geen invloed heeft op de performance. Deze bevindingen komen overeen met de bevindingen uit het artikel van Speklé & Verbeeten (2014), waarin werd gesteld dat incentive-oriented gebruik van een PMS niet leidt tot verbetering (of zelfs verslechtering) van de performance.
Speklé & Verbeeten merken wel op dat deze resultaten een vertekend beeld kunnen geven. Zij stellen vast dat incentive-oriented gebruik van een PMS binnen de Nederlandse publieke sector niet vaak voorkomt. Daarnaast stellen zij dat dit op basis is van een survey, dus zelf gerapporteerde (wellicht biased) performance en geen werkelijke performance. Tevens stellen zij dat dit onderzoek zich alleen heeft gericht op de Nederlandse publieke sector, die niet een weerspiegeling hoeft te vormen van buitenlandse publieke instanties (Speklé & Verbeeten, 2013, 2014).
In de voorgaande paragraaf zijn een aantal interessante onderzoeken uiteengezet. Uit de globale onderzoeken is gebleken dat dat er geen empirisch eenduidig bewijs is dat pay-for- performance positieve effecten op de performance heeft binnen de publieke sector. Daarnaast zijn enkele onderzoeken gepresenteerd die een positieve relatie onderkennen tussen performance contracting en kwantitatieve performance (Newberry & Pallot, 2004, 2005, 2006, Verbeeten, 2008; Perry et al., 2009). Tevens zijn onderzoeken gepresenteerd die een positieve relatie onderkenden tussen pay-for-performance en de performance van simpele taken (Weibel et al., 2009; Speklé & Verbeeten, 2014). Tot slot zijn onderzoeken uiteengezet waarin de effecten van incentive-oriented gebruik van een PMS worden onderzocht (Speklé & Verbeeten, 2013, 2014). Helder is geworden dat performance contracting een negatief effect kan hebben op de performance in geval van lage contractibility. Daarnaast resulteert het incentive-oriented gebruik van een PMS bij hoge contractibility niet in een positief effect op de performance. Dus indien aan de strikte voorwaarden van performance contracting onder NPM wordt voldaan, worden alsnog geen positieve effecten gevonden van performance contracting. Speklé & Verbeeten (2014) stellen dan ook dat performance contracting onder NPM niet universeel toepasbaar is.
Bovenstaande bevindingen schetsen een beeld waarin performance contracting over het algemeen geen positieve invloed heeft op performance in de publieke sector. Daarnaast zijn positieve relaties gevonden tussen performance contracting en simpele, goed definieerbare taken, en kwantitieve performance. Maar, deze bevindingen doen de vraag rijzen wat voor middel publieke instanties moeten gebruiken indien niet kan worden voldaan aan de strikte voorwaarden, of indien het vooral om de kwaliteit van de service gaat, of om complexe taken.
Reeds in 1993 gaven Kravchuck & Schack al aan dat managers niet volkomen afhankelijk zouden moeten zijn van de uitkomsten van performance measures. Zij stelden
dat performance measures alleen zouden moeten worden gebruikt voor het identificeren van problemen: een indicator-functie. Dit om het leer-, en verbeterproces binnen de publieke organisaties verbeteren (Kravchuk & Schack, 1993). Verbeeten (2008) stelde dat indien niet aan voorwaarden uitgezet door Hofstede (1981) kan worden voldaan, performance measures nog steeds nuttig kunnen zijn voor ‘exploratory purposes’ (Verbeeten, 2008, p. 429). Verbeeten (2008) linkte deze functie van performance measures aan expert control en trial-and-error control. Onder deze vormen van control staat het leerproces centraal (Hofstede, 1981). Frey et al. (2013) komen tot de conclusie dat pay-for-performance binnen de overheid niet altijd geschikt is. Daarnaast zien zij eveneens het exploratory gebruik van output performance measures als een alternatief voor pay-for-performance. Wel stellen Frey et al (2013) dat deze vorm van PMS voorwaarden heeft. Zo stellen zij dat dysfunctionele effecten zullen ontstaan indien performance measures op een exploratory wijze worden gebruikt bij duidelijke doelstellingen (Frey et al, 2013, p. 96).
Speklé & Verbeeten (2014) stellen dat er een trade-off is bij het exploratory gebruik van een PMS. Om het leerproces en innovatie te bewerkstelligen dient een organisatie zijn evaluatiedruk te verminderen. Door deze druk te verminderen wordt een sfeer gecreëerd, waarin de ruimte wordt gegeven om te experimenteren. Echter, dit deze versoepeling van de druk kan ten kosten gaan aan de motivatie om te presteren, wat kan leiden tot mindere prestaties. Daarnaast vergt deze wijze van PMS gebruik meer tijd van het management, en vereist het meer communicatie. Speklé & Verbeeten stellen dat de baten van het leren en innoveren alleen hoger zijn dan de kosten, indien de contractibility laag is (Speklé & Verbeeten, 2014, p. 136).
Uit bovenstaande blijkt dat binnen de literatuur de mogelijke rol van een PMS voor exploratory uses wordt onderkend. Wel worden er voorwaarden aan gesteld: low contractibility (Frey et al., 2013; Speklé & Verbeeten, 2014). Uit het onderzoek van Speklé & Verbeeten (2014) naar de performance effecten van het PMS gebruik, is naast het incentive- oriented gebruik tevens gekeken naar de effecten van het exploratory gebruik van het PMS. Uit de resultaten is gebleken dat het exploratory gebruik van het PMS een positief effect heeft op de performance in geval van low contractibility. Dit resultaat is in overeenstemming met het verwachte resultaat op basis van de low contractibility voorwaarde. Echter, het exploratory gebruik van het PMS bleek ook een positief resultaat te hebben in geval van high contractibility, dit in tegenstelling tot de verwachtingen. Blijkbaar bestaat het positieve effect onafhankelijk van de mate van contractibility (Speklé & Verbeeten, 2014).
In dit onderzoek van Speklé & Verbeeten (2014) is een positieve relatie onderkent tussen het exploratory gebruik van een PMS en de performance van de publieke instanties. Dit maakt het exploratory gebruik van een PMS naar mijn mening een alternatief, waar in de publieke sector, en binnen de wetenschap meer aandacht aan besteed zou moeten worden.
Zeker gezien het feit dat lang niet altijd voldaan kan worden aan de strikte voorwaarden in de publieke sector die gelden voor performance contracting (zie par. 3.2.2, en de kenmerken van de publieke sector die performance contracting lastiger maken (zie par. 3.2.1). zijn mogelijke universele positieve effecten op de performance binnen de publieke sector.
4.2 Subconclusie
In dit hoofdstuk is antwoord gegeven op de subvraag: Wat zijn de resultaten van
performance contracting in de praktijk? Dit heeft plaatsgevonden aan de hand van een
uiteenzetting van empirische onderzoeken naar de effecten van performance contracting in de publieke sector. Uit paragraaf 4.2 is duidelijk geworden dat de resultaten van pay-for- performance over het algemeen niet de beoogde effecten oplevert, en in sommige gevallen zelfs negatief effecten kent. Daarnaast is naar voren gekomen dat pay-for-performance een positief effect kan hebben op de korte termijn, kwantitatieve performance (Newberry & Pallot, 2004, 2005, 2006; Verbeeten, 2008). Tevens is uit een analyse van Weibel et al. (2010) naar voren gekomen dat pay-for-performance voor simpele ‘non-interesting’ taken een positief effect heeft, daar waar het de complexere ‘interesting’ taken negatief beïnvloed. Tot slot zijn de onderzoeken van Speklé & Verbeeten (2013 & 2014) uiteengezet. Uit het artikel van 2014 is allereerst gebleken dat ‘contractibility’, een term waarmee zij de voorwaarden van performance contracting onder NPM aanduiden, een positief effect heeft op de performance van een publieke organisatie (Speklé & Verbeeten, 2014). Daarnaast is gebleken dat performance contracting onder NPM in geval van lage contractibility, dus niet afdoende voldaan aan de strikte voorwaarden, een negatief effect heeft op de performance.