Effecten van performance management
systemen in de publieke sector
Een kwalitatieve analyse naar de effecten van DBC systematiek in de
zorgsector
Naam: Dominique van Nieuwenhuize
Studentnummer: 1285572
Opdracht: Masterthesis
Datum: 9 juni 2020
Begeleider en eerste beoordelaar: Prof. dr. A. K. Yesilkagit
Tweede beoordelaar: nnb
Opleiding: Msc Management van de Publieke Sector
Universiteit Leiden
Faculteit Governance & Global Affairs Den Haag
Voorwoord
Geachte lezer,
Eindelijk is het moment daar dat ik dit voorwoord mag schrijven. Voor u ligt mijn masterscriptie waar ik de afgelopen maanden met veel plezier en interesse aan gewerkt heb. Daarbij wil ik graag zeggen dat dit niet altijd een proces van plezier is geweest. Tijdens het schrijven van mijn scriptie brak het coronavirus over de hele wereld uit. Landen gingen in lockdown, en zo ook Nederland. Momenteel leven we in een bizarre periode met een onzekere toekomst. Deze situatie heeft ook op mijn scriptieproces impact gehad. Ik kon geen onderzoek meer doen in het LUMC zoals ik aanvankelijk voor ogen had. Dit heeft geresulteerd in veel eenzame, lange dagen op mijn studentenkamer op de Haarlemmerstraat in Leiden.
Mede daarom vergde het schrijven van deze scriptie soms extra doorzettingsvermogen. Echter, met het oog op de toekomst is dit denk ik niet verkeerd. Met dit onderzoek komt er namelijk ook een einde aan mijn leven als student, al heb ik dat wel lang genoeg volgehouden vind ik zelf. Ik heb veel ervaringen en kennis opgedaan zowel binnen de muren van de Universiteit als in het sociale circuit daaromheen. Ik hoop deze kennis en ervaring op een goede manier te kunnen gebruiken in het ontwikkelen van mijn verdere carrière.
Voordat ik het hoofdstuk als student echt sluit wil ik hierbij graag mijn begeleider, Professor dr. Yesilkagit, bedanken voor zijn tijd en nuttige feedback die ik heb mogen ontvangen tijdens dit scriptieproces. Mede vanwege zijn kritische blik tijdens de Skype afspraken heb ik mijn scriptie in deze vreemde periode tot dit eindresultaat weten te brengen, waarvoor grote dank.
Tot slot rest mij om u veel plezier te wensen bij het lezen van deze scriptie! Dominique van Nieuwenhuize
Lijst van afkortingen
AWBZ Algemene Wet Bijzondere Ziektekosten
BSC Balanced Scorecard
CPT Causal Process Tracing
DBC Diagnose-behandel combinatie
DRG Diagnosis related group
GGZ Geestelijke gezondheidszorg
NPM New Public Management
NVVC Nederlandse Vereniging voor Cardiologie
NZa Nederlandse Zorgautoriteit
PM Performance management
Samenvatting
Door de opkomst van het New Public Management (NPM) is er binnen de publieke sector in vele landen een tendens komen te liggen op het verhogen van de efficiëntie. Sturing op prestaties en output van publieke professionals is een van de zeven doctrines van het NPM die daar aan bijdraagt (Hood, 1991: 3). Een nieuwe managementvorm die uit het NPM is voortgekomen, gebaseerd op deze doctrine, is performance management (PM). De achterliggende filosofie stelt dat wanneer er meer aandacht en sturing op basis van prestaties en prestatiemetingen plaatsvindt, dat deze dan ook verbeteren. De empirie toont echter wisselende effecten van PM op prestaties in de publieke sector (Bouckaert & Halligan, 2006: 3). Door deze wisselende bevindingen is verder onderzoek nodig naar de relatie tussen PM systemen en prestaties van de publieke professional.
Dit onderzoek zal zich dan ook focussen op hoe deze relatie, alsmede verschillende effecten van PM op deze prestaties. De onderzoeksvraag die hiervoor geformuleerd is luidt: ‘Welke effecten hebben verschillende systemen van PM binnen op prestaties van professionals in de publieke sector?’
Om deze vraag te beantwoorden is er allereerst een studie gedaan naar bestaande theorieën over PM in de publieke sector. In deze studie wordt duidelijk dat PM een cyclisch systeem is dat prestaties meet aan de hand prestatie indicatoren (Van Der Hoek & Van Den Bekerom, 2018: 230). PM wordt toegepast omdat het een aantal beoogde voordelen heeft zoals: meer transparantie, minder red tape, financiële voordelen, vergroten van het lerende vermogen, meer legitimiteit en het meer motiveren van professionals (Noordegraaf & Abma, 2003: 853; De Bruijn, 2006: 18; Behn, 2003: 596; Verbeeten, 2008: 431-432).
Echter bestaat er ook kritiek op PM. In het geval van de publieke sector bestaat er veel discussie over de toepasbaarheid van prestatie indicatoren. Dit omdat publieke diensten of producten aan meerdere normen en waarden dienen te voldoen dan private output (De Bruijn, 2006: 23; Dijkstra, 2008: 62). Daarnaast zou de publieke sector een complexe inrichting kennen waar PM systemen niet op afgestemd kunnen worden. Zo is het lastig om diensten gecreëerd door netwerken te meten aan de hand van PM (Kenis & Provan, 2009: 440). Ook huidig empirisch onderzoek ondersteund dat PM niet altijd voor prestatieverbetering zorgt. Effecten als gaming the numbers, cream skimming of cherry picking (Brockmann & Frost, 2014: 29;
Heckman, Heinrich & Smith, 1997: 390) zijn voorbeelden van strategisch gedrag dat professionals kunnen vertonen om hun prestaties goed te laten lijken. Daarnaast kan PM andere waarden van belang achten voor een prestatie dan de professional zelf. In dit geval ervaart de professional een mismatch tussen zijn werk en wat het systeem vraagt en is er sprake van een waarden trade-off (Graf et al., 2019: 767; De Bruijn, 2006: 35). Uit deze theoretische studie wordt uiteindelijk een model voor vier voorkomende typen van PM en publieke professionals geconstrueerd:
• De presterende, lerende professional • Een waardenconflict
• PM waarin het eigen belang prevaleert • De uitvoerende, stilstaande professionals
Vervolgens zal dit model getest worden op een casus om te onderzoeken of PM hier voor prestatieverbetering zorgt of juist niet. Deze casus is de zorgsector waarin PM gebruikt wordt om de financiële waarde van behandeltrajecten te bepalen. In Nederland wordt het ‘diagnose-behandelcombinatie’ (DBC) systeem hiervoor gebruikt. Andere landen gebruiken soortgelijke systemen die soms ‘diagnosis related group’ (DRG) systemen worden genoemd. Aan de hand van de Causal Process Tracing (CPT) methode is er onderzocht welke effecten deze systemen hebben op de zorgprestaties van professionals in deze sectoren. Zorgprestaties hier zijn de gehele behandeltrajecten van patiënten.
In de analyse wordt ondervonden dat DBC systemen mogelijkheden bieden voor negatieve effecten om zich voor te doen in de zorgprestaties. Strategische gedragingen die gevonden worden zijn upcoding en cream skimming. Door handelingen in het DBC dossier anders te registreren kan dit leiden tot meer financiële vergoedingen van de behandeling. (Hasaart, 2011: 58; Kerpershoek, Groenleer & De Bruijn, 2016: 428). Deze effecten treden alleen op wanneer eigen belangen of financiële motieven voor de zorgprofessional zwaarder wegen dan zijn professionaliteit om de patiënt zo goed mogelijk te behandelen (Kerpershoek, 2015: 113). De analyse wijst uit dat DBC systemen vooral kenmerken vertonen van een PM systeem waar een waardenconflict speelt, of het eigen belang prevaleert.
Dit onderzoek resulteert uiteindelijk in een conclusie die grotendeels overeenkomt bestaande theorieën. Door deze theorieën te versterken draagt deze studie bij aan de heersende discussie over de toepassing van PM in de publieke sector. Ook in deze casus worden er een aantal effecten gevonden waardoor er prestatievermindering optreedt, met name upcoding en
cream skimming. Daarnaast kunnen zorgprofessionals ook een waardenconflict ervaren
wanneer het management of organisaties te veel gefocust zijn op financieel gewin of andere organisatiebelangen waardoor het publieke doel minder goed gediend kan worden.
VOORWOORD ... 2
LIJST VAN AFKORTINGEN ... 3
SAMENVATTING ... 4 INHOUDSOPGAVE ... 6 1. INLEIDING ... 8 1.1INTRODUCTIE EN PROBLEEMSTELLING ... 9 1.2MAATSCHAPPELIJKE RELEVANTIE ... 11 1.3WETENSCHAPPELIJKE RELEVANTIE ... 11 1.4LEESWIJZER ... 11 2. THEORETISCH KADER ... 12
2.1EIGENSCHAPPEN VAN PM SYSTEMEN ... 13
2.2PRESTATIES IN DE PUBLIEKE SECTOR ... 14
2.3VOORDELEN VAN PM IN DE PUBLIEKE SECTOR ... 15
2.4KRITIEK OP PM IN DE PUBLIEKE SECTOR ... 17
2.5POSITIEVE EN NEGATIEVE EFFECTEN VAN PM ... 19
2.6SYNTHESE EN TYPOLOGIE ... 24
3. METHODEN EN TECHNIEKEN ... 28
3.1ONDERZOEKSONTWERP ... 29
3.2ONDERZOEKSTECHNIEKEN EN DATAVERZAMELING ... 30
3.3OPERATIONALISERING VAN DE VIER PM TYPEN ... 32
3.4KEUZE EN MOTIVERING VOOR DE CASUS ... 34
3.5BETROUWBAARHEID EN VALIDITEIT ... 35
4. ANALYSE ... 37
4.1DBC SYSTEMEN IN DE NEDERLANDSE ZORGSECTOR ... 38
4.2INRICHTING VAN HET DBC SYSTEEM IN NEDERLAND ... 39
4.3EFFECTEN VAN VERSCHILLENDE DBC SYSTEMEN OP MEDISCHE PROFESSIONALS ... 41
4.4DIAGNOSIS UPCODING ... 41
4.5TREATMENT UPCODING ... 42
4.6VOLUME UPCODING ... 46
4.7CONFLICTERENDE, PROFESSIONELE WAARDEN ... 47
4.8CREAM SKIMMING EN CHERRY PICKING... 48
4.9ANDERE OORZAKEN VOOR VERSCHILLEN IN REGISTRATIE EN WERKELIJKHEID ... 50
4.10VALIDATIE VAN DE TYPOLOGIE ... 51
5. CONCLUSIE ... 54
5.1BEANTWOORDING VAN DE EMPIRISCHE VRAAG ... 55
5.2BEANTWOORDING VAN DE DEELVRAAG EN CENTRALE ONDERZOEKSVRAAG ... 57
6. DISCUSSIE ... 58
6.1STERKE PUNTEN EN BEPERKINGEN VAN DIT ONDERZOEK ... 58
6.2PRAKTISCHE IMPLICATIES ... 60
6.3WETENSCHAPPELIJKE IMPLICATIES ... 60
6.4AANBEVELINGEN VOOR VERVOLGONDERZOEK ... 61
7. LITERATUURLIJST ... 63
BIJLAGE A: KWALITEITSCONTROLE VAN DE GEBRUIKTE DATABRONNEN 69
In deze inleiding zal het onderwerp van deze studie gepresenteerd worden. Allereerst zal het onderwerp en de probleemstelling van dit onderzoek gepresenteerd worden. Deze probleemstelling is de aanleiding voor de centrale vraag van dit onderzoek. Vervolgens zal er beargumenteerd worden waarom dit onderzoek in maatschappelijke en wetenschappelijke zin relevant is. Ten slotte zal in deze inleiding de verdere opbouw van dit onderzoek in de vorm van een leeswijzer gepresenteerd worden
1.1 Introductie en probleemstelling
De laatste decennia heerst er een opkomende universele trend binnen openbare besturen: de focus op efficiëntie. Deze trend komt voort uit een vorm van besturen die haar oorsprong in de jaren tachtig vindt, het ‘New Public Management’ (NPM). Deze managementdoctrine stelt dat overheden efficiënter zouden functioneren, als zij als private bedrijven bestuurd zouden worden (Bouckaert & Halligan, 2006: 3).
De focus op het sturen op basis van publieke prestaties is een van de drijvers van deze doctrine. Een bepaalde bestuursvorm die hieruit voortgekomen is, is ‘performance
management’ (PM) (Bouckaert & Halligan, 2006: 3). Het achterliggende theoretische idee van PM stelt dat wanneer er sturing door het meten en controleren van geleverde prestaties, deze prestaties ook zullen verbeteren. Empirisch onderzoek toont echter wisselende resultaten, wat reden is voor veel discussie onder publieke managers, academici en andere betrokkenen (Bouckaert & Halligan, 2006: 3).
Ondanks deze wisselende resultaten is het gebruik van PM toch sterk toegenomen in het publiek domein. Er zijn veel signalen van personen actief in deze sector, dat PM ook voor nadelige effecten zorgt op hun werkprestaties. Doordat, bijvoorbeeld leraren in het onderwijs, hun handelingen meer dienen te registreren ervaren zij een hogere werkdruk (Van Loon, 2017). Echter, wordt er ook ondervonden dat deze registratie waardevolle informatie kan opleveren over de prestaties van de school of universiteit. Dit toont aan dat deze registratie ook nodig en nuttig is (Van Loon, 2017) Dit wordt ook in de zorgsector ervaren (Van Elten, Van Der Kolk & Sülz, 2019: 1). Een van de algemene vormen van kritiek die ook in deze sector ondervonden wordt, is dat publieke prestaties moeilijk uit te drukken zijn in meetbare prestatie indicatoren (Van Elten, Van Der Kolk & Sülz, 2019: 1). Dat de diensten van publieke organisaties lastig zijn uit te drukken in meetbare waarden is een kritiek die veel sectoren binnen het publieke domein ondervinden (Dijkstra, 2008: 62).
Maar er zijn ook positieve effecten van PM te vinden. Zo kan PM binnen zorgorganisaties op ‘exploratieve’ wijze gebruikt wordt. Dit resulteert in onder andere betere patiëntenzorg en een meer collectieve organisatiecultuur. Met exploratief wordt bedoeld dat de prestatie informatie meer gebruikt wordt om nieuwe werkvormen te ontdekken, en minder focus op controle en verantwoording door het systeem (Van Elten, Van Der Kolk & Sülz, 2019: 1). Wisselende resultaten omtrent PM maken verder onderzoek naar dit systeem dus wetenschappelijk relevant.
Ondanks dat PM in de zorgsector dus positieve effecten heeft, spreken ook medewerkers en managers uit de zorgsector zich uit over de heersende problematiek door PM. Een van de grote problemen die de sector ondervindt is de grote werkdruk die medewerkers in ziekenhuizen ervaren. Een probleem dat hieruit voortvloeit is dat zij vinden dat ze te weinig salaris krijgen. Een van de antecedenten hiervan is, is dat de overheid aan het bezuinigen is in de zorgsector (Van Gool, 2019). Het lijkt dat de overheid een efficiëntieslag probeert te maken, door te bezuinigen en toch dezelfde prestaties verwacht vanuit de zorgsector. Dit is een van de kernwaarden van het NPM en PM, maar hierdoor wordt de prestatiedruk op de sector wel vergroot. Er zijn ook signalen uit de sector dat deze bezuinigingen zorgen voor een verminderde kwaliteit en veiligheid van de zorg (Verkaik, 2018). Als dit zo is dan streeft PM haar doel om prestatiekwaliteit te verhogen voorbij. Dit duidt aan dat onderzoek naar dit fenomeen ook van maatschappelijke waarde is.
Eerder onderzoek naar PM systemen in de Nederlandse zorgsector toont dat deze systemen weldegelijk ook positieve effecten met zich meebrengen (Van Elten et al, 2019: 3). Organisaties kunnen hun lerend vermogen vergroten wanneer deze systemen op exploratieve wijze ingezet worden. Ook operationele vormen van PM systemen hebben positieve effecten zoals het meer inzichtelijk maken van hoe het budget gealloceerd moet worden of kosten gereduceerd kunnen worden (Van Elten et al, 2019: 3). Negatieve effecten worden in eerder onderzoek vooral gevonden in PM systemen die op een ‘incentive’ wijze gebruikt worden. Dit houdt in dat gemeten prestaties worden gebruikt om beloningen of bonussen aan medewerkers, professionals toe te kennen (Van Elten et al, 2019: 4). Deze systemen ontlenen zich voor negatieve effecten omdat financiële motieven een rol gaan spelen in de prestaties van professionals (Kerpershoek, Groenleer & De Bruijn, 2016). In dit onderzoek wordt er daarom gefocust op PM systemen en de effecten die deze systemen op professionals hebben binnen deze systemen. Hierbij is de volgende centrale onderzoeksvraag geformuleerd:
‘Welke effecten hebben verschillende systemen van PM binnen op prestaties van professionals in de publieke sector?’
1.2 Maatschappelijke relevantie
Een belangrijke reden om dit nader te onderzoeken vindt zijn oorsprong in dat vele signalen het vermoeden scheppen dat PM systemen en de grote focus op output in de publieke sector voor veel druk zorgen bij de uitvoerende professionals. Als hier sprake van is kan het zo zijn dat PM juist een nadelig effect heeft op prestaties in de publieke sector. Naast dat er veel wetenschappelijke discussie over de effecten van PM is, bestaan er ook veel artikelen in verschillende media gepubliceerd die de negatieve effecten van PM in de praktijk belichten. Een voorbeeld hiervan is dat er door PM meer werkdruk op zorgpersoneel gelegd wordt om hun prestaties en handelingen te registreren (Vlug, 2018). Het verhogen van deze werkdruk kan allereerst nadelige effecten hebben op innovatie in de zorg (Vlug, 2018). Daarnaast kan dit ook de kwaliteit van de zorg aantasten, hier zijn bijvoorbeeld signalen van op verschillende intensive care afdelingen in Nederland (Verkaik, 2018). Het is mede voor de kwaliteit van de zorg van belang om uit te zoeken in hoeverre deze claims gegrond zijn, en bewezen kunnen worden. Om deze reden is het maatschappelijk relevant om dit onderzoek uit te voeren en hier aan bij te dragen.
1.3 Wetenschappelijke relevantie
Daarnaast is dit onderzoek waardevol omdat het bijdraagt aan de bestaande wetenschappelijke discussie over PM. Wetenschappers beargumenteren zowel voor- als nadelen voor het gebruik van PM in de publieke sector (Gerrish, 2016; De Bruijn, 2002). Omdat er zowel veel voor- als nadelen bestaan over verschillende onderdelen van PM systemen is deze discussie blijvend van aard waarbij er nog geen duidelijke uitkomst is (Noordegraaf & Abma, 2003: 854). Vaak wordt ook de context als belangrijke antecedent genoemd voor een succesvol PM systeem. Daarom wordt er ook door veel eerdere studies gesuggereerd om empirisch onderzoek naar PM en verschillende effecten van de context te doen (Van Dooren, 2011: 423). Dit onderzoek draagt bij aan deze wetenschappelijke discussie door te focussen op het effect van PM systemen op de prestaties van professionals in de Nederlandse zorgsector.
1.4 Leeswijzer
Om dit te kunnen onderzoeken zal allereerst een theoretische verdieping volgen. In dit hoofdstuk zullen onder andere eerdere onderzoeken naar verschillende PM systemen belicht
worden en wat de ondervonden effecten daar waren op de geleverde prestaties. Daarnaast zullen ook een aantal wetenschappelijke publicaties doorgrond worden. Op basis van deze verdieping zullen er een aantal verwachtingen worden geformuleerd die in dit onderzoek getoetst zullen worden.
Het volgende hoofdstuk zal bestaan uit de methodologische verantwoording. Hierin zullen de methoden van dataverzameling en analyse uitgelegd worden. Ook zal er worden beargumenteerd waarom er voor deze methodiek gekozen is, en hoe dit bijdraagt aan een wetenschappelijk betrouwbaar en valide onderzoek. Vervolgens zal de casus gepresenteerd worden. De casus betreft ‘diagnose-behandel combinatie’ systemen die gebruikt worden in de zorgsector. Dit is een bepaalde vorm van PM waarbij medici registreren welke handelingen zij uitvoeren zodat de financiële waarde van een behandeltraject bepaald kan worden (Kerpershoek, Groenleer & De Bruijn, 2016).
Over deze systemen zal vervolgens data verzameld en geanalyseerd worden aan de hand van het geconstrueerde theoretisch kader. Deze analyse levert de onderzoeksresultaten op die een geformuleerd antwoord op de onderzoeksvraag zal bieden in de vorm van een conclusie. Hierbij zullen ook enkele aanbevelingen voor vervolgonderzoek worden gedaan, en zal de kwaliteit van dit onderzoek bekritiseert worden in de discussieparagraaf.
In dit hoofdstuk zal weergegeven worden welke bestaande theorieën en studies over PM en effecten van het systeem op de publieke professional bestudeerd zijn voor dit onderzoek. Allereerst zullen er een aantal veelvoorkomende eigenschappen van PM uiteengezet worden. Ten tweede zal er uiteengezet worden wat er wordt verstaan onder prestaties in de publieke sector. Vervolgens zal er belicht worden dat er vanuit theoretisch oogpunt belangrijke voordelen zijn voor publieke organisaties om PM toe te passen. Hierop is echter wel kritiek en deze zal daarna behandeld worden. Ten slotte wordt er uiteengezet welke effecten van PM op publieke professionals er uit eerdere empirische onderzoeken zijn gevonden. Deze theoretische studie resulteert in een onderzoeksynthese op basis waarvan een typologie voor PM systemen geconstrueerd zal worden. De voorspellende waarde van deze typologie zal verder worden geanalyseerd in dit onderzoek
2.1 Eigenschappen van PM systemen
Eerder is al genoemd dat de opkomst van het NPM de grote drijfveer achter de implementatie van PM systemen in de publieke sector is. Het NPM is een groep overeenkomende, wetenschappelijke ideeën gebundeld door Christopher Hood in het artikel ‘A public
management for all seasons’ (1991). De focus van deze stroming ideeën ligt op het efficiënter
inrichten van de overheid. Hood formuleert deze bundel ideeën in zeven managementdoctrines (1991: 3). Veel eigenschappen van huidige PM systemen zijn van een aantal van deze doctrines af te leiden. Een voorbeeld hiervan is ‘explicit standards and measures of performance’ of ‘greater emphasis on output control’ (1991: 3). Hier is zichtbaar dat beide doctrines sterk gefocust zijn op het meten van prestaties en het controleren van output van de professionals of de publieke organisatie (1991: 3).
PM systemen hebben dus bepaalde controlemechanismen om geleverde prestaties binnen publieke organisaties te meten. Dit houdt in dat performance managers bepaalde indicatoren gebruiken om zo te kunnen monitoren welke prestaties de professionals binnen de organisatie leveren (Van Der Hoek & Van Den Bekerom, 2018: 229). Deze indicatoren zijn eigenlijk (kwantitatieve) maatstaven waarop een geleverde prestatie gescoord kan worden. Zo kan er inzicht verkregen worden in hoeverre er goede, of gewenste prestaties geleverd worden (Van Der Hoek & Van Den Bekerom, 2018: 229). Vervolgens kunnen managers hierop sturen, wat de prestaties van de professionals in de toekomst weer zal beïnvloeden. Dit proces, wat ook een aantal andere stappen kent, is dus een cyclisch proces (Van Der Hoek & Van Den Bekerom, 2018: 230) . Deze prestatiemanagementcyclus is in figuur 1 weergegeven.
Figuur 1: de prestatiemanagementcyclus (Van Der Hoek & Van Den Bekerom, 2018: 230).
Deze cyclus stelt publieke managers in staat om drie centrale processen uit te voeren. Zojuist is al het selecteren van indicatoren genoemd (Van Der Hoek & Van Den Bekerom, 2018: 229). Vervolgens dient er te worden vastgesteld welke hoeveelheid de indicatoren dienen te meten om een bepaald doel te behalen, dit zijn de prestatiedoelstellingen (Van Der Hoek & Van Den Bekerom, 2018: 229). De manager bepaalt dan op welke manier de organisatie deze doelstellingen kan behalen, ofwel de manager bepaalt de strategie. Door invulling aan de strategie te geven, stelt de manager professionals binnen de organisatie in staat om de doelstellingen te behalen (Van Der Hoek & Van Den Bekerom, 2018: 230). Middelen die managers hiervoor kunnen gebruiken zijn bijvoorbeeld de allocatie van (budgettaire) middelen of human resource practices. Vervolgens kunnen professionals in de gecreëerde werkomgeving hun werk uitvoeren en prestaties leveren. De geleverde prestaties worden vervolgens gemeten en geëvalueerd wat tot nieuwe doelen voor de inrichting van het PM systeem zal leiden (Van Der Hoek & Van Den Bekerom, 2018: 230).
2.2 Prestaties in de publieke sector
Duidelijk is dat met de introductie van PM systemen er een sterkere focus op prestaties is komen te liggen binnen de publieke sector. Daarom is het van belang om te specificeren wat er nu
onder het concept ‘prestaties’ verstaan wordt. Vanuit de goal-setting theorie worden prestaties als volgt gedefinieerd: ‘in hoeverre er voldaan wordt aan de gestelde doelen door degene die de doelen dient te behalen’. Degene kan hier gezien worden als publieke professionals (Hoek, Groeneveld & Kuipers, 2017: 3).
Dit is een breed geformuleerde definitie omdat prestaties in de publieke sector simpelweg niet eenduidig te bepalen zijn. Zo kunnen prestaties op managementniveau sterk verschillen van prestaties van de medewerkers die het primaire proces uitvoeren (Kuipers & Groeneveld, 2016: 22). Hier is ook zichtbaar dat prestaties een soort link hebben met doelstellingen. De prestatie zelf kan worden gezien als het proces dat een bepaalde activiteit door een entiteit waardoor het doel (output) bereikt wordt (Kuipers & Groeneveld, 2016: 23). Prestaties kunnen daarbij op meerdere niveaus gemeten worden. Zo kan er bijvoorbeeld op organisationeel niveau of op individueel niveau gekeken worden naar prestaties (Hoek, Groeneveld & Kuipers, 2017: 3). In dit onderzoek ligt de focus op het individuele niveau: de prestatie van de publieke professional.
2.3 Voordelen van PM in de publieke sector
Uiteraard kunnen verschillende onderdelen van de prestatiemanagementcyclus op diverse wijzen gebruikt worden. Dit kan tot verschillende effecten van PM leidt. Mede door verschillende positieve en negatieve effecten bestaat er veel discussie over of PM systemen wel toepasbaar zijn in een publieke organisatie (De Bruijn, 2006: 13-14). PM wordt in de publieke sector gebruikt omdat het vanuit theoretisch oogpunt een aantal positieve effecten heeft. Deze voordelen worden deels gevormd door literatuur over private organisaties (Kaplan, 2001: 356). Zo ondervinden private bedrijven meerdere voordelen door het gebruik van de ‘Balanced
Scorecard’ (BSC), een veelgebruikt PM systeem (Kaplan, 2001: 356). Het meten van meerdere
uitkomsten van delen van de organisatie zoals: financiën, klantprocessen, groeiprocessen en interne bedrijfsvoering levert het management nuttige informatie op om te sturen en de strategie te bepalen (Kaplan, 2001: 355). Deze private organisaties kunnen hierdoor sneller nieuwe strategieën doorvoeren, die sneller leiden tot prestatieverbeteringen (Kaplan, 2001: 356).
Een ander voordeel is dat PM de transparantie van een organisatie bevordert. PM biedt inzicht in wie, welke prestaties heeft geleverd en dus waarvoor verantwoordelijk is. Hierdoor heeft de manager ook meer vermogen om toezicht te houden op de professionals (Van Der Hoek & Van Den Bekerom, 2018: 231; Noordegraaf & Abma, 2003: 853). Door het creëren van meer transparantie heeft PM ook een interne functie voor de organisatie. Door inzichtelijk
te maken welke processen bijdragen aan het behalen van prestatiedoelstelling, kunnen er ook minder belangrijke processen geschrapt worden. Dit levert een vermindering aan red tape op binnen de organisatie (De Bruijn, 2006: 18). Interne transparantie biedt ook meer inzicht in hoe financiële budgetten aangestuurd worden en wat de verdeling van een bepaald budget oplevert. Omdat publieke organisaties, door publieke budgetten gefinancierd door de belastingbetaler gefinancierd worden is het van belang om het budgetproces zo efficiënt mogelijk te laten verlopen (Behn, 2003: 590). Dit is een financieel voordeel voor de organisatie zelf en is ook voordelig voor de legitimiteit van de organisatie. Daarnaast heeft transparantie ook een externe functie voor publieke organisaties. Door PM worden processen voor de politiek en maatschappij inzichtelijker waardoor de organisatie haar bestaansrecht beter kan verantwoorden (De Bruijn, 2006: 18-19).
Daarnaast zorgt PM dat een organisatie haar lerende vermogen kan verbeteren. Dit mede doordat gemeten prestaties kunnen bijdragen aan feedback voor de professionals (Van Der Hoek & Van Den Bekerom, 2018: 231). Daarbij kan PM het zogenaamde ‘non-interventie beginsel’ binnen een organisatie verbreken (De Bruijn, 2006: 21). Dit houdt in dat professionals niet elkaars processen en prestaties interveniëren vanuit een collegiaal principe. Dit verhindert echter het leerproces van professionals. Prestatiecijfers maken het mogelijk te vergelijken en te analyseren waarom bepaalde professionals of afdelingen beter presteren. Dit kan dus lerend werken voor de rest van de organisatie (Behn, 2003: 596). Ditzelfde geldt voor het leren van andere organisaties. Een goed voorbeeld hiervan is benchmarking (Behn, 2003: 596). Door prestaties tussen organisaties te vergelijken kunnen verschillen hierdoor inzichtelijker geanalyseerd worden waardoor de minder presterende organisatie hiervan kan leren (Behn, 2003: 596).
Door PM systemen kan er ook meer met prestatiebeloningen gewerkt worden. In de private sector gebeurt dit al langer en leidt dit tot verbeterde prestaties (Van Der Hoek & Van Den Bekerom, 2018: 231). Het stellen van bepaalde targets door het management stimuleert de professionals inzet en ontwikkeling, dit leidt tot prestatieverbetering. Hierdoor kan PM ook als middel gebruikt worden om gedrag van medewerkers te controleren en het promotiesysteem inzichtelijker te maken (Behn, 2003: 594-595). Echter is het de vraag of dit principe hetzelfde werkt in de publieke sector. Dit omdat publieke organisaties geen winstoogmerk hebben (Van Der Hoek & Van Den Bekerom, 2018: 231).
Ook kan PM een positief effect hebben op de motivatie van medewerkers. De kern van dit beoogde effect komt uit de goal-setting theorie (Van Der Hoek & Van Den Bekerom, 2018: 236). Deze theorie stelt dat professionals beter in staat zijn hun doelen te behalen wanneer deze
duidelijk, specifiek en uitdagend geformuleerd zijn. Daarnaast stelt deze theorie dat er een directe relatie is tussen de doelen die managers formuleren en hetgeen wat er gepresteerd wordt. Door middel van goal-setting zou er namelijk meer motivatie ontstaan om de geformuleerde doelen te behalen, dit leidt tot prestatieverbetering (Verbeeten, 2008: 431-432).
2.4 Kritiek op PM in de publieke sector
Naast deze voordelen, wordt uit de literatuur duidelijk dat er ook een aantal bezwaren zijn voor het gebruik PM in publieke organisaties. Veel van deze bezwaren zijn gebaseerd op het idee dat de publieke en private sector fundamenteel verschillen, hierdoor ontstaan er ook verschillen wanneer PM in deze sectoren wordt toegepast (Van Helden & Reichard, 2016: 310).
Allereerst bestaan er verschillen zijn in de doelen van het toepassen van PM in beide sectoren (Van Helden & Reichard, 2016: 311). Aangetoond is dat PM in de publieke sfeer vaak multidimensionaal van aard is, met een systeem dat zich focust op het controleren van: input, processen, kwaliteit, impact, output en outcomes. Dit geldt ook deels voor private organisaties. Echter, deze PM systemen kennen een sterke focus op output. Hierbij speelt vooral het financiële aspect een belangrijke rol (Van Helden & Reichard, 2016: 321 & 329). Dit verschil is ook zichtbaar in de verschillende prestatie indicatoren. Publieke indicatoren zijn divers, waar private indicatoren meer op financiën gefocust zijn (Van Helden & Reichard, 2016: 321). Publieke producten en diensten zijn echter niet gericht op het behalen van winst. Publieke producten dienen echter aan andere waarden te voldoen zoals een bepaalde mate van integriteit of een bepaald democratisch gehalte. Meerdere waarden betekent dat er meer prestatie indicatoren vereist zijn om deze in kaart te brengen, dit kan problematisch zijn (De Bruijn, 2006: 23). Hier kan door de manager worden gekozen om het systeem te beperken tot een gelimiteerd aantal indicatoren. Het gevaar hier is dat belangrijke waarden niet gemeten worden door het systeem. De manager kan er ook voor kiezen om een overschot aan indicatoren in het systeem te integreren. het gevaar wat hier ontstaat is een ‘information overload’ (Van Dooren, 2011: 422). Doordat te veel indicatoren, te veel informatie opleveren kan PM dan een verlammende werking hebben op de organisatie die lastig de koers kan bepalen door de hoeveelheid informatie (Van Dooren, 2011: 422).
Daarnaast zijn deze publieke waarden ook moeilijk in meetbare indicatoren uit te drukken, zo is het bijvoorbeeld lastig te bepalen hoe het veiligheidsgevoel onder burgers in een achterstandswijk in een getal kan worden uitgedrukt. Hierdoor hebben PM systemen de neiging om zich te focussen op kwantificeerbare prestaties. Een tweede bezwaar op PM in de publieke
sector, vaak belangrijke, kwalitatieve prestaties lastig te meten zijn via PM (Dijkstra, 2008: 62). Dit bezwaar wordt ook ondersteund door Verbeeten (2008). Uit onderzoek onder Nederlandse publieke organisaties blijkt dat kwantitatieve doelstellingen (zoals: vergroten van de productie of efficiëntie) beter behaald worden door het gebruiken van PM. Bij behalen van kwalitatieve doelstellingen (zoals: meer innovatie of arbeidstevredenheid) wordt hier geen verbetering in prestaties door PM gemeten (Verbeeten, 2008: 442). Mocht een organisatie toch slagen in het meten van de geleverde prestaties of output. Dan bestaat er nog het methodologische probleem om vast te stellen dat deze output ook de oorzaak is voor een bepaalde effect of outcome in de maatschappij. Het vaststellen van deze causaliteit is een complex proces wat van meerdere factoren afhankelijk is (Kettle, 1997: 451; Noordegraaf & Abma, 2003: 854).
Daarbij komt dat publieke organisaties ook op processen georiënteerd kunnen zijn. Dit houdt in dat de focus van de organisatie niet op het eindproduct ligt zoals bij PM wel het geval is. Echter is de route naar het eindproduct toe belangrijk hier, maar deze route is via PM lastig te meten. Voorbeelden zijn organisaties die veel handelen op basis van netwerken of samenwerkingsverbanden. Deze netwerken en samenwerkingen zijn van groot belang voor het eindproduct (De Bruijn, 2006: 23). Een voorbeeld hiervan is de uitwerking van een nieuwe wet over de terugdringing van stikstofuitlaat in de bouwsector. De uitwerking van deze wet is de ‘prestatie’ die gemeten zal worden aan de hand van de indicatoren. Echter doordat meerdere actoren meewerken aan deze vormgeving deelnemen (bijvoorbeeld: ministeries, specialistische organisaties en belangengroepen), is het lastig om hun input te koppelen aan de gemeten output. Hierdoor is het in dergelijke samenwerkingen, juist door PM, lastig om verantwoordingsmechanismen in een systeem of netwerk in te bouwen (Van Dooren, 2011: 423).
In het verlengde hiervan ligt dat het PM systeem daarbij vaak enkel is gefocust op het monitoren van de professionals binnen de organisatie. Daardoor zorgt de inrichting van het systeem ervoor dat de prestaties van het netwerk als geheel niet in kaart gebracht wordt. Ook kan het in publieke organisaties en netwerken lastig zijn om de causaliteit van een gemeten prestatie vast te stellen. Daarbij wordt ook ondervonden dat publieke organisaties binnen een netwerk goed kunnen presteren, terwijl de netwerkprestatie juist matig is. Dit is ook lastig te verklaren aan de hand van PM systemen (Kenis & Provan, 2009: 440). Ook omdat er vaak meerdere actoren betrokken zijn bij de output, en omdat producten ook aan meerdere publieke waarden te voldoen is het lastig om te stellen dat de gemeten output volledig aan de inspanningen van professionals binnen de organisatie of netwerk toe te wijden valt (Kenis & Provan, 2009: 440-441). Daarbij zijn gemeten prestaties ook contextafhankelijk. De publieke
sector kent een omgeving waarin meerdere waarden samenkomen. Deze waarden kunnen soms ook botsen. Wanneer publieke organisaties in deze omgevingen zijn zullen zij niet aan alle botsende waarden kunnen voldoen (De Bruijn, 2006: 25).
Ten slotte is er de kritiek dat er gevaar bestaat voor een te grote mate van ambiguïteit door het gebruiken van PM (Noordegraaf & Abma, 2003: 860-861). Door PM te gebruiken wordt er namelijk aan de hand van indicatoren informatie over prestaties opgedaan. Deze dreiging zal door managers binnen de organisatie geïnterpreteerd en geanalyseerd worden. Hier bestaat het gevaar dat deze interpretatie ervoor zorgt dat er geen eenduidige conclusies getrokken kunnen worden omdat interpretatie per persoon zal verschillen (Noordegraaf & Abma, 2003: 861).
Of PM geschikt is om toe te passen op publieke organisaties wordt niet direct ontkracht. Wel wordt er dus beredeneerd dat het sterk afhangt van het type dienst of product dat de organisatie creëert. En daarbij wordt ook genoemd dat de context een sterke invloed kan hebben op de toepasbaarheid van PM binnen publieke organisatie.
2.5 Positieve en negatieve effecten van PM
De voornaamste kritiek focust zich op dat verschillen tussen de publieke en private sector ervoor zorgen dat PM problemen kan opleveren, wanneer dit in publieke organisaties wordt toegepast. Mede door deze verschillen ontstaan er verschillende effecten van PM tussen de publieke en private sector. Voor het ontstaan van deze effecten zijn vaak ook antecedenten te vinden buiten het gebruik van een PM systeem om. Voorbeelden hiervan zijn: de context, de wijze van implementatie van het systeem of hoe het primaire proces van de organisatie is ingericht (Van Dooren, 2011: 423). Hier zullen een aantal eerdere onderzoeken uitgelicht worden die verschillende effecten van PM aangetoond hebben.
Allereerst bestaat er veel discussie over de algemene correlatie tussen PM en prestaties in de publieke sector. Zo blijkt uit een meta-analyse van Gerrish (2016) dat er een matige, positieve relatie bestaat tussen PM en prestaties in de publieke sector (Gerrish, 2016: 53). In de praktijk wordt vaak ondervonden dat de inrichting van PM systemen vaak te veel volgens een
one size fits all benadering zou kennen (Gerrish, 2016: 49). Dit houdt in dat enkel een bepaald
model van PM toepasbaar zou zijn op verschillende publieke sectoren, zoals: gezondheidszorg, onderwijs en de economie. Empirisch onderzoek wijst uit dat wanneer er te veel vanuit benadering uitgegaan wordt, er negatieve effecten kunnen optreden (Gerrish, 2016: 49).
De vraag die nu rijst is waarom, bijvoorbeeld uit deze analyse van Gerrish, zo een matige correlatie gevonden wordt voor deze relatie. Een algemeen PM systeem is in verschillende onderdelen onderverdeeld, al deze onderdelen hebben verschillende verhoudingen met concepten binnen de organisatie die een invloed op de prestaties kunnen uitoefenen. Dat wilt zeggen dat het PM systeem, en de context daaromheen een zeer complexe omgeving is, wat het lastig maakt om hierover een eenduidige conclusie te trekken. Daarbij werd eerder al genoemd dat publieke diensten of producten vaak aan meerdere waarden dienen te voldoen. Er is dus ook sprake van een zekere ambiguïteit die binnen publieke organisaties speelt (Van Dooren, 2011: 426). Zo focust Gerrish’ onderzoek zich bijvoorbeeld op PM in de Amerikaanse onderwijssector en wordt er aangetoond dat benchmarking hier juist een negatief effect heeft op prestaties in deze sector (Gerrish, 2016: 59). Dit terwijl het mogelijk maken van vergelijken als een voordeel van PM wordt gezien (Behn, 2003: 596). Mede door de complexiteit en ambiguïteit is het dus lastig om een eenduidig basisontwerp voor PM te construeren waarbij de richtlijnen niet te gekaderd zijn zodat dit negatieve effecten kan opleveren. Het hanteren van een dergelijk ontwerp met vooraf bepaalde basisprincipes is vaak een antecedent voor negatieve effecten (Van Dooren, 2011: 426).
Maar ook op het individuele niveau binnen de organisatie toont onderzoek aan dat PM veel negatieve effecten met zich kan meebrengen. Hier draait het om het werk en de dagelijkse taken van de uitvoerende professional binnen het systeem. Deze dagelijkse taken en werkzaamheden van publieke professionals worden ook wel het ‘primaire proces’ binnen de organisatie genoemd. De Bruijn (2006: 29) spreekt van zogenaamde ‘perverse effecten van prestatiemeting’, die op individueel niveau kunnen optreden. Vaak is het zo dat deze effecten niet zichtbaar zijn in de gemeten prestatiecijfers zelf. Wanneer deze effecten hierdoor niet gedetecteerd worden kunnen zij de organisatie beschadigen. Zo kunnen medewerkers strategisch gedrag gaan vertonen (De Bruijn, 2006: 29). Dit gedrag ontstaat wanneer professionals de prestatiecriteria kennen die aan de door hen geleverde output toegekend wordt. Hier ontstaat de kans voor professionals om zich enkel op het behalen van deze criteria te focussen, dit wordt ‘gaming the numbers’ genoemd (De Bruijn, 2006: 29). Hier wisselt de professional dus zijn professionele waarden in. In plaats van een kwalitatief hoogwaardige dienst te leveren, dat het publieke doel dient, prevaleren andere waarden om goed te scoren in de prestatiemeting. Dit kunnen bijvoorbeeld eigen overtuigingen zijn, of vaak is het ook zo dat financiële motieven van de professional of organisatie een grote rol hierin spelen (Kettle, 1997: 456). Hierdoor scoort de prestatie van de professional alleen goed op de indicatoren die hijzelf, of de organisatie van belang acht. Echter, andere criteria kunnen ook van belang zijn voor een
product of dienst. Zeker in de publieke sector waar meerdere publieke waarden belangrijk zijn. Als gevolg van strategisch gedrag neemt de kwaliteit van de output dus eigenlijk af, terwijl dit niet met de ontwikkelde prestatie indicatoren gemeten wordt (De Bruijn, 2006: 29).
Ook in de praktijk worden vormen van gaming the numbers gevonden. In de wetenschappelijk onderzoeksector in Duitsland wordt ondervonden dat onderzoekers strategisch gedrag vertonen (Brockmann & Frost, 2014: 25). Onderzoeken worden hier gefinancierd met publiek geld en daarom gebruikt de Duitse overheid een PM systeem om de prestaties in de sector te monitoren. Of bepaald onderzoek wel of niet gesubsidieerd wordt door de overheid hangt af van de eerdere kwaliteit van onderzoeken door wetenschappers uitgevoerd, daarnaast resulteert goed scorend onderzoek ook in meer honorarium voor de wetenschappers (Brockmann & Frost, 2014: 29). De kwaliteit van onderzoeken wordt gemeten aan de hand van kwantitatieve prestatie-indicatoren. Voorbeelden hiervan zijn: het aantal keer dat publicaties geciteerd worden door ‘peers’ of het numerieke aantal onderzoeken dat een wetenschapper publiceert. Deze indicatoren lenen zich voor gaming the numbers (Brockmann & Frost, 2014: 29). In deze sector wordt er gesproken van een gedragsverandering van wetenschappers van ‘Homo Academicus’ naar ‘Homo Strategicus’ (Brockmann & Frost, 2014: 29-30). Deze concepten worden hieronder kort toegelicht:
• Homo Academicus: de wetenschapper met een sterke intrinsieke motivatie en nieuwsgierigheid om fenomenen te onderzoeken (Brockmann & Frost, 2014: 29). • Homo Strategicus: de wetenschapper die binnen de kaders van PM vooral extrinsiek
gemotiveerd is om onderzoek uit te voeren. Het wetenschappelijk belang maakt plaats voor het eigenbelang, organisatiebelang, of financieel belang en de wetenschapper probeert strategieën uit om goed te scoren op prestatie indicatoren (Brockmann & Frost, 2014: 30).
Bij deze gedragsovergang gaan wetenschappers zich dus meer focussen op het scoren op de prestatie indicatoren dan op het uitvoeren van gedegen onderzoek. Een concrete strategie die wetenschappers hier gaan gebruiken is de slicing strategie. Hierbij wordt een onderzoek over meerdere wetenschappelijke publicaties uitgesmeerd waardoor de wetenschapper hoger scoort op de indicator die meet hoe veel men publiceert (Brockmann & Frost, 2014: 39). Het gevolg hiervan is dat er een ‘publicatie inflatie’ optreedt. Er wordt meer gepubliceerd, dus lijkt het alsof er meer onderzoek uitgevoerd wordt. In werkelijkheid is hier geen sprake van, dit is het
gevolg van de wetenschappers die strategisch gedrag vertonen (Brockmann & Frost, 2014: 39). Deze bevindingen worden in deze sector ook in andere onderzoeken ondervonden (Graf, Wendler, Stump-Wollersheim & Welpe, 2019). Een van de antecedenten waardoor gaming gedrag veroorzaakt is de psychologische neiging van mensen om zich aan te passen aan de situatie (Graf et al., 2019: 766). Hier is het PM systeem een aanpassing van de situatie waaraan onderzoekers zich hier dus aanpassen. Een andere trigger voor dit gedrag wordt getypeerd als ‘perception of disequilibria’ (Graf et al, 2019: 766). Dit houdt in dat de professional een soort van mismatch voelt tussen het werk wat hij zou moeten doen en hetgeen wat prestatie indicatoren meten. Ten derde wordt er een oorzaak genoemd genaamd ‘moral disengagement’ (Graf et al., 2019: 767). Dit houdt in dat door de ervaarde mismatch tussen prestatie en prestatie indicatoren de morele verantwoordelijkheid van de professional voor zijn geleverde prestatie afneemt. Dit resulteert in verminderde prestaties terwijl het systeem dit niet meet (Graf et al, 2019: 767).
Van Thiel & Leeuw (2002) verwijzen naar dergelijke fenomenen als de ‘performance paradox’. Daarbij ondervinden Van Thiel & Leeuw (2002) dat de kwaliteit van PM systemen tijdsgebonden is. Na verloop van tijd zullen zowel goede, als slechte prestaties goed scoren op de prestatie indicatoren in het systeem (Van Thiel & Leeuw, 2002: 271). Dit komt omdat ook slecht presterende professionals leren om goede scores te behalen op de prestatie indicatoren. Het gevolg is dat er een prestatieverbetering waar te nemen is uit de informatie die de indicatoren opleveren. Echter, in werkelijkheid is hier geen sprake van (Van Thiel & Leeuw, 2002: 271). Deze paradox kan ook optreden door een fenomeen dat ‘cream skimming’ (Heckman, Heinrich & Smith, 1997: 390) of ‘cherry picking’ (De Bruijn, 2006: 32) wordt genoemd. Dit effect treedt op wanneer de publieke professional zich gaat focussen op input die weinig werkzaamheden vereist om de gewenste output te bereiken (Heckman, Heinrich & Smith, 1997: 390). Onderliggende redenen hiervoor kunnen een financieel winstoogmerk zijn of dat de professional het werk voor zichzelf niet te complex wilt maken (Heckman, Heinrich & Smith, 1997: 390). Ook hier zal uiteindelijk een goede prestatie gemeten worden, echter heeft de professional weinig ‘prestatie’ geleverd om de gemeten output te bereiken (De Bruijn, 2006: 32).
Een ander punt van kritiek op het gebruik van prestatie indicatoren is dat deze niet geschikt zijn om kwalitatieve prestaties goed in kaart te brengen. Dit omdat met de indicator iets meetbaar dient te worden gemaakt. Kwantitatieve output is daarom wel geschikt om te controleren aan de hand van PM. Kwalitatieve output daarentegen niet (Dijkstra, 2008: 62). Ook in de Belgische sector voor wetenschappelijk onderzoek ontstaan problemen doordat financiering op basis van
PM plaatsvindt. Zo ontstaat er bureaucratie omdat wetenschappers het aantal citaties en publicaties bijhouden. Dit van zichzelf, maar ook de prestatiecijfers van andere wetenschappers om de competitie in beeld te houden (Redden, 2019: 1). Dit terwijl eerder genoemd is dat PM juist voor minder bureaucratie en red tape zou zorgen (De Bruijn, 2006: 18), hier bestaat dus toch een gemengd beeld over. Daarnaast blokkeren deze kwantitatieve maatstaven ook de samenwerking tussen verschillende professionals en organisaties. De competitie om meer financiën binnen te halen is belangrijker geworden dan het uitvoeren van gedegen onderzoek (Redden, 2019: 1). Meerdere perverse effecten die De Bruijn (2006) noemt zijn hier te herkennen. Het niet willen aangaan van samenwerking en de nadruk op kwantificeerbare indicatoren leidt hier ook tot het blokkeren van innovatie en ambitie (De Bruijn, 2006: 31-32).
Daarnaast verhullen de prestatiecijfers de daadwerkelijke prestaties. Dit houdt in dat het aan de hand van de prestatiecijfers lastig is vast te stellen is wat de causale relatie is tussen het uitgevoerde werk door de professional en de prestatie (De Bruijn, 2006: 33). Dit komt vooral voor wanneer managers of degene die de prestaties controleert verder van het primaire proces dat gemeten wordt afstaat. In feite ziet deze manager alleen de cijfers en heeft geen inzicht in dit proces of hoe deze cijfers tot stand komen, deze afstand werkt dus verhullend op hoe de prestatiecijfers ontstaan (De Bruijn, 2006: 33). Een ander effect is de ‘trade-off’, of afweging, tussen verschillende waarden die de professional van belang acht bij het leveren van zijn prestaties(De Bruijn, 2006: 35). Doordat PM met prestatie indicatoren de eisen aan prestaties inkaderd, wordt de professional gedwongen om af te wegen welke waarden het meest van belang zijn voor het primaire proces. Wanneer enkel bepaalde (vaak kwantitatieve) waarden worden gemeten door het systeem zal de professional zijn focus meer op deze waarden richten. Doordat er dus (overmatige) controle is middels prestatie indicatoren ontstaat er een verwaarlozing van andere (kwalitatieve, minder goed meetbare) waarden. Dit kan een deel van de ‘professionele habitus’ verdrijven (De Bruijn, 2006: 35).
Naast deze negatieve effecten op de werkprestaties van professionals kan PM ook meerdere negatieve effecten hebben op de psychosociale gezondheid van de professional (Diefenbach, 2009: 905). Dit negatieve effect komt wederom voort uit de rigide prestatie indicatoren van PM systemen die vooral op kwantitatieve, goed meetbare objecten gericht zijn (Diefenbach, 2009: 900). Prestatie indicatoren kunnen minder goed ingezet worden om ontastbare waarden en objecten te meten. Voorbeelden hiervan op het niveau van de professional zijn: de kennis en kunde van het individu, delen en ontwikkeling van deze skills, in hoeverre het individu goed kan samenwerken, participatie, toewijding, innovatie en sociale ontwikkeling binnen de organisatie (Diefenbach, 2009: 900). Deze waarden worden als het
ware gedevolueerd en in diskrediet gebracht door het management doordat PM zich niet op deze waarden focust. Doordat er geen ruimte meer is voor de professional om deze waarden te ontwikkelen. De vergrote focus op efficiënte en effectiviteit door het management resulteert in de dagelijkse taken van de professional vaak in meer verplichtingen, registreren en controleren van het werk. Binnen publieke organisaties wordt daarom soms gesproken van een heersende ‘audit society’. In dergelijke organisaties zorgt overmatige controle vanwege organisationele (management) belangen dus voor meer druk op publieke professionals (Arnaboldi, Lapsley & Steccolini, 2015: 5-6). Deze devolutie en toegenomen audit kunnen daarbij ook psychosociale effecten op professionals hebben, zoals: toename in stress, ziekte, lage arbeidsmoraal, afname in arbeidstevredenheid, vervreemding van het werk (alienation), angst, rancune en een verstoorde intellectuele capaciteit (Diefenbach, 2009: 903 & 905).
2.6 Synthese en typologie
Deze theoretische verdieping heeft tot meerdere inzichten geleid over het toepassen van PM systemen in de publieke sector, evenals de effecten daarvan op publieke prestaties. PM systemen komen voort uit de NPM doctrines die zich focussen op meer efficiëntie binnen de publieke sector en de grotere focus op controle van prestaties is daar een belangrijk onderdeel van. Er zijn een aantal beoogde voordelen voor waarom PM zou moeten worden toegepast in de publieke sector: meer interne en externe transparantie, meer inzicht in organisatieprocessen, toename van efficiëntie, toename van de lerende capaciteit van de organisatie en het stellen van duidelijke doelstellingen heeft een motiverend effect op professionals. Daarnaast kunnen prestaties vanwege de prestatie informatie beter gecontroleerd en ook verbeterd worden. PM heeft dus ook een positief lerend effect op organisaties. Mede om deze redenen worden PM systemen, zoals de BSC, al jarenlang in de private sector succesvol toegepast.
Echter bestaat er ook een grote wetenschappelijke stroming die kritiek uit op de toepassing van PM in de publieke sector. Het voornaamste argument hiervoor is dat beide sectoren op een aantal elementen fundamenteel verschillen. Zo is de private sector veel eenduidiger van aard omdat organisaties zich hier vooral focussen op het financiële winstoogmerk. Publieke organisaties dienen echter vooral aan andere sociale, maatschappelijke waarden te voldoen en hun complexe, meer ambigue omgeving is lastig te systematiseren volgens de wijze van PM. Ook de empirie laat zien dat PM in de publieke sector vaak neveneffecten met zich meebrengt die niet wenselijk zijn. Voorbeelden hiervan zijn: strategisch gedrag (gaming), cream skimming verhullende prestatiecijfers, verdrijving van de professionele
habitus en effecten op de psyche en fysiek van publieke professionals. Ook kan de focus op controle ervoor zorgen dat professionals zich in een waarden trade-off bevinden.
Deze onderzoeken wijzen veelal uit dat de oorzaak van deze problematiek ontstaat omdat prestaties niet goed worden gemeten door de prestatie indicatoren die een centrale rol in het PM systeem spelen. Indicatoren kunnen te nauw zijn en zich enkel focussen op kwantitatieve waarden, of er bestaat een overschot aan indicatoren wat de publieke manager een information overload oplevert. Eerdere onderzoeken suggereren dus dat er negatieve effecten ontstaan als er een zekere discrepantie bestaat tussen de daadwerkelijk geleverde prestatie door de professional, en de prestatie als gemeten door het PM systeem. Wanneer professionals vanuit eigen overtuigingen, organisatiebelangen of financiële belangen gaan handelen treden effecten gaming en cherry picking op. Dit gebeurt niet wanneer de professional vanuit professionele waarden handelt, om zo het publieke belang te dienen. Daarnaast kan overmatige controle van prestaties voor een waarden trade-off zorgen hier kunnen deze belangrijke waarden dus verwaarloosd worden door publieke professionals. Wanneer er sprake is van overmatige controle kan er binnen een organisatie ook een zogenaamde audit society ontstaan. Hier zorgt te veel controle ervoor dat de belangen van managers, of organisationele belangen prevaleren boven de professionele waarden van de professional om te streven naar kwalitatieve publieke diensten. Ook dit kan resulteren in een vermindering van prestaties. Wanneer er sprake is van een gematigde vorm van controle treedt deze waarden trade-off niet op. Deze synthese leidt tot de constructie van een typologie van PM, deze is in figuur 2 is weergegeven.
Figuur 2: de typologie van PM.
Lage mate van controle door organisatie
Hoge mate van controle door organisatie
Prestaties gedreven door professionele, publieke waarden 1. Presterende, lerende professional 2. Waardenconflict
Prestaties gedreven door eigenbelang, organisationeel belang of financieel belang
3. Eigen belang en financieel belang prevaleert 4. Uitvoerende, stilstaande professional
Op basis van de uitgelichte theorieën kan er gesteld worden dat het positieve effect van PM systemen op prestaties in de publieke sector afhankelijk is van twee elementen. Allereerst de mate van controle dat het PM systeem binnen de organisatie uitoefent op de professional. Hiermee wordt bedoeld hoe veel controlemechanismen er zijn om prestaties te meten. Deze controle wordt door managende lagen uitgevoerd, hierbij kan gedacht worden aan lijnmanagers of afdelingshoofden. Managers kunnen ervoor kiezen weinig prestatie indicatoren te gebruiken of juist veel. Daarnaast kunnen zij ook meer controle uitoefenen wanneer ze zelf dicht op het primaire werkproces van de professional staan.
Ten tweede is het van belang voor de kwaliteit van de prestatie welke onderliggende waarden de professionals drijven om een prestatie te leveren. Dit kunnen professionele waarden zijn om het publieke doel zo goed mogelijk te dienen. Wanneer dit het geval is zullen de prestaties ook beter zijn. Anderzijds kunnen professionals gedreven worden door eigen waarden, organisatiebelangen of financiële belangen. Wanneer dit het geval is zal dit leiden tot een vermindering van prestaties. Hierin is het van belang om te onderschrijven wat het verschil is tussen eigen waarden of belangen en professionele waarden. Er zou namelijk ook beredeneerd kunnen worden dat wanneer een professional handelt vanuit professionele waarden, dat dit dan ook zijn eigen waarden zijn. Dit is in zekere zin waar. In dit onderzoek wordt er met eigen waarden en belangen datgene bedoeld waardoor de professional, persoonlijk veel winst haalt uit geleverde prestaties. Een voorbeeld hiervan is dat een manager graag ziet dat een professional sneller dossiers verwerkt. Door dit te doen maakt de professional sneller kans op promotie, echter gaat dit ten koste van het dienen van het publieke doel. Met dit onderscheid in acht genomen, resulteert dit in de typologie met de volgende vier vormen van PM:
1. Presterende, lerende professional: deze vorm van PM kan als succesvol worden gezien. Het systeem is zo ingericht dat de prestaties en processen binnen de organisatie wel
gemeten worden, maar niet met als hoofddoel om de professional te controleren. Het hoofddoel is echter leren. De prestatie informatie maakt inzichtelijk waar er bijvoorbeeld op het gebied van efficiëntie binnen de organisatie meer winst behaald kan worden. Het systeem biedt vervolgens de ruimte aan de professionals en geeft hen het vertrouwen om deze ruimte naar eigen, deskundige inzichten in te vullen. Op deze wijze wordt PM meer als een lerend in plaats van controlerend systeem gebruikt. Door leren is ook innoveren mogelijk. Dit tezamen zal voor prestatieverbetering zorgen.
2. PM systeem met waardenconflict: in dit systeem is er sprake van een vermindering van prestaties. Dit is het gevolg van botsende professionele waarden van publieke professionals tegenover de systeemwaarden van het PM systeem, die gefocust zijn op (overmatige) controle. Het gevolg hiervan is dat het werkproces van professionals op een zodanige manier gecontroleerd en gereguleerd wordt dat de professional zijn waarden niet meer kan leggen in de geleverde prestaties. Hierdoor kunnen effecten als
perception of disequilibria, of moral disengagement optreden. Onder andere
psychosociale klachten bij professionals kunnen hiervan het gevolg zijn. Dit resulteert in prestatievermindering.
3. Het eigenbelang van de professional, organisationeel belang of financieel belang prevaleert: in deze situatie zullen dergelijke PM systemen een vermindering van prestaties optreedt. Het PM systeem zal deze prestatievermindering soms niet waarnemen. Deze vermindering komt enerzijds doordat professionals handelen vanuit eigenbelang en voor eigen (financieel) gewin, minder vanuit professionaliteit en het publieke belang. Dit kan ook ontstaan omdat het management van de organisatie eigen organisatie belangen tracht na te streven. Dit in plaats van het publieke doel dat de organisatie dient. Dit gaat veelal gepaard met een hogere mate van controle binnen de organisatie (audit society). Hierdoor kunnen professionele, publieke waarden van professionals onderdrukt worden. Als gevolg hiervan kan de professional gaming gedrag vertonen waardoor het PM systeem gemanipuleerd wordt. Daarbij controleert de organisatie vooral de financiële output, en passen professionals zich hier ook op aan. Anderzijds heeft het systeem te weinig controlemechanismen om belangrijke publieke waarden te kunnen controleren. Hierdoor heeft de professional ook de ruimte en mogelijkheden om te handelen naar eigen belangen en inzichten. Hierdoor bestaat ook
de kans dat cream skimming of cherry picking optreedt. Dit resulteert in een vermindering van geleverde prestaties.
4. Uitvoerende, stilstaande professional: deze vorm van PM kent een sterke hiërarchische,
top-down inrichting. Het management controleert veel en focust op het nastreven van
het doel van de organisatie wat het management voor ogen heeft. De publieke professional voert het primaire proces uit en probeert, waar mogelijk, voor eigen gewin te presteren. Echter is dit door de hoge mate van controle nauwelijks mogelijk. Het gebrek aan professionele waarden bij professionals zal er daarentegen voor zorgen dat professionals niet willen leren, en daarom ook dat er geen prestatieverbeteringen zullen optreden. Daarnaast verliest dit PM systeem zelf door de grote focus op controle het lerende vermogen dat een PM systeem kan hebben uit het oog. Ook hierdoor zal de professional over een tijdsperiode weinig leren en zullen zijn prestaties ook niet verbeteren. Vandaar dat dit getypeerd kan worden als een ‘uitvoerende, stilstaande’ professional.
3. Methoden en technieken
Uit de theoretische en empirische inzichten blijkt dat PM systemen in verschillende sectoren onbedoelde effecten met zich meebrengen. Vaak gaat het ook om onvoorziene, negatieve effecten op prestaties en dit is onwenselijk voor de functionaliteit van organisaties binnen deze sectoren. Het is daarom van belang om verder onderzoek te verrichten naar hoe deze effecten tot stand komen en prestaties kunnen verminderen binnen publieke PM systemen. Echter, uit de onderzochten inzichten blijkt ook dat PM ook positieve effecten op prestaties kan hebben. Ook hoe deze effecten tot stand komen zal worden onderzocht.
In dit hoofdstuk wordt er verantwoord voor welk onderzoeksontwerp en welke bijbehorende methoden en technieken er gekozen wordt om dit te onderzoeken. Vervolgens zullen de centrale concepten in dit onderzoek geoperationaliseerd worden. In de derde paragraaf wordt de keuze voor DBC systemen als casus verantwoord. In de laatste paragraaf wordt er beargumenteerd hoe dit ontwerp zal resulteren in een betrouwbaar en valide onderzoek.
Ten slotte is het van belang om te noemen dat vanwege de wereldwijde uitbraak van coronavirus het niet mogelijk was om op bepaalde manieren primaire data te verzamelen, waar
dit wel een waardevolle toevoeging geweest had kunnen zijn. Dit zal verder worden toegelicht in §3.2 over onderzoekstechnieken en dataverzameling.
3.1 Onderzoeksontwerp
De effecten in die in het theoretisch kader beschreven zijn slaan veel op gedragsverandering van professionals. Deze effecten zijn het gevolg van dat deze professionals werken bij organisaties waar PM gebruikt wordt. Dit is dan ook de causale relatie waar dit onderzoek zich op focust, het effect van PM systemen (onafhankelijke variabele) op de prestaties van publieke professionals (afhankelijke variabele). Omdat gedragsfactoren vaak ten grondslag liggen aan een verandering in prestaties, impliceert dit dat deze effecten het best te onderzoeken zijn via een kwalitatieve methode. Dit omdat gedrag moeilijk meetbaar kan zijn aan de hand van kwantitatieve methoden. Gedrag of gedragsveranderingen zijn namelijk lastig uit te drukken in getallen, zeker zonder een uitleg of interpretatie van deze getallen. Hier wordt in dit onderzoek dan ook een kwalitatieve methode gekozen (Punch, 2016: 78). Wel zal deze methode ook kwantitatieve kenmerken hebben. Dit komt omdat een van de speerpunten van PM is dat er meer focus op de efficiëntie van een organisatie of sector komt te liggen. Een verandering in efficiëntie, of prestatie, is dan wel te meten in (financiële) waarden, en hier zal dus ook gebruik van worden gemaakt in de analyse. Omdat hier dan ook in minimale mate gebruikt wordt gemaakt van kwantitatieve methodiek wordt er in strikte zin gesproken van ‘mixed methods’ (Punch, 2016: 78)
Uit de uitgelichte theorie blijkt dat de verandering of vermindering van prestaties vaak sterk afhankelijk is van de context waarin deze professionals werken of hoe PM geïmplementeerd en gebruikt wordt. Om deze reden wordt hier gebruik gemaakt van een ‘case
study’. Zo kan worden onderzocht welke factoren in de praktijk, verschillende effecten kunnen
veroorzaken (Punch, 2016: 81). Nu is de term case study tegenwoordig geen eenduidige definitie meer voor een onderzoeksdesign (Gerring, 2004: 341-342). Daarom is het van belang om deze definitie voor dit onderzoek te geven: ‘een intensief onderzoek naar een bepaald, specifiek fenomeen om zodanig inzicht te vergaren om meer te weten te komen over meerdere, grotere fenomenen’ (Gerring, 2004: 342). Het specifieke fenomeen hier kan worden gezien als het effect van DBC systemen op zorgprofessionals. Het is van belang om te noemen dat er niet een enkel DBC systeem zal worden onderzocht. Omdat er documenten uit verschillende (nationale) zorgsectoren zullen worden onderzocht bestaan er verschillen in de te onderzoeken casus. Het draait hier om sociale, culturele en politieke factoren die tussen landen verschillen.
Om deze reden wordt het onderzoeksdesign verder gespecificeerd en een ‘cross-sectional case
study’ genoemd (Gerring, 2004: 343). Verschillen in deze specifieke factoren kunnen bruikbaar
zijn om de rol van de context te verklaren, mede daarom wordt er voor dit design gekozen.
3.2 Onderzoekstechnieken en dataverzameling
Om een passende onderzoekstechniek te selecteren is het van belang om te onderscheiden welk fenomeen er onderzocht, en welk fenomeen er daadwerkelijk geobserveerd zal worden. De zogenaamde ‘unit of observation’, is hetgeen wat daadwerkelijk geobserveerd wordt (Sedgwick, 2014: 1). In dit onderzoek zal dit het effect van DBC systemen op de prestaties van zorgprofessionals zijn. Het grote fenomeen hier is het effect van PM op prestaties van professionals in de publieke sector. Dit is de zogenaamde ‘unit of analysis’, het fenomeen waar een conclusie over getrokken zal worden en te onderzoeken causaliteit (Sedgwick, 2014: 1). Het is van belang dit onderscheid te maken zodat het doel van het onderzoek niet uit het oog verloren wordt.
Zowel hetgeen wat er geobserveerd en hetgeen dat geanalyseerd wordt draait om een causale relatie in een (vooral) kwalitatieve onderzoeksopzet. Een geschikte onderzoekstechniek om deze causaliteit te onderzoeken wordt ‘Causal Process Tracing’ (CPT) genoemd (Kay & Baker, 2015). CPT is een techniek waarbij in case studies er tussen diverse elementen van de casus een causale link gelegd wordt, door pad afhankelijke processen te interpreteren en analyseren (Kay & Baker, 2015: 2). Door processen op deze wijze in een casus te rangschikken wordt duidelijk hoe elementen elkaar opvolgen en hoe de causaliteit in deze casus werkt. Deze techniek is vooral voordelig in sociale, maatschappelijke casus. Dit omdat de complexiteit en onvoorziene factoren in deze casus niet na te bootsen zijn in experimentele settingen (Kay & Baker, 2015: 2-3). Ook de casus van DBC systemen kan worden gezien als een dergelijke complexe setting die moeilijk na te bootsen is. In grote lijnen bestaat CPT uit drie stappen:
1. Het analyseren van bestaande theorieën over het fenomeen dat onderzocht zal worden, met bijbehorende causale mechanismen (Kay & Baker, 2015: 11). Na het bestuderen van de theorieën zet de onderzoeker belangrijke variabelen uiteen en vormt de onderzoeker een verwachting over wat het resultaat van zijn eigen onderzoek zal zijn (Kay & Baker, 2015: 12).
2. Het verzamelen van data of bewijs om de verwachtingen te toetsen (Kay & Baker, 2015: 12). Hier is het van belang om de gevonden data zo te verzamelen zodat deze in lijn loopt met de eerder bestudeerde theorieën (Kay & Baker, 2015: 12). Data zal worden verzameld via documentanalyse. Documenten die verzameld kunnen worden zijn: jaarverslagen, rapportages, eerdere onderzoeken, prestatierapporten of eerder afgenomen interviews.
3. Toetsing van de verwachtingen. Hier wordt onderzocht of de data inderdaad in lijn lopen met de verwachtingen gebaseerd op eerdere theorieën (Kay & Baker, 2015: 15). Allereerst dient er te worden vastgesteld of de onafhankelijke en afhankelijke variabelen beiden in de data gevonden worden. Vervolgens dient te worden vastgesteld in hoeverre er sprake is van causale mechanismen tussen beiden variabelen (Kay & Baker, 2015: 15).
Naast dat CPT een geschikte techniek is om te gebruiken bij een case study is een ander voordeel dat de techniek zeer geschikt is om causaliteiten op kwalitatieve wijze vast te stellen, of te verwerpen (Kay & Baker, 2015: 3). Zeker in sociaal of beleidsmatig onderzoek is er vaak sprake van een ‘black box’ probleem. Dit houdt in dat onderzoek wel vaststelt dat een bepaalde onafhankelijke variabele een effect heeft op een afhankelijke variabele. Echter wordt er vaak niet duidelijk waarom dit effect er bestaat en of er andere interveniërende variabelen hier ook een rol in spelen, dus er is een black box. Toepassing van CPT kan deze box juist openen en de gevonden causaliteit inzichtelijker maken (Kay & Baker, 2015: 3). Ook omdat dit onderzoek zich in een beleidsmatige context (zorgsectoren) uitgevoerd wordt is dit een reden om CPT te gebruiken.
Een grote limitatie van CPT is dat de getrokken conclusies over causaliteiten in de casus slecht beperkt te generaliseren zullen zijn omdat deze causaliteiten specifiek voor de casus zijn (Kay & Baker, 2015: 5). Door deze te vergelijken met andere case studies zijn ze daarentegen wel waardevol. Dit omdat meerdere onderzoeken met gelijke resultaten weer kunnen leiden tot nieuwe theoretische inzichten (Kay & Baker, 2015: 5).
Naast CPT is er geen gebruik gemaakt van aanvullende onderzoekstechnieken om empirische data uit het onderzoeksveld te verzamelen. Een onderzoekstechniek die bijvoorbeeld aanvullende, bruikbare data had kunnen opleveren is het afnemen van interviews onder zorgprofessionals. Echter, vanwege de veiligheidsmaatregelen getroffen om het coronavirus in te dammen is het in deze periode niet mogelijk om op dergelijke manieren
aanvullende data te verzamelen. Dit komt mede doordat dit onderzoek zich focust op de zorgsector, waar momenteel veel extra werk geleverd moet worden om het virus in te dammen. Dit neemt niet weg dat dit een nuttig onderzoek is om verder uit te voeren aan de hand van CPT. Deze techniek maakt het mogelijk om causale mechanismen verder bloot te leggen aan de hand van het analyseren van gebeurtenissen in andere onderzoeken. Door deze gebeurtenissen gebundeld te analyseren kan er inzicht worden verkregen of er grote verschillen of overeenkomsten te vinden zijn. Dit kan zeker in het geval van PM, of andere sociale en bestuurlijke contexten nieuwe inzichten opleveren. Eerder werd ook de belangrijke rol van de context benoemd in of PM systemen leiden tot prestatieverbetering (Van Dooren, 2011: 423; De Bruijn, 2006: 25). Wanneer dergelijke inzichten gevonden worden kan dit een aanleiding zijn voor aanvullende onderzoeken, waar deze inzichten in het veld getest worden.
3.3 Operationalisering van de vier PM typen
In de onderstaande tabel zijn de vier PM typen geoperationaliseerd. Dit houdt in dat er meetbare indicatoren gekoppeld zijn aan de vier typen, zodat deze geobserveerd kunnen worden in het onderzoek. Deze operationalisering is uitgevoerd op de wijze zoals Adcock & Collier (2001) deze beschrijven. Allereerst zijn deze PM typen gedefinieerd zoals door andere (groepen) wetenschappers wordt gedaan, zichtbaar in het theoretisch kader (§2.6). Vervolgens zijn deze concepten voorzien van een aantal meetbare indicatoren. De meetbaarheid draait hier zowel om kwantitatieve, numerieke scores als kwalitatieve kwalificaties die als scores gelden (Adcock & Collier, 2001: 531). Dit maakt het mogelijk om te analyseren op welke schaal bepaalde concepten of effecten voorkomen in de casus. Deze operationalisering is weergeven in tabel 1.
Tabel 1: de typologie van PM geoperationaliseerd.
Type PM Indicatoren
Presterende, lerende professional
• Prestaties zijn verbeterd na invoering PM systeem (en blijven verbeteren)
• Innovatie
• PM focust op leren, gebruik van prestatie informatie om progressie te boeken
• Professional krijgt het vertrouwen en de ruimte om eigen deskundigheid in te zetten
