Amsterdam Business School
Het verhogen van de effectiviteit en de efficiëntie in de publieke
sector door middel van prestatiemanagement
Naam: Ciska Bakker Studentnummer: 10908218
Begeleider: prof.dr. D.M. Swagerman Datum: 30 januari 2017
Aantal woorden: 16137
MSc Accountancy en Control, specialisatie Accountancy en Control Faculteit: Economics and Business, University of Amsterdam
Statement of Originality
This document is written by student Ciska Bakker who declares to take full responsibility for the contents of this document.
I declare that the text and the work presented in this document is original and that no sources other than those mentioned in the text and its references have been used in creating it.
The Faculty of Economics and Business is responsible solely for the supervision of completion of the work, not for the contents.
Abstract
Nederland staat onder druk om met steeds minder middelen effectievere en efficiëntere diensten te verlenen. Uit onderzoeken is gebleken dat prestatiemanagement de effectiviteit en de efficiëntie van een organisatie kan verhogen. De volgende onderzoeksvraag wordt in deze scriptie behandeld:
Wat zijn de onderliggende factoren en overwegingen van prestatiemanagement die de
effectiviteit en de efficiëntie in de publieke sector doen verhogen?
In de private sector is het doel van de organisatie eenvoudig vast te stellen en om te zetten naar financiële prestatie-indicatoren. In de publieke sector is het doel echter niet zo eenvoudig vast te stellen en vergt hierom meer aandacht. De publieke sector heeft specifieke problemen omtrent management control die niet worden gevonden in de private sector. Ondanks vele onderzoeken is er nog steeds geen grip op het proces om een prestatiemeetsysteem naar operationeel gebruik te brengen binnen de publieke sector. In dit onderzoek wordt geprobeerd grip te krijgen op dit proces door de factoren en overwegingen van prestatiemanagement in kaart te brengen die de effectiviteit en de efficiëntie verhogen.
Het onderzoek is uitgevoerd door middel van een meervoudige casestudie. De data bestaat uit interviews en documenten die zijn verzameld bij vier organisaties. In dit onderzoek bestaat het risico van interne validiteit dat als mogelijk gevolg heeft dat een incorrecte causale relatie wordt gevonden. Het risico van interne validiteit is in het onderzoek beperkt middels ‘cross reference’. In dit onderzoek is tevens het risico van externe validiteit van toepassing, omdat de bevindingen uiteindelijk lastig te generaliseren zijn.
Aan de hand van proposities, die zijn gedefinieerd met behulp van de literatuur, is de data geanalyseerd. Voor het analyseren van de data is de codeertechniek van Neale (2016) en ‘the grouned theory’ gehanteerd. Door vergelijkingen te zoeken in de data van de vier casus, zijn de bevindingen tot stand gekomen.
De volgende bevindingen zijn gevonden in het onderzoek:
- Prestatiemanagement wordt opgezet vanuit de strategie en veelal vanuit een strategische visie. De organisaties zetten prestatiemanagement voornamelijk op vanuit de structuur en cultuur, waardoor grote verschillen zichtbaar zijn in de opzet. Vanuit de strategische visie worden doelen vastgesteld en gekoppeld aan KPI’s. Vanuit de theorie zouden de KPI’s gekoppeld moeten worden aan targets. Voor de organisaties is het niet
mogelijk de mate van invloed van omgevingsfactoren vast te stellen, waardoor het definiëren van targets niet altijd als zinvol wordt ervaren. Uit het onderzoek blijkt dat de publieke sector vrijwel niet beloond op het behalen van targets.
- Het is een toegevoegde waarde om gebruik te maken van kwalitatieve gegevens naast de kwantitatieve gegevens.
- Het is een toegevoegde waarde om stuurinformatie te integreren met verantwoordingsinformatie. In de publieke sector wordt echter niet constant gestuurd op de resultaten, maar wordt gedurende het jaar gevraagd om een tussentijdse rapportage. In de publieke sector wordt prestatiemanagement niet ingezet als een continu proces om de prestaties te meten en te identificeren.
- In de publieke sector bepaalt het bestuur, in samenspraak met de werknemers, de richtlijnen van prestatiemanagement.
De belangrijkste conclusie die het onderzoek levert is het belang om de inrichting van prestatiemanagement aan te sluiten op de typologie van de organisatie.
Inhoudsopgave
Abstract ... 3
1 Introductie ... 7
Aanleiding ... 7
Onderzoeksvraag ... 8
Relevantie van het onderzoek ... 8
Leeswijzer ... 9 2 Literatuuronderzoek ... 10 Prestatiemanagement ... 10 2.1.1 Definitie prestatiemanagement ... 10 2.1.2 Doel prestatiemanagement ... 11 2.1.3 Implementatie prestatiemanagement ... 11 2.1.4 Theoretische raamwerken ... 12
2.1.5 Het meten van prestaties ... 14
De publieke sector ... 15
2.2.1 De publieke sector ... 15
2.2.2 Werknemers publieke sector ... 15
2.2.3 Doelen publieke sector ... 16
Prestatiemanagement in de publieke sector ... 18
2.3.1 Prestatiemanagement publieke sector ... 18
2.3.2 Problemen prestatiemanagement publieke sector ... 19
2.3.3 Implementatie prestatiemanagement publieke sector ... 19
2.3.4 Benchmarking ... 21
3 Methodologie ... 23
Onderzoeksopzet ... 24
Data verzamelen ... 25
Case selectie ... 25
Data-analyse ... 26
4 Data-analyse... 29
Implementatie van prestatiemanagement ... 29
De opzet ... 29
Ferreira en Otley ... 30
Kwalitatieve metingen ... 32
Financiële en niet-financiële KPI’s ... 32
De metingen ... 32
Belonen van werknemers ... 33
4.7.1 Evaluatie werknemers ... 33 4.7.2 Beloningen ... 34 Definiëren output ... 35 Stuurinformatie en verantwoordingsinformatie ... 36 De richtlijnen bepalen ... 37 Effectiviteit en de efficiëntie ... 38 5 Discussie ... 40 6 Conclusie ... 44
Bijlage 1 – Het interviewprotocol ... 46
Bijlage 2 – Casus ... 47
1 Introductie
Aanleiding
‘Aanvankelijk stond de doelstelling op de voorgrond, terwijl in het economisch handelen het specifieke economische zit’ (Hennipman, 1945, pp 51). In deze uitspraak geeft Hennipman
(1945) aan dat het bereiken van het doel een kenmerk is van het economisch handelen (effectiviteit). Daarnaast geeft hij aan dat economisch handelen een bepaalde wijze is van het omgaan met beschikbare middelen (efficiëntie). Visser (2015) stelt dat de publieke sector in Nederland onder druk staat om effectiever en efficiënter diensten te verlenen, transparanter te worden en meer verantwoording te geven over de administratieve processen. Door de druk om met minder middelen betere dienstverlening te verstrekken is een trend ontstaan voor een bedrijfsmatige aansturing en kwantitatieve metingen (Visser, 2015). Uit de onderzoeken van Bouckaert (2006) en Balaboniene en Vecerskiene (2015) is gebleken dat het verhogen van de effectiviteit en de efficiëntie bereikt kan worden door middel van prestatiemanagement. Ondanks de vele onderzoeken is er nog steeds geen grip op het proces om een prestatiemeetsysteem naar operationeel te brengen in de publieke sector (Arnaboldi en Azzone, 2010). In deze thesis wordt onderzoek gedaan naar het verhogen van de effectiviteit en de efficiëntie binnen de publieke sector.
‘Streven naar winst’ is de motivatie van de private sector. Dit doel is eenvoudig om te zetten naar financiële prestatie-indicatoren en de daarbij horende metingen. De resultaten van de organisaties in de private sector kunnen vergeleken worden op basis van winst. In de publieke sector is het doel echter niet zo eenvoudig vast te stellen en vergt hierom meer aandacht. De publieke sector heeft specifieke problemen omtrent management control die niet worden gevonden in de private sector. Voorbeelden hiervan zijn: het is lastig vast te stellen wat de output en de doelen van de organisatie zijn, het is moeilijk de output te meten en te interpreteren. Ondanks dat deze belemmeringen prestatiemanagement in de publieke sector lastig maken, is het gebruik van prestatie-indicatoren in de publieke sector wel degelijk toegenomen (Smith, 1993) en een bepalend kenmerk geworden van de moderne overheid (Bouckaert en Halligan, 2006). Het verschil in prestatiemanagement tussen de private sector en de publieke sector zit voornamelijk in benchmarking. Benchmarking is een standaard of een punt waarop organisaties vergeleken kunnen worden (Keehley en Abercrombie, 2008).
Het gebruik van prestatiemanagement houdt in dat een continu proces wordt ingezet om prestaties te identificeren en te meten (Biron e.a., 2011). Prestatiemanagement wordt gebruikt om de inzet van werknemers te verbeteren, maar niet zozeer het doel te verhelderen. Prestatie en prestatiemanagement blijven daarom raadselachtige concepten. Voornamelijk de mislukking omtrent de integratie van prestaties en prestatiemanagement binnen een organisatie is beperkt binnen de theorie. De acceptatie van prestatiemanagement blijft echter groeien, ondanks de onduidelijkheden (Bouckaert en Halligan, 2006). De laatste jaren is de belangstelling rondom prestatiemanagement vooral gegroeid door de constante druk op managers, om de prestaties in de organisatie te verbeteren (Biron e.a., 2011).
Onderzoeksvraag
Gezien de specifieke problematiek in de publieke sector, voornamelijk het lastig vast te stellen van het doel, is het de vraag of prestatiemanagement in de publieke sector wel zinvol is om te implementeren. Bakker (2007) heeft geconstateerd dat in de publieke sector wel degelijk wordt gewerkt met prestatiemanagement. Het proces van prestatiemanagement wordt echter niet zo uitgebreid doorlopen, zoals in de literatuurstudie wordt benoemd. In dit onderzoek wordt gezocht naar de factoren binnen prestatiemanagement die de effectiviteit en de efficiëntie verhogen. De volgende probleemstelling komt hieruit naar voren:
Wat zijn de onderliggende factoren en overwegingen van prestatiemanagement die de effectiviteit en de efficiëntie in de publieke sector doen verhogen?
De probleemstelling leidt tot de volgende topische vragen: - Wat houdt prestatiemanagement in?
- Hoe worden de doelen gemeten en vergeleken in de publieke sector?
- Welke stappen moeten gezet worden om prestatiemanagement te implementeren? - Wat zijn de overwegingen die worden genomen tijdens de implementatiefase? - Welke factoren in prestatiemanagement verhogen effectiviteit en de efficiëntie?
Om bovenstaande topische vragen te beantwoorden wordt gesteund op literatuurstudie en empirisch onderzoek. Door onderzoek te doen middels topische vragen ontstaat een afbakeningsprobleem.
Relevantie van het onderzoek
doel van dit onderzoek is echter het ontwikkelen van een theorie, waardoor literatuur wordt uitgebreid in plaats van bevestigd. Daarnaast stellen Arnaboldi en Azzone (2010) dat er nog geen grip is op het proces van prestatiemeetsysteem naar operationeel gebruik. Het doel van dit onderzoek is om grip te krijgen op dit proces door de achterliggende factoren te belichten die de effectiviteit en de efficiëntie doen verhogen.
Leeswijzer
In dit onderzoek wordt gezocht naar de overwegingen die door de organisaties zijn genomen tijdens de implementatiefase van prestatiemanagement middels een ‘wat’ vraag. Deze vraag kan volgens Yin (2009) het beste worden uitgevoerd door middel van een casestudie. Het onderzoek is hierom ingericht conform de criteria van Yin (2009) voor een casestudie. Yin (2009) stelt dat vijf componenten van belang zijn voor het uitvoeren van een casestudie, namelijk: het vaststellen van een onderzoeksvraag, het vaststellen van de proposities, de data-analyse, het koppelen van data aan de proposities en de criteria voor het interpreteren van de bevindingen.
In hoofdstuk twee wordt het theoretisch kader behandeld. In het hoofdstuk wordt ingezoomd op de theorie rondom prestatiemanagement, de publieke sector en een combinatie hiervan. Ten eerste wordt uitgelegd wat prestatiemanagement inhoudt. Vervolgens wordt het doel van prestatiemanagement weergegeven en worden een aantal theoretische modellen uiteengezet. Daarnaast wordt uitgelegd wat de publieke sector inhoudt en wat het doel is van de publieke sector. Ter afsluiting van het theoretisch kader worden criteria genoemd voor de implementatie van prestatiemanagement in de publieke sector. Op basis van deze theorie worden proposities geformuleerd die direct gekoppeld zijn aan de scope van het onderzoek. Vervolgens komt in hoofdstuk drie de methode aan de orde waarmee de topische vragen worden beantwoord. In hoofdstuk vier komen de resultaten van het onderzoek naar voren. De conclusies worden gegeneraliseerd aan de hand van de proposities, waardoor een bijdrage wordt geleverd aan de wetenschap.
2 Literatuuronderzoek
Dit hoofdstuk geeft een beschrijving van het begrip prestatiemanagement. Daarna worden de doelen van de publieke sector omschreven en in verband gebracht met prestatiemanagement. Vervolgens wordt de implementatie van prestatiemanagement in de publieke sector omschreven en worden de knelpunten in dit proces aangegeven. Op basis van de theorie, worden de proposities ontwikkeld. In dit hoofdstuk wordt de volgende topische vraag beantwoord: ‘Wat houdt prestatiemanagement in’, ‘Hoe worden de doelen gemeten en
vergeleken in de publieke sector?’ en ‘Welke stappen moeten gezet worden om prestatiemanagement te implementeren?’
Prestatiemanagement
2.1.1 Definitie prestatiemanagement
De Waal (2003, pp 91) geeft de volgende definitie van prestatiemanagement:
‘prestatiemanagement is een proces waarin sturing van de organisatie tot stand komt door eerst missie, strategie en doelstellingen van de organisatie te bepalen en deze vervolgens systematisch te vertalen naar de onderliggende organisatieniveaus. De organisatiedoelstellingen worden in dit proces meetbaar gemaakt met behulp van kritische succesfactoren (KSF) en prestatie-indicatoren (PI)’.
De laatste jaren is de druk op managers om de prestaties binnen de organisatie flink toegenomen. Om deze reden is het gebruik van prestatiemanagement in de private- en publieke sector toegenomen. Volgens Biron e.a. (2011) kan prestatiemanagement worden omschreven als een scala van activiteiten in een organisatie die zich bezighouden met het verbeteren van prestaties van individuen en eenheden om uiteindelijk de effectiviteit van de organisatie te verbeteren. Daarnaast geeft prestatiemanagement een overzicht van ontwikkelingen die de organisatie en het beleid beïnvloedt (Bouckaert, 2006).
Het gebruik van prestatiemanagement houdt in dat een continu proces wordt ingezet om prestaties te identificeren en te meten. Het is van belang dat prestatiemanagement wordt afgestemd op het strategische doel van de organisatie. Alleen dan is het nuttig de ontwikkeling in de prestaties van medewerkers te meten (Biron e.a., 2011). De prestaties van medewerkers worden gemeten aan de hand van prestatie-indicatoren. De keuze van de prestatie-indicatoren is een van de meest uitdagende taken voor organisaties. Het systeem speelt een centrale rol in
de ontwikkeling van strategische plannen, evaluatie van de doelen van de organisatie en het belonen van de managers (Ittner en Larcker, 1998).
2.1.2 Doel prestatiemanagement
Het doel van prestatiemanagement is om de strategie van de organisatie te implementeren (Anthony en Govindarajan, 2007). Prestatiemanagement kan daarnaast nog de volgende diverse doelen hebben, namelijk: het verbeteren van de prestaties van de werknemers, de verwachtingen van het management naar de werknemers communiceren, het begeleiden van de werknemers, het maken van een beslissing om een bepaalde werknemer een promotie te geven, het motiveren van de werknemers, het beoordelen van een werknemer, het identificeren van opleidingsbehoefte (die werknemers helpen naar carrière doelen), het verbeteren van de werkrelaties, het maken van beslissingen over ontslag en opzegging, het assisteren bij een meerjarenplanning en het controleren van vastgestelde procedures (Furnham, 2004). Dit allen leidt uiteindelijk tot verhoging van effectiviteit en efficiëntie (Arnaboldi en Azzone, 2010).
Hennipman (1945) stelt dat doelmatigheid het kenmerk is van het economisch handelen. Het economisch handelen is een dienende functie van het bereiken van het doel. Indien organisaties een optimaal resultaat als doel hebben, kan het economisch handelen worden gezien als zuinig omgaan met middelen, het onderzoek naar offer en nut, het bepalen van opbrengsten en kosten en werken volgens een plan. Deze aanpak beslist echter niet over de doelmatigheid van handelen en wil niet zeggen dat het doel daadwerkelijk wordt bereikt. De doelmatigheid is bij deze aanpak het gevolg van economisch handelen. Organisaties kunnen echter ook overwegen om het doel te karakteriseren vanuit het economisch handelen. In de eerste aanpak ligt het zwaartepunt bij de doelstelling en bij de tweede aanpak ligt het zwaartepunt bij het economisch handelen.
2.1.3 Implementatie prestatiemanagement
De implementatie van prestatiemanagement omvat vier algemene stappen. Ten eerste wordt de strategie gedefinieerd. De strategie dient gelinkt te worden aan de operationele acties. In deze fase is het van belang dat de doelen helder worden geformuleerd en targets worden ontwikkeld. Ten tweede worden de maatstaven ontwikkeld om de strategie te ondersteunen. Hierbij is het van belang dat het management enkel de cruciale maatstaven gebuikt en niet te veel meet. Ten derde moeten de doelen en maatstaven worden geïntegreerd met de structuur en de cultuur van de organisatie. Ten vierde moeten de maatstaven consequent worden beoordeeld door het management (Anthony en Govindarajan, 2007).
2.1.4 Theoretische raamwerken
Enige jaren geleden ontstond kritiek op management accounting en werd erkend dat traditionele financiële indicatoren te laat worden gemeten en te veel op elkaar lijken. Daarnaast zijn het slechte factoren voor klanten, levering en snelheid. Om deze reden zijn diverse multidimensionale prestatiemeetsystemen (PMS) ontwikkeld, zoals de Balanced Scorecard (Brignall en Modell, 2000) en ‘the performance management systems framework’ (PMSs) Ferreira en Otley (2009). Prestatiemanagement is onderdeel van het management control systeem. Het management control systeem zorgt ervoor dat het gedrag en de handelingen van het personeel in lijn is met de doelen en de strategie van de organisatie. Het management control systeem verzamelt informatie voor planning, control en prestatie-evaluatie (Ngluyen, Mia, Winata en Chong, 2017).
Het management controle systeem genaamd ‘Levers of Control’ is ontwikkeld door Simons en heeft grote impact gehad op de literatuur. Het model bestaat uit vier perspectieven, namelijk het belief system, boundary system, diagnostic control system en interactive control system (Otley en Tessier, 2012). De strategie staat centraal binnen het management control systeem. Volgens Simons kan een organisatie door het hanteren van dit model de strategie effectief implementeren. Het management control systeem is volgens Simons te gebruiken om verwachtingen omtrent prestaties te communiceren en te structureren. Hij classificeert het diagnostic control system en het interactive control system als aandachtsgebieden voor PMS (Otley en Tessier, 2012). De theorie van Simons stelt dat de strategie van de organisatie, de basis vormt van PMS. Tot op heden wordt op het model van Simons gereageerd in de literatuur. In 2016 is door Kruis, Speklé, en Widener geconstateerd dat meerdere combinaties van de levers een balans kan creëren binnen een organisatie. Zij stellen dat balans meerdere betekenissen kan hebben voor een organisatie en dat de balans op verschillende manieren kan worden bereikt door de verschillende afdelingen heen (Kruis, Speklé en Widener, 2016).
Ferreira en Otley (2009) hebben een raamwerk voor PMS ontwikkeld op basis van de lever ‘diagnosic control systeem’ uit het management control systeem van Simons. Zij stellen dat prestatiemanagement begint met het vaststellen van een missie en een visie. Daarna wordt het PMSs afgesteld op de organisatiestructuur. Vervolgens dient de organisatie de strategie en plannen helder te hebben, zodat de processen hierop afgesteld kunnen worden. Indien de organisatie de doelen helder voor ogen heeft, worden de KPI’s vastgesteld. Per KPI wordt een target bedacht. Het target dient te zijn afgestemd op de organisatiedoelen. Indien het target
moeten evalueren om de prestaties bij te houden. Om de werknemers te motiveren de targets te halen, dient een systeem te worden opgezet om de werknemers te belonen bij het behalen van het target. Figuur twee toont het model van Ferreira en Otley (2009). Het figuur laat zien welke stappen een organisatie moet zetten om prestatiemanagement op te zetten in een organisatie.
Figuur 1: The performance measurement framework
In het figuur is zichtbaar dat vier stappen van belang zijn om de acht bovengenoemde stappen te integreren binnen de organisatie en te onderhouden. Het vastleggen van informatiestromen, systemen en netwerken is essentieel voor de samenhang van het gehele systeem. Informatie geeft bijvoorbeeld een sein af om bepaalde acties te ondernemen om prestaties te verbeteren. Tevens is het aanpassen van het model op de veranderingen in de omgeving en/of organisatie van belang om het model te blijven gebruiken.
Naast PMSs is de Balanced Scorecard een PMS die veel genoemd wordt in de literatuur. Het model houdt naast de financiële metingen ook rekening met klanten, processen en werknemers (Kaplan en Norton, 1996). De Balanced scorecard brengt een balans in de verschillende doelen van een organisatie om doel congruentie te bereiken. Volgens deze methode worden doelen en metingen op vanuit vier perspectieven vastgesteld, namelijk: financieel, klanten, processen en
Propositie 1: Het implementeren van prestatiemanagement aan de hand van de stappen genoemd in ‘The performance measurement framework’ leidt tot hogere effectiviteit en efficiëntie.
innovatie/leren. Het model helpt een organisatie de focus op de strategie te houden (centraal binnen de Balanced Scorecard), de communicatie te verbeteren, organisatie doelen te benoemen en biedt feedback mogelijkheden op de strategie (Anthony en Govindarajan, 2007). De Balanced Scorecard wordt regelmatig gebruikt in de publieke sector over de hele wereld (Bovaird, 2009).
2.1.5 Het meten van prestaties
Het vaststellen van prestatie-indicatoren is een goed hulpmiddel om prestaties te meten. Een prestatie-indicator kan worden omschreven als een instrument om een kenmerk van een resultaat te meten. Prestatie-indicatoren worden gelinkt aan de volgende kenmerken van prestaties:
- Logistieke aspecten (bijvoorbeeld plaats, tijd en hoeveelheid); - Offer-aspect (voornamelijk capaciteit en geld);
- Kwaliteitsaspect (specificaties en productwaardering).
Het meten van een prestatie is nuttig voor de beheersing en/of de besturing van een organisatie (Reijerse en Woldendorp, 2000). Volgens Anthony en Govindarajan (2007) moeten prestaties geëvalueerd worden door meerdere maatstaven per manager te hanteren. Deze maatstaven worden key performance indicators (KPI’s) genoemd. Organisaties gebruiken voornamelijk financiële maatstaven voor de hogere levels van de organisatie en niet-financiële maatstaven voor de lagere levels van de organisatie. Echter is een mix van financiële en niet-financiële maatstaven nodig in alle lagen van een organisatie. Deze mix van KPI’s is terug te zien in de Balanced Scorecard. Een geschikte meting moet aan twee eisen voldoen, namelijk: het dient metrisch te zijn (interval of een ratio) en het dient in redelijke mate foutloos te zijn. Volgens de literatuur voldoet een ordinale schaal (van nul tot tien) hier niet aan. In de praktijk dient een meting meerdere malen te worden uitgevoerd om de betrouwbaarheid van de uitkomst te waarborgen. Echter blijft de betrouwbaarheid van metingen op een ordinale schaal gelimiteerd (Junge en Reisenzein, 2013).
Propositie 2: Het uitvoeren van metingen met kwalitatieve variabelen hebben een positief effect op de betrouwbaarheid van de uitkomst. De stuurmogelijkheden op de uitkomsten worden hoger, waardoor de effectiviteit en de efficiëntie wordt verhoogd.
De publieke sector
2.2.1 De publieke sector
Balaboniene en Vecerskiene (2015, pp 315) geven twee definities van de publieke sector. Ten eerste geven zij aan dat de publieke sector een instelling is die wordt ondersteund vanuit de overheid en gemeentelijke budgetten, waardoor de activiteiten openbaar zijn (informatie uit de activiteiten in beschikbaar voor het publiek). De publieke sector heeft goederen die onder geen enkele vorm van concurrentie zijn ondervonden. Ten tweede geven zij aan dat de publieke sector moet worden opgevat als ‘het systeem van organisaties die staatsmiddelen beheren en
gebruiken’. Bovaird (2009) stelt dat de publieke sector een gezaghebber is van collectieve
activiteiten en doelen. Zij hebben de verantwoordelijkheid voor het scheppen van een samenleving als politieke eenheid die samen keuzes maken. Volgens Goulet en Frank (2002) bestaat de publieke sector om de burger en de maatschappij van dienst te zijn. De publieke sector verschilt van non-profit en profit organisaties in de missie en benadering. De publieke sector hanteert hierom een andere management discipline dan de private sector. Goulet en Frank (2002) stellen dat er diverse raamwerken zijn ontwikkeld in de literatuur om de verschillen tussen de publieke en private sector te achterhalen. Ten eerste bestaat de generieke benadering waarin centraal staat dat er geen verschillen zijn tussen de waarde en functies binnen de publieke en de private sector. Ten tweede bestaat de ‘core approach’ die suggereert dat de sectoren in basis gelijk zijn, maar er zijn wel fundamentele verschillen. Ten derde bestaat de dimensionale benadering die aangeeft dat de managementbenadering in een organisatie in een publieke sector, de organisatie op diverse manieren beïnvloedt.
Een groot verschil tussen de publieke en de private sector zit in het eigenaarschap. De eigenaren van organisaties in de private sector zijn aandeelhouders of ondernemers. In de publieke sector zijn de organisaties eigendom van leden van de politieke gemeenschap. Daarnaast zit een verschil in de aansturing van de organisaties. Een organisatie in de private sector heeft te maken met marktwerking, terwijl een organisatie in de publieke sector voornamelijk wordt aangestuurd door de politiek. Samengevat kan worden gesteld dat de primaire beperking van de publieke sector worden opgelegd door de politiek en niet door de economie (Boyne, 2002).
2.2.2 Werknemers publieke sector
Duxbury e.a. (2006) hebben onderzoek gedaan naar de verschillen in het gedrag van werknemers in de publieke en private sector. Zij hebben onderzoek uitgevoerd op drie
gebieden, namelijk de algemene waarde (prestatie, macht, motivatie etc.), beloningen en veiligheid. Uit het onderzoek is gebleken dat op bovenstaande gebieden de publieke en private sector in beperkte mate van elkaar verschillen. De algemene waarde van de werknemers in de sectoren tonen geen verschillen in het onderzoek. De publieke sector trekt dus niet een ander type werknemer aan dan de private sector. Het onderzoek heeft naast bovenstaande aangetoond dat werknemers in de publieke sector minder betrokkenheid tonen met de doelen van de organisatie dan in de private sector. Dit is terug te vinden in de output van de organisatie door bijvoorbeeld de prestaties van werknemers te evalueren. Goulet en Frank (2002) stellen dat intrinsieke motivators van belang zijn in de publieke sector, maar dat excentrieke motivator cruciaal zijn. Intrinsieke motivators spelen een rol in tevredenheid omtrent de baan van een werknemer. Een excentrieke motivator is bijvoorbeeld salaris en beloningen.
2.2.3 Doelen publieke sector
In de literatuur zijn volgens Boyne (2002) vier verschillen vastgesteld tussen de private en de publieke sector. Deze verschillen zijn zichtbaar in de omgeving, structuur en de doelstellingen van de sectoren. De vier verschillen zijn:
- Complexiteit. Publieke organisatie hebben verschillende belanghebbende, die alle andere eisen stellen aan managers.
- Transparantie. Publieke organisaties hebben een open systeem die gemakkelijk te beïnvloeden is door externe factoren. Het is aan de managers om de externe factoren te bewaken, zodat service wordt geleverd naar het verlangen van burgers.
- Instabiel. De politieke voorwaarden veranderen constant en het is aan de managers om deze veranderingen door te voeren in het beleid.
- Afwezigheid van concurrentie. Organisaties in de publieke sector hebben geen of weinig concurrentie.
In de literatuur wordt gesteld dat de publieke sector kenmerkende doelen heeft. Deze doelen vloeien voort uit het gemeenschappelijke eigendom van de publieke sector (Boyne, 2002). Smith (1993) stelt dat het lastig is om de output van de doelen in publieke sector te definiëren, te meten en te interpreteren.
Propositie 3: Het belonen van werknemers middels salaris en beloningen heeft een positief effect op de prestaties, waardoor de effectiviteit en de efficiëntie wordt verhoogd.
Propositie 4: Het definiëren van de output en het rekening houden met externe invloeden op de output, maakt het makkelijker om de output te meten en te interpreteren, waardoor de effectiviteit en de efficiëntie wordt verhoogd.
De Waal en Jansen (2004) stelt dat de publieke sector een beleidsdoel kan omzetten in een prestatie door te beredeneren hoe output ontstaat door de prestaties in een proces. Voor de overheid is het belangrijk te weten waarom iets werkt (de beleidstheorie). Daarnaast is het van belang regelmatig het beleid te evalueren door maatschappelijke effecten op het beleid na te gaan.
Prestatiemanagement in de publieke sector
2.3.1 Prestatiemanagement publieke sector
In Nederland zijn publieke organisaties onder druk gezet om de effectiviteit en de efficiëntie te verbeteren. Om deze reden gingen publieke organisaties aandacht besteden aan interne processen, zodat zij sneller en beter werden. Daarnaast werd de publieke sector aangespoord transparanter te zijn en verantwoording af te leggen over administratieve processen. Als reactie hierop is de publieke sector meer aandacht gaan besteden aan management control en verantwoording voor geleverde prestaties. De druk die wordt gelegd op de publieke sector komt voort uit New Public Management (NPM) (Visser, 2015). Wegens de verschillen in de private en publieke sector is NPM ontwikkeld (Boyne, 2002). De opkomst van dit model komt voort uit het idee dat bureaucratische organisaties niet efficiënt zijn. NPM stelt voor dat de publieke sector openen wordt en meer invloed krijgt van de private sector. Indien de publieke sector gebruik maakt van NPM kan de efficiëntie worden verhoogd (Christensen en Laegreid, 2011).
Prestatiemanagement is nu voor enige tijd een kwestie van belang voor de overheid. De betekenis van output gaat een steeds grotere rol spelen (Bovaird, 2009). Sinds de reformatie van New Public Management is het PMS gevestigd als een centraal instrument voor het omzetten van ouderwetse overheden naar effectieve en efficiënte organisaties. Er wordt beweerd dat PMS en oplossing biedt voor het probleem van overheidsuitgaven en het verbeteren van de service. Hierbij wordt in het bijzonder nadruk gelegd op het beheer van resultaten en de mogelijkheid om publieke organisaties te meten aan de hand van een in- en outputmodel (Arnaboldi en Azzone, 2010). Volgens Bovaird (2009) wordt de nadruk voornamelijk gelegd op de metingen van het outputmodel.
Volgens Moynihan (2009) wordt prestatie-informatie gebruikt voor vier categorieën, namelijk: doel, passief, averechts en politiek. Het doel van prestatie-informatie betekent dat publieke werknemers de informatie gebruiken om programma’s te verbeteren. Passief betekent dat informatie wordt verzameld, maar vervolgens niet gebruikt om prestaties te verbeteren. Averechts betekent dat managers zo graag de doelen wil behalen dat zij methode ontwikkelingen die in conflict zijn met het verbeteren van het programma. Politiek betekent dat publieke organisaties moeten aantonen dat zij presteren.
2.3.2 Problemen prestatiemanagement publieke sector
In de literatuur worden de vier belangrijkste problemen geïdentificeerd die effect hebben op het implementatieproces van PMS, namelijk: de verschillende doelen van de publieke sector, breed scala aan gebruikers, moeilijk te definiëren doelen en het gebrek aan competenties. Een manier die wordt voorgesteld in de literatuur is om gebruik te maken van multidimensionale PMS. In de publieke sector leidt dit echter vaak tot een toename van indicatoren, waardoor deze methode niet worden gebruikt door managers (Arnaboldi en Azzone, 2010).
In zowel de publieke als in de private sector is complexiteit een van de grootste problemen bij de implementatie van prestatiemanagement. In de private sector kan een onderneming deze complexiteit reduceren door specialisatie. In de publieke sector zijn meerdere stakeholders met belangen, waardoor de complexiteit vrijwel niet te reduceren is (de Waal en Jansen, 2004). De metingen in de publieke sector zijn hierdoor problematisch en is een relevant probleem. Het voornaamste doel van organisaties is om winst te halen, maar de organisaties in de publieke sector zijn non-profit. Hierdoor ontstaat er een probleem als de PMS bedoeld voor private organisaties wordt toegepast in de publieke sector. In tegenstelling tot de organisaties die naar winst steven, heeft de publieke sector de doelen om beschikbare en kwalitatieve service te leveren, te voorzien in de publieke behoefte en om de beschikbare middelen effectief en efficiënt in te zetten. Het is erg belangrijk voor de publieke sector om de prestaties consistent en regelmatig te meten om het management in de organisatie te verbeteren en de tevredenheid van de maatschappij te waarborgen (Balaboniene en Vecerskiene, 2015). 2.3.3 Implementatie prestatiemanagement publieke sector
Prestatiemanagement wordt geïmplementeerd om de doelen van de organisatie te bereiken. Om verantwoording af te leggen over de mate waarin de doelen zijn bereikt dient een organisatie verantwoordingsinformatie te leveren. De verantwoordingsinformatie dient aan te sluiten op het primaire proces, zodat tevens gestuurd kan worden op deze informatie (Noordegraaf e.a., 2014).
Propositie 5: Het integreren van stuurinformatie in de verantwoordingsinformatie heeft een positief effect op prestaties, waardoor de effectiviteit en de efficiëntie wordt verhoogd.
Arnaboldi en Azzone (2010) stellen dat het van belang is een open ruimte te creëren waarin discussie mogelijk is voor tegenstrijdigheden en daarnaast overeenstemming wordt bereikt op
de andere punten. Het implementeren van prestatiemanagement impliceert het gebruikt van een model, zoals bijvoorbeeld de Balanced Scorecard. Het model helpt een organisatie de perspectieven en de maatstaven te identificeren. Echter ligt de focus van de modellen meestal niet op de strategische keuze die hieraan ten grondslag ligt. Om deze reden hebben Jääskeläinen en Laihonen (2014) een model (figuur twee) ontwikkeld om de strategie van de organisatie te koppelen aan prestatiemanagement.
Figuur 2: Strategy framework for public performance measurement
Het model helpt een organisatie op een gestructureerde manier de keuze te maken voor prestatiemanagement. Zij stellen dat het model de koppeling tussen informatiebehoefte en meetcriteria maakt. Jääskeläinen en Laihonen (2014) maken gebruikt van vier benaderingen in prestatiemanagement. Dit zijn stereotype benaderingen en het is waarschijnlijker dat voor een combinatie van de benaderingen wordt gekozen. Verticaal en gecentraliseerde prestatiemanagement (standardization approach) wordt het meest gebruikt in de publieke sector. In deze bandering bepaalt het bestuur de richtlijnen voor metingen op verschillende afdelingen. Op deze manier kan de informatie, voortkomend uit de metingen, gemakkelijk worden samengevoegd.
Propositie 6: Het bestuur de richtlijnen laten bepalen voor metingen heeft een positief effect op de effectiviteit en de efficiëntie.
Verticaal en gedecentraliseerde metingen vormen de perfecte combinatie voor de contingency approach. In deze bandering stelt het bestuur metingen vast voor een specifieke context, zoals gezondheid, cultuur etc. Horizontale en gecentraliseerde (benchmark approach) benadering betekent dat informatie uit metingen wordt vergeleken en informatie samengevoegd.
Horizontale en gedecentraliseerde aanpak (service process-oriented approach) meet alle gebieden in een serviceproces om de uiteindelijke doel omtrent de service meetbaar te maken. Prestatiemanagement kent een aantal valkuilen waar tijdens de implementatiefase rekening mee gehouden dient te worden. Ten eerste zijn de burgers en politicus niet geïnteresseerd in prestatiemetingen tot het moment dat het mis gaat. Dit probleem kan worden opgelost door burgers en politicus te betrekken bij het proces. Zij kunnen bijvoorbeeld prestatie-indicatoren vaststellen voor doelen waar zij wel geïnteresseerd in zijn. Een tweede valkuil zijn de tegenstrijdige belangen van stakeholders waardoor doelen niet concreet genoeg worden geformuleerd. Het concreet maken van de doelen kan leiden tot politieke conflicten. Daarnaast worden in de publieke organisatie regelmatig targets gezet zonder doel. Het is van belang dat een target altijd wordt gekoppeld aan een doel. Als laatste is een valkuil het beter presenteren van de prestaties dan daadwerkelijk het geval is (Bovaird, 2009). Vertrouwen is een cruciaal concept om prestaties te ondersteunen. Vertrouwen creëert openheid, integriteit en transparantie. Deze aspecten zijn nodig om een effectief en een overheid gericht om de doelen te realiseren Bauckaert (2012).
Padovani, Yetano en Orelli (2010) hebben onderzoek gedaan naar een succesvolle inplementatie van prestatiemanagement bij de overheid. Zij vinden dat succesvol
prestatiemanagement niet lang een stabiele toestand houdt en het essentieel is om het systeem constant te veranderen en te verbeteren. Daarnaast dient het model promotors en verdedigers te hebben, dient participatie van alle afdelingen aanwezig te zijn in het meten van de
prestaties en dient een sterkte focus op het formuleren van de strategie aanwezig te zijn. Indien bovenstaande factoren aanwezig zijn, kan prestatiemanagement effectief en succesvol worden geïmplementeerd.
2.3.4 Benchmarking
Organisaties in de publieke sector zoeken naar vergelijkingsmateriaal, zodat verbeteringen kunnen worden gemaakt in de reductie van kosten en de tevredenheid van het publiek (Keehley en Abercrombie, 2008). Het idee van benchmarking is volgens Tillema (2010) het regelmatig vergelijken van prestaties binnen de organisatie met prestaties van andere organisaties. Op deze manier kan een organisatie de ‘best practices’ van de organisatie vinden, delen en implementeren. Volgens Zhu (2014) is benchmarking is een wereldwijd gehanteerde methode om ‘best practices’ te identificeren en te gebruiken. Benchmarking is vooral interessant indien geen doel beschikbaar is om de effectiviteit en efficiëntie te meten van prestaties. Bovaird
(2009) stelt dat benchmarking een proces is om prestaties tussen diverse organisaties te vergelijken. Het is van belang dat een hoge mate van vergelijkbaarheid mogelijk is tussen de organisaties.
3 Methodologie
In deze sectie wordt onderbouwd waarom is gekozen voor een casestudie. Daarnaast wordt de kwaliteitsbewaking van de data besproken en hoe deze data verzameld wordt. Tenslotte wordt besproken hoe de resultaten uit het onderzoek gegeneraliseerd kunnen worden naar algemene conclusies.
De onderzoekmethode
Een veel gemaakt onderscheid in onderzoeksmethoden is tussen kwantitatief en kwalitatief onderzoek. In kwantitatief onderzoek wordt een nieuwe stelling afgeleid van een bestaande stelling. In kwalitatief onderzoek wordt een verklarende theorie ontwikkeld. In dit type onderzoek wordt uitgegaan van de feiten en verschijnselen. Kwalitatief onderzoek is afhankelijk van interpretatie en het verzamelen van data vergt nauwe samenwerking met mensen uit het veld (Walliman, 1988). Kwalitatief onderzoek wordt overwogen indien de onderzoeker een nieuw vakgebied onderzoekt of van plan is een nieuwe theorie te ontwikkelen. Gaffikin en Irvine (2006) stellen dat kwalitatief onderzoek erkent dat het onmogelijk is de werkelijkheid te vinden met slechts één dataset. Met kwalitatief onderzoek wordt geprobeerd de gegevens uit verschillende bronnen te begrijpen, te analyseren en te interpreteren. Diverse methoden zijn ontwikkeld in kwalitatief onderzoek om diepgaande en uitgebreide kennis te verzamelen. De meest voorkomende methoden zijn interviews en observaties (Jamshed, 2014).
In kwalitatief en kwantitatief onderzoek kan onderscheid worden gemaakt tussen een experiment, casestudie of een survey (Farguhar, 2012). Yin (2013) stelt dat er geen formule is om te ontdekken welke methode passend is voor een onderzoek. De keuze van de onderzoeksmethode is afhankelijk van drie criteria, namelijk: de onderzoeksvraag, de mate van controle die de onderzoeker heeft over de gebeurtenis en de focus op het hedendaagse ten opzichte van historische evenementen. Het doen van een casestudie heeft de voorkeur indien de onderzoeksvraag een ‘wat’, ‘waarom’, ‘wie’ en ‘hoe’ vraag betreft, er weinig controle is over een gebeurtenis en de focus op een hedendaags probleem ligt. In dit onderzoek wordt een verklaring gezocht naar de impact van prestatiemanagement op de doelen van de publieke sector. Dit onderzoek wordt uitgevoerd met een ‘wat’ onderzoeksvraag. Daarnaast is er weinig controle over de gebeurtenis en betreft het een hedendaags probleem. Volgens de criteria van Yin (2013) betreft dit onderzoek hierom een casestudie. In zijn onderzoek wordt op diep niveau gezocht naar de overwegingen binnen een organisatie waarom een bepaalde keuze is gemaakt. Om het onderzoeksdoel te bereiken is zachte informatie nodig. Het bereiken van diepgang en
het verkrijgen van zachte informatie is enkel mogelijk door middel van casestudie. Indien een geïnterviewde een bepaald antwoord geeft, moet de onderzoeker doorvragen om optimaal informatie te verkrijgen. Deze informatie is niet te verkrijgen middels een enquête of met een experiment, omdat hierin enkel de noodzakelijke informatie naar boven komt. Om meer dan de noodzakelijke informatie te verzamelen, wordt gedurende het onderzoek een openheid gecreëerd voor de acceptatie van het onverwachtse (Gaffikin en Irvine, 2006).
Farguhar (2012) stelt dat het bestuderen van het fenomeen in zijn natuurlijke omgeving een sterk punt is van een casestudie. Hierdoor kunnen relevante en betekenisvolle theorieën verzameld en gehanteerd worden in de praktijk. Daarnaast is een sterk punt dat de methode het volledige en complexe begrip van het fenomeen ondersteunt. Een zwak punt van de casestudie is dat objectiviteit niet gewaarborgd kan worden.
In een casestudie kan onderscheid worden gemaakt tussen een enkelvoudige casestudie of meervoudige casestudie. Indien gebruik wordt gemaakt van meerdere casus kan onderzoek worden verricht vanuit diverse perspectieven. Door meerdere bronnen te gebruiken kan een solide fundering worden gelegd voor de argumenten (Farguhar, 2012). In dit onderzoek wordt data verzameld uit meerdere casus, omdat wetenschappelijke bevindingen vrijwel niet worden getrokken uit een enkelvoudige casestudie (Yin, 2009). De reden hierachter is dat meerdere casus het mogelijk maken data te vergelijken, waardoor het bewijs sterker is (Eisenhardt & Greibner, 2007).
Onderzoeksopzet
In dit onderzoek wordt naar een causaal verband gezocht van het bereiken van effectiviteit en efficiency door prestatiemanagement in de publieke sector. Onderzoeken die naar een causaal verband zoeken hebben te maken met het risico van interne validiteit. Dit heeft als gevolg dat het risico bestaat dat een incorrecte causale relatie wordt gevonden (Yin, 2009). Om de kwaliteit van het onderzoek te waarborgen en dit risico te bepreken wordt in dit onderzoek ‘cross reference’ geadresseerd. Naast het houden van interviews, worden documenten geobserveerd om de kwaliteit van data te waarborgen. Door diverse methoden te gebruiken voor het verzamelen van data wordt gebruik gemaakt van triangulatie (Farguhar, 2012). Middels triangulatie wordt de methodologische onzekerheid beperkt. In dit onderzoek worden professionals uit meerdere organisaties betrokken om een antwoord te vinden op de probleemstelling. Deze manier van onderzoeken geeft mogelijkheid tot vergelijken van
resultaten uit meerdere organisaties. In bijlage een zijn de richtlijnen opgenomen om de kwaliteit van dit onderzoek te waarborgen.
Data verzamelen
De data gegenereerd uit kwantitatief onderzoek wordt gekenmerkt door creativiteit en inspiratie, maar dient daarnaast tevens systematisch en gegrond te zijn (Neale, 2016). De data wordt verzameld aan de hand van veldonderzoek bestaande uit interviews, observatie en documenten (Gaffikin en Irvine, 2006). De meeste interviews zijn semigestructureerd, licht gestructureerd of diepte-interviews. Semigestructureerde interviews zijn diepgaande interviews waarin respondenten vooraf bedachte open vragen beantwoorden. Deze interviews duren gemiddeld tussen de dertig minuten en één uur. Om optimaal gebruik te maken van het interview dienen voorafgaand aan het interview richtlijnen te worden opgesteld. Op deze manier wordt het interview systematischer en vollediger (Jamshed, 2014). Het stellen van gespecificeerde vragen kan echter leiden tot een gebrek aan flexibiliteit en beperkt de geïnterviewde tot het geven van relevante informatie (Patton, 2002). De uitdaging van een interview ligt voornamelijk in het interpreteren van antwoorden en het ontdekken waarom de geïnterviewde een bepaalde keuze maakte in de betreffende situatie (Wood, 2009). Aan de hand van semigestructureerde interviews met financials en managers uit de publieke sector zal de theorie tegen de praktijk worden aangezet. In bijlage twee is het interviewprotocol opgenomen die is gehanteerd bij de interviews. Dit protocol wordt enkel gebruikt als richtlijn gedurende het interview, zodat de flexibiliteit niet wordt beperkt.
In het onderzoek wordt gepoogd de interviews open te houden, zodat maximale informatie wordt verzameld. Door het interviewprotocol wordt gewaarborgd dat de interviews niet te veel afwijken van het onderzoeksdoel. Het is van belang dat tijdens de interviews achtergrondinformatie wordt verzameld van een reactie op een bepaalde gebeurtenis. Om de anonimiteit van de geïnterviewde te waarborgen wordt gebruik gemaakt van een code. De code zal bestaan uit de eerste letter van de functie van de geïnterviewde gevolgd door een nummer die opeenvolgend aan de interviews wordt meegegeven.
Case selectie
De organisaties die worden gekozen voor de interviews beïnvloeden het onderzoek sterk. Gaffikin en Irivine (2006) stellen een aantal criteria aan de keuze van organisaties die worden gekozen voor het onderzoek. De organisatie dient relevante data beschikbaar te hebben,
flexibel te zijn over het onderwerp en radicaal te denken. Volgens Eisenhard en Greibner (2007) worden casus geselecteerd indien zij geschikt zijn om relaties te leggen en logica te vinden tussen de verschillende constructies. De casus zijn allen onderhevig aan een unieke setting en hebben verschillende contextuele factoren. Idealiter zijn de casus beïnvloed door de ‘echte-wereld’, waardoor de resultaten een versterkend effect hebben. Dit in tegenstelling tot bijvoorbeeld laboratorium experimenten, waarin het onderwerp wordt geïsoleerd van de context (Eisenhardt & Greibner, 2007).
In dit onderzoek zijn een aantal criteria opgesteld aan de hand van de theorieën van Gaffinkin en Irivine (2006) en Eisenhard en Greibner (2007). Ten eerste worden enkel organisaties geselecteerd die prestatiemanagement hebben geïmplementeerd en werken met een systeem passend bij de sector. Ten tweede dienen de casus een unieke setting te hebben, waardoor de invloed van de ‘echter-wereld’ terugkomt in het onderzoek. Ten derde moet het mogelijk zijn informanten te interviewen die de juiste kennis hebben en dient documentatie beschikbaar te zijn. Het derde criterium is relevant wegens het gebruik van triangulatie om de methodologische onzekerheid te beperken (Farguhar, 2012). Voor het onderzoek zijn vier casus geselecteerd die de publieke sector vertegenwoordigen en voldoen aan bovenstaande criteria. Het is gebleken dat het gebruik van meerdere casus geen extra relevante data toevoegt. De casus hebben ieder een unieke setting, omdat zij afkomstig zijn uit diverse sectoren (gemeente, zorg en onderwijs). In bijlage twee van dit onderzoeksrapport zijn de casus gepresenteerd. De casus zijn, wegens het waarborgen van de vertrouwelijkheid, summier gepresenteerd.
Data-analyse
Het verhaal van respondenten wordt geanalyseerd en gereconstrueerd om de betekenis ervan te achterhalen (Trautrims e.a., 2012). De analyse kan worden onderverdeeld in twee stappen, namelijk het beschrijven van de data en het interpreteren van de data. Door het beschrijven van de interviews krijgt de onderzoeker een basis begrip van de verzamelde data (Neale, 2016). De volgende stap voor de onderzoeken is het interpreteren van de data. Trautrims e.a. (2012) stellen dat het interpreteren van de interviews gebeurt in drie stappen. Ten eerste wordt de interpretatie van het verhaal geherformuleerd, zodat meer generaliseerbare betekenissen ontstaan. Na deze stap wordt de interpretatie van het verhaal gereflecteerd, zodat inzicht wordt verkregen in hoe het onderwerp is behandeld en hoe de werkelijkheid is geconstrueerd. Als laatste worden de verhalen van de respondenten vergeleken. In deze analyse wordt de nadruk
gelegd op de manier waarop de respondenten reageerde op bepaalde vragen en op welke manier zij het probleem aan hebben gepakt (Trautrims e.a., 2012).
Voor het analyseren van data bestaat geen standaardprocedure. Het is een proces waarin data wordt omgezet naar informatie (Gaffikin en Irvine, 2006). Neale (2016) stelt dat codering een veel gebruikte techniek is om data te analyseren. Codering is het reviewen van een interview woord voor woord, zodat hoofdpunten en thema’s uitgelicht worden. Aan de hoofdpunten en thema’s worden originele segmenten gekoppeld (codes), waarna deze met elkaar kunnen worden vergeleken. Gaffikin en Irvine (2006) stellen dat data-analyse gelijktijdig wordt uitgevoerd met data verzameling, en met theoretisch onderzoek, waardoor de onderzoeker de studie beter kan vormgeven. De data wordt gebruikt om een theoretisch vertolking te geven van de werkelijkheid. Het is hierbij van belang dat de theorie gescheiden blijft van de data. De onderzoeker kan fouten maken in de data-analyse wanneer er verwachtingen zijn vanuit de theorie. Het is belangrijk een balans te vinden tussen het begrip van de data en informeerde theoretische aspecten (Gaffikin en Irvine, 2006). Yin (2009) stelt dat het belangrijk is de data te identificeren en verklaringen te zoeken voor de bevindingen.
De ‘grounded theory’ vult het gat tussen de theorie en het empirisch onderzoek (Glaser en Strauss, 1967). Deze theorie verzamelt data systematisch en analyseert de data gedurende het onderzoeksproces. In deze methode staan het verzamelen van data, het analyseren van data en de literatuur in nauw verband aan elkaar (Bryman, 2016). De onderzoeker verzamelt data, codeert de data en analyseert vervolgens de data. In de codeerfase worden steekwoorden genoteerd die worden gevonden in de data. Vervolgens wordt de tekst, behorende bij deze steekwoorden, met elkaar vergeleken uit de meerdere casus. Als laatste stap wordt gezocht naar uitzonderingen binnen de data. De generalisatie vindt plaats door constant de vergelijking te zoeken tussen de data uit de meerdere casus (Glaser en Strauss, 1967).
De bevindingen van een onderzoek dienen naar een algemene theorie te worden gebracht, zodat deze te generaliseren is voor meerdere organisaties (Yin, 2009). Het is lastig om bevindingen uiteindelijk te generaliseren wegens het gering aan data in vergelijking tot een kwantitatieve studie (Farguhar, 2012). Deze problematiek betreft de externe validiteit van het onderzoek. De data die is verzameld met kwalitatieve studie is niet expliciet (Payne en Williams, 2005) en verloopt via theoretische proposities en niet via een populatie (Yin, 2009). Payne en Williams (2005) stellen dat de basisstudie van goede kwaliteit moet zijn, wil een onderzoeker de conclusies generaliseren. Tevens hoeft door een kwalitatief goede basisstudie de onderzoeker minder aandacht te besteden aan de duurzaamheid van de conclusies. Het is
hierom van groot belang de kwaliteit van de data te waarborgen. Indien een onderzoeker kan aantonen dat de interne validiteit is beperkt, kunnen de resultaten worden gegeneraliseerd. Volgens Payne en Williams (2005) kan een benadering worden gehanteerd waarbij iedere onderzochte case dezelfde waarschijnlijkheid heeft om de waarheid te belichten. In dit onderzoek wordt gesteund op de ‘grounded theory’ en de codeertechniek van Neale (2016) om de data te analyseren. De data wordt gecodeerd en tekst met dezelfde code wordt vergeleken, zodat verschillen en overeenkomsten gevonden worden. Daarnaast wordt gezocht naar uitzonderingen op de gevonden codes. Vervolgens worden de resultaten tegen de proposities gehouden om de resultaten te generaliseren.
4 Data-analyse
In dit hoofdstuk wordt de verzamelde data uit interviews en observatie van documentatie geanalyseerd. Daarnaast worden de proposities, vastgesteld in het theoretisch kader, vertaald naar de bevindingen. De overwegingen van de organisaties om tot een beslissing te komen worden tevens in dit hoofdstuk behandeld. In dit hoofdstuk worden de volgende topische vragen behandeld: ‘Welke stappen moeten gezet worden om prestatiemanagement te implementeren?’ en ‘wat zijn de overwegingen die worden genomen tijdens de implementatiefase?’.
Implementatie van prestatiemanagement
De opzet
Het eerste thema dat ter discussie staat is de implementatie van prestatiemanagement aan de hand van de stappen genoemd in ‘The performance measurement framework’. Alle vier de organisaties geven aan niet te werken met een model uit de literatuur. De gehanteerde modellen zijn aangepast op het type, oftewel de structuur, van de onderneming. De opzet van de prestatiemanagement hebben de organisaties geconcretiseerd in een ‘plan van aanpak’. In de plannen staat beschreven hoe de strategie wordt vertaald naar de gewenste resultaten.
Het verschil tussen de plannen van de organisaties zit in de vertaalslag van de strategie naar de gewenste resultaten. De organisatie Z1 heeft een nieuwe strategische visie gedefinieerd voor de komende vier jaar en deze omgezet naar drie strategische doelen. Per doel zijn drie prestatievelden opgezet die zijn gekoppeld aan een KPI. Kort gezegd definieert de organisatie doelen vanuit de strategie en koppelt hier de KPI’s aan. Een soortgelijke opzet is te vinden in de organisatie O1. Deze organisatie heeft een strategische visie ontwikkeld voor de komende vijf jaar en deze visie omgezet naar doelen. Vanuit deze doelen zijn de KPI’s opgesteld. De organisatie G1 heeft tevens een strategische visie gedefinieerd waaruit de doelen en de KPI’s worden gedefinieerd.
De organisatie G2 heeft prestatiemanagement op een andere wijze ingericht. Zij vertalen de strategie rechtstreeks naar de doelen en hebben geen visie gedefinieerd. De organisatie G2 benoemd in haar plan van aanpak het doel van prestatiemanagement:
(G2) ‘de gemeente stuurt “op doelen en resultaten, vanuit vertrouwen en gezamenlijke verantwoordelijkheid. Het is belangrijk dat daarbij een goede balans wordt gevonden tussen
vertrouwen en controle. Om grip te hebben op de financiën en de inhoud (het behalen van de doelen en resultaten), zijn goede informatiestromen van groot belang.’
De organisatie raakt hiermee de kern van prestatiemanagement, namelijk het sturen op doelen en resultaten.
Ferreira en Otley
In tabel één worden de aspecten van het model van Ferreira en Otley (2009) tegen de vier casus aangelegd.
Tabel 1: Aspecten ‘Performance Measurement Framework’
Aspecten Case G1 Case G2 Case O1 Case Z1
Strategie Ja Ja Ja Ja
Kritische Succes Factoren
Ja Nee Nee Nee
Structuur Ja Ja Ja Ja
Cultuur Ja Ja Ja Ja
Plannen Ja Ja Ja Ja
KPI’s Ja Ja Ja Ja
Targets Ja Nee Nee Ja
Prestatie evaluatie Ja Ja Ja Ja
Beloningen Ja/Nee n.v.t. Nee n.v.t.
Informatiestromen Ja Ja Ja Ja
Sterkte/zwakte Ja Ja Ja Nee
Omgevingsfactoren Ja Ja Ja Ja
In tabel één is zichtbaar dat alle vier de organisaties vanuit de strategie, de cultuur, de structuur en de plannen werken in de opzet van prestatiemanagement. De organisatie G1 heeft de kritische succesfactoren gedefinieerd door middel van een sterkte-zwakteanalyse en opgenomen in haar plan van aanpak. De organisatie probeert voornamelijk te sturen op de verbeterpunten van de organisatie. Verder hebben alle vier de organisaties vanuit de doelen de KPI’s gedefinieerd, waardoor de output van metingen beter afgestemd is op de organisatiedoelen. Opvallend is dat niet alle vier de organisaties gebruik maken van targets. De organisatie G2 heeft vrijwel geen targets vastgesteld, omdat veel doelen niet duidelijk meetbaar zijn. De theorie wijst er echter op dat de organisatie wel in mindere mate targets heeft vastgesteld. Onderstaande KPI’s komen uit het plan van organisatie G2:
(G2) ‘percentages huishoudens met een uitkering neemt niet toe’ en ‘jongeren onder de 27 met
een uitkering neemt niet toe’.
Volgens de theorie wordt een KPI gedefinieerd om het proces meetbaar te maken en een target is het resultaat dat de werknemer dient te behalen (De Waal, 2003). De organisatie G2 heeft in haar KPI wel gemeld ‘neemt niet toe’ dit is feitelijk een target, maar niet concreet gedefinieerd.
De organisatie O1 heeft tevens geen targets opgesteld. De scholen worden afgerekend op de eindtoets die de kinderen afleggen in groep acht. De scholen worden om de drie jaar beoordeeld. Voor de eindtoets is een parameter vastgesteld die aangeeft wat een onvoldoende of voldoende is. Een school mag in de drie jaar dat wordt gemeten, één keer een onvoldoende halen (ondergrens). Indien in drie jaar tijd twee keer een onvoldoende wordt gehaald en één keer een voldoende, wordt de school beoordeeld als ‘zwakke school’. In dat geval moet de school zorgen dat de eindtoets wordt verbeterd. De target is eigenlijk direct gekoppeld aan de strategie in plaats van aan de doelen.
Het van belang de doelen, KPI’s en targets aan te passen op de veranderingen in de omgeving en/of organisatie van belang (Ferreira en Otley 2009). De vier organisaties evalueren de prestaties regelmatig en houden hierbij rekening met de invloed van de omgevingsfactoren. De organisatie G1 geeft het volgende voorbeeld:
(G1) ‘Steeds meer wordt gebruik gemaakt van de website om informatie op te zoeken. De vragen waarmee burgers bellen worden steeds lastiger, waardoor het meer tijd kost voor een werknemer om de vraag te beantwoorden’.
Het inschatten van de invloed op de KPI’s wordt ervaren als lastig, omdat de invloed van factoren van buitenaf niet te concretiseren zijn. De organisatie G2 geeft het volgende voorbeeld:
(G2) ‘de overheid veel reclames of campagnes heeft die invloed uitoefenen op de KPI’s. De invloed op de KPI’s is echter niet te schatten, waardoor het meetbaar maken van de daadwerkelijk behaalde resultaten moeilijk is.
Kwalitatieve metingen
Financiële en niet-financiële KPI’s
De Balanced Scorecard is een PMS dat naast de financiële metingen rekening houdt met klanten, processen en werknemers (Kaplan en Norton, 1996). Door een mix van financiële en niet-financiële prestatie-indicatoren wordt de focus op de strategie te houden (Anthony en Govindarajan, 2007). Twee van de vier organisaties maken gebruik van een mix van financiële en niet-financiële KPI’s. De nadruk van de KPI’s ligt echter bij de niet-financiële KPI’s, omdat dit het meest in lijn is met de strategische keuzes van de organisaties.
De organisaties G1en G2 meten enkel resultaten middels niet-financiële KPI’s. De organisaties dienen echter wel verantwoording af te leggen aan de overheid voor de inzet van middelen. Voor de verantwoording aan de overheid, worden de financiële resultaten wel gemeten. De organisatie G2 geeft aan dat de overheid verouderde cijfers vraagt en dat deze cijfers enkel worden gebruikt voor verantwoording en niet voor sturing.
De organisatie O1 voert metingen uit omtrent de resultaten van de kinderen (financieel). De metingen liggen in lijn met de strategie ‘kwaliteit van onderwijs’. Naast de niet-financiële metingen worden de scholen gemonitord aan de hand van de begroting die zij in het begin van het schooljaar aanleveren. De inspectie monitort of de middelen (aangevraagd in de begroting) goed worden besteed. De scholen leggen middels financiële prestaties verantwoording af.
De focus van prestatie-indicatoren van Z1 liggen bij tevredenheid en rendement. De organisatie hanteert een mix van financiële en niet-financiële KPI’s.
De metingen
Drie van de vier organisaties maken gebruik van zowel kwalitatieve gegevens als kwantitatieve metingen. De organisatie beoordeeld de werknemers op resultaten (kwantitatief meten) en houding (kwalitatief meten). De targets van de organisatie G1 zijn kwantitatief opgesteld. Voorbeelden van targets zijn:
- 40% van de vragen worden direct afgehandeld;
- 95% van de schriftelijke vragen wordt binnen 6 weken afgehandeld;
Indien de werknemers het goed doen en de targets worden gehaald, worden deze bijgesteld naar boven. De organisatie vindt dat de werknemers in dit geval een nog hogere norm dienen te bereiken.
De organisatie G2 geeft aan de toename of de afname te beoordelen van een prestatie-indicator en daarna onderzoek te doen naar de reden achter de toename of afname. Van de targets die de organisatie heeft vastgesteld zijn sommige behaald en sommige waren te ambitieus. Indien een target te ambitieus is, wordt deze bijgesteld.
De organisatie O1 maakt tevens veel gebruik van kwalitatieve gegevens. De geïnterviewde geeft het volgende aan over de metingen:
(O1) ‘Wij meten niet enkel de harde output, maar kijken voornamelijk naar hoe het gaat met
de kinderen.’
De resultaten van de kinderen worden constant is een systeem bijgehouden en gemonitord (kwantitatief meten). In het systeem wordt tevens bijgehouden hoe het gaat met de kinderen en of zij zich bijvoorbeeld wel prettig voelen op school (kwalitatief meten). Op deze manier kan O1 de reden achter de slechte of goede resultaten achterhalen en beter sturen op de informatie.
De organisatie Z1 maakt tevens gebruik van een mix kwalitatieve –en kwantitatieve metingen. Indien bijvoorbeeld het verzuim wordt gemeten van een afdeling, wordt tevens beoordeeld waarom het verzuim hoog of laag ligt.
Belonen van werknemers 4.7.1 Evaluatie werknemers
De metingen in de publieke sector zijn problematisch en is een relevant probleem. Het is erg belangrijk voor de publieke sector om de prestaties consistent en regelmatig te meten om het management in de organisatie te verbeteren en de tevredenheid van de maatschappij te waarborgen (Balaboniene en Vecerskiene, 2015). De evaluatie van prestaties kent in iedere organisatie een eigen opzet. In de organisatie G1 vinden gesprekken plaats met medewerkers over de gemeten prestaties, maar ook over de houding en gedrag van de medewerker. De laatste punten zijn lastig meetbaar, maar worden door middel van de opgenomen telefoongesprekken en de gesprekken op de gang gemonitord. De organisatie G2 monitort de samenwerkingspartners twee keer per jaar door middel van ingediende rapportages en
gesprekken waarin zij komen vertellen wat zij hebben gedaan met de middelen. De organisatie G2 geeft in haar plan het volgende aan:
(G2) ‘Het doel van monitoring is het continu leren en verbeteren van de dienstverlening aan de inwoners en de samenwerking tussen partners.’
In de organisatie O1 vindt tevens twee keer per jaar een evaluatie plaats. In de tussentijdse evaluatie wordt bepaald of een school nog op koers ligt of dat de organisatieplannen bijgesteld moeten worden. De organisatie O1legt de nadruk van de evaluatie bij:
‘reflectie op het individu en het leren van alle betrokken als systeem’.
De organisatie Z1 kent twee systemen van evaluatie. Ten eerste wordt informatie gecreëerd die elke maand beschikbaar is voor de managers om op te sturen. Ten tweede wordt informatie gecreëerd die ieder jaar beschikbaar is en wordt gebruikt voor verantwoording.
4.7.2 Beloningen
Volgens Boukaert en Halligan (2006) worden de resultaten van een organisatie verbeterd door prestatiemanagement, omdat de inzet van de werknemers verhoogd. Enkel in organisatie G1 worden de prestaties van de werknemers beloond. Tijdens de evaluatie van prestaties houden zij zowel rekening met factoren binnen de organisatie als factoren buiten de organisatie. De werknemers zullen waarschijnlijk meer tijd kwijt zijn aan het beantwoorden van deze vragen en hebben meer kennis nodig. De targets zijn aangepast op basis van de omgevingsfactoren. Opvallend in de organisatie G2 is dat zij willen sturen op doelen en resultaten, maar de werknemers niet betrekken in dit proces. De sturing vindt enkel plaats op de resultaten van de samenwerkingspartners.
Goulet en Frank (2002) stellen dat intrinsieke motivators van belang zijn in de publieke sector, maar dat excentrieke motivator cruciaal zijn. Intrinsieke motivators spelen een rol in tevredenheid omtrent de baan van een werknemer. Een excentrieke motivator is bijvoorbeeld salaris en beloningen. In deze propositie blijft organisatie G2 buiten beschouwing, omdat zij de prestaties van werknemers niet betrokken hebben in prestatiemanagement. In organisatie G1 kunnen de werknemers overgaan op een hogere functieschaal indien zij scholing hebben gekregen of als de vaardigheden zijn toegenomen. De organisatie geeft het volgende aan over het belonen van de werknemers:
(G1) ‘Veelal zijn het elementen van bespreking en worden aan de resultaten geen straffen en/of beloningen gehangen. Bij een voldoende of meer heeft de medewerker sowieso recht op een overstap naar een volgend functiejaar. Enkel bij buitensporige excellente resultaten is er de mogelijkheid een eenmalige bonus te geven.’
De organisatie maakt geen gebruik van excentrieke beloningen om de werknemers te motiveren. De organisatie G1 geeft aan dat de medewerkers voornamelijk worden gemotiveerd, omdat zij constant eigen resultaten kunnen inzien. Zij worden op deze manier gemotiveerd eigen resultaten te verbeteren, want willen niet ‘in het rood staan’.
De organisatie O1 geeft geen beloningen aan de werknemers (leerkrachten) voor de resultaten die zij behalen. De leerkrachten worden echter ook niet aangestuurd door O1, maar door de directeur van de school. De organisatie beoordeeld enkel de school als geheel en heeft zicht op de klassenresultaten. Indien zij zien dat een leerkracht onvoldoende presteert wordt dit doorgegeven aan de directeur en is het zijn verantwoordelijkheid de prestaties van de leerkracht te verbeteren. De directeuren worden niet beloond of gestraft indien de scholen niet presteren naar behoren. Tevens O1 geeft aan dat het een toegevoegde waarde heeft dat de directeuren van de scholen de behaalde resultaten kunnen indien. Op deze manier weten zij wanneer bijsturing van de prestaties noodzakelijk is.
De organisatie Z1 geeft aan dat de resultaten constant inzichtelijk zijn voor de managers, maar eigenlijk niet direct worden gebruikt voor de aansturing van werknemers. De beschikbare informatie voor managers wordt op dit moment nog onvoldoende benut. De informatie is onbewerkt beschikbaar voor de managers, waardoor de stuurinformatie wordt weergegeven als ‘ongeveer juist’. De managers hebben hierdoor nog onvoldoende vertrouwen in de informatie om erop te gaan sturen.
Definiëren output
Een beleidsdoel kan worden omgezet in een prestatie door te beredeneren hoe de output is ontstaan (de Waal en Jansen, 2004). Allen vier de organisaties hebben de output gedefinieerd en opgenomen in het implementatieplan. Voor de alle vier de organisaties geldt dat zij bij het definiëren van de output geen rekening hebben gehouden met externe factoren. De organisatie heeft zeer concreet in haar projectplan opgenomen welke resultaten en producten de implementatie gaat opleveren. Een voorbeeld hiervan is:
