De effectiviteit van een performance management
systeem in de publieke sector.
Een case study bij UWV Sociaal Medische Zaken
Universiteit Van Amsterdam
Executive Master of Finance and Control Studentnummer: 1020464
Carry Meijerink
2
Inhoud
Samenvatting ... 4
Voorwoord ... 6
1. Inleiding ... 7
2. Literatuuronderzoek naar effectiviteit van performance management ... 10
2.1. Inleiding Performance management ... 10
2.2. Performance management definitie ... 10
2.3. Performance management problematiek in de publieke sector ... 11
2.4. Disfunctioneel gedrag... 13
2.5. Inrichtingseisen voor effectief Performance Management ... 15
3. Onderzoeksmethodiek ... 19 3.1 Onderzoeksmethode ... 19 3.1.1. Construct validity ... 19 3.1.2. Internal validity ... 20 3.1.3. External validity ... 20 3.1.4. Reliability/Betrouwbaarheid ... 20 3.2. Vragenlijst ... 21 3.3. Onderzoeksmodel ... 21 3.4. Variabelen ... 21 4. Onderzoeksresultaten ... 22
4.1. Reden performance management en disfunctioneel gedrag ... 23
4.2. Inrichtingseisen voor effectief performance management ... 24
4.2.1. Eenduidige resultaten ... 24
4.2.2. Focus ... 25
4.2.3. Bepalen en vastleggen van de toepasbaarheid ... 25
4.2.4. Effectief meetbaar ... 26
4.2.5. Afgewogen set van indicatoren vast te stellen ... 28
4.2.6. Robuust en degelijk systeem ... 29
4.2.7. Dialoog met de werkvloer ... 29
4.2.8. Benchmarking ... 29
4.2.9. Triple loop learning... 30
4.3. Samenvatting ... 30
5. Conclusies & Discussie ... 33
3 5.2. Aanbevelingen ... 34 5.3. Beperkingen... 36 5.4. Vervolgonderzoek ... 36 Bibliografie ... 38 Bijlage 1 Interviewvragen ... 40
Bijlage 2 Performance Management Systeem UWV SMZ ... 41
A. Missie & Visie ... 41
B. Succesbepalende factoren ... 41
C. Invloed van organisatiestructuur ... 42
D. Strategieën en plannen ... 42
E. Key performance indicators ... 43
F. Prestatie doelstelling (normering)... 43
G. Evaluatie van de prestaties ... 43
H. Beloningssysteem ... 44
I. Informatiestromen en systemen ... 44
J. Gebruik van Performance Management Systeem ... 44
K. Veranderingen in Performance Management Systeem ... 45
L. Sterkte en samenhang ... 45
4
Samenvatting
Performance management is het meten en evalueren van de prestaties van een organisatie om het gedrag, de motivatie en de processen te verbeteren. Het maakt de doelstellingen en de prestaties van de organisatie inzichtelijk en daarmee helpt het de prestaties van de medewerkers van de organisatie in de richting van de organisatiedoelen te bewegen.
Er zijn verschillende redenen om performance management in te voeren. Deze reden bepaalt op welke wijze de performance management wordt ingericht. Er kleven ook nadelen aan performance management, namelijk disfunctioneel gedrag. De kans op bepaalde vormen van disfunctioneel gedrag hangt af van de reden voor de invoering van performance management. Vooral bij het uitoefenen van centrale control zijn er verschillende vormen van disfunctioneel gedrag mogelijk. Performance management kan effectief genoemd worden als de voordelen de nadelen overstijgen. De voordelen zijn de verbetering van de prestaties, de nadelen zijn de kosten die gemoeid zijn bij performance management. Dat zijn kosten voor het meten en evalueren van de prestaties, maar ook indirecte kosten veroorzaakt door disfunctioneel gedrag. Om de kans op dit gedrag te verminderen, kan er gebruik worden gemaakt van de inrichtingseisen voor effectief performance management. Vanuit de literatuur is in dit onderzoek een tiental inrichtingseisen samengesteld (zie tabel 2.1). Deze eisen zorgen voor een effectieve inrichting van het performance management systeem en helpen bij het tegengaan van disfunctioneel gedrag.
In dit onderzoek is onderzocht in hoeverre het huidige performance management systeem van UWV SMZ aansluit bij de inrichtingseisen uit de literatuur. Bij UWV SMZ zijn de geïnterviewden van mening dat veel van deze inrichtingseisen ingevuld worden, echter er zijn aantal inrichtingseisen die nog geen of nog geen goede invulling krijgen.
Er wordt te weinig focus aangebracht en de management aandacht moet te vaak veranderen van het ene onderwerp naar het andere onderwerp. Dit bevordert op de lange termijn niet de prestaties. Triple loop learning wordt te weinig toegepast. Er wordt bij UWV SMZ te weinig stil gestaan bij de vraag of de huidige producten, processen en systemen nog passen bij de strategische positie van de organisatie in de maatschappij.
Het bepalen van de toepasbaarheid wordt de meeste geïnterviewden aangegeven als verbeterpunt. SMZ moet gedegen nagaan welk doel ze wil bereiken met een nieuwe meting en hoe dit dan het beste meetbaar gemaakt kan worden en of deze meting het gewenste gedrag stimuleert.
De dialoog over de uitkomsten met werkvloer kan verbeterd worden. Het is momenteel afhankelijk van de persoon. Tevens dient het hoofdkantoor uit te kijken voor misinterpretatie. Het hoofdkantoor heeft de neiging om de prestaties van de districten te interpreteren zonder de dialoog aan te gaan over de prestaties.
De vertegenwoordigers van de districten geven aan in de interviews dat er meer procesinformatie nodig is om beter te kunnen sturen op team- en medewerkerniveau.
5
Vooral vanuit de centrale functionarissen wordt de robuustheid van het performance management systeem als punt voor verbetering gezien. De geïnterviewden vanuit de districten zijn van mening dat de robuustheid van het systeem voldoende is.
Het performance management systeem van UWV SMZ is nog niet optimaal. Echter de voordelen overstijgen de nadelen van het performance management systeem. Deze mening wordt gedeeld in alle interviews, zowel door de betrokkenen vanuit de districten en als vanuit het hoofdkantoor. De centrale vraag "in hoeverre voldoet het huidige performance management systeem binnen UWV SMZ aan de inrichtingseisen die in de literatuur genoemd worden? " kan beantwoord worden met de conclusie dat het performance management systeem bij SMZ deels voldoet aan de inrichtingseisen uit literatuur en er zijn een aantal inrichtingseisen die duidelijk verbetering behoeven om
6
Voorwoord
Met veel plezier heb ik de Executive Master of Finance and Control aan de Universiteit van Amsterdam gevolgd. Hiervoor wil ik mijn groep medestudenten bedanken. Zij zorgden ervoor dat elke collegedag een gezellige dag werd, waar we van en met elkaar leerden. Daarnaast wil ik de deskundige docenten bedanken die zorgden dat elke collegedag ook een interessante dag werd, waar ik inspiratie opdeed die ik mee kon nemen in mijn werk.
Deze scriptie is het resultaat van deze inspiratie en de kennis en vaardigheden die ik tijdens de opleiding heb opgedaan. Marco Nijsen wil ik bedanken voor het helpen om de juiste structuur te vinden en de focus van het onderzoek scherp te houden. Tevens wil ik Susanne van Hoek bedanken voor de procesbegeleiding en het kritisch meelezen.
De collega's bij het UWV wil ik bedanken voor hun tijd en enthousiasme. Ik waardeer jullie open en meewerkende houding tijdens de interviews.
Als laatste in deze rij wil ik mijn thuisfront bedanken. Joop is veelvuldig gaan fietsen, omdat ik weer met mijn neus in de boeken zat. Enorm bedankt voor alle steun en geduld!
Carry Meijerink
7
1. Inleiding
Voor het controllersvakgebied is theoretische kennis op het gebied van aansturing en meting van prestaties van een organisatie onontbeerlijk. Dit deel van het vakgebied noemt men performance management. Performance management is het formuleren van wat de organisatie verwacht te presteren en aangeven hoe de organisatie deze prestaties meetbaar maakt door het definiëren van prestatie-indicatoren (de Bruijn, 2002). In de publieke sector is performance management lastiger vorm te geven dan in de profit sector. Dit wordt veroorzaakt doordat de uiteindelijke uitkomsten van prestaties vaak moeilijk meetbaar zijn en doordat er vele factoren van invloed kunnen zijn op de uitkomsten (de Bruijn, 2002, Van Helden en Reichard, 2013). De resultaten van de UWV-visie "niemand langs de kant" worden niet alleen beïnvloed door de prestaties van de organisatie, maar deze worden ook beïnvloed door bijvoorbeeld een economische crisis.
Performance management in de publieke sector kan volgens Verbeeten (2007) een aantal politieke en managerial doelen vervullen:
• Het definieert de missie, doelen, doelstellingen (Verbeeten, 2007) en helpt hierdoor bij verminderen van controlprobleem "Lack of Direction" (Merchant & Van der Stede, 2007, p. 8).
• Het geeft de beleidsmakers verantwoordingsmogelijkheden door het meten van de prestaties ten opzicht van de doelen en doelstellingen. Het kan hiermee ook transparantie over de prestaties van een organisatie genereren (Verbeeten, 2007).
• Het kan helpen bij het ontwikkelen van leervermogen van de organisatie (Verbeeten, 2007). • Het kan helpen bij de vorming van prestatiebeloningen van medewerkers (Verbeeten, 2007). Echter, er zijn ook veel onbedoelde neveneffecten van performance management bekend. Dit uit zich in disfunctioneel gedrag , zoals: tunnelvisie, suboptimalisatie, myopia, misinterpretatie, "gaming", focus op meten, bureaucratie (Pidd, 2007). De literatuur over performance management geeft verschillende oplossingen en adviezen voor de inrichting van een dergelijk systeem waarbij eventueel disfunctioneel gedrag wordt tegengegaan.
Het UWV is de uitvoeringsinstelling voor de werknemersverzekeringen, het is een zelfstandig bestuursorgaan (ZBO). Na een aantal reorganisaties bij het UWV is er eind 2012 een evaluatie gedaan van de interne sturing. Hieruit kwam onder meer naar voren dat er meer aandacht moest komen voor de horizontale sturing. De horizontale sturing houdt in sturing over de klant- c.q. wetsprocessen. Iemand die een ww-uitkering krijgt en ziek wordt, heeft te maken met drie divisies: de divisie Werk voor re-integratie naar een nieuwe baan, divisie Uitkeren voor de uitbetalen van zijn uitkering en divisie SMZ (Sociaal Medische Zaken) voor de beoordeling van zijn ziekmelding. De overdracht van ene naar de andere divisie gaat niet altijd soepel en dit resulteert in een grote hoeveelheid klachten van klanten die tussen wal en schip vallen. De focus binnen de sturing lag van oudsher in de kolommen, oftewel op de divisieprestaties. Om de horizontale sturing vorm te geven zijn er extra indicatoren op de horizontale processen ontwikkeld. Deze
prestatie-indicatoren zijn opgenomen in de managementcontracten. Deze ontwikkeling wordt door het districtsmanagement kritisch benaderd.
8
"Het is een verantwoordingsfeestje geworden"
"Binnen het district stellen we apart een A3 jaarplan op horizontaal tussen Divisies en verticaal binnen SMZ. Zowel op centraal niveau als binnen district geeft dit knelpunten"
Bovenstaande opmerkingen vanuit het vooronderzoek lijken te wijzen naar disfunctioneel gedrag (focus op meten en bureaucratie). Het geeft aan dat het huidige performance management systeem niet als optimaal wordt ervaren door de districten. In deze nieuwe situatie met zowel verticale als horizontale sturing legt de directeur SMZ verantwoording af in haar maandrapportage over in totaal 57 indicatoren.
In dit onderzoek wordt onderzocht of SMZ een effectief performance management systeem heeft. Zijn de hierboven genoemde negatieve bijwerkingen van dit systeem beperkt? Kortom de centrale vraag van dit onderzoek is: in hoeverre het huidige performance management systeem binnen UWV SMZ voldoet aan de inrichtingseisen die in de literatuur worden genoemd.
Als subvragen zijn voor dit onderzoek gedefinieerd: 1. Wat is performance management? (theorie)
2. Wat is een performance managent systeem? (theorie)
3. Wanneer kan je een performance management systeem effectief noemen? (theorie) 4. Hoe ziet het huidige performance management systeem bij UWV SMZ in elkaar? (praktijk) 5. Hoe wordt het huidige performance management systeem ervaren door de betrokkenen?
(praktijk)
Het onderzoek bestaat uit twee delen. De scriptie wordt gestart met een literatuuronderzoek, dat als doel heeft een kader te creëren waaraan een performance management systeem moet voldoen, wil dit effectief zijn. In het praktijkgedeelte van het onderzoek wordt getoetst in hoeverre het
performance management systeem van UWV Sociaal Medische Zaken is ingericht conform de normen uit het theoretische kader.
Het onderzoek betreft een case study binnen de divisie Sociaal Medische Zaken (SMZ) van UWV. De kwaliteitseisen van Yin (2009) ten aanzien van case studies worden in acht genomen. De
onderzoeksbronnen voor dit onderzoek zijn: interviews met betrokkenen en diverse documenten vanuit de organisatie (managementcontracten, jaarplannen 2013 en 2014, meerjarenplan SMZ, maandrapportages op divisieniveau en op districtsniveau, gesprekverslagen van
verantwoordingsgesprekken). In het desk research wordt gekeken hoe het performance
management systeem is opgebouwd: welke doelstellingen zijn er geformuleerd, welke soorten kpi's worden er gebruikt bij UWV SMZ, in hoeverre worden de kpi's doorvertaald naar lagere niveaus in de organisatie en welke informatiestromen zijn er voor het performance management systeem. De interviews geven inzicht in de interpretaties over en de ervaringen met het performance
management systeem bij SMZ. Wat is de mening van management over het proces op de vaststelling van kpi's, de mate van beïnvloeding op de prestaties, de prioriteitsstelling en welk gedrag wordt er uitgelokt met dit performance management systeem. Door middel van de data uit het desk research en de data uit de interviews wordt de situatie van het performance management systeem van het UWV SMZ in kaart gebracht.
9
Deze scriptie heeft de volgende opbouw: in hoofdstuk 2, wordt het theoretisch kader beschreven. Dit theoretisch kader wordt gevormd door middel van een literatuurstudie. In deze literatuurstudie wordt onderzocht welke inrichtingseisen er vanuit de literatuur zijn een performance management systeem in de publieke sector. Hoofdstuk 3 bevat de onderzoeksmethode en de wijze van
informatieverzameling die gehanteerd is. Vervolgens wordt in hoofdstuk 4 de praktijk van het performance management systeem bij het UWV Sociaal Medische Zaken beschreven en wordt dit vergeleken met theoretisch kader uit hoofdstuk 2. Hoofdstuk 5 sluit dit onderzoek af met de conclusies, de aanbevelingen en de beperkingen van dit onderzoek.
10
2. Literatuuronderzoek naar effectiviteit van performance
management
2.1. Inleiding Performance management
In dit hoofdstuk wordt besproken vanuit de literatuur wat performance management is, welke complicerende factoren er zijn voor performance management in de publieke sector en wanneer er gesteld kan worden dat performance management effectief is. Dit hoofdstuk wordt afgesloten met een kader met inrichtingseisen voor effectief performance management.
2.2. Performance management definitie
Performance management sluit aan bij het idee van meten is weten. Verbeeten (2007) verstaat onder performance management het specificeren van de te bereiken doelen, het alloceren van besluitvormingsrechten en het meten en evalueren van de prestaties. Door het onderscheid aan te brengen tussen performance measurement, performance reporting en performance management brengt Radnor (2008) meer duidelijkheid. Zij stelt dat measurement de kwantitatieve en kwalitatieve waardering van de input, uitkomsten of niveau van een activiteit van een gebeurtenis of een proces is. Reporting geeft het overzicht (en soms een analyse) van het niveau van de input, activiteit, output of uitkomsten van een gebeurtenis of proces meestal afgezet tegen een vorm van doelstelling of norm. Performance Management is een activiteit gebaseerd op de performance maatstaven en performance reporting, gericht op verbeteringen in gedrag, motivatie en processen en dit bevordert innovatie. Deze verdeling sluit aan bij de definitie die wordt gehanteerd door Van Helden en Reichard (2013) die van mening zijn dat performance management een manier van het gebruik van de resultaten van de performance measurement voor managementdoeleinden is.
Ferreira en Otley (2009) geven een beschrijvend framework voor een performance management systeem. Zij zien een performance management systeem als de bevorderende, formele en informele mechanismen, processen, systemen en netwerken die worden gebruikt in organisatie om de
doelstellingen en doelen over te dragen, om het strategisch proces en management te ondersteunen door analyse, planning, meting, controle, beloning en voor het ondersteunen en faciliteren van het leer- en verandervermogen van de organisatie. Hieruit kan geconcludeerd worden dat performance management verschillende functies heeft in een organisatie.
Pidd (2007, p. 409) geeft een verdere uitleg over de verschillende functies en redenen van de inzet van Performance Management in de publieke sector. Hij onderscheid vijf redenen:
• De eerste reden is om te zien wat werkt. Aan de hand van de uitkomsten van performance management kunnen verschillende opties worden afgewogen en kunnen verbeteringen in gang worden gezet. Hierdoor wordt een leer- en verbetercyclus op gang gebracht.
• De tweede reden is om competenties te onderkennen. Door de uitkomsten van de prestaties van organisaties of organisatieonderdelen of organisatieleden met elkaar te vergelijken, kan er in kaart worden gebracht hoe er gepresteerd is door wie of welk onderdeel.
11
• De derde reden is om publieke verantwoording af te kunnen leggen. Er wordt informatie verstrekt over de prestaties van de organisatie om verantwoording af te leggen hoe de toegekende middelen zijn besteed.
• De vierde reden is om centrale monitoring en control uit te kunnen oefenen. Door de monitoring en het rapporteren van data en indicatoren wordt het management
ondersteund. Dit heeft als doel het beïnvloeden van het gedrag van medewerkers, zodat dit gedrag in het teken komt te staan van de organisatiedoelstellingen.
• De laatste reden is symbolisch, politici moeten in de publieke aandacht blijven staan om stemmen te trekken. Om die reden kan het aantrekkelijk zijn om performance management voor het voetlicht te plaatsen. Denk aan statements als: "Zie hoe uw belastingcentjes worden besteed aan de eindeloze ICT-projecten bij de overheid en niemand doet iets. Wij vinden ..." De reden en daarmee de functie voor het ontwikkelen van een maatstaf in het performance
management systeem is leidend voor de keuze van hoe deze informatie te verzamelen, te analyseren en te verstrekken. Bijvoorbeeld bij het navigeren van een schip is een kompas handig om de koers te bepalen. Echter om zonder brokken door een nauwe rotsige doorgang te varen heeft het kompas geen toegevoegde waarde. Maatstaven, die gebruikt worden voor een bepaalde functie, kunnen ongeschikt zijn om voor een andere doeleinden te gebruiken (Pidd, 2012, p.31).
Voor dit onderzoek wordt de volgende definitie voor performance management gehanteerd: het meten en evalueren van de prestaties van de organisatie om daarmee het gedrag, motivatie en processen te verbeteren. Zoals hierboven uitgelegd kunnen er verschillende redenen zijn om performance management te implementeren, deze redenen zijn belangrijk om de passende informatie te verzamelen, analyseren en verstrekken.
2.3. Performance management problematiek in de publieke sector
Omdat performance management verschillende functies kan hebben en daarop dient te worden ingericht, is het van belang voor een effectieve inrichting om te kijken welke complicerende factoren een rol spelen bij performance management in de publieke sector.
Eerst wordt vastgesteld wat een publieke organisatie is. Hvidman en Andersen (2013) onderscheiden publieke organisaties van een private organisaties door het eigendom, de bron van de financiële middelen en een model van sociale controle. Publieke organisaties zijn eigendom van de
gemeenschap. De bron van de financiële middelen komt uit de belastingmiddelen en niet zoals bij private ondernemingen direct van de afnemers. Publieke organisatie worden in mindere mate beheerst door de markt, zij worden gestuurd door de politieke autoriteiten waarbij sociale controle een belangrijk element is.
De bron van financiële middelen komt bij publieke organisaties niet direct van afnemers. Door het ontbreken van de concurrentie en het ontbreken van een marktprijs voor een product of dienst is de efficiëntie van de dienstverlening lastiger te evalueren (Pidd, 2012, p. 270).
12
Het gaat hierbij niet om het type organisatie, maar om het type activiteit. Hofstede (1981) maakt onderscheid tussen publieke activiteiten en for-profit activiteiten. De for-profit activiteiten zijn directe activiteiten die een meetbare output produceren. Hij beargumenteert dat in meeste publieke organisatie ook directe activiteiten zijn, bijvoorbeeld de afdeling die de vergunningsaanvragen afhandelt. Deze directe activiteiten kunnen aangestuurd worden op dezelfde wijze als de for-profit organisaties/activiteiten. Als de volgende vier vragen over de activiteiten bevestigend kunnen worden beantwoord dan is er sprake van directe activiteiten en kan er routine control worden toegepast:
• Zijn de doelstellingen van de activiteit eenduidig/ondubbelzinnig? • Is de output van de activiteit meetbaar?
• Zijn de effecten van management ingrijpen bekend? • Heeft de activiteit een repetitief karakter?
De doelen van een publieke organisatie zijn niet altijd duidelijk, helder of eenduidig. De publieke omgeving wordt gekarakteriseerd worden door een veelvoud van doelstellingen en conflicterende doelstellingen (Cavaluzzo & Ittner, 2004). Hofstede (1981) geeft het voorbeeld van een gevangenis waarbij het doel niet eenduidig is. De directeur heeft als doel maximale veiligheid om de
maatschappij te beschermen. De staf heeft als doel maximale mogelijkheden voor de rehabilitatie van de gedetineerden. En het ministerie van Justitie wil een gevangenis die opereert tegen minimale kosten. Een publieke organisatie zal dus meer moeilijkheden ondervinden om het doel eenduidig te definiëren ten opzichte van een private organisatie waarbij de aandeelhouderswaarde het hogere doel is.
Hofstede (1981) geeft aan dat meetbaarheid van de output in deze context betekent
kwantificeerbaar, zowel bij publieke als for-profit activiteiten kan kwantificeerbaarheid lastig zijn. Hoe kwantificeert men bijvoorbeeld de output van een public relations afdeling of van een leger in vredestijd? Ook Cavaluzzo en Ittner (2004) onderkennen dat het moeilijk is om alle verschillende dimensies van overheidsdoelen meetbaar te maken. Zij zien dit als een hindernis om het
performance management systeem succesvol te maken
Hofstede (1981) en De Bruijn (2003) stellen dat de relatie tussen de interventies en het effect soms lastig te bepalen is. Dit kan worden veroorzaakt doordat de periode tussen de maatregel en het uiteindelijke effect lang is, maar ook doordat er ontelbare andere effecten invloed kunnen hebben op het uiteindelijke effect.
Het repetitieve karakter van activiteiten geeft de mogelijkheid voor leereffecten, zodat de activiteit de volgende keer beter kan worden uitgevoerd (Hofstede, 1981).
Als alle vier de vragen bevestigd kunnen worden, dan kan een routine control of de cybernetisch regelkring gebruikt worden. De cybernetische regelkring werkt als een kamerthermostaat. Er wordt een bepaalde temperatuur ingesteld. De thermostaat meet de temperatuur en zorgt dat de
verwarming aanslaat afhankelijk van de meting en meet opnieuw en past weer aan tot dat deze temperatuur is bereikt (Hofstede, 1981). Dit type van leren wordt single loop leren genoemd. Bij double loop wordt dieper op de oorzaak van het probleem ingegaan, er wordt gekeken naar de
13
aannames vanuit het verleden die onze huidige acties bepalen. In dat geval kan de temperatuur worden bijgesteld, omdat deze niet haalbaar blijkt (Pidd, 2012, p. 112).
Dit wil niet zeggen dat performance management niet toepasbaar is voor activiteiten in organisaties die niet voldoen aan alle bovenstaande criteria voor routine control. Pidd (2012) geeft twee
suggesties: probeer de organisatie in een routine-control organisatievorm te passen of erken dat de performance indicatoren benaderingen van de werkelijkheid zijn en gebruik performance
management met deze insteek.
De publieke activiteiten hebben vaak een aantal eigenschappen die het ontwikkelen van
performance management bemoeilijken. Door brede doelen en veel verschillende stakeholders is doelovereenstemming gecompliceerder dan in een private omgeving. De output van de activiteiten is soms lastig meetbaar. Tevens is de effectiviteit van interventies zijn niet altijd bekend, doordat de periode tussen interventie en het uiteindelijke effect lang kan zijn en doordat allerlei elementen invloed kunnen hebben op het uiteindelijke effect. Daarnaast is de efficiëntie van een publieke organisatie lastiger te evalueren door het ontbreken van marktprijzen.
2.4. Disfunctioneel gedrag
In paragraaf 2.2 is gedefinieerd dat door het meten en evalueren van de prestaties van de organisatie het gedrag, motivatie en processen kan worden verbeterd. Echter door het onhandig implementeren van performance management kan ook ongewenst gedrag worden gestimuleerd (Pidd, 2007). In deze paragraaf wordt onderzocht wanneer er sprake is van dit ongewenste gedrag, ook wel disfunctioneel gedrag genoemd. Tevens wordt gekeken bij welke redenen voor performance management
disfunctioneel gedrag voorkomt.
De Bruijn (2002) verdeelt de negatieve effecten van Performance management in een aantal
categorieën, deze categorieën worden hier aangevuld met typen disfunctioneel gedrag vanuit andere theorieën.
Performance management werkt gaming in de hand (De Bruijn, 2002). Een organisatie verhoogt zijn output afgestemd op de definitie van de opgestelde prestatie-indicator, maar in werkelijkheid verbetert de prestatie niet of nauwelijks. Of het verminderen van de prestaties die niet gemeten worden ten gunste van prestaties op de meetbare indicatoren. Radnor (2008) en Pidd (2012) noemen nog een vorm van disfunctioneel gedrag dat dichtbij gaming ligt: misrepresentatie. Hierbij gaat het om manipulatie van data om een betere resultaten te laten zien.
Performance management draagt bij aan interne bureaucratie (De Bruijn, 2002). Om te voldoen aan de eisen van het performance management systeem wordt een interne organisatie opgetuigd om de activiteiten meetbaar te maken. Dit kan ook voortkomen uit het probleem dat een doelstelling op één gebied de aandacht naar zich toetrekt ten koste van andere gebieden die niet zijn opgenomen in het performance measurement systeem. Het toevoegen van nieuwe doelstellingen om ook die aandachtsgebieden meetbaar te maken kan leiden tot een overload, in plaats van het gewenste gedrag. Dit kan leiden tot "mushrooming" (De Bruijn, 2003). In dat geval worden de kosten van het
14
systeem worden hoger. Er is een kans dat het systeem interne tegenstrijdigheden gaat bevatten en dat de complexiteit zo hoog wordt dat het moeilijk bruikbaar is voor zowel de manager en als de medewerkers.
Performance management blokkeert innovatie (Ossification) (De Bruijn, 2002). Een organisatie zal zijn productie zo inrichten dat het zo efficiënt mogelijk zijn prestatiedoelstellingen kan behalen. Bij innovatie bestaat het risico dat de output anders zal zijn dan verwacht en innovatie wordt daarom niet gestimuleerd.
Performance management blokkeert ambitie (De Bruijn, 2002). Organisaties kunnen hun input selecteren, zodat de doelstellingen gemakkelijker behaald kunnen worden. Bijvoorbeeld alleen studenten aannemen met een goed profiel en hoog gemiddeld examencijfer, zodat het percentage geslaagden beter is dan als er geen selectie aan de poort zou zijn.
Performance management ontmoedigt professioneel gedrag (fixatie op maatstaven, tunnelvisie) (De Bruijn, 2002). Performance management richt zich op de makkelijk meetbare zaken (output) in plaats van de uitkomsten. De uitkomsten zijn vaak lastig meetbaar in de publieke sector. Een professional respecteert alle aspecten van zijn taak. Door een performance systeem dat de complexe, niet
meetbare aspecten negeert, wordt de professional niet gehoord en geëvalueerd op de niet meetbare aspecten. Een vorm van disfunctioneel gedrag dat hierbij aansluit is misinterpretatie (Radnor, 2008, Pidd, 2012). Hierbij worden de meetbare aspecten onjuist geïnterpreteerd. Dit zal vooral voorkomen in grote en complexe organisaties.
Performance management doodt samenwerking en delen van informatie (Suboptimalisatie) (De Bruijn, 2002). Als publieke organisaties of organisatieonderdelen in onderlinge concurrentie zijn om goede prestaties te laten zien, bestaat de kans dat ze de informatie van eigen best-practices niet willen delen of dat de organisatieonderdeel het behalen van zijn eigen doelstelling prevaleert boven het behalen van het gezamenlijke doel.
Performance management straft goede prestaties af (De Bruijn, 2002). Een organisatieonderdeel dat investeert in efficiëntie en transparantie, krijgt een lager nieuw budget dat afgestemd is op de bereikte resultaten of een hogere prestatienorm. Een organisatieonderdeel dat niks doet, krijgt hetzelfde budget als voorgaande jaar of dezelfde prestatienorm.
Merchant en Van der Stede (2007, p.470), Radnor (2008) en Pidd (2012) hebben nog een aanvulling: performance management stimuleert het korte termijn denken. De leden van de organisatie richten zich op de korte termijn doelstellingen ten koste van lange termijn.
Pidd (2007, p. 423) heeft een inventarisatie gemaakt van welke vormen van disfunctioneel gedrag voor kunnen komen bij welke redenen voor performance management. Hieruit blijkt dat alle vormen van disfunctioneel gedrag voor kunnen komen als performance management wordt ingericht om centrale control uit te oefenen. Bij performance management om te zien wat goed werkt, moet men beducht zijn voor tunnelvisie, fixatie op maatstaven en misinterpretatie. Myopia, fixatie op
maatstaven, misrepresentatie en gaming zijn risico's bij performance management om competenties te identificeren. Bij publieke verantwoording zijn interne bureaucratie en misinterpretatie de
15
Hieruit kan geconcludeerd worden dat er vele vormen van disfunctioneel gedrag zijn. Deze gedragingen komen vooral voor in situaties waarbij de organisatie centrale control uit wil kunnen oefenen. Het disfunctionele gedrag komt door het onhandig implementeren van performance management volgens Pidd (2007). In de volgende paragraaf wordt onderzocht hoe het performance management systeem kan worden ingericht waarbij de kans op disfunctioneel gedrag wordt
gemitigeerd.
2.5. Inrichtingseisen voor effectief Performance Management
Pidd (2012, p. 49) stelt dat performance management effectief kan worden genoemd als de
voordelen van performance management de nadelen overstijgen. De voordelen zijn verbetering van de prestaties. De nadelen zijn niet alleen kosten die gemoeid zijn met meten, verzamelen en
analyseren van data. De nadelen zijn ook de indirecte kosten die te maken hebben met de
verschillende bijwerkingen van performance management (Merchant & Van der Stede, 2007, p. 179). Deze bijwerkingen worden disfunctioneel gedrag genoemd (zie paragraaf 2.4). Radnor formuleert effectief performance management kort en bondig: Performance Management is succesvol als het leidt tot verbetering van de prestaties van de organisatie (2008). En disfunctioneel gedrag leidt niet tot verbetering van de prestaties.
Performance management wordt veelal ingeregeld met behulp van result controls. Result controls zijn een indirecte vorm van control (Merchant & Van der Stede, 2007, p. 35). Leden van de
organisatie worden verantwoordelijk gemaakt om een bepaald resultaat/prestatie te behalen. De effectiviteit van results control wordt door Merchant en Van der Stede (2007, p. 32) gevat in een drietal criteria.
Het eerste criterium is dat de organisatie eenduidig vaststelt welke resultaten gewenst zijn. Boyne en Chen (2006) concluderen ook dat heldere en kwantitatieve doelstellingen leiden tot betere
uitkomsten in een publieke organisatie. Verbeeten (2007) vult met zijn onderzoek aan dat het definiëren van duidelijke en meetbare doelen positief samenhangt met zowel kwantitatieve prestaties als kwalitatieve prestaties.
Het tweede criterium is dat de medewerkers invloed hebben op het behalen van deze resultaten. Het laatste criterium is dat de resultaten effectief meetbaar zijn. Effectief meetbaar houdt volgens Merchant en Van der Stede (2007) in dat het gewenste gedrag wordt bevorderd. Om het gewenste gedrag te bevorderen moeten de maatstaven congruent, precies, objectief en tijdgebonden zijn. Tevens dienen de medewerkers te begrijpen dat ze verantwoordelijk zijn voor het behalen van de maatstaf en dienen ze te begrijpen wat ze kunnen doen om de maatstaf te beïnvloeden. Het laatste element van effectief meetbaar is dat het kostenefficiënt voor de organisatie moet zijn.
In het Verenigd Koninkrijk is een handboek uitgegeven door de overheid met de inrichtingseisen voor een performance management systeem. Het gaat om een zestal principes en de eerste letters van deze begrippen vormen het woord: FABRIC (HM Treasury, 2001):
16
• Focus: Informatie over performance management dient te worden beperkt tot de kernactiviteiten, de missie en activiteitsgebieden die verbetering behoeven.
• Appropriate: Het is belangrijk vooraf te bepalen wie de gebruikers van de informatie zijn, voor welk doel de informatie wordt gebruikt en waarom deze informatie noodzakelijk is. • Balanced: De set van indicatoren dient inzicht te geven in de prestaties van de organisatie.
Gezien de veelal niet eenduidige doelen van een publieke organisatie is dit lastig te bewerkstelligen. De organisatie dient zich te richten op het meten van de belangrijkste aspecten van de missie van organisatie.
• Robust: Het performance management systeem is robuust en wordt niet gehinderd door personeelswisselingen of organisatiewijzigingen.
• Integrated: Een ideaal meetsysteem is geïntegreerd met de werkprocessen en heeft geen extra overheadcapaciteit nodig.
• Cost-effective: De waarde die wordt gecreëerd door de verzameling en analyse van de metingen is hoger dan de kosten die ermee gemoeid zijn.
Deze FABRIC-principes sluiten deels aan bij de drie hierboven genoemde criteria voor result controls (Merchant & Van der Stede, 2007). De invloed op de resultaten wordt niet specifiek benoemd, maar dit ligt misschien impliciet in "Appropriate" met het bepalen van de gebruikers en het doel.
De "Focus" op kernactiviteiten en verbetergebieden sluit aan bij de visie van Ittner en Larcker (1998). Zij geven aan dat een te groot aantal maatstaven een verlaging van de prestaties kan betekenen. Managers moeten hun aandacht spreiden over te veel doelstellingen en dat leidt tot een
verminderde effectiviteit. Of de aandacht wordt gericht op de makkelijk meetbare doelstellingen ten koste van de lastig meetbare doelstellingen. Ook Merchant en Van der Stede (2007, p. 475)
waarschuwen voor een overdaad aan maatstaven. De vuistregel die zij gebruiken is dat een indicator een minimaal gewicht moet hebben van 5 à 10%, bij een lagere gewicht krijgt een indicator geen aandacht meer. Dat betekent dat bij meer dan 20 maatstaven geen van de maatstaven erg belangrijk is. Deze "Focus" kan op gespannen voet komen te staan met "Balanced", waarin immers een set van indicatoren wordt gekozen die inzicht biedt aan de prestaties van de organisatie
"Balanced" is door Verbeeten (2007) verder uitgewerkt op het vlak van balans tussen kwantitatieve en kwalitatieve prestaties. Onder kwantitatieve prestaties wordt verstaan efficiëntie en
productiedoelstellingen, de kwalitatieve prestaties liggen op het vlak van accuratesse, innovatie en motivatie. Hij maakt dit onderscheid, omdat de nadruk op kwantitatief performance management in publieke dienstverlening gevaarlijk kan zijn in situaties waar gebrek aan kwaliteit serieuze
consequenties heeft. Denk bijvoorbeeld aan een ziekenhuis, waarbij vermindering van de wachtlijst niet ten koste moet gaan van de kwaliteit van de behandeling. Om deze balans te bewaren benoemt hij vijf strategieën:
1. Organisaties kunnen gebruik maken van een variëteit aan prestatie-indicatoren met bijvoorbeeld ook aandacht voor "softe" aspecten van de prestaties.
2. Externe bronnen kunnen gebruikt/geraadpleegd worden, denk aan klantenpanels, klantenenquêtes.
3. Performance measurement systemen moeten bedacht worden in samenspraak met de medewerkers die ermee werken. In dat geval begrijpen de medewerkers de metingen
17
beter, eventuele oneerlijkheid wordt beperkt, er worden geen onmogelijke normen opgelegd en ze voelen zich mede verantwoordelijk.
4. De uitkomsten van de metingen geven een richting, maar geen antwoorden. Het management dient de dialoog aan te gaan met de werkvloer om passende acties uit te kunnen zetten.
5. Gebruik de vergelijkingen in tijd en tussen organisaties of organisatieonderdelen. Net als de richtinggevende uitkomsten (punt 4) van Verbeeten schrijft Pidd (2012, p. 43):
"Performance indicators indicate". Performance indicators geven een indicatie, ze geven geen uitleg. Het is net als een model een versimpelde weergave van de werkelijkheid. Een performance-indicator poogt een representatie te geven met een bepaald doel/functie voor ogen. Daarom is het verstandig vast te leggen waar de indicator voor gebruikt dient te worden samen met de datadefinitie. Dit sluit weer aan bij de "Appropriate" van FABRIC, het bepalen van het doel van een performance indicator. Ook de Bruijn (2002) sluit aan bij "Appropriate" en het gebruik van interactie tussen management en professional voor de juiste interpretatie van de prestatie-indicatoren. Hij benadrukt de combinatie van gebruik van outputmetingen met interactie over het proces (De Bruijn, 2003). Bij
outputmetingen gaat men uit van het aantal geproduceerde producten na het doorlopen van een proces. Bij de procesbenadering gaat men uit van de doorvoer in het proces, hierbij staat dialoog centraal tussen de manager en de professional. Dit geeft meer nadruk aan de lerende functie dan outputsturing.
Pidd (2012, p. 53) en Propper (2003) geven nog een aanvulling op bovenstaande inrichtingseisen. Ze adviseren regelmatig te evalueren en eventueel het herzien van het performance management systeem. Deze aanvulling legt de verbinding naar triple loop learning, waarbij organisaties zich constant bezighouden met de vraag of de bestaande producten, processen en systemen nog passen in de strategisch beoogde positie van de organisatie in de maatschappij (Wang & Ahmed, 2003). Dit triple loop leren is noodzakelijk, omdat de omgeving, organisatie en activiteiten kunnen veranderen. Er dient geen energie gestopt te worden in indicatoren die geen functie meer hebben. En de
evaluatie kan helpen om nieuwe, betere inzichten te kunnen geven aan de organisatie. In de onderstaande tabel staan de bovengenoemde inrichtingseisen samengevat in tien inrichtingseisen:
18
Nr Inrichtingseis Bron
1 Organisatie dient eenduidig vast te stellen welke resultaten gewenst zijn. Merchant & Van der Stede, 2007
2 Focus aanbrengen (kernactiviteiten, missie en verbeteringen) HM Treasury, 2001, Ittner & Larcker, 1998, Merchant & Van der Stede, 2007
3 Toepasbaarheid bepalen en vastleggen: voor wie, met welk doel en waarom deze
informatie HM Treasury, 2001, Pidd, 2012
4 Effectief Meetbaar Merchant & Van der Stede, 2007 • Congruent Merchant & Van der Stede, 2007 • Objectief Merchant & Van der Stede, 2007 • Precies Merchant & Van der Stede, 2007 • Tijdgebonden Merchant & Van der Stede, 2007 • Verantwoordelijk bij medewerker Merchant & Van der Stede, 2007 • Medewerker weet wat er moet gebeuren om resultaat te beïnvloeden Merchant & Van der Stede,
2007
• Kosten efficiënt Merchant & Van der Stede, 2007, HM Treasury, 2001
o Geïntegreerd met werkproces Pidd, 2012
6 Afgewogen set van indicatoren HM Treasury, 2001, Pidd, 2012 • Aandacht voor variëteit en 'softe' aspecten Verbeeten, 2007
o Combinatie tussen outputmetingen en procesindicatoren De Bruijn, 2002 • Gebruik van externe bronnen Verbeeten, 2007 • Ontwikkeling in samenspraak met werkvloer Verbeeten, 2007
7 Robuust, degelijk systeem HM Treasury, 2001
8 Dialoog over uitkomsten met de werkvloer Verbeeten, 2007, Pidd, 2012, De Bruijn, 2002
9 Vergelijk uitkomsten in de tijd en/of tussen organisatieonderdelen Verbeeten, 2007
10 Triple loop learning Pidd, 2012, Propper 2003
Tabel 2.1 Inrichtingseisen effectief performance management
Deze inrichtingseisen vanuit de literatuur bevatten een scala aan regels, deze zijn niet alle eenduidig. Er dient gebalanceerd te worden tussen de verschillende eisen. Bijvoorbeeld er dient een variëteit van prestatie-indicatoren opgenomen te worden, maar er zit ook een limiet aan het aantal indicatoren.
Performance management helpt bij het verbeteren van prestaties van de organisatie, doordat het de prestaties inzichtelijk maakt en prestaties van de leden van de organisatie in de richting van de organisatiedoelen laat bewegen. Er zijn verschillende redenen om performance management in te voeren. Deze reden bepaalt op welke wijze de performance management wordt ingericht. Er kleven ook nadelen aan performance management, namelijk disfunctioneel gedrag. De kans op bepaalde vormen van disfunctioneel gedrag hangt af van de reden voor de invoering van performance management. Vooral bij het uitoefenen van centrale control zijn er verschillende vormen van disfunctioneel gedrag mogelijk. Om de kans op dit gedrag te verminderen, kan er gebruik worden gemaakt van de inrichtingseisen voor effectief performance management. Vanuit de literatuur is een tiental criteria samengesteld. Deze criteria zorgen voor een effectieve inrichting van het performance management systeem en helpen bij het tegengaan van disfunctioneel gedrag.
In het volgende hoofdstuk wordt de onderzoeksmethode gepresenteerd. Daarna zullen in hoofdstuk 4 de resultaten van het onderzoek naar de situatie van het performance management systeem van UWV SMZ worden getoond aan de hand van bovenstaand schema.
19
3. Onderzoeksmethodiek
Zoals in de vorige hoofdstukken reeds is aangegeven wordt in dit onderzoek onderzocht in hoeverre het huidige performance management systeem binnen UWV SMZ voldoet aan de inrichtingseisen vanuit de literatuur. Uit hoofdstuk 2 is een kader voortgekomen dat getoetst wordt aan de praktijk binnen het UWV. In dit hoofdstuk wordt uitgelegd op welke manier dit onderzoek is opgebouwd en op welke wijze het onderzoek is gestructureerd.
3.1 Onderzoeksmethode
Om het kader vanuit het theoretisch kader van hoofdstuk 2 te kunnen onderzoeken wordt gebruik gemaakt van de embedded casestudy--methode. In dit onderzoek wordt een hedendaags fenomeen (het huidige performance management systeem) onderzocht in de werkelijke omgeving en de grenzen tussen het fenomeen en de context zijn niet heel zichtbaar (Yin, 2009). Hiervoor is een casus studie het meest geschikt. Er is sprake van een 'embedded' onderzoek, omdat het onderzoek
plaatsvindt bij het UWV SMZ en 'embedded' bij de verschillende groepen in de divisie SMZ.
De kwaliteit van de casestudy wordt geborgd door invulling te geven aan de eisen die Yin (2009) stelt t.a.v. casestudies. In de volgende paragrafen wordt uitgelegd hoe concreet invulling wordt gegeven aan de vier design tests van Yin (2009):
• Construct validity • Internal validity • External validity • Reliability
3.1.1. Construct validity
In deze casestudy is veelheid van verschillende bronnen geraadpleegd. De mening van managers Business Control & Kwaliteit uit districten en hoofdkantoor is onderzocht door middel van een interviews in de verschillende doelgroepen.
De interviews geven antwoord op de vragen naar de ervaringen over het performance management systeem. Wat is de mening van management over reden van performance management binnen UWV SMZ, welk disfunctioneel gedrag wordt herkend binnen SMZ en voldoet het huidige performance management systeem aan de inrichtingseisen vanuit de literatuur. Door middel van de data van het desk research en de interviews wordt de situatie van het performance management systeem van het UWV SMZ in kaart gebracht.
20 • Huidige managementcontracten • Jaarplannen 2013 en 2014 • Meerjarenplan SMZ • Maandrapportages op divisieniveau • Maandrapportages op districtsniveau
• Gespreksverslagen van verantwoordingsgesprekken
In het desk research wordt gekeken hoe het performance management systeem is opgebouwd: wat is missie en visie, welke doelstellingen zijn er vastgelegd, welke kpi's worden er gebruikt bij UWV SMZ, welk informatiestromen zijn er rond performance management.
De conceptbevindingen worden voorgelegd aan twee informanten binnen UWV Business Control & Kwaliteit. Deze hebben kritisch meegekeken naar de feiten van dit onderzoek. Dit heeft bijvoorbeeld geholpen bij de aanscherping van de interviewvragen en bij het verzamelen van documenten voor de desk research.
3.1.2. Internal validity
Internal validity wordt gebruikt bij casestudies waarbij een causaal verband wordt onderzocht. Deze case study is een probleemsignalerend onderzoek.
3.1.3. External validity
Op basis van het literatuuronderzoek is het theoretisch kader met inrichtingseisen voor een effectief performance management systeem opgesteld (deze is geformuleerd in paragraaf 2.5). Hierbij is zoveel mogelijk aansluiting gezocht bij recente theorieën.
De reikwijdte van deze theorie wordt onderzocht met behulp van de praktijksituatie bij UWV SMZ. De resultaten kunnen meer inzichten bieden. Ze kunnen bijvoorbeeld een bijdrage geven aan de kennis over het juiste gebruik van de prestatie-indicatoren, kennis of welke gevaren bestaan rond een performance management of het juiste gedrag wordt uitgelokt en kennis of het systeem consistent is opgezet.
3.1.4. Reliability/Betrouwbaarheid
De onderzoeksdocumenten voor deskresearch zijn verzameld met behulp van de medewerkers Business Control & Kwaliteit van de divisie SMZ. Deze gegevens worden aangevuld met de
uitkomsten van de interviews. Het totaal wordt tegen het theoretische kader met inrichtingseisen gehouden.
21
3.2. Vragenlijst
De interviews duren ruim een uur. De vragen voor deze semigestructureerde interviews zijn vooraf getoetst bij een tweetal controllers om te testen of ze de vragen duidelijk en eenduidig zijn
opgesteld. In de bijlage 1 staan de interviewvragen.
De geïnterviewden zijn werkzaam in de Business Control en Kwaliteit kolom. Deze keuze is gemaakt om geen verwarring te krijgen over begrippen. De samenstelling is divers. Vanuit het centrale divisiemanagement SMZ is het hoofd BC&K en de manager BC&K a.i. betrokken bij dit onderzoek. Vanuit de districten is sprake van een drietal managers BC&K SMZ. Er zijn totaal vijf interviews gehouden.
3.3. Onderzoeksmodel
In onderstaand onderzoeksmodel is het onderzoek schematisch weergegeven:
Figuur 3.1 Onderzoeksmodel
3.4. Variabelen
De te verklaren variabele is het huidige performance management systeem binnen UWV SMZ. Het kader met de inrichtingseisen die geformuleerd zijn vanuit de literatuur worden getoetst aan de huidige situatie.
De inrichtingseisen zijn in een kader geplaatst en dit kader wordt tegen de hierboven genoemde beschrijving van de praktijk gehouden. Hieruit kunnen de conclusies worden getrokken en de aanbevelingen worden genoemd. Dit vindt plaats in hoofdstuk 5. In het volgende hoofdstuk worden de resultaten van het onderzoek naar de huidige situatie van performance management binnen UWV SMZ beschreven.
22
4. Onderzoeksresultaten
Binnen SMZ is er een missie en visie bepaald door de directie. Deze wordt onder andere levend gemaakt door middel van een spel voor medewerkers en diverse communicatie-uitingen. Tevens maakt de directie een meerjarenplan. Dit plan wordt per jaar vertaald in een A3-jaarplan. Directie en management leggen hun jaarafspraken vast in een managementcontract waarin de
prestatie-indicatoren worden genoemd waar zij verantwoordelijk voor zijn en de persoonlijke speerpunten. SMZ heeft 57 prestatie-indicatoren benoemd, die de prestaties van de organisatie meten.
Maandelijks wordt er gerapporteerd over deze prestaties van een district naar divisie en over de prestaties van divisie naar Raad van Bestuur. Per tertaal (vier maanden) wordt er gerapporteerd van UWV naar Ministerie van Sociale Zaken en Werkgelegenheid (SZW).
Figuur 4.1 Verschillende soorten prestatie-indicatoren UWV SMZ
De prestatie-indicatoren bij UWV worden onderverdeeld in een viertal types: externe, horizontale, interne en algemene (zie figuur 4.1 en bijlage 3). De externe worden vastgesteld in samenwerking met SZW. De horizontale prestatie-indicatoren zijn die prestatie-indicatoren waar het
organisatieonderdeel in samenwerking met andere divisies moet opereren en waarbij de eigen divisie de regiehouder is van dat proces. Interne prestatie-indicatoren zijn de indicatoren waarover periodiek gerapporteerd wordt. Algemene prestatie-indicatoren zijn de stafgedreven indicatoren. De externe prestatie-indicatoren richten zich op verantwoording op procesonderdelen, budget en klanttevredenheid. Deze worden in de organisatie beschouwd als de kritische prestatie-indicatoren.
23
Immers over de externe indicatoren moet verantwoording worden afgelegd aan het Ministerie. Er ligt een nadruk op de tijdigheid van procesonderdelen, namelijk 26% van de prestatie-indicatoren meten of de organisatie voldoet aan afspraken op gebied van tijdigheid.
In bijlage 2 wordt nader inzicht gegeven in het performance management systeem van UWV SMZ, aan de hand van de vragen uit het framework van Ferreira en Otley (2009). In dit hoofdstuk geven we de onderzoeksresultaten of het SMZ-systeem voldoet aan de benoemde inrichtingseisen uit
paragraaf 2.5. Het hoofdstuk is in tweeën gedeeld. Het eerste deel gaat over de reden van
performance management bij UWV SMZ en de door geïnterviewden herkend disfunctioneel gedrag. Het tweede deel is gestructureerd aan de hand van de tien inrichtingseisen vanuit het theoretische kader.
4.1. Reden performance management en disfunctioneel gedrag
Zoals in paragraaf 2.2 beschreven is, kan performance management in de publieke sector vijf verschillende redenen hebben. Alle geïnterviewden geven aan dat de dominantie van de functie van het performance management systeem ligt bij het uitoefenen van centrale control. De districten, waar de uitvoering plaatsvindt, rapporteren maandelijks met behulp van de externe indicatoren, interne en algemene sturingsvariabelen hoe de uitvoering heeft gepresteerd. De interne
sturingsvariabelen zijn voornamelijk indicatoren die de tijdigheid van het proces of een processtap laten zien. De algemene sturingsvariabelen zijn de stafgerelateerde indicatoren, zoals proces compliancy, ziekteverzuim en het percentage vrouwen in hogere echelons.
Daarnaast herkennen de geïnterviewden ook het uitoefenen van publieke verantwoording. Het gaat onder andere om afleggen publieke verantwoording. Het UWV rapporteert aan het Ministerie van Sociale Zaken en Werkgelegenheid. Deze indicatoren worden externe indicatoren genoemd. De laatste paar maanden komt meer aandacht voor om te zien wat goed werkt. Maandelijks maakt Business Control & Kwaliteit benchmarkinformatie met verschillen in de uitkomsten van de
districten. Deze informatie heeft als doel om de dialoog tussen de districten en kantoren te aan te moedigen, zodat er geleerd wordt van best practices. Binnen districten helpt dit ook om de kantoren beter te laten samenwerken en elkaar te ondersteunen om de prestaties in de totaliteit van het district te verbeteren.
De functie om competenties te identificeren wordt wel herkend en zien de respondenten alleen terug bij zeer specifieke functies. De symbolische reden zien de geïnterviewden niet terug in de dagelijkse praktijk, zij denken dat deze reden meer speelt op het niveau van het ministerie.
Uit de interviews komt naar voren dat alle vormen van disfunctioneel gedrag wel herkend worden. Veel nadruk wordt gelegd door de geïnterviewden op myopia, misinterpretatie en interne
bureaucratie.
Myopia wordt teruggezien in acteren op de waan van de dag. Coûte que coûte moet een bepaalde prestatie-indicator op de korte termijn opgekrikt worden of een onderwerp opgepakt worden, waardoor alle focus gaat naar dat ene onderwerp. Uiteindelijk vallen er daardoor op andere plekken
24
gaten. Binnen SMZ ligt veel nadruk op tijdigheidsindicatoren, dit heeft het gevaar dat de kwaliteit te wensen over laat. Een concreet praktijkvoorbeeld is de tijdigheid van een nieuw product. De
tijdigheid van dit product daalt al een aantal maanden achter elkaar. Uit een recent
kwaliteitsonderzoek is naar voren gekomen dat bij één op zeven dossiers de uitkeringsgerechtigde ten onrechte een uitkeringsverlenging krijgt. Het is de vraag of er te veel nadruk is gelegd op de tijdigheid en dat deze nadruk op tijdigheid ten koste is gegaan van de kwaliteit.
Vooral vanuit de districten wordt gewaarschuwd voor misinterpretatie van het hoofdkantoor van hun prestaties. Het hoofdkantoor heeft de neiging de prestaties van een district uit te leggen aan de hand van de prestatie-indicatoren en vergeet de dialoog aan te gaan met het district om achter het verhaal van de cijfers te komen.
Interne bureaucratie wordt herkend in het feit dat er een interne organisatie is ingericht om de activiteiten meetbaar te maken en de groei aan prestatie-indicatoren (mushrooming).
Informatiebeheer is een subafdeling van Business Control & Kwaliteit en deze afdeling houdt zich bezig met meten, rapporteren en evalueren. Als er een nieuw element in een proces komt
bijvoorbeeld door een wetswijziging heeft SMZ de neiging om direct een nieuwe prestatie-indicator te ontwerpen om de prestatie te kunnen monitoren.
Alle geïnterviewden geven wel aan dat de voordelen nog steeds de nadelen overstijgen. Hierbij moet de opmerking worden geplaatst dat de groep geïnterviewden uit de Business Control & Kwaliteit kolom afkomstig is. Zij zien waarschijnlijk eerder de voordelen van performance management in dan een willekeurige managementlid. Volgens hen leeft resultaatgerichtheid en het bevorderen van de prestaties door het performance management wel in de SMZ organisatie. Kijkend naar het verleden kan geconcludeerd worden dat de prestaties van SMZ een stijgende lijn vertonen.
4.2. Inrichtingseisen voor effectief performance management
Aan de hand van de tien inrichtingeisen van paragraaf 2.5 wordt in deze paragraaf gekeken naar de inrichting van performance management bij UWV SMZ. In de interviews is gevraagd of de
ondervraagden deze eisen herkennen en wat hun beoordeling is van de toepassing van deze eisen bij UWV SMZ.
4.2.1. Eenduidige resultaten
In paragraaf 2.5 wordt als eerste inrichtingseis genoemd het eenduidig vaststellen van de gewenste resultaten. Uit de interviews komt naar voren dat het gewenste resultaat voor de hand liggend is en bekend is. Zij geven aan dat daar de problemen voor SMZ niet liggen. De overall doelstellingen zijn duidelijk voor zowel het hoofdkantoor als de districten.
25
4.2.2. Focus
In de management contracten staan uitgebreide scorecards met circa vijftig verschillende prestatie-indicatoren. Vanuit de literatuur wordt aangegeven dat een indicator een minimaal gewicht moet hebben van 5 à 10%, bij een lagere gewicht krijgt een indicator geen aandacht meer (Ittner & Larcker, 1998, Merchant & Van der Stede, 2007). Dat betekent dat bij meer dan twintig maatstaven geen van de maatstaven erg belangrijk is. De huidige vijftig prestatie-indicatoren brengen dus niet echt een focus aan. Naast deze prestatie-indicatoren worden vijf à zes speerpunten genoemd. Deze
speerpunten zijn samenwerkings- of verbeteringstrajecten waarop de betrokkene het verschil kan maken.
Uit alle interviews komt naar voren dat de focus verbeterd kan worden. Het zijn communicerende vaten, duw je op het ene onderwerp dan wordt daar een verbetering gezien, maar vaak een verslechtering op een ander aspect. Vanuit de districten komt het geluid dat er wel een heel brede focus is, die het UWV uiteindelijk niet verder zal helpen. Het idee van "less is more" wordt in verschillende interviews benoemd. Het aantal prestatie-indicatoren mag ook worden beperkt volgens een aantal geïnterviewden. Als voorbeelden worden genoemd de prestatie-indicatoren op kleine processen, zoals deskundigenoordeel en ontslagadviezen. Stuurinformatie op kantoorniveau is afdoende om te zorgen dat deze taken worden opgepakt, maar dit hoeft niet gerapporteerd te worden op divisieniveau.
Tevens wordt geconstateerd dat de focus te frequent veranderd. Een duidelijkere en consequente keuze voor een onderwerp zal helpen om meer structurele verbeteringen in gang te zetten.
4.2.3. Bepalen en vastleggen van de toepasbaarheid
Vanuit de literatuur wordt aanbevolen om de toepasbaarheid van de prestatie-indicator te bepalen en dit vast te leggen. Immers datgene wat gemeten wordt, moet aansluiten bij het doel waarvoor dit gemeten wordt.
In een aantal interviews komt naar voren dat er niet altijd consequent wordt nagedacht welk resultaat SMZ wil bereiken met een nieuwe meting en hoe dit dan het beste meetbaar gemaakt kan worden. In de waan van de dag wordt nog weleens vergeten om hier grondig bij stil te staan. Als voorbeeld kan worden genoemd dat de tijdigheidsindicatoren een nadelige bijwerking kunnen hebben. Als je de dossiers oppakt uit de voorraad met een oude aanvraagdatum dan daalt de
tijdigheid in die periode, hiermee stimuleer je niet dat de oudste voorraad het eerst wordt opgepakt. Of als het percentage hersteldverklaringen in het eerste ziektewetjaar makkelijk haalt, dan zorgt ervoor dat de energie op re-integratie wordt ingezet in het tweede ziektewetjaar om de uitstroom in het tweede jaar te bevorderen. Terwijl eerdere inzet van ZW/Arbo-middelen de kansen op re-integratie bevordert. Bepaalde metingen zorgen nu voor perverse prikkels.
De vastlegging van de definities van de prestatie-indicatoren wordt als positief ervaren door de geïnterviewden. Business Control & Kwaliteit maakt een handboekblad om nieuwe performance indicatoren in te regelen. In dit handboekblad moet het waarom van de nieuwe meting vermeld
26
worden plus de definitie en de berekening. In het proces van vaststellen van nieuwe prestatie-indicatoren wordt daarna een proefmeting gedaan. De proefmeting en het handboekblad worden afgestemd met de districten. Pas na deze afstemming wordt de performance indicator in productie genomen.
Bij bepaalde informatie die alleen kan tot stand kan komen met informatie-uitvraag naar de districten door hoofdkantoor wordt de bepaling van de toepasbaarheid nog weleens vergeten (voorbeeld de nacalculatie van efficiency). Hierbij worden vaak modellen gemaakt die voor meerdere doelen gebruikt kunnen worden. Dit maakt de modellen nodeloos gecompliceerd en dit zorgt voor onduidelijkheid of inconsistent invullen van deze modellen door de districten. Alle managers BC&K uit de districten geven aan dat zij als filter fungeren tussen hoofdkantoor en district om deze informatie uitvragen in goede banen te leiden.
4.2.4. Effectief meetbaar
Effectief meetbaar houdt in dat het gewenste gedrag wordt bevorderd (Merchant & Van der Stede, 2007). Zoals in hoofdstuk 2 is beschreven bevat effectief meetbaarheid een zevental elementen. Aan de hand van deze elementen wordt hieronder de effectiviteit van de meetbaarheid bij UWV SMZ in kaart gebracht.
Congruent
In het meerjarenplan van SMZ wordt een zestal doelstellingen genoemd om de visie waar te maken en de missie te bereiken:
1. Bezuinigingen tot 2016 2. Nieuwe wetgeving
3. Efficiency: binnen een gegeven budget meer presteren
4. Complementaire dienstverlening: focus op beoordelen en adviseren ten aanzien van arbeidsvermogen
5. Professionalisering, innovatie en digitalisering: professionaliseren medewerkers en optimaliseren dienstverlening m.b.v. strategische inzet informatievoorziening -> wetsonafhankelijk
6. Organisatieontwikkeling: transitie naar een professionele organisatie
De prestatie-indicatoren dienen in overeenstemming te zijn met deze doelstellingen van de organisatie. Binnen SMZ zijn er vele indicatoren die wijzen naar de efficiency doelstelling en er ontbreken indicatoren op het vlak van complementaire dienstverlening, professionalisering en innovatie en organisatieontwikkeling. In managementcontracten worden vijf à zes persoonlijke speerpunten genoemd, deze zijn een keuze gebaseerd op bovenstaande doelstellingen. De keuze is gebaseerd op het onderwerp waar de desbetreffende manager het verschil kan maken. Echter in de scorecard zien we niet alle genoemde doelstellingen terug. De congruentie is er wel aanwezig, maar deze is niet compleet. Toch komt uit de interviews geen commentaar op dit onderwerp naar voren.
27
Objectief
De metingen moeten objectief zijn. De prestatie-indicatoren worden gemeten door gebruik te maken van objectieve elementen. Dit zijn vastleggingen in het systeem van het primaire proces, externe bronnen, andere systemen (bezwaar- en beroepsysteem, klachtenregistratie, callcenter systeem, personeelsadministratie, financiële administratie). Bij de geïnterviewden is objectiviteit geen punt van discussie.
Echter bij de persoonlijke speerpunten uit het management contract zal objectieve meetbaarheid lastig zijn. De waardering op deze punten zal vooral van de inschatting van de leidinggevende en betrokkene zijn, waarbij de dialoog met voorbeelden en de mening van anderen een rol zal spelen om een goede inschatting te maken van de voortgang en resultaat. De geïnterviewden vinden de objectiviteit middels dialoog voldoende passend voor dit doel.
Precies
De precisie moet in overeenstemming zijn met de reden of functie van de prestatie-indicator. Door vastlegging van de definitie, een proefmeting en afstemming met de districten is precisie volgens de geïnterviewden geen probleem bij het effectief meten bij SMZ.
Tijdgebonden
Maandelijks worden de resultaten van de districten gerapporteerd aan de divisieleiding en
rapporteert de divisie aan de Raad van Bestuur. Tweemaandelijks heeft de Directeur Uitvoering een gesprek met de districten om de resultaten te bespreken. Elk kwartaal is er een gesprek tussen de RVB en de directie. Hierbij wordt de voortgang besproken en kan er sprake zijn van interventie om de voortgang te bespoedigen. De geïnterviewden vinden de maandelijkse rapportage en de wekelijkse stuurinformatie voldoende voor districten en hoofdkantoor voor een effectief meetbaar
performance management systeem.
Verantwoordelijkheid van de medewerker is duidelijk
De medewerker weet dat hij verantwoordelijk wordt gehouden voor het resultaat. De HRM cyclus is ingericht dat er een ontwikkelingsgesprek is waarbij naar de toekomst wordt gekeken. Een
functioneringsgesprek is er minimaal één maal halverwege het beoordelingsjaar en aan het eind van het jaar wordt de beoordeling uitgesproken. Op minimaal drie momenten worden de
verantwoordelijkheden onder de loep genomen. Verder worden er verslagen gemaakt van deze gesprekken, hierin kan dit ook nagelezen worden. De geïnterviewden vanuit de districten geven aan dat de medewerkers zich ook verantwoordelijk voelen voor het resultaat. De prestatie-indicatoren cascaderen van divisieniveau naar kantoorniveau. Echter niet alle informatie is door te vertalen van kantoorniveau naar team- of persoonsniveau. De betrokken manager heeft hierdoor niet altijd inzage in het resultaat van zijn team of in het resultaat per medewerker.
Medewerker weet wat er moet gebeuren om resultaat te beïnvloeden
Dit is het geval voor een aantal prestatie-indicatoren. Echter niet bij alle prestatie-indicatoren is dit heel inzichtelijk. Klanttevredenheid en bezwaarintensiteit is lastiger te beïnvloeden dan de tijdigheid van een proces. En ook die laatste kan lastig zijn te beïnvloeden als de instroom in het proces onvoorspelbaar is en vele malen groter is dan verwacht. Klanttevredenheid kan ook worden
28
het proces keurig is verlopen. De bezwaarintensiteit kan hoger worden als klanten in bezwaar gaan, omdat ze niets te verliezen hebben en wellicht het idee hebben dat ze hierdoor een hogere uitkering kunnen krijgen. Echter de geïnterviewden ervaren dit niet als knelpunt voor het performance
management systeem.
Kostenefficiënt
De kostenefficiëntie van het huidige proces wordt door de geïnterviewden vanwege de metingen vanuit SMF niet als probleem ervaren. Hierbij moet de kanttekening gemaakt worden dat de geïnterviewden behoren tot de Business Control & Kwaliteit kolom. Vanuit hun rol vinden ze performance management belangrijk en vinden ze eventuele kosten voortvloeiend uit het systeem van ondergeschikt belang.
Geïntegreerd met werkproces
De meeste prestatie-indicatoren zijn geïntegreerd met een werkproces. Dit zijn vooral de
tijdigheidsmetingen. Er zijn echter ook een aantal metingen die separaat worden uitgevraagd of uit een combinatie van systemen komen. Voorbeeld hiervan zijn klanttevredenheidsonderzoek en bezwaarintensiteit.
4.2.5. Afgewogen set van indicatoren vast te stellen
SMZ heeft circa 50 prestatie-indicatoren. De nadruk van de prestatie-indicatoren ligt sterk op de tijdigheid, 26% van de indicatoren meet de tijdigheid van een proces of procesonderdeel. Het is de vraag of de tijdigheid altijd de juiste indicator is. Immers een beslissing die tijdig is, echter inhoudelijk niet goed onderbouwd is, zal niet worden geaccepteerd door de klant. Of een beslissing die tijdig is, maar de klant voelt zich niet begrepen of gehoord, zal niet worden gewaardeerd door de klant. Daarnaast kan het proces misschien sneller dan de tijdigheidsnorm en zou doorlooptijd een betere indicator zijn. Bij SMZ wordt de kwaliteit middels periodieke audits gemeten, dit wordt niet vastgelegd in een prestatie-indicator. Met de metingen op gebied van klanttevredenheid, klachtintensiteiten bezwaarintensiteit worden de prestatie-indicatoren op gebied van tijdigheid enigszins in balans gehouden.
De geïnterviewden vinden de balans tussen prestatie-indicatoren in de meeste gevallen wel in orde. De zorg ligt meer bij consequent nadenken over wat gemeten wordt en brengt dat het doel dichterbij en welk gedrag stimuleert SMZ hiermee. Twee geïnterviewden geven aan dat eigenlijk alleen harde prestatie-indicatoren meetellen, zodra het "softer" wordt, wordt de discussie veelal afgekapt. "Tja dat kunnen we niet goed meten" en daarmee wordt dan het onderwerp van tafel geveegd. Een andere geïnterviewde geeft aan dat SMZ meer goedwerkende outcome prestatie-indicatoren nodig heeft die werken als early indicators. Dan zou het mooi zijn een echt dashboard te ontwikkelen als in een auto met een paar belangrijke meters en waarschuwingslampjes die alleen rood oplichten als bijvoorbeeld de benzine bijna op is.
Alle geïnterviewden uit de districten geven aan dat er teveel nadruk ligt op de
29
meer behoefte aan informatie op team of medewerker niveau, waarmee het gewenste gedrag kan worden bevorderd.
4.2.6. Robuust en degelijk systeem
Hier is duidelijk een verschil waarneembaar tussen de geïnterviewden in districten en centraal op het hoofdkantoor. De personen uit de districten erkennen wel dat niet alles even goed verloopt, maar het systeem is in hun ogen voldoende robuust en degelijk.
De mening bij de centrale functionarissen is dat er nog veel te winnen is om het systeem robuuster te maken. Het huidige systeem maakt nog veel gebruik van Excel, dat is flexibel, maar ook zeer
foutgevoelig. De term "spreadsheetfundamentalisme" valt in een interview. De afdeling die de uitkomsten van de metingen verstrekt, heeft alles gedocumenteerd. Hierdoor is men niet afhankelijk van een medewerker en zijn de metingen ook bij ziekte of vakantie te produceren. Er is een
ontwikkeling om alle rapportageformats vanuit een datawarehouse te laten komen, dit bevordert uiteraard de degelijkheid en vermindert de foutgevoeligheid. De districten herkennen dit probleem wel. Ze vinden dat gezien de achtergrond en waar de organisatie vandaan komt dat het systeem nu voldoende robuust en degelijk ingeregeld is.
4.2.7. Dialoog met de werkvloer
Één keer per twee maanden zijn er gesprekken tussen directeur uitvoering met de uitvoering in de districten. Verder zijn er regelmatig werkbezoeken in de districten, waarbij de directie spreekt met medewerkers in de uitvoering. Binnen de districten wordt aangegeven door de geïnterviewden dat het afhankelijk van de manager hoe hij of zij de geleverde prestaties communiceert naar en met de werkvloer. Een geïnterviewde geeft aan dat het onderwerp zeker leeft op de werkvloer in zijn district, maar dat het in zijn ogen nog niet voldoende is: "Er wordt aan mij nooit gevraagd: zijn de nieuwe cijfers er al?". Hij ziet de interesse in performance management vooral bij management terug en minder bij de medewerkers.
Hiernaast missen de geïnterviewden vanuit de districten de dialoog tussen de hoofdkantoor en district, zoals in paragraaf 4.1 is benoemd bij het disfunctionele gedrag "misinterpretatie". Het hoofdkantoor interpreteert de prestaties van het district aan de hand van de uitkomsten van de prestatie-indicatoren zonder het district om een verklaring te vragen.
4.2.8. Benchmarking
Het vergelijken van uitkomsten in de tijd en tussen organisatieonderdelen wordt herkend bij de geïnterviewden. De algemene mening is hier meer winst mee is te behalen. Bij SMZ wordt sinds begin 2014 meer aandacht gegeven aan de vergelijkingen tussen organisatieonderdelen. Binnen een
