Papieren tijger of sturen op resultaat?
Een onderzoek naar de toename van waargenomen perverse effecten door
prestatiemeting van Rotterdams jongerenwerk naarmate betrokkenen dichter bij
de uitvoering staan.
MSc Management van de Publieke Sector
Universiteit Leiden, Faculteit Governance and Global Affairs Masterthesis
Datum: 11 juni 2019 Auteur: Pieter Bosma Studentnummer: S0955272
Scriptiebegeleider: Mr. Dr. G.S.A. Dijkstra Tweede lezer: Prof. Dr. F.M. van der Meer
2
Voorwoord
Voor u ligt het resultaat van mijn onderzoek over prestatiemeting van jongerenwerk in Rotterdam. Vanuit mijn werk bij de gemeente Rotterdam heb ik regelmatig te maken met het jongerenwerkers. Deze scriptie heeft me dan ook veel inzicht gegeven in de manier waarop bij jongerenwerk goed opdrachtgeverschap kan bijdragen aan het meten van prestaties. Prestatiemeting is complex en de perverse prikkels liggen ook in Rotterdam op de loer. Aan de andere kant ben ik er na dit onderzoek van overtuigd geraakt dat prestatiemeting, mits goed toegepast, ook een aanleiding is om met elkaar “het goede gesprek” te voeren over wat er echt nodig is om jongeren te helpen.
Door diverse omstandigheden heb ik mijn scriptiefase lang uitgesteld. Gelukkig heb ik uiteindelijk toch de stap gezet om mijn studie alsnog af te ronden. Dit was niet gelukt zonder de steun van mijn vrienden en familie. In het bijzonder gaat mijn dank uit naar Annelieke, Annemarie en Nils die mij, met variërend lichte tot zware dwangmiddelen, hebben gestimuleerd om aan mijn scriptie te werken.
Verder wil ik mijn collega’s van de gemeente Rotterdam bedanken. Zowel voor de morele steun die ik van ze kreeg en voor het overnemen van overleggen op de momenten dat ik aan mijn scriptie werkte. Tenslotte wil ik mijn scriptiebegeleider dhr. Dijkstra bedanken voor zijn flexibiliteit en feedback. Hij zette mij ook op het juiste spoor voor de gekozen invalshoek en het onderwerp van deze scriptie.
Ik wens u veel leesplezier!
Pieter Bosma
3
Samenvatting
Bij de overheid is sinds de opkomst van New Public Management in de jaren 80 steeds meer aandacht voor prestatiemeting. Overheidsorganisaties gebruiken prestatiemeting om prestaties te monitoren, verantwoorden en om keuzes te maken. Daarentegen is er ook kritiek op prestatiemeting: de complexe werkelijkheid van professionals in de uitvoering staat vaak op gespannen voet met prestatiemeting. Als prestaties alleen op cijfers worden beoordeeld leidt dit vaak tot onbedoelde en perverse effecten. Ook is van belang wie er betekenis aan het cijfer geeft: wie heeft de meaning-making rights? Als de afstand tussen de beoordelaar en beoordeelde te groot wordt treden er perverse effecten op. De gemeente Rotterdam maakt gebruik van prestatiemeting om de prestaties van welzijnsorganisaties te meten. Het jongerenwerk maakt onderdeel uit van deze welzijnsopdrachten.
Het doel van dit onderzoek is om inzicht te bieden in de vraag of er meer perverse effecten van prestatiemeting bij jongerenwerk in Rotterdam worden waargenomen naarmate de betrokkenen dichter bij de uitvoering staan. Hiervoor is de volgende onderzoeksvraag opgesteld:
Nemen de waargenomen perverse effecten door prestatiemeting van jongerenwerk in Rotterdam toe naarmate de betrokkenen dichter bij de uitvoering staan?
De betrokkenen zijn hierbij afgebakend tot 4 functieniveaus: de contractmanager van de gemeente Rotterdam en directeuren, managers en jongerenwerkers van twee welzijnsorganisaties.
Om een antwoord op de onderzoeksvraag te kunnen geven is een casestudy uitgevoerd. Er zijn interviews gehouden met de contractmanager van de gemeente en de directeuren, managers en jongerenwerkers van twee welzijnsorganisaties. Daarin is getoetst in hoeverre prestatiemeting van jongerenwerk plaatsvindt en welke perverse effecten zich voordoen. Uit de resultaten is niet gebleken dat de perverse effecten door prestatiemeting van jongerenwerk toenemen naarmate betrokkenen dichter bij de uitvoering staan. Aan dit resultaat ligt mogelijk ten grondslag dat er vrijwel geen prestatiecijfers zijn voor jongerenwerk. Prestatiemeting van jongerenwerk neemt daardoor een beperkte rol in binnen het totale prestatiemetingproces van de integrale welzijnsopdrachten. Hierdoor is het verband tussen de beoordelaar en de beoordeelde mogelijk ook minder goed waarneembaar geweest in dit onderzoek.
Een advies voor mogelijk vervolgonderzoek is om te achterhalen hoe prestatiemeting van jongerenwerk binnen de integrale welzijnsopdrachten een volwaarde eigenstandige positie kan innemen. Een positie waarmee prestatiemeting voldoende recht doet aan de complexiteit, dynamiek en veelzijdigheid van het jongerenwerk.
4 Inhoudsopgave 1. Inleiding ... 6 1.1 Aanleiding en achtergrond ... 6 1.2 Probleemstelling ... 7 1.2.1 Doelstelling ... 7 1.2.2 Vraagstelling ... 8 1.3 Afbakening en onderzoeksopzet... 9 1.4 Relevantie ... 10 1.4.1 Wetenschappelijke relevantie ... 10 1.4.2 Maatschappelijke relevantie ... 10 1.4.3 Bestuurlijke relevantie ... 10 1.5 Leeswijzer ... 11 2. Theoretisch kader ... 12
2.1 New Public Management ... 12
2.2 Prestatiemeting ... 13
2.3 Perverse effecten prestatiemeting ... 15
2.4 Beantwoording deelvragen en hypothese ... 18
3. Onderzoeksontwerp ... 22 3.1 Onderzoeksstrategie ... 22 3.2 Onderzoeksmateriaal ... 23 3.3 Validiteit en betrouwbaarheid ... 24 3.5 Conclusie ... 24 4. Casusbeschrijving en bevindingen ... 26 4.1 Introductie casus ... 26
4.2 Bevindingen prestatiemeting jongerenwerk ... 27
4.2.1 Bevindingen prestatiemeting contractmanager ... 28
4.2.2 Bevindingen prestatiemeting WMO-Radar ... 29
5
4.3 Bevindingen perverse effecten op de functieniveaus... 35
4.3.1 Bevindingen contractmanager ... 35 4.3.2 Bevindingen directeuren ... 36 4.3.3 Bevindingen managers ... 37 4.3.4 Bevindingen jongerenwerkers... 38 4.4 Conclusie bevindingen ... 39 5. Analyse ... 41
5.1 Toetsen hypothese aan de bevindingen ... 41
5.2 Analyse bevindingen op basis van de theorie ... 41
6. Conclusie en discussie ... 43 6.1 Conclusie ... 43 6.2 Discussie ... 43 Literatuurlijst ... 45 Bijlage 1: interviewvragen ... 46 Bijlage 2: respondentenlijst ... 47
6
1. Inleiding
Deze scriptie gaat over prestatiemeting van jongerenwerk in Rotterdam. Centraal staat de vraag of de perverse effecten door prestatiemeting van jongerenwerk toenemen naarmate betrokkenen dichter bij de uitvoering staan. In deze inleiding zal eerst in paragraaf 1.1 de aanleiding voor dit onderzoek worden geschetst. Vervolgens komt de probleemstelling aan bod in paragraaf 1.2 met een doelstelling en de vraagstelling. Dan komt de afbakening en onderzoeksopzet aan bod in paragraaf 1.3. Dit hoofdstuk sluit af met de relevantie van het onderzoek in paragraaf 1.4 en de leeswijzer in paragraaf 1.5.
1.1 Aanleiding en achtergrond
Binnen het jeugddomein zijn gemeenten vanaf 1 januari 2015 als gevolg van de drie decentralisaties in het sociaal domein verantwoordelijk voor alle vormen van jeugdzorg. In opdracht van het ministerie van VWS werd later bij acht jongerenwerkorganisaties onderzocht wat de maatschappelijke effecten zijn van jongerenwerk (Participe advies, 2017). Eén van de benoemde maatschappelijke effecten in dit onderzoek is dat jongerenwerk zorg voorkomt en hiermee mogelijk een belangrijke bijdrage levert aan de oplopende kosten voor jeugdhulp. Dit is relevant, want uit een artikel in de Volkskrant (Huisman, 2019), blijkt dat jeugdhulpbudgetten sterk onder druk staan in veel gemeenten.
Het jongerenwerk houdt zich bezig met de ondersteuning van jongeren en werkt hierbij multimethodisch. Dit betekent dat het jongerenwerk afhankelijk van de situatie, de behoeftes die jongeren hebben en de opdracht van de gemeente de methodieken kiest waarmee zij hun werk uitvoeren (Metz, 2017). Het jongerenwerk kan als volgt worden gedefinieerd:
“Het jongerenwerk is een beroep in de pedagogische infrastructuur en richt zich op het begeleiden van jongeren in de leeftijd van 10-27 die steun nodig hebben bij het volwassen worden in de samenleving” (Metz, 2017:235).
Sinds de jaren 90 maken steeds meer gemeenten afspraken met jongerenwerkaanbieders over de te bereiken maatschappelijke effecten. In de praktijk blijkt het niet eenvoudig om de effecten van het jongerenwerk meetbaar te maken. Door de toenemende druk om effectiviteit te meten zijn er veel initiatieven om resultaten inzichtelijk te maken. Dit leidt niet zelden tot een groot aantal indicatoren, waarbij het maar de vraag is of ze echt inzicht geven over het effect van jongerenwerk. Vaak wordt niet goed gemeten of de beoogde effecten ook écht behaald zijn. Ook ontbreekt het aan realisme in het bepalen van een verband tussen de activiteiten van het jongerenwerk en de beoogde effecten (Noorda & van Dijk 2017). Gemeenten willen meer sturen op de inzet van jongerenwerk, hiervoor willen gemeenten ook meer inzicht in de effectiviteit (Metz, 2012). Vanuit gemeenten komt hierdoor meer de nadruk te liggen op controle, kostenbeheersing en resultaten. Het jongerenwerk in Nederland worstelt volgens Metz (2013) met deze eenzijdige aandacht voor het behalen van doelen.
Binnen de publieke sector speelt prestatiemeting een steeds belangrijkere rol (Van Thiel & Leeuw 2002). In de jaren 80 en 90 doet New Public Management (NPM) haar intrede. Kenmerkend zijn de
7
ideeën over een meer bedrijfsmatige overheid (Hood, 1991; Osborne & Gaebler, 1992). Hood (1991) onderscheidt binnen NPM zeven componenten van New Public Management. Eén van deze zeven componenten is explicit standards and measures of performance. Vanuit de NPM-gedachte is prestatiemeting van belang omdat er vooral wordt gestuurd op output en resultaten. Voorheen was de overheid altijd gewend te sturen op input & troughput: bijvoorbeeld hoeveel geld er was besteed en wat daar mee was gedaan, niet wat de effecten waren van deze bestedingen (Osborne & Gaebler 1992).
Prestatiemeting draagt bij aan het monitoren en bijstellen van overheidsprestaties. Daarnaast heeft prestatiemeting ook een belangrijke externe functie richting politiek en burgers: namelijk het verantwoorden van politieke keuzes en het op een juiste manier besteden van geld (Pollit & Bouckaet, 2000). Daarentegen is er ook kritiek op prestatiemeting en steeds meer bewijs dat prestatiemeting ook onbedoelde en ongewenste effecten oplevert. Veel werk van professionals binnen de publieke sector is lastig in cijfers uit te drukken en komt tot stand in coproductie met andere organisaties. Ook is de correlatie tussen prestatie-indicatoren en de prestatie vaak niet duidelijk (van Thiel & Leeuw 2002, de Bruijn 2006, Talbot 2007).
Lipsky (1980) ziet prestatiemeting met name voor professionals in de uitvoering als een groot probleem. Dit is omdat er bij maatschappelijke doelen vaak sprake is van goal ambiguity: het te bereiken doel is niet eenduidig, maar op meerdere manieren te interpreteren. Ook zijn er teveel variabelen waar rekening mee te gehouden moet worden om een evaluatie van prestaties realistisch te maken (Lipsky 1980). Jongerenwerkers kunnen gezien worden als street level bureaucrats omdat ze veel contact hebben met burgers (in dit geval jongeren) en een kritische rol spelen in de uitvoering van beleid. Deze street level bureaucrats werken in banen met relatief veel vrijheid en weinig toezicht. Prestatiemanagement leidt volgens Lipsky tot ander gedrag bij street level bureaucrats: ze passen zich aan en werken (ogenschijnlijk) aan de prestaties die van hen worden gevraagd. Een voorbeeld: om zo hoog mogelijk te scoren op het systeem van prestatiemeting zullen de professionals zich juist richten op die zaken waarbij met zo min mogelijke inzet zo goed mogelijk kan worden gepresteerd (Lipsky 1980). Dit fenomeen noemt Lipsky creaming maar wordt ook wel cherry picking genoemd (de Bruijn, 2006).
1.2 Probleemstelling
1.2.1 Doelstelling
Ook de gemeente Rotterdam maakt gebruik van prestatiemeting om de prestaties van welzijnsorganisaties te meten. De gemeente Rotterdam werkt in de huidige welzijnscontracten met kritische prestatie-indicatoren (KPI’s) waarmee de gemeente zichtbaar wil maken of de vooraf geformuleerde prestaties ook daadwerkelijk worden gerealiseerd. In Rotterdam zijn per 1 januari 2018 de welzijnsorganisaties gegund aan welzijnsorganisaties via een Europase aanbesteding. Het jongerenwerk is ondergebracht bij deze welzijnsorganisaties. Voor het welzijnswerk zijn voor 14
8
gebieden in Rotterdam gevraagde prestaties en resultaten geformuleerd aan de hand van 11 KPI’s: kritische prestatie indicatoren (gemeente Rotterdam, 2016). De gemeente Rotterdam wil het opdrachtgeverschap van jongerenwerk verbeteren om meer zicht te krijgen in de maatschappelijke resultaten van het jeugd- en jongerenwerk (gemeente Rotterdam 2019).
Het toepassen van prestatiemanagement heeft positieve functies voor organisaties: het draagt bij aan het leren, belonen van prestaties, het verbeteren van dienstverlening en transparantie. Maar er kunnen ook perverse effecten optreden omdat de complexe werkelijkheid van professionals vaak op gespannen voet staat met het meten van prestaties (van Thiel & Leeuw 2002, de Bruijn 2006, Talbot 2007). Meer inzicht in de uitwerking van deze positieve functies en perverse effecten in de praktijk kan bijdragen aan het kiezen van de juiste indicatoren en helpt bestuurders van welzijnsaanbieders met het beter implementeren van prestatiemeting.
Een belangrijke vraag bij prestatiemeting is volgens de Bruijn (2006) welke betekenis en interpretatie aan cijfers wordt gegeven. Prestatiecijfers zijn vaak op veel manieren uit te leggen. Wanneer prestaties uitsluitend worden beoordeeld op grond van cijfers, is de interpretatie van deze cijfers voor professionals vaak armoedig of zelfs onjuist. Prestatiemeting doet dan geen recht aan de complexiteit van het werk van de professional. Ook is van belang wie er betekenis aan het cijfer geeft: wie heeft de meaning-making rights? De professionals, in dit onderzoek jongerenwerkers, geven vorm aan het primaire proces. De bestuurder is de persoon die dit primaire proces probeert te sturen (De Bruijn, 2006). Naarmate de afstand van de bestuurder tot het primaire proces groter is, worden ook de perverse effecten van prestatiemeting groter. Als een bestuurder ver af staat van het primaire proces krijgt het productiecijfer een steeds belangrijkere rol als informatiebron. Een prestatie kan zo twee betekenissen hebben: de betekenis die door het primaire proces, bijvoorbeeld jongerenwerkers, aan een prestatiecijfer wordt gegeven en die op het niveau van de bestuurder. Wanneer deze betekenissen teveel uiteenlopen treden er meer perverse effecten op (De Bruijn, 2006).
Dit leidt tot de volgende doelstelling voor dit onderzoek:
Het doel van dit onderzoek is om inzicht te bieden in de vraag of meer perverse effecten van prestatiemeting bij jongerenwerk in Rotterdam worden waargenomen naarmate betrokkenen dichter bij de uitvoering staan.
1.2.2 Vraagstelling
De geformuleerde doelstelling van dit onderzoek leidt tot de volgende vraagstelling:
Centrale vraag:
Nemen de waargenomen perverse effecten door prestatiemeting van jongerenwerk in Rotterdam toe naarmate de betrokkenen dichter bij de uitvoering staan?
9
Om de centrale vraag te beantwoorden zijn de volgende deelvragen geformuleerd:
Deelvragen:
1. Wat is prestatiemeting?
2. Welke perverse effecten kunnen optreden door prestatiemeting?
3. In hoeverre wordt prestatiemeting van jongerenwerk toegepast in Rotterdam? 4. Wat zijn de ervaren perverse effecten onder betrokkenen door prestatiemeting van
jongerenwerk op de verschillende functieniveaus in Rotterdam?
In dit afstudeeronderzoek worden de eerste twee deelvragen nader toegelicht en beantwoord in het theoretisch kader (hoofdstuk 2). De laatste twee deelvragen komen aan bod in de bevindingen en analyse van dit onderzoek in hoofdstuk 4 en 5.
1.3 Afbakening en onderzoeksopzet
In hoofdstuk 3 zal het onderzoeksontwerp in meer detail worden beschreven. In deze paragraaf wordt kort de afbakening van dit onderzoek toegelicht en de gebruikte methoden voor de uitvoering van dit onderzoek.
De onderzoeksoptiek is volgens de bril waarmee de onderzoeker kijkt naar het onderzoeksobject (Verschuren en Doorewaard, 2007). In dit onderzoek is gekozen voor een theorietoetsend onderzoek. Bij dit type onderzoek formuleert de onderzoeker op basis van de theorie een verwachting die getoetst wordt aan de praktijk. In dit onderzoek wordt op verschillende functieniveaus gekeken naar de waargenomen effecten door prestatiemeting van jongerenwerk in Rotterdam en daarmee getoetst of er daadwerkelijk meer perverse effecten worden waargenomen naarmate de bestuurder verder afstaat van het primaire proces (De Bruijn, 2006).
In Rotterdam zijn acht welzijnsorganisaties actief die jongerenwerk aanbieden verdeeld over 14 gebieden. Gezien de beperkte tijd die beschikbaar was voor dit onderzoek zijn afgebakend tot de welzijnsorganisaties WMO-Radar in het gebied Delfshaven en Dock in het gebied Charlois. Onderzoek naar het perspectief van de gemeente is afgebakend tot de contractmanager die verantwoordelijk is voor het sturen op de prestaties in de welzijnscontracten. De betrokkenen in zijn in dit onderzoek afgebakend tot vier functieniveaus:
1. Eerste niveau: contractmanager gemeente Rotterdam. 2. Tweede niveau: de directeuren van WMO-Radar en Dock.
3. Derde niveau: de managers van de gebieden Charlois en Delfshaven bij WMO-Radar en Dock. 4. Vierde niveau: jongerenwerkers uit de gebieden Charlois en Delfshaven van WMO-Radar en
10
In dit onderzoek wordt gebruik gemaakt van casestudy als onderzoeksstrategie. Het onderzoek richt zich op het prestatiemetingproces bij jongerenwerk vanuit de integrale welzijnsopdrachten van de gemeente Rotterdam.
1.4 Relevantie
1.4.1 Wetenschappelijke relevantie
Er is veel onderzoek gedaan naar prestatiemeting binnen de publieke sector en de risico’s die prestatiemeting met zich meebrengt (van Thiel & Leeuw 2002, de Bruijn 2006, Talbot 2007). Aan de hand van literatuur is er weinig bekend over het effect van prestatiemeting op specifiek het jongerenwerk. Binnen het jongerenwerk is er wel aandacht voor prestatiemeting en zijn er monitoringsinstrumenten voor het meten van resultaten in het jongerenwerk (Metz 2013). Ook zijn er de afgelopen jaren verschillende onderzoeken gedaan naar de effecten van jongerenwerk (Noorda & van Dijk 2017). Dit onderzoek kan bijdragen aan de inzichten over de uitwerking die prestatiemeting heeft op jongerenwerk in de praktijk.
1.4.2 Maatschappelijke relevantie
De gemeente Rotterdam vindt dat de prestaties die in de huidige welzijnsopdrachten gevraagd worden van het jongerenwerk niet voldoende inzicht geven in de daadwerkelijke prestaties van het jongerenwerk. De gemeente Rotterdam heeft zich daarom tot doel gesteld om het opdrachtgeverschap te verbeteren en meer inzicht te krijgen in de maatschappelijke resultaten van het jeugd- en jongerenwerk (gemeente Rotterdam, 2019). Samen met welzijnsorganisaties die zich hebben verenigd in het samenwerkingsverband “Win010” is de gemeente in gesprek over een visie op het jongerenwerk en het “versterken van het opdrachtgeverschap” (met als doel een betere samenwerking tussen opdrachtgever en opdrachtnemer). Dit onderzoek wil een bijdrage leveren aan meer inzicht in de huidige effecten van prestatiemeting bij jongerenwerk in Rotterdam. Deze inzichten kunnen bijdragen aan het versterken van goed opdrachtgeverschap vanuit gemeente Rotterdam. Ook levert het kennis op die directeuren en managers van jongerenwerkorganisaties kunnen benutten voor de wijze waarop zij prestatiemeting toepassen in hun organisaties.
1.4.3 Bestuurlijke relevantie
Sinds 2018 zijn de gebiedsopdrachten voor het welzijnswerk in Rotterdam via een Europese aanbesteding verstrekt. Hierbij speelt prestatieverantwoording middels kritische prestatie-indicatoren (KPI’s) een belangrijke rol. De gemeente Rotterdam werkt aan een nieuw integraal beleidsplan Zorg, Welzijn en Jeugdhulp voor de jaren 2020 – 2025. Dit beleidsplan vormt ook de basis voor een nieuwe aanbestedingsprocedure waarbij de gemeente ook opnieuw keuzes wil maken in haar inkoopstrategie, zoals langere contracten en ruimte om gemaakte afspraken tussentijds bij te stellen (gemeente Rotterdam, 2019). Dit onderzoek kan bijdragen aan het maken van bestuurlijke keuzes om de prestatiemeting van jongerenwerk te verbeteren.
11
1.5 Leeswijzer
In hoofdstuk 2 wordt het theoretisch kader beschreven. Eerst zal het ontstaan van prestatiemeting vanuit New Public Management worden besproken. Hierna zal met het theoretisch kader aandacht worden besteed aan de theoretische inzichten over prestatiemeting in het algemeen en de perverse effecten van prestatiemeting in het bijzonder. Tenslotte sluit het theoretisch kader af met het beantwoorden van de theoretische deelvragen en het formuleren van een hypothese. Hoofdstuk 3 behandelt de case-selectie, de onderzoeksstrategie en de manier van dataverzameling. In hoofdstuk 4 worden achtereenvolgens de casus van dit onderzoek nader toegelicht en de bevindingen beschreven. Daarna volgt in hoofdstuk 5 de analyse van de bevindingen op basis van de theorie die is belicht in het theoretisch kader. Afsluitend wordt in hoofdstuk 6 de conclusie geformuleerd en gereflecteerd op het onderzoek.
12
2. Theoretisch kader
Dit onderzoek richt zich op de vraag of de perverse effecten van prestatiemeting bij jongerenwerk toenemen naarmate betrokkenen dichter bij de uitvoering staan. Dit hoofdstuk behandelt eerst New Public Management als aanleiding voor prestatiemeting bij de overheid in paragraaf 2.1. Vervolgens worden de twee centrale begrippen uit de onderzoeksvraag behandeld: “prestatiemeting” en “perverse effecten” van prestatiemeting. Het boek “prestatiemeting in de publieke sector” van Hans de Bruijn staat hierbij centraal. De theorie over prestatiemeting is opgenomen in paragraaf 2.2. Tenslotte zijn de perverse effecten van prestatiemeting beschreven paragraaf 2.3. Dit hoofdstuk sluit af in paragraaf 2.4 met de beantwoording van de twee theoretische deelvragen en het formuleren van een hypothese op de centrale onderzoeksvraag. Ook zijn de centrale begrippen “prestatiemeting” en “perverse effecten” geoperationaliseerd naar indicatoren.
2.1 New Public Management
Vanaf de jaren 80 van de vorige eeuw groeit de kritiek op de bureaucratie bij de overheid. De opkomst van New Public Management (in het vervolg verder NPM genoemd) zorgde ervoor dat overheden meer en meer bedrijfsmatig gingen werken. Hiermee deed ook prestatiemeting zijn intrede in veel landen waaronder Nederland (Pollit en Bouckaert, 2000). Hood (1991) en Osborne en Gaebler (1992) worden gezien als grondleggers van NPM en geven deze ideeën meer vorm. De opkomst van NPM kan volgens Hood (1991) gezien worden als een huwelijk tussen twee eerdere stromingen: new instititutional economics en managerialism. De beweging van new instititutional economics richte zich op overheidsverniewing door transparantie, keuzevrijheid en het stimuleren van gedrag (incentive structures). Managererialism gaat uit van het bieden van ruimte aan managers om een cultuur te creëren voor maximale prestaties én het actief meten van prestaties / output (Hood, 1991). Hood (1991) noemt in zijn artikel ‘A public management for all seasons?’ zeven ontwikkelingen die hij schaart onder het begrip New Public Management. Deze zeven kenmerken zijn opgenomen in tabel 1.
Tabel 1: De zeven componenten van NPM volgens Hood
1. Hands-on professional management”: managers krijgen meer bevoegdheden en worden verantwoordelijk gehouden voor resultaten.
2. Explicit standards en measures of performance: gebruik van expliciete indicatoren en targets om prestaties te meten.
3. Greater emphasis on output controls: beloning en financiering op basis van resultaten.
4. Shift to disaggregation of units in the public sector: overheidsorganisaties worden opgesplitst op basis van producten in meer zelfstandig opererende units.
5. Shift to greater competition in public sector: verschuiving naar meer concurrentie, zoals via aanbestedingen en contracten voor een bepaalde periode.
6. Stress on private-sector styles of management practice: meer flexibiliteit in het aannemen en belonen van personeel.
7. Stress on greater discipline and parsimony in resource use: meer nadruk op kostenbesparing ‘do more with less’.
13
Hood (1991) beschrijft dat NPM de traditionele kernwaarden van de overheid kan beïnvloeden. Hij maakt hierin onderscheid tussen Sigma-, Theta- en Lambda-waarden. De sigma-waarden gaan in op zuinigheid en efficiëntie met publieke middelen, de theta-waarden gaan over eerlijkheid en redelijkheid en de lambda-waarden over betrouwbaarheid en veerkracht. Het gevaar volgens Hood (1991) is dat er teveel nadruk ligt op sigma-waarden (zuinigheid en efficiëntie). NPM is soms tegenstrijdig met theta- en lambda waarden in publieke organisaties: zoals het nauwgezet volgen van procedures en een duidelijke hiërarchie.
Osborne en Gaebler (1992) introduceerden in hun boek “Reinventing Goverment” een blauwdruk voor een nieuwe en meer bedrijfsmatige publieke sector. Volgens Osborne en Gaebler (1992) stellen de huidige instituties ons meer en meer teleur. De overheid is te hiërarchisch en ontstaan in het industriële tijdperk: een tijd waarin mensen met hun handen werken in plaats van met hun hoofd. De huidige informatiesamenleving vraagt om een overheid die weet te sturen in plaats van te roeien. Volgens Osborne en Gaebler moet de overheid richting bepalen en keuzes maken, maar de uitvoering juist aan anderen overlaten. Om dit te bereiken moeten volgens Osborne en Gaebler instituties opnieuw worden opgebouwd (Osborne en Gaebler, 1992).
Volgens Pollit en Bouckaert (2000) werkt het doorvoeren van NPM niet in elk land op dezelfde manier. Met name Anglo Amerikaanse landen, zoals de VS, het UK en Australië, staan meer open voor de performance driven ideeën van NPM. Dit zijn ook landen de publieke sector het meest open staat voor politieke controle. Ten opzichte van Anglo-Amerikaanse landen vraagt de situatie in Nederland om een gematigder en minder snelle implementatie van NPM waar de “scherpe kantjes” vanaf zijn (Pollit en Bouckaert, 2000). Toch ontkwam ook Nederland niet aan de impact van NPM. Zo zijn er al vanaf de jaren 80 onder het eerste kabinet Lubbbers van 1982-1986 veel veranderingen doorgevoerd om de rijksuitgaven te verlagen en taken te decentraliseren of te privatiseren. Sinds 2001 is ook de rijksbegroting outcome- georiënteerd en voorzien van meetbare beleidsdoelen (Pollit en Bouckaert, 2000).
2.2 Prestatiemeting
Uit de vorige paragraaf blijkt dat prestatiemeting een belangrijk gevolg is van de opkomst van New Public Management (Hood 1991, Pollit & Bouckaert, 2000). Er zijn drie veelvoorkomende manieren om naar prestaties van de overheid te kijken (Talbot, 2005)
1. De prestaties van ambtenaren en individuen; 2. De prestaties van organisaties;
3. De prestaties van beleid of programma’s (waar vaak meerdere organisaties bij zijn betrokken).
De meeste aandacht binnen de literatuur gaat volgens de Bruin (2006) uit naar de prestaties van organisaties. Dit is niet verwonderlijk omdat veel verantwoordingssystemen, naar voorbeeld van de
14
private sector, zijn gebouwd rond organisatiestructuren. Hierdoor is het ook mogelijk om technieken en modellen toe te passen uit de private sector. Prestatiemeting kan hiervoor een krachtige tool zijn om een organisatie te besturen (Van Thiel & Leeuw 2002). Doordat bij veel systemen van prestatiemeting de focus vooral ligt op organisaties en organisatiestructuren leidt dit er toe dat beleid, programma’s en activiteiten vaak minder goed gemeten worden (Van Thiel & Leeuw, 2002). Prestatiemeting heeft de volgende kenmerken. Om prestaties te meten bepaald een overheidsorganisatie indicatoren. Er is sprake van prestatiemeting wanneer prestatie-indicatoren zijn gedefinieerd, deze prestatie-indicatoren zijn vertaald naar meetbare producten waarna via een planningscyclus de prestaties worden gepland, gerealiseerd en gemeten (De Bruijn, 2006).
De Bruin (2006) benoemd vier positieve functies die prestatiemeting kan hebben. Een eerste positieve functie van prestatiemeting is dat het bijdraagt aan transparantie, dit heeft zowel een interne als externe functie. Intern wordt duidelijker welke activiteiten bijdragen aan het primaire proces en de doelstellingen van een organisatie. Extern, ook richting bijvoorbeeld de politiek, draagt prestatiemeting bij aan het zichtbaar maken van een prestatie die vaak complex tot stand komt. Echter, prestatiemeting vereenvoudigd deze complexe prestatie tot cijfers die makkelijk te communiceren zijn (De Bruijn, 2006). Politici doen allerlei beloftes om prestaties te leveren. Prestatiemeting laat zien of het beloofde beleid ook echt is geleverd (Talbot, 2005).
Een tweede positieve functie is dat prestatiemeting prestaties beloont en bureaucratie voorkomt. Dit vanuit de gedachte dat input -en throughputsturing een negatieve prikkel zijn voor presteren, in tegenstelling tot outputsturing. Bij inputsturing ligt de focus op het maken van plannen, dit kan uitnodigen om plannen zo ambitieus mogelijk te maken. Bij sturing op throughput gaat het ook niet over de resultaten, maar over de activiteiten en processen binnen een organisatie (De Bruijn 2006).
Een derde positieve functie van prestatiemeting is dat het bevorderlijk is voor het leerproces, zowel tussen als binnen organisaties. Cijfers lenen zich bij uitstek voor een vergelijking tussen organisaties als scholen en ziekenhuizen. Als uit cijfers blijkt dat er verschillen zijn tussen organisaties kan dit aanleiding zijn om best practices te identificeren. Ook kan een bestuurder van een organisatie die minder scoort op een ranglijst de score gebruiken om urgentie te creëren om prestaties te verbeteren (De Bruijn, 2006).
Tenslotte is de vierde positieve functie van prestatiemeting dat het zorgt voor de verbetering van de intelligence van een organisatie. Zo krijgt een organisatie meer inzage in (langjarige) trends en ontwikkelingen. Door inzicht in productiecijfers kan er beter voorspeld worden waar door professionals in de uitvoering extra aandacht aan moeten besteden. Ook kan het benut worden om de service te verbeteren. Een verbeterde intelligence is ook van belang in de samenwerking tussen overheidsorganisaties. Vaak zijn overheidsorganisaties van elkaar afhankelijk. Als bijvoorbeeld het Openbaar Ministerie (OM) inzage kan bieden in het aantal onderzoeken (output) kan de rechtbank
15
hier rekening mee houden bij het plannen van capaciteit en zittingen. De output voor het OM is in dit voorbeeld de input voor de rechtbank (De Bruijn, 2006).
Daarentegen zijn er ook bezwaren in te brengen tegen het idee dat er bij de overheid sprake kan zijn van meetbare producten. Niet elke activiteit of organisatie leent zicht even goed voor prestatiemeting. Bij een overheidsorganisatie zijn diensten en producten vaak meervoudig. De diensten en producten moeten vaak recht doen aan verschillende waarden en kunnen onderling ook met elkaar conflicteren (de Bruijn 2006). Organisaties in de publieke sector delen hun verantwoordelijkheid met andere organisaties, zowel horizontaal: met andere (semi)overheidsorganisaties, als verticaal: bijvoorbeeld gemeente – rijksoverheid. Ook wordt beleid vaak uitgevoerd door een andere organisatie dan de overheidsorganisatie waar het beleid is gemaakt. (Van Thiel & Leeuw, 2002). De Bruin (2006:23) noemt negen condities waarbinnen prestatiemeting mogelijk en problematisch is, opgenomen in Tabel 2.
Tabel 2: condities waaronder prestatiemeting mogelijk en problematisch is
Type 1: producten prestatiemeting mogelijk
Type 2-producten: prestatiemeting problematisch
1 Producten zijn enkelvoudig Producten zijn meervoudig: producten moeten recht doen
aan verschillende waarden.
2 Een organisatie is product georiënteerd Een organisatie is proces georiënteerd. Organisaties die beleid maken met veel partijen zijn vaak proces georiënteerd. De uitkomst van gezamenlijk overleg en onderhandelingen is vaak onvoorspelbaar: een goed proces kan tot teleurstellende producten leiden.
3 Autonome productie Coproductie: de producten komen in samenwerking met
anderen tot stand.
4 Producten staan op zichzelf Producten zijn vervlochten. Producten van
overheidsorganisaties staan vaak niet op zichzelf. Wanneer sterk op de eigen producten wordt afgerekend is er geen prikkel om af te stemmen met andere organisatieonderdelen.
5 Causaliteiten zijn bekend Causaliteiten zijn onbekend: niet altijd is de relatie tussen
inspanning en resultaat helder of is de causaliteit omstreden.
6 Kwaliteit in prestatie-indicatoren te definiëren De kwaliteit is niet te definiëren in prestatie-indicatoren.
7 Uniforme producten Variëteit aan producten
8 Omgeving is stabiel Omgeving is dynamisch
Bron: De Bruijn 2006:23
2.3 Perverse effecten prestatiemeting
Naast de positieve functies van prestatiemeting kunnen er ook perverse effecten optreden. De Bruijn (2006) benoemd twee oorzaken voor het ontstaan van perverse effecten door prestatiemeting. Een
16
eerste verklaring voor het ontstaan van perverse effecten is dat prestatiemeting voor de professional armoedig en unfair is. Prestatiemeting is volgens de Bruijn armoedig en unfair omdat een overheidsprofessional zijn werk uitvoert en leert in de interactie met zijn omgeving. Juist in deze interactie met anderen zit het lerend vermogen van een professional. Dit maakt het werk van professionals ook moeilijk overdraagbaar. Professionele activiteiten zijn vaak ook meervoudig: ze bestaan uit een groot aantal acties en doen recht aan meerdere belangen. Als prestaties worden gereduceerd tot een beperkt aantal cijfers leidt dit vanuit het perspectief van de professional tot armoedige en unfaire informatie (De Bruijn, 2006).
Een tweede verklaring die kan worden gegeven voor het ontstaan van perverse effecten is dat het primaire proces in een professionele organisatie vaak complex en kennisintensief is. Dit betekent dat er altijd bijzondere expertise nodig is die moeilijk valt te standaardiseren. Ook moeten overheidsorganisaties recht doen aan meerdere waarden en belangen: hun producten zijn daarmee vaak meervoudig (De Bruijn, 2006). Dit levert condities op die prestatiemeting problematisch maakt. Een systeem van prestatiemeting zal nooit een compleet beeld geven van alle activiteiten. Daarbij is ook de throughput van groot belang: de inspanningen die de professional levert om tot een effectieve strategie te komen en deze strategie ook bij kan sturen. Een derde verklaring voor het ontstaan van perverse effecten bij prestatiemeting is dat het systeem niet levendig is: nieuwe prestaties en producten passen niet altijd in het systeem van prestatiemeting en het systeem biedt geen ruimte voor processen die aan de prestatie voorafgaan. Naarmate een product complexer is (zie Tabel 2) zijn er meer actoren betrokken en wordt de dynamiek groter (De Bruijn, 2006).
Prestatiemeting heeft ook grote impact op professionals in de uitvoering. Street level bureaucrats hebben direct contact met bugers én hebben relatief veel vrijheid in hun werk om naar eigen inzicht te handelen (Lipsky, 1980). De relatieve vrijheid die de street level bureaucrat ervaart in zijn werk botst echter veelal met de grote hoeveelheid regels vanuit de organisatie. Dit heeft weer als gevolg dat de street level bureaucrat deze regels naar eigen inzicht toepast (Lipsky 1980). Volgens Lipsky (1980) is prestatiemeting met name voor de street level bureaucrats een groot probleem. Doordat er bij maatschappelijke doelen vaak sprake is van goal ambiguity: het te bereiken doel is niet eenduidig en op meerdere manieren te interpreteren. Ook zijn er teveel variabelen nodig om een evaluatie van prestaties realistisch te maken (Lipsky, 1980). Prestatiemanagement leidt volgens Lipsky dan ook tot ander gedrag bij street level bureaucrats: ze passen zich aan en werken (ogenschijnlijk) aan de prestaties die van hen worden gevraagd. Om zo hoog mogelijk te scoren op het systeem van prestatiemeting zullen professionals zich vooral richten op die zaken waarbij met zo min mogelijke inzet zo goed mogelijk kan worden gepresteerd (Lipsky, 1980).
De Bruin (2006:26-42) noemt zeven perverse effecten die op kunnen treden bij prestatiemeting, zie hiervoor Tabel 3.
17
Tabel 3: Perverse effecten van prestatiemeting
Prestatiemeting is een stimulans voor strategisch gedrag
Er is sprake van strategisch gedrag als professionals zich vooral richten op het behalen van de productie volgens de regels van het systeem. Voor de professional heeft deze productie geen of een negatieve betekenis. Hierdoor wordt vooral op papier toegewerkt naar een verbetering van cijfers. Dit wordt ook wel "gaming the numbers" genoemd. Prestatiemeting blokkeert innovaties Doordat een organisatie geconfronteerd wordt met prestatiemeting zal het zich toeleggen
op het zo efficiënt mogelijk bereiken van prestaties. Hierdoor krijgen vooral producten aandacht die eenvoudig gerealiseerd kunnen worden met veel rendement. Innovatie brengt onzekerheid en onvoorspelbaarheid met zich mee. Dit terwijl prestatiemeting vooral voorspelbaarheid en consistentie beloond.
Prestatiemeting blokkeert ambities Ook wel creaming of cherry picking" genoemd. Door de input te optimaliseren op kwaliteit of kwantiteit wordt ook de output gestuurd. Bijvoorbeeld scholen die alleen goede
leerlingen aannemen om de onderwijsresultaten te sturen. Hierdoor levert een organisatie in op haar ambities.
Prestatiemeting verhult de daadwerkelijke prestaties
Prestatiemeting is voor de bestuurder een belangrijk instrument. Wanneer de afstand van de bestuurder tot het primaire proces te groot wordt, verhult dit de causaliteit tussen inspanning en prestatie. De bestuurder gaat eigen conclusies en causaliteiten construeren puur op basis van cijfers.
Prestatiemeting verdrijft de professionele habitus
Vooral kwantitatieve “meetbare” gegevens lenen zich goed voor prestatiemeting. Professionele waarden zoals kwaliteit, integriteit en samenwerking laten zich veel moeilijker meten. Prestatiemeting kan zorgen voor het verdrijven van deze professionele waarden als een organisatie zich vooral richt op de vooraf gedefinieerde prestaties. Ook kan het leiden tot verkokering, omdat prestatiemeting een negatieve prikkel is voor samenwerking tussen organisaties.
Prestatiemeting leidt tot kopiëren, niet tot leren
Het vergelijken van overheidsorganisaties door benchmarking kan leiden tot imitatiegedrag, zonder dat er goed gekeken wordt naar de verschillen. Dit kent een aantal belangrijke risico's. Zo gaat achter cijfers altijd een complexere werkelijkheid schuil en zijn "best practices" vaak zo met hun context verweven dat ze in een andere situatie juist een tegenovergesteld effect geven,
Prestatiemeting leidt tot een straf op prestaties
Wanneer een organisatie jaar na jaar aan de prestatienormen voldoet kan er besloten worden dat het ook met minder geld moet kunnen. Een organisatie die helemaal transparant is maakt zichzelf hierdoor kwetsbaar, het behalen van prestaties heeft op deze manier een averechts effect.
Bron: De Bruijn (2006:29-42)
De Bruijn (2006) stelt dat vooral de impact die prestatiemeting heeft ervoor zorgt dat er perverse effecten optreden. De impact van prestatiemeting kan worden beperkt als in het prestatiemetingsproces aandacht is voor de volgende drie ontwerpprincipes:
1. Interactie: prestatiemeting als interactief proces tussen management en uitvoering; 2. Dynamiek: de mate waarin prestatiemeting een levendige activiteit is;
18
Het eerste ontwerpprincipe is interactie. Prestatiemeting moet een interactie zijn tussen management en uitvoering over het doel en de noodzaak van de prestatiecijfers. Het tweede ontwerpprincipe is dynamiek. Prestatiemeting moet dynamisch zijn: een levendige activiteit met ruimte voor verbeteringen in het proces en het bijstellen van prestatie-indicatoren. Het derde ontwerpprincipe is variëteit. Variëteit houdt in dat er verschillende productdefinities mogelijk zijn en dat er naast het oordeel over productie ook een oordeel over processen mogelijk is (De Bruijn, 2006). De ontwerpprincipes dynamiek, interactie en variëteit staan echter op gespannen voet met de systeemlogica van prestatiemeting.
Vanuit de systeemlogica geredeneerd is prestatiemeting volgens de Bruijn (2006) bedoeld om professionals af te rekenen en dient het integraal, consistent en uniform te zijn. Terwijl aan de andere kant dynamiek, interactie en variëteit nodig is om recht te doen aan de complexiteit van het werk van professionals. Het werk van professionals is vaak meervoudig en kent juist veel variëteit (De Bruijn, 2006). Daarbij zijn de vooraf gestelde doelen op het niveau van de professional op meerdere manieren te interpreteren: door Lipsky (1980) goal ambiguity genoemd. Deze spanning tussen systeemlogica en de complexe werkelijkheid van de professional levert drie paradoxen op. De eerste paradox is dat naarmate een systeem van prestatiemeting integraler wordt, het systeem in effectiviteit afneemt. Als prestatiemeting te omvangrijk wordt en moet voldoen aan een groot aantal doelen, prestaties en functies, dan leidt dit tot meer bureaucratie en perverse effecten. Een tweede paradox is dat naarmate prestatiemeting meer de functie van oordeelsvorming krijgt, het systeem minder effectief wordt. Als er naast oordeelvorming op grond van producten ook wordt gekeken naar processen maakt dit prestatiemeting krachtiger. Tenslotte is prestatiemeting ook minder effectief naarmate het zich meer richt op consistentie en uniformiteit. Deze systeemlogica botst met de complexiteit en variëteit die werk van professionals kenmerkt (De Bruijn, 2006).
2.4 Beantwoording deelvragen en hypothese
In dit hoofdstuk zijn de kernbegrippen ‘prestatiemeting’ en ‘perverse effecten’ beschreven en is de relevantie theorie bij deze begrippen nader toegelicht. De kernbegrippen zijn samengevat en vertaald naar indicatoren in Tabel 4. In hoofdstuk 1 zijn twee theoretische deelvragen geformuleerd die hier aan de hand van de beschreven theorie in dit hoofdstuk beantwoord worden. Daarnaast is voor het beantwoorden van de hoofdvraag een hypothese opgesteld waarmee een verwachting is geformuleerd vanuit de in dit hoofdstuk beschreven theorie.
Deelvraag 1: wat is prestatiemeting?
Prestatiemeting hangt samen met de opkomst van NPM. Een overheid die producten definieert kan laten zien welke prestaties zijn behaald en hier verantwoording over afleggen. De Bruijn (2006) kenmerkt prestatiemeting als een overheid die prestatie-indicatoren heeft gedefinieerd en deze indicatoren vertaald naar meetbare producten. Volgens de Bruijn (2006) sluit dit aan bij de gangbare opvatting over prestatiemeting. Organisaties die gebruik maken van prestatiemeting tellen veelal de
19
prestaties die ze voortbrengen. De volgende definitie van prestatiemeting is gehanteerd voor dit onderzoek (De Bruijn, 2006:16):
Om prestaties te meten bepaald een overheidsorganisatie prestatie-indicatoren. Er is sprake van prestatiemeting wanneer prestatie-indicatoren zijn gedefinieerd, deze indicatoren zijn vertaald naar meetbare producten waarna via een planningscyclus de prestaties worden gepland, gerealiseerd en gemeten.
Deelvraag 2: welke perverse effecten kunnen optreden door prestatiemeting?
Het primaire proces in een professionele organisatie voert vaak complexe overheidstaken uit. Prestatiemeting brengt deze complexe prestatie terug tot een meetbaar, maar vaak te beperkte samenvatting van de werkelijkheid. Dit spanningsveld tussen de complexe prestatie en de interpretatie van de cijfers kan leiden tot perverse effecten als prestatiemeting voor de professional armoedig, unfair en niet levendig is (De Bruijn, 2006).
Door de Bruijn (2006) worden de volgende zeven perverse effecten onderscheiden (zie Tabel 3). 1. Prestatiemeting is een stimulans voor strategisch gedrag
2. Prestatiemeting blokkeert innovaties 3. Prestatiemeting blokkeert ambities
4. Prestatiemeting verhult de daadwerkelijke prestaties 5. Prestatiemeting verdrijft de professionele habitus 6. Prestatiemeting leidt tot kopiëren, niet tot leren 7. Prestatiemeting leidt tot een straf op prestaties
Hypothese
De centrale vraag in dit onderzoek is:
“Nemen de waargenomen perverse effecten door prestatiemeting van jongerenwerk toe naarmate de betrokkenen dichter bij de uitvoering staan?”
Als er een grote afstand is tussen de beoordelaar en de beoordeelde, heeft de beoordelaar minder informatie over de context van de prestatie. Wanneer prestaties alleen op cijfers worden beoordeeld leidt dit vaak tot onbedoelde en perverse effecten. Een prestatie kan zo twee betekenissen hebben: de betekenis die door het primaire proces aan een prestatiecijfer wordt gegeven en de betekenis op het niveau van de bestuurder. Wanneer deze betekenissen teveel verschillen treden er meer perverse effecten op (De Bruijn, 2006). Hieruit kan de volgende hypothese worden opgesteld:
Naarmate de betrokkenen bij prestatiemeting dichter bij de uitvoering staan nemen de perverse effecten toe.
20
Bovenstaande hypothese is schematisch weergegeven in Figuur 1.
Figuur 1: schematische weergave hypothese
2.5 Operationalisering kernbegrippen en indicatoren
In onderstaande tabel zijn de kernbegrippen uit het onderzoek “prestatiemeting” en “perverse effecten” op basis van dit theoretisch kader geoperationaliseerd en vertaald naar indicatoren. Tabel 4: operationalisering kernbegrippen en indicatoren
Kernbegrip Dimensies Indicatoren
1. Prestatiemeting
De overheidsorganisatie heeft kritische prestatie-indicatoren bepaald. Vervolgens worden deze prestatie-indicatoren vertaald naar producten, waarbij een
planningscyclus wordt doorlopen om de behaalde resultaten te plannen, monitoren en verantwoorden.
Aanwezigheid prestatie-indicatoren Gedefinieerde producten
Doorlopen van een planningscyclus
De mate waarin de te meten producten zich minder goed lenen voor prestatiemeting (tabel 2)
Meetbaarheid van de gedefinieerde producten
Functies prestatiemeting Prestatiemeting leidt tot transparantie en is daarmee een prikkel voor innovatie
Prestatiemeting leidt tot beloning van prestaties en voorkomt bureaucratie
21
Prestatiemeting is bevorderlijk voor het leerproces
Prestatiemeting leidt tot verbeterde intelligence en dienstverlening 2. Perverse
effecten
prestatiemeting
Prestatiemeting levert perverse effecten op omdat het onvoldoende recht doet aan complexiteit van het werk in het primaire proces.
Prestatiemeting is een stimulans voor strategisch gedrag
Prestatiemeting blokkeert innovaties Prestatiemeting blokkeert ambities Prestatiemeting verhult de
daadwerkelijke prestaties Prestatiemeting verdrijft de professionele habitus
Prestatiemeting leidt tot kopiëren, niet tot leren
Prestatiemeting leidt tot een straf op prestaties
22
3. Onderzoeksontwerp
In hoofdstuk 1 zijn de aanleiding, doelstelling en probleemstelling besproken. Vervolgens is in hoofdstuk 2 het theoretisch kader beschreven, de theoretische basis voor dit onderzoek. In dit hoofdstuk wordt de volgende stap gepresenteerd: het onderzoeksontwerp voor de uitvoering van dit onderzoek.
Het ontwerp van een onderzoek bestaat volgens Verschuren en Doorewaard (2007:16) uit twee onderdelen: het conceptuele ontwerp en het technische ontwerp. Het conceptuele ontwerp gaat over ‘wat’ er onderzocht wordt, dit is beschreven in de inleiding van dit onderzoek. Het technische ontwerp gaat over het ‘hoe’, ‘waar’ en ‘wanneer’ het onderzoek gaat plaatsvinden om zo de onderzoeksvragen te kunnen beantwoorden. De eerste stap die Verschuren en Doorenwaard (2007:17) noemen is de onderzoeksbenadering of strategie, de drie kernvragen die hierbij beatwoord moeten worden zijn: 1. Wordt ingezet op breedte of diepte in het onderzoek? 2. Gaat het om een kwantitatief of kwalitatief onderzoek? 3. Wordt er gekozen voor een bureauonderzoek of empirisch onderzoek? Na de onderzoeksstrategie volgt het vaststellen van het benodigde onderzoeksmateriaal om de onderzoeksvraag te kunnen beantwoorden.
3.1 Onderzoeksstrategie
In dit onderzoek wordt gebruik gemaakt van de onderzoeksstrategie ‘casestudy’. In dit onderzoek is gekozen voor een kwalitatief, empirisch onderzoek. Daarom ligt het voor de hand om te kiezen voor een casestudy. Kenmerk van een casestudy is dat de onderzoeker een diepgaan beeld geeft van één of enkele objecten of processen die begrenst zijn in tijd. Verschuren en Doorewaard (2007:184) noemen zeven kenmerken van de casestudy:
1. een smal domein met weinig onderzoekseenheden; 2. een arbeidsintensieve benadering;
3. meer diepte dan breedte;
4. een selectieve oftewel strategische steekproef; 5. het onderzoek betreft een geheel
6. een waarneming op locatie;
7. kwalitatieve gegevens en dito onderzoeksmethoden.
De onderzoeksstrategie casestudy kent twee varianten: de enkelvoudige en vergelijkende casestudy. Dit onderzoek maakt gebruik van een enkelvoudige casestudie met meerdere waarnemingseenheden: WMO-Radar en Dock (Verschuren & Doorewaard 2007). Bij aanvang van het onderzoek is gestart met inleidende gesprekken met een contractmanager en een teammanager jeugd van de gemeente Rotterdam. Voor het onderzoek is één casus geselecteerd, het prestatiemetingproces van jongerenwerk binnen de integrale welzijnsopdrachten.
23
In Rotterdam zijn acht welzijnsaanbieders actief die in 14 gebieden integrale welzijnsopdrachten uitvoeren. Gezien de beperkte tijd is ervoor gekozen om dit onderzoek af te bakenen tot het prestatiemetingproces van twee gebieden: WMO-Radar in Delfshaven en Dock in Charlois. Beide organisaties zijn actief zijn in een gebied met een vergelijkbare omvang qua inwonersaantal. Charlois ligt op de Rotterdamse zuidoever en Delfshaven op de noordoever. Door de fysieke afstand tussen beide gebieden zorgt dit naar verwachting ook voor andere omstandigheden en andere samenwerkingspartners. Bij de casusselectie is tevens één welzijnsorganisatie gekozen die al langer actief is in het gebied (Dock) en één organisatie die sinds 1 januari 2018 de welzijnsopdracht uitvoert voor het betreffende gebied (WMO-Radar). In dit onderzoek zal het gemeentelijke perspectief worden onderzocht door een interview met de contractmanager van de gemeente die verantwoordelijk is voor de naleving van prestatieafspraken door beide welzijnsorganisaties. Vervolgens zal een interview plaatsvinden met respectievelijk de directeur, een manager en een jongerenwerker van beide welzijnsorganisaties.
Er is door de onderzoeker gekozen voor respondenten uit drie lagen van de welzijnsorganisaties te interviewen en de contractmanager van de gemeente. Hiermee kunnen de ervaren perverse effecten inzichtelijk worden gemaakt op vier niveaus: operationeel (jongerenwerker), tactisch (manager), strategisch (directeur) en contractmanager (opdrachtgever/bestuurder). De bevindingen uit dit onderzoek worden in hoofdstuk 4 gepresenteerd aan de hand van deelvraag 3 en 4.
Deelvraag 3: In hoeverre wordt prestatiemeting van jongerenwerk toegepast in Rotterdam?
Deelvraag 4: Wat zijn de ervaren perverse effecten onder betrokkenen door prestatiemeting van jongerenwerk op de verschillende functieniveaus in Rotterdam?
Nadat de bevindingen zijn besproken, volgt de analyse. In de analyse verklaart en beschrijft de onderzoeker de bevindingen in relatie tot de centrale vraag en de hypothese die is opgesteld in het theoretisch kader. Tenslotte volgt de conclusie met de beantwoording van de centrale vraag en een reflectie op dit onderzoek.
3.2 Onderzoeksmateriaal
Na het vaststellen van de onderzoeksstrategie is de volgende stap in het technisch ontwerp het vaststellen van het onderzoeksmateriaal. Hierin wordt een vertaalslag gemaakt van theorie naar empirie en een keuze gemaakt in het onderzoeksmateriaal. Volgens Verschuren en Doorewaard (2007) is er vaak heel veel onderzoeksmateriaal beschikbaar en is ook enige creativiteit en pragmatisme noodzakelijk om hieruit een keuze te maken. Hierin is een onderscheid te maken tussen onderzoeksobjecten en bronnen van informatie. Het onderzoeksobject is in dit onderzoek een proces: het prestatiemetingproces van jongerenwerk bij twee welzijnsorganisaties Dock in Charlois en WMO-Radar in Delfshaven. Er wordt niet gekeken naar alle aspecten van het jongerenwerk, maar specifiek naar de effecten van prestatiemeting op het jongerenwerk.
24
De informatiebron voor het onderzoeksmateriaal bestaat uit interviews met de contractmanager, jongerenwerkers, managers en directeuren van beide welzijnsorganisaties. De respondentenlijst is opgenomen in bijlage 2. Er wordt door de onderzoeker gebruik gemaakt van de techniek ondervraging in de vorm van een interview. Het gaat om kwalitatieve interviews, met een semi-open vragenlijst. Hiervoor is gekozen om relevante punten tijdens het gesprek naar voren te laten komen, maar ook ruimte te bieden aan de respondenten om mogelijk relevante nieuwe inzichten en kennis te verstrekken (Evers, 2007). De vragenlijst is gebaseerd op de relevante begrippen en indicatoren die voortvloeien uit het theoretisch kader. De relevante begrippen en indicatoren zijn nader uitgewerkt in Tabel 4. Vervolgens zijn de benoemde indicatoren uitgewerkt in interviewvragen. Deze vragenlijst is opgenomen in bijlage 1.
De interviews vinden bij voorkeur plaats in persoon (‘face-to-face’) of wanneer dit niet mogelijk is door middel van een telefonisch interview. Alle interviews worden opgenomen en naderhand uitgewerkt in een verslag. Op basis van de interviews worden vervolgens de bevindingen besproken.
3.3 Validiteit en betrouwbaarheid
De validiteit van een onderzoek zegt iets over de mate waarin de onderzoeker erin slaagt om datgene wat werd beoogd te onderzoeken ook daadwerkelijk heeft onderzocht. Een potentieel nadeel van een casestudy is volgens Verschuren en Doorewaard (2007) dat de externe validiteit, de mate waarin resultaten zijn te generaliseren, beperkt is. Dit komt omdat er bij een casestudy slechts één of een beperkt aantal cases onderzocht kunnen worden. Voor de andere welzijnsorganisaties in Rotterdam zijn de resultaten daarom niet generaliseerbaar. Toch kunnen de onderzoeksresultaten mogelijk wel een goede indicatie zijn omdat alle welzijnsorganisaties een vergelijkbare opdracht hebben vanuit de gemeente Rotterdam.
In tegenstelling tot bij de survey is een goede interne validiteit juist vaak beter te realiseren bij een casestudy (Verschuren en Doorewaard 2007). In de selectie van respondenten heeft de onderzoeker ervoor gekozen om personen op vier verschillende niveaus te interviewen. Door vanuit verschillende functiegroepen personen te interviewen (operationeel, tactisch, strategisch en opdrachtgever) kan naar verwachting een goed antwoord worden gegeven op de centrale vraag van dit onderzoek. Op basis van de theorie zijn begrippen en indicatoren benoemd die getoetst zijn aan de praktijk. Om de betrouwbaarheid te garanderen is de dataverzameling en analyse volgens een vast stramien uitgevoerd op basis van de in dit hoofdstuk beschreven onderzoeksstrategie.
3.5 Conclusie
In dit hoofdstuk is het ontwerp voor de uitvoering van het onderzoek behandeld. Gekozen is voor een empirisch, kwalitatief en verdiepend onderzoek gericht op het prestatiemetingproces van jongerenwerk binnen de integrale welzijnsopdrachten van de gemeente Rotterdam. In het onderzoek wordt gebruik gemaakt van de onderzoeksstrategie casestudy. Het onderzoek richt zich op één casus: het prestatiemetingsproces bij jongerenwerk vanuit de integrale welzijnsopdrachten van de
25
gemeente Rotterdam. De casus is gebruik gemaakt van twee waarnemingseenheden: WMO-Radar in Delfshaven en Dock in Charlois. Om de aanwezigheid van deze elementen te kunnen toetsen zijn de begrippen en indicatoren uit het theoretisch kader vertaald naar interviewvragen. Tenslotte is geschetst welke maatregelen de onderzoeker heeft genomen om de validiteit en betrouwbaarheid van dit onderzoek te waarborgen.
26
4. Casusbeschrijving en bevindingen
In dit onderzoek staat de vraag centraal of de perverse effecten van prestatiemeting bij jongerenwerk toenemen naarmate betrokkenen dichter bij de uitvoering staan. In dit hoofdstuk zijn uitspraken, meningen en ervaringen van respondenten weergegeven en uitgewerkt. Voor deze studie zijn vier deelvragen opgesteld om de centrale onderzoeksvraag te kunnen beantwoorden. De eerste twee deelvragen zijn beantwoord in het theoretisch kader. De centrale begrippen van deze studie: prestatiemeting en de perverse effecten van prestatiemeting zijn uitgewerkt in indicatoren (Tabel 4), waarna de indicatoren zijn vertaald naar interviewvragen (bijlage 1). In dit hoofdstuk worden de bevindingen op de derde en vierde deelvraag gepresenteerd:
Deelvraag 3: In hoeverre wordt prestatiemeting bij jongerenwerk toegepast?
Deelvraag 4: Wat zijn de ervaren perverse effecten onder betrokkenen door prestatiemeting van jongerenwerk op de verschillende functieniveaus in Rotterdam?
Dit hoofdstuk start in paragraaf 4.1 met een introductie van de casus: het prestatiemetingproces bij jongerenwerk vanuit de integrale welzijnsopdrachten van de gemeente Rotterdam. Dan volgen in paragraaf 4.2 de bevindingen op deelvraag 3. De bevindingen op deelvraag 4 zijn weergegeven in paragraaf 4.3 vanuit de vier onderzochte functieniveaus: de contractmanager, de directeuren, de managers en de jongerenwerkers. Tenslotte volgt een samenvatting van de bevindingen in paragraaf 4.4. In hoofdstuk 5 zullen deze bevindingen worden geanalyseerd aan de hand van de theorie. Dit onderzoek sluit af met een conclusie in hoofdstuk 6 waarin de centrale vraag wordt beantwoord.
4.1 Introductie casus
De casus die voor deze studie centraal staat is een proces. Het proces dat is onderzocht is het prestatiemetingproces van jongerenwerk vanuit de integrale welzijnsopdrachten in Rotterdam. In deze paragraaf wordt de context van het prestatiemetingproces op hoofdlijnen toegelicht om de bevindingen die in dit hoofdstuk aan bod komen in een bredere context te kunnen plaatsen. In bijlage 3 zijn de achtergronden en ontwikkelingen ten aanzien van het jongerenwerk in Rotterdam nader toegelicht.
Het welzijnswerk in Rotterdam is ondergebracht welzijnsopdrachten voor 14 gebieden. Binnen het welzijnsbeleid van de gemeente Rotterdam worden twee typen professionals onderscheiden: de sociaal makelaars en het jeugdwerk. De sociaal makelaars richten zich op volwassenen. Het jeugdwerk bevat kinderwerk voor kinderen onder de 12 jaar en het jongerenwerk voor jongeren boven de 12 jaar. Het jongerenwerk is naast het gezin, het sociaal netwerk en de school de derde opvoedkring (gemeente Rotterdam 2015a).
In Rotterdam heeft de gemeente vanaf 2018 de 14 welzijnsopdrachten opnieuw gegund na een openbare aanbesteding. Op basis daarvan zijn zogenaamde kritische prestatie indicatoren (KPI’s) geformuleerd op de gevraagde prestaties (gemeente Rotterdam 2016). De gemeente Rotterdam
27
verantwoordelijk is voor het formuleren van 8 van de 11 KPI’s. Drie KPI’s zijn bij de aanbestedingsprocedure ingevuld door de welzijnsorganisaties op basis van een gebiedsanalyse en prioriteiten die door de gemeente zijn geformuleerd.
Voor de prestaties van het jongerenwerk zijn geen KPI’s benoemd. Bij vijf KPI’s zijn stedelijke uitvoeringsdoelen vastgesteld met te behalen output-indicatoren. Eén van deze KPI’s richt zich op jongeren: de KPI “samenredzaam en kansrijk” heeft als maatschappelijk doel om Rotterdamse jongeren hun talenten optimaal te laten ontwikkelen. Aan deze KPI is een prestatienorm gekoppeld voor het aantal voortijdig-schoolverlaters wat wordt bereikt en toegeleid naar school of werk (Gemeente Rotterdam, 2017).
De sturing op de prestatiemeting van de welzijnsopdracht ligt bij de gemeente Rotterdam. Vanuit de gemeente Rotterdam is de wethouder Zorg en Welzijn bestuurlijk verantwoordelijk. De contractmanager voert namens de gemeente gesprekken met de welzijnsaanbieders over de uitvoering van de welzijnsopdrachten. Naast de contractmanager staan beleidsambtenaren en ambtenaren die werkzaam zijn in één van de 14 gebieden in Rotterdam in nauw contact met de welzijnsorganisaties.
Voor dit onderzoek wordt de contractmanager gezien als bestuurder van het prestatiemetingproces. De contractmanager is benoemd als schakel tussen de welzijnsorganisaties en de gemeente en voert overleg over de voortgang van de welzijnsopdrachten (gemeente Rotterdam, 2017). In Rotterdam zijn acht welzijnsorganisaties actief. De directies van deze welzijnsorganisaties leggen op strategisch niveau verantwoording af naar de gemeente. In de 14 gebieden in Rotterdam hebben welzijnsorganisaties een managementlaag die de jongerenwerkers dagelijks aansturen. De betrokkenen bij het prestatiemetingproces zijn hieronder in Figuur 2 vereenvoudigd weergegeven.
Figuur 2: schematische weergave betrokkenen bij prestatiemetingproces jongerenwerk
28
In deze paragraaf worden de bevindingen besproken van deelvraag 3. Aan de hand van de indicatoren die zijn opgenomen in Tabel 4 behandelt de onderzoeker in hoeverre prestatiemeting bij jongerenwerk wordt toegepast. Eerst zijn de bevindingen van de contractmanager van de Gemeente Rotterdam toegelicht. Hierna worden de bevindingen van de directeuren, managers en jongerenwerkers van WMO-Radar en Dock gepresenteerd.
4.2.1 Bevindingen prestatiemeting contractmanager
De contractmanager krijgt kwartaal, halfjaar en jaarrapportages van de welzijnsorganisaties. Als er negatieve afwijkingen zijn ten opzichte van de afgesproken prestaties voeren de contractmanager en haar directeur strategische gesprekken met de welzijnsorganisatie. Niet alle afgesproken prestaties zijn meetbaar of lenen zich hiervoor volgens de contractmanager. Voor alle aanbieders zijn er stedelijk vijf KPI’s benoemd waar een prestatieafspraak met een output-indicator aan is gekoppeld. Bij de vorige aanbesteding waren er volgens de contractmanager teveel KPI’s waardoor is besloten om bij de huidige aanbestedingsprodedure minder KPI’s op te nemen. De achterliggende gedachte hiervoor was ook dat welzijnspartijen zelf beter in staat zijn om te bepalen wat er nodig is in de wijk.
In de welzijnsopdrachten zijn volgens de contractmanager voor het merendeel van de benoemde maatschappelijke doelen geen KPI’s benoemd. Wel wordt verwacht dat de welzijnsorganisatie inzetten op de functies van het Rotterdamse welzijnsbeleid, waaronder vroegsignalering en het versterken van eigen kracht. Volgens de contractmanager zijn dit eigenlijk de belangrijkste functies, maar niet uitgedrukt in KPI’s. Daarnaast moeten welzijnsaanbieders inzet leveren op een groot aantal “actievelden”. Hierin staan ook eisen ten aanzien van het jongerenwerk, onder meer over de inzet van jongerenwerk op jeugdoverlast. Deze actievelden zijn echter niet gekoppeld aan prestatie-indicatoren en daardoor volgens de contractmanager moeilijk meetbaar. Bij de vorige opdracht was hiervoor een controle-protocol ontwikkeld om discussie te voorkomen over de interpretatie van bepaalde prestaties. Dit controleprotocol ontbreekt voor de huidige welzijnsopdrachten. De contractmanager zegt hierover:
“Bij de huidige aanbesteding is geen controleprotocol. Dat komt ook omdat het oude controleprotocol niet werkte zoals we verwacht hadden. Het komen tot beschrijvingen die minder multi-interpretabel zijn is moeilijk”
De contractmanager erkent het belang van flexibiliteit in prestatiemeting, maar ziet ook beperkingen. Bij de aanbestedingsprocedure kregen welzijnspartijen ook de kans om zelf prestatie-indicatoren te formuleren op basis van een gebiedsanalyse. Voor een welzijnsorganisatie is het vaak lastig om te bepalen welke indicatoren de gemeente terug wil zien.
De contractmanager ziet in potentie veel positieve kanten aan prestatiemeting, maar de positieve functies komen in de huidige situatie maar beperkt terug. Op dit moment biedt het systeem van prestatiemeting alleen ruimte om een beperkt deel van de prestaties te verantwoorden. Mits er goede
29
indicatoren worden benoemd, kan prestatiemeting zeker positieve functies hebben volgens de contractmanager. Prestatiemeting zoals dat nu wordt toegepast op het jongerenwerk leidt volgens de contractmanager niet tot meer transparantie. De contractmanager zou juist meer het gesprek willen aangaan over de vraag hoe een prestatie tot stand komt.
Ook blijkt niet dat prestatie leidt tot het belonen van prestaties of voorkomen van bureaucratie. De manier waarop het systeem nu is ingericht is het ingewikkeld om sancties op te leggen of prestaties te belonen door de “lum-sum” financiering. De welzijnspartij krijgt hierbij één bedrag voor de gehele opdracht. Het is hierdoor heel moeilijk om specifiek te maken op welk deel van het budget een sanctie gerechtvaardigd is, als bijvoorbeeld één indicator niet gehaald is. Dit maakt het belonen of sanctioneren lastig. Bij een ander aanbestedingstraject binnen de gemeente is er wel een directe koppeling gemaakt tussen de KPI’s en budgetten. Op bepaalde indicatoren kan de gemeente wel bijsturen volgens de contractmanager. Bijvoorbeeld als een prestatie niet gehaald kan worden omdat de indicator in de praktijk niet haalbaar blijkt.
Het verbeteren van het leerproces en verbeteren van intelligence wordt zichtbaar in een voorbeeld van de contractmanager over de KPI op voortijdig schoolverlaters. Een politieke wens is om jongeren te activeren die niet naar school gaan of niet werken. Het jongerenwerk is gevraagd om deze jongeren actief op te zoeken en te begeleiden. De lijsten die zijn aangeleverd door de gemeente bleken vervuild en de KPI’s waren daarom niet haalbaar. Hierop zijn afspraken gemaakt om Best-practices worden volgens de contractmanager regelmatig gedeeld tussen welzijnsorganisaties. Toch ziet de contractmanager dat er ook een perverse prikkel kan zijn om niet te delen omdat welzijnsorganisaties ook elkaars concurrenten zijn. Dit competitie-element kan met het oog op toekomstige opdrachten mogelijk toch meespelen volgens de contractmanager.
4.2.2 Bevindingen prestatiemeting WMO-Radar
De directeur van WMO-Radar geeft aan dat de gemeente prestatie-indicatoren heeft geformuleerd in een bestek. Tijdens de aanbestedingsprocedure kreeg WMO-Radar de mogelijkheid om zelf drie KPI’s te formuleren. Door het korte tijdsbestek van de aanbesteding was het niet mogelijk om hier jongerenwerkers te betrekken volgens de directeur. De directeur, manager en jongerenwerker benoemen allen het registratiesysteem “Regipro” dat is ingericht om de prestatie-indicatoren meetbaar te maken. Uit het systeem komt managementinformatie die de directeur en manager gebruiken als sturing voor medewerkers of teams. De directeur zegt hierover:
“We slagen er steeds beter in om de cockpit die je nodig hebt om te sturen in te richten”.
De producten die WMO-Radar meet zijn volgens de manager vooral uitgedrukt in “bereik”: bijvoorbeeld het aantal jongeren dat op activiteiten deelneemt. Op het gebied van jeugd is alleen een KPI voortijdig schoolverlaten vastgelegd in het registratiesysteem volgens de manager. Daar zijn product-indicatoren voor bepaald: het aantal jongeren dat is toegeleid naar betaald werk of de
