Speaking truth to power. Een onderzoek naar de inrichting van beleidsevaluaties door gemeentelijke lijnmanagers

(1)

‘Speaking truth to power’

‘’If you don’t know how things went, how will you ever know if things can get better?’’ (Ministerie van Financiën, 2003).

Een onderzoek naar de inrichting van beleidsevaluaties door

gemeentelijke lijnmanagers

(2)

‘Speaking truth to power’

‘’If you don’t know how things went, how will you ever know if things can get better?’’ (Ministerie van Financiën, 2003).

MASTERTHESIS MANAGAMENT VAN DE PUBLIEKE SECTOR

FACULTEIT: GOVERNANCE AND GLOBAL AFFAIRS

UNIVERSITEIT LEIDEN

MEI 2020

Student: Betül Piyade Studentnummer: 2274965 Docent: Dr. V.E. Pattyn

Specialisatie: Strategie, Advisering en Verandermanagement Datum: 28 mei 2020

Aantal woorden: 36876 woorden

© Niets uit deze masterscriptie mag zonder voorafgaande schriftelijke toestemming van de auteur

verveelvoudigd of openbaar gemaakt worden, waaronder begrepen het reproduceren door middel van druk, fotokopieën of in enige elektronische, digitale of andere vorm.

(3)

Inhoudsopgave

Voorwoord ... 4 1. Inleiding ... 5 1.1. Aanleiding ... 5 1.2. Probleemstelling ... 6 1.3. Onderzoek ... 7 1.4. Maatschappelijke relevantie ... 8 1.5. Wetenschappelijke relevantie ... 9 1.6. Leeswijzer ... 9 2. Theoretisch kader ... 11

2.1. De basis voor het vertrouwen in de democratie ... 11

2.2. Het belang van onafhankelijk onderzoek ... 13

2.3. De publieke manager als proceseigenaar ... 15

2.4. De meerwaarde van beleidsevaluaties ... 17

2.5. Beleidsevaluaties, een onderdeel van een ruimer beleidsproces ... 19

2.6. Terugkijken op de effecten van het beleid ... 21

2.7. De onverenigbaarheid van leren en verantwoorden ... 24

2.8. Het spanningsveld, een uitdaging voor publieke managers ... 25

3. Methodologie ... 27

3.1. Onderzoeksstrategie ... 27

3.2. Framework ... 28

3.3. Onderzoekspopulatie ... 31

(4)

3.6. Data analyse ... 37

3.7. De kwaliteit van het onderzoek ... 38

4. Analyse ... 40

4.1. Afhankelijke variabele ... 40

4.2. Onafhankelijke variabele ... 58

4.3. Relatie tussen afhankelijke en onafhankelijke variabele ... 62

4.4. Andere factoren ... 84 5. Conclusie ... 87 5.1. Conclusie ... 87 5.2. Belangrijke resultaten ... 89 5.3. Belangrijke bevindingen ... 92 5.4. Discussie ... 95 Referenties ... 99 Bijlage I: Topiclijst ... 108

(5)

Voorwoord

Rotterdam, 28 mei 2020

‘’If my mind can conceive it and my heart can believe it, then I can achieve it’’ (Muhammed Ali).

Er is geen doel onmogelijk te behalen zolang je maar in jezelf geloofd. Vier jaar na mijn bachelor studie besloot ik aan mijn masterstudie te beginnen, waarom ook niet? Ik wist dat ik het kon. Na veel overwegingen met betrekking tot mijn fulltime baan; zal ik ermee stoppen? of de studie er gewoon naast doen?, bedacht ik mij; ik doe het gewoon en als het niet lukt dan wijzig ik het plan dan wel. Maar het is gelukt, in raptempo ben ik door de studie heen gegaan. Een soms vermoeiende maar vooral waardevolle periode. Ik kijk er met vreugde naar terug en ben trots op mijzelf. Daar is het dan, voor u ligt mijn masterthesis over de inrichting van beleidsevaluaties door gemeentelijke lijnmanagers. Een mijlpaal voor mij, een moment waarop ik mij nogmaals realiseer; als je erin gelooft en er hard voor werkt dan kom je er wel.

Om terug te blikken op de afgelopen tijd; een drukke maar vooral leerzame en leuke studieperiode waarin ik meer inzicht heb gekregen in de publieke sector en het denken op academisch niveau. Deze studie heeft mij twee vrienden in het leven gegeven, Caroline Jacobs en Daniël van der Meij. Ik wil hen bedanken voor hun gezelligheid, aanmoedigingen, hulp en feedback. Ook wil ik mijn afstudeerbegeleider mevrouw Valerie Pattyn bedanken voor de begeleiding die ik de afgelopen periode heb gehad. Ik kijk terug naar een positieve en zeer prettige samenwerking. Haar kritische blik en motiverende houding heeft mij tot de eindstreep getrokken.

Mijn familie en vriendinnen wil ik ook allemaal bedanken voor hun steun, geduld en begrip de afgelopen periode.

In het bijzonder mijn ouders; bedankt voor alle vertrouwen, bedankt voor alle support en bedankt voor het mogelijk maken van alles.

(6)

1. Inleiding

Volgens het Sociaal en Cultureel Planbureau was in 2008 – 2009 79% en in 2016 – 2017 68% van de Nederlandse bevolking positief te spreken over het functioneren van de democratie (Sociaal Cultureel Planbureau, 2017). De Adviesraad Internationale Vraagstukken (AIV) stelt dat er sprake is van een vertrouwenscrisis die alle lagen van het bestuur treft. De afname van het vertrouwen in de overheid vanuit de burgers is zorgelijk gezien het ideaal van de representatieve democratie, dat nadruk legt op het principe dat openbaar bestuurders en politici de bevolking vertegenwoordigen. De afname van vertrouwen sinds 2016 is het signaal dat het vertegenwoordigende proces onvoldoende is, zo voelen grote groepen burgers zich niet vertegenwoordigd (Adviesraad Internationale Vraagstukken, 2014). De bevolking is steeds hoger opgeleid en hebben meer toegang tot het internet waardoor zij minder geneigd zijn zonder nadenken zich te voegen naar ‘het gezag’; beleidsmakers en politici worden niet meer geloofd op basis van de functie die zij uitvoeren (De Onderzoeksraad, 2018).

1.1. Aanleiding

Burgers worden steeds mondiger en stellen hogere eisen aan de kwaliteit en veiligheid van hun leven (WRR, 2013). De samenleving wordt beïnvloed door verschillende maatschappelijke kwesties, welke ook de openbare orde verstoren. Van de overheid wordt verwacht te handelen vanuit haar kerntaak om publieke belangen te waarborgen en de bevolking te beschermen. Politici en bestuurders moeten adequaat reageren, zodat deze gebeurtenissen het vertrouwen van de bevolking in negatieve zin niet aantasten. De incidenten behoeven onderzoek om vast te kunnen stellen dat de overheid heeft gefaald en is het cruciaal dat onderzoekers niet vallen onder het gezag van politici en bestuurders. Een voorbeeld is de ontploffing van de vuurwerkopslag in een woonwijk in Enschede. Uit het onderzoek naar de ontploffing van de vuurwerkopslag is gebleken dat de overheid in haar kerntaak tekort is geschoten. Door onafhankelijke beleidsevaluaties te verrichten waarbij persoonlijke belangen geen rol spelen, laat het openbaar bestuur zien dat zij de gang van zaken ernstig opvat en zij daarnaast bereid is te leren van datgene wat er is misgegaan. Het uitganspunt van de evaluatie activiteiten is dat de overheid dient te streven naar een zo goed mogelijk overheidsbeleid en zich daarover moet verantwoorden (De Onderzoeksraad, 2018). Burgers zijn zelfbewuster en stellen zich kritischer op ten aanzien van de kwaliteit van het overheidssysteem en zijn steeds minder geneigd om de informatie van publieke managers en het openbaar bestuur aan te nemen zonder twijfels (De Nationale Ombudsman, 2011).

(7)

De onafhankelijkheid van beleidsevaluaties mag daarom niet in twijfel worden getrokken, het argument dat hiervoor het vaakst wordt geroepen in de politieke arena is: ‘’de slager mag zijn eigen vlees niet keuren’’ (Van der Knaap, Bokhorst & Kleistra, 2019). Burgers beseffen zich steeds meer dat kennis nooit volledig neutraal is, immers worden regels en beleid ook opgesteld door mensen van vlees en bloed die beïnvloed kunnen worden door hun eigen belangen ten aanzien van het politiek-bestuurlijke krachtenveld waar zij mee te maken hebben (De Onderzoeksraad, 2018).

1.2. Probleemstelling

Evaluaties richten zich vaak op doeltreffendheid en doelmatigheid van beleid, de resultaten dragen bij om te kunnen verantwoorden en te leren van zaken die misgaan. Toch blijkt leren van beleidsevaluaties niet altijd even makkelijk te zijn (De Onderzoeksraad, 2018). Uit verschillende onderzoeken blijkt dat in Nederlandse publieke organisaties meer aandacht is voor de verantwoordingsplicht. Managers binnen de publieke sector zijn verantwoordelijk voor het ontwikkelen en uitvoeren van overheidsbeleid om maatschappelijke problemen op te lossen ten aanzien van het publieke belang. Zij ervaren druk om goed te presteren door de verantwoordelijkheden die ze opgelegd krijgen van burgers en politici om te voldoen aan de kerntaak (Van der Meer & Edelenbos, 2006 en Van der Veen, Verwoerd & Regeer, 2016). De grotere aandacht voor de verantwoordingsplicht zorgt er vaak voor dat de focus voor het leren van beleid naar de achtergrond verdwijnt. Dat leidt tot een spanningsveld tussen leren en verantwoorden als gevolg van de onverenigbaarheid van de doelen (OECD, 2001; Ebrahim, 2005; Guijt, 2010 en Van der Veen, Verwoerd & Regeer, 2016). Burgers en politici eisen steeds meer objectieve informatie over de inzet van publieke middelen voor het publieke belang en de keuzes die managers maken ten aanzien daarvan. De druk om een voordelig verantwoordingsresultaat te bereiken door middel van beleidsevaluaties neemt toe waardoor leren wordt verdrongen. Dit maakt de evaluatiepraktijk kwetsbaar, publieke managers beschikken over de macht en middelen om de aanpak en uitkomsten van beleidsevaluaties te kunnen beïnvloeden. Voor het gebruik van evaluatieresultaten is het functioneel opdrachtgevers te betrekken bij het evaluatieproces, echter kunnen publieke managers geneigd zijn strategisch gedrag te vertonen ten aanzien van hun eigen belangen waardoor ze beleidsresultaten kunnen beïnvloeden (Swanbom, 1999 en Steen, Faber, Frankowski & Norbruis, 2018).

(8)

Om de geloofwaardigheid van de informatie die publieke managers geven over de effectiviteit van hun beleid te vergroten, is het noodzakelijk om objectieve resultaten van beleidsevaluaties te waarborgen. Dat wil zeggen dat beleid onafhankelijk beoordeeld dient te worden, zonder invloed van belangen van de opdrachtgevers (Swanbom, 1999; WRR, 2013; Jonkers, 2013; Knottnerus, De Goede & Van Der Knaap, 2016; Van der Knaap, Bokhorst & Kleistra, 2019 en WODC, 2019). Binnen deze politiek-bestuurlijke context is het essentieel dat beleidsevaluaties zodanig zijn verankerd dat onderzoeken onafhankelijk worden verricht. Dat is immers noodzakelijk voor het vertrouwen van de burgers en politiek (Van der Knaap, Bokhorst & Kleistra, 2019).

Het vertrouwen in een goed functionerende democratie eist waarheidsvindingen en moeten voldoen aan de eisen openbaarheid, onafhankelijkheid en controleerbaarheid (WODC, 2019). Dit geeft aanleiding om te onderzoeken in welke mate het spanningsveld tussen leren en verantwoorden van invloed is op de objectiviteit van publieke managers tijdens hun betrokkenheid bij beleidsevaluaties. De volgende vraag zal centraal staan in dit onderzoek:

‘’Hoe geven publieke managers vorm aan beleidsevaluaties en zijn er eventuele verschillen ten aanzien van de evaluatiedoelen?’’

1.3. Onderzoek

Het onderzoek zal worden uitgevoerd onder Nederlandse gemeenten. Gemeenten worden in het openbaar bestuur beschouwd als de ogen en oren van de overheid in de samenleving. Zij kennen de lokale samenleving, weten welke problemen daar spelen en ontwikkelen de meest effectieve oplossingen daarvoor om te kunnen voldoen aan hun taken en verantwoordelijkheden om de leefomstandigheden van inwoners te verbeteren (Taakgroep Gemeenten, 2008). Als gevolg van de ontwikkeling tot participatiesamenleving zijn taken op gebied van zorg, jeugd en inkomen van ministeries en zelfstandige bestuursorganen naar gemeenten gedecentraliseerd omdat zij dichter bij de burgers staan. Het sociaal domein is ontstaan waarin gemeenten inspanningen verrichten om de Wet maatschappelijke ondersteuning (WMO), Participatiewet (PW) en Jeugdwet (PW) uit te voeren (Regeerakkoord Bruggen slaan, 2012). Deze transitie heeft geleid tot taak- en functieverschuivingen. Daarnaast hebben gemeenten nieuwe taken, verantwoordelijkheden en doelgroepen gekregen met als gevolg nieuw beleid op verschillende gebieden (Sociaal en Cultureel Planbureau, 2016). Gemeenten zijn genoodzaakt veel informatie en openbaarheid te geven over de geleverde prestaties en worden op verschillende wijzen gecontroleerd door het Rijk.

(9)

Verantwoording dient vooral op lokaal niveau plaats te vinden, het college dient uitleg te geven over de gemaakte keuzes in de gemeenteraad. De raad en het college leggen vervolgens verantwoording af naar de burgers toe over de wijze waarop zij namens hen opereren in het netwerk van maatschappelijke partners (Taakgroep Gemeenten, 2008). De veranderingen en verantwoordelijkheden stellen hoge eisen aan publieke managers waarbij ze publieke middelen doelmatig moeten inzetten en te maken hebben met grote mate van controle, sturing en verantwoordingsverplichting (Regeerakkoord Bruggen slaan, 2012). Uit de literatuur van dit onderzoek blijkt dat de evaluatiedoelen leren en verantwoorden beiden andere aanpakken behoeven en de grote aandacht voor het afleggen van verantwoording kan leiden tot het maken van bewuste keuzes door managers. Deze keuzes kunnen de resultaten van beleidsevaluaties beïnvloeden waardoor een voordelig verantwoordingsresultaat tot stand komt wat ten koste gaat van de objectiviteit en geloofwaardigheid ervan (Ebrahim, 2005; Van der Veen, Vervoerd & Regeer, 2016; Folkert, Verwoerd & Verwest, 2018 en Steen, Faber, Frankowski & Norbruis, 2018). In de navolging hiervan zal dit onderzoek zich richten op de vraag hoe publieke managers beleidsevaluaties inrichten en of er verschillen zijn ten aanzien van de evaluatiedoelen.

1.4. Maatschappelijke relevantie

Vanuit het ideaal om een representatieve democratie te zijn waarbij de nadruk ligt op het vertegenwoordigen van de bevolking door politici en het openbaar bestuur is het afnemen van het vertrouwen van de burgers een serieus signaal. Een maatschappelijk signaal van wantrouwen zou dan ook direct het gevolg zijn dat burgers zich niet vertegenwoordigd voelen en dat het openbaar bestuur niet voldoet aan haar kerntaak om burgers te beschermen en te handelen vanuit het publieke belang (De Onderzoeksraad, 2018). Het openbaar bestuur kampt voortdurend met complexe problemen in de maatschappij die doelmatige oplossingen behoeven. Publieke organisaties, in het bijzonder managers hebben de taak en verantwoordelijkheid om overheidsbeleid te ontwikkelen en uit te voeren voor het verbeteren van de samenleving waar publieke middelen mee gemoeid zijn. Het doel van het uitvoeren van beleidsevaluaties is uiteindelijk te voldoen aan de publieke verantwoording en te leren van de gemaakte fouten om in het vervolg publieke middelen doelmatig te kunnen inzetten ten aanzien van het publieke belang (CROW, 2002; Dees, 2010; Hartman & Bouwens, 2014; Visser, 2015 en WODC, 2016). Als gevolg van emancipatie en de tekortkomingen van de overheid, vragen

(10)

Zij hebben steeds meer toegang tot allerlei informatie waardoor ze niet meer blindelings geloven in de informatie die zij krijgen (Bovens, 2005 en Schillemans; De Onderzoeksraad, 2018 en Van Twist & Vanhommerig, 2013). Kortom, zowel het maatschappelijk vertrouwen, de kerntaak van de overheid en het effectief en efficiënt besteden van publieke middelen benadrukken de noodzaak van onafhankelijke beleidsevaluaties in het Nederlandse openbaar bestuur.

1.5. Wetenschappelijke relevantie

Over het belang van onafhankelijke onderzoek en onafhankelijkheid van betrokkenen van beleidsevaluaties is veel onderzocht en geschreven. Het is bekend dat publieke managers proceseigenaren zijn van beleidsevaluaties en dat de onverenigbaarheid van leren en verantwoorden hun onafhankelijkheid kan beïnvloeden tijdens het proces. Van belang is dat publieke managers ervoor waken dat hun persoonlijke belangen niet overheersen tijdens beleidsevaluaties om de kwaliteit en toegevoegde waarde ervan te bevorderen. Betrouwbare onderzoeksresultaten zijn ten slotte essentieel voor het vertrouwen van de burgers in de informatie die zij krijgen en het vergroten van het maatschappelijke vertrouwen in het openbaar bestuur (WRR, 2013; Knottnerus, De Goede & Van Der Knaap, 2016 en De Onderzoeksraad, 2018). Echter is er weinig bekend in de literatuur op welke wijze publieke managers vormgeven aan beleidsevaluaties en in hoeverre de inrichting van het proces afhankelijk is van de evaluatiedoelen leren en verantwoorden. De wetenschappelijke waarde van deze scriptie zal de bijdrage ervan zijn aan de literatuur over de vormgeving van beleidsevaluaties binnen gemeenten en de invloed van de evaluatiedoelen leren en verantwoorden op gemeentelijke managers en hun keuzes bij de inrichting van beleidsevaluaties. Deze scriptie richt zich op publieke managers van Nederlandse gemeenten en kan worden beschouwd als een opzet voor toekomstig onderzoek naar andere proceseigenaren in andere sectoren of bij andere publieke organisaties.

1.6. Leeswijzer

Deze scriptie bestaat uit vijf hoofdstukken. Hoofdstuk 2 bevat het theoretisch kader waarin de rol van publieke managers ten aanzien van het overheidshandelen wordt beschreven, de meerwaarde van beleidsevaluaties en de evaluatiedoelen leren en verantwoorden worden toegelicht. Ook wordt het belang van onafhankelijke en objectieve beleidsonderzoeken in kaart gebracht en het spanningsveld tussen leren en verantwoorden nader geanalyseerd.

(11)

De methodologische verantwoording is uiteengezet in hoofdstuk 3. In hoofdstuk 4 worden de bevindingen uit de interviews en documentenstudie besproken en wordt de data geanalyseerd ten aanzien van de literatuur en praktijk. In hoofdstuk 5, die bestaat uit de conclusie en discussie wordt de centrale vraag beantwoord, de beperkingen van de studie besproken en worden aanbevelingen gedaan voor toekomstig onderzoek. Het onderzoek wordt afgesloten met een overzicht van de gebruikte literatuur en bronnen.

(12)

2. Theoretisch kader

Het theoretisch kader bestaat uit acht paragrafen. In de eerste paragraaf wordt het belang van een goed functionerende democratie beschreven en de gevolgen daarvan voor het vertrouwen van burgers in de overheid. In paragraaf 2.2 wordt het belang van onafhankelijk onderzoek voor het vertrouwen van de burgers verder uitgelegd. In paragraaf 2.3 wordt de rol van de publieke managers omschreven, zij zijn immers belangrijke actoren in het openbaar bestuur en dragen bij aan de kerntaak van de overheid. Paragraaf 2.4 brengt in kaart wat de meerwaarde van beleidsevaluaties zijn ten aanzien daarvan, vervolgens wordt in paragraaf 2.5 het ruimer beleidsproces uitgelicht waar beleidsevaluaties een onderdeel van zijn. In paragraaf 2.6 worden de twee belangrijke doelen van beleidsevaluaties voor publieke managers toegelicht. Uit de literatuur is gebleken dat de doelen leren en verantwoorden vaak moeilijk verenigbaar zijn, dit wordt nader besproken in paragraaf 2.7. Tot slot wordt in paragraaf 2.8 uitgelegd wat voor invloed het spanningsveld tussen leren en verantwoorden heeft op de onafhankelijkheid van publieke managers tijdens het beleidsevaluatieproces.

2.1. De basis voor het vertrouwen in de democratie

‘’Een goed functionerende overheid die zorgvuldig omgaat met publiek geld en maatschappelijke vraagstukken op een efficiënte en effectieve manier tegemoet treedt, is immers een belangrijke voorwaarde voor het vertrouwen in de werking van de democratie’’ (Algemene Rekenkamer, 2016).

Het vertrouwensbeginsel behoort tot de ongeschreven regels van goed bestuur. De hoofdregel is dat burgers moeten kunnen vertrouwen op de uitlatingen van ambtenaren, politici en bestuurders. Aanvullend is het wettelijk bepaald dat het Rijk verantwoording aflegt aan de Staten-Generaal over de ontvangsten en de uitgaven (artikel 76, Grondwet). De Algemene Rekenkamer heeft de taak om jaarlijks onderzoek te doen naar de rechtmatigheid van het financieel beheer van het Rijk. Dit houdt in dat zij nagaan of de Rijksoverheid publieke middelen volgens de overeengekomen afspraken heeft uitgegeven. Het Rijk geeft de verantwoordelijkheid aan verschillende publieke organisaties om taken uit te voeren die voortvloeien uit de behoefte aan waarborging van het publieke belang welke worden gefinancierd met publieke middelen. Dit betekent dat publieke organisaties middelen

doeltreffend en doelmatig moeten beheren en besteden en dat dit controleerbaar moet

(13)

De Algemene Rekenkamer heeft een onafhankelijke positie waarbij het enige belang het goed en integer functioneren en presteren van het openbaar bestuur is. Hiermee willen zij een bijdrage leveren aan het vertrouwen van de burgers in de democratie (Algemene Rekenkamer, 2016). In 2014 heeft Het Kabinet (Rutte II) op advies van de Algemene Rekenkamer de Transitiecommissie Sociaal Domein (TSD) ingesteld welke onderzoeken doet naar de transformatie van het sociaal domein, de decentralisaties en de werking ervan. De TSD voert inspecties uit en houdt toezicht naar de naleving van wettelijke eisen en de uitvoering in de praktijk. Niet alleen het Rijk wil weten of publieke middelen zinnig en nuttig zijn besteed, ook de burgers willen openheid en transparantie over de besteding van het geld waarmee beoogd wordt de samenleving te verbeteren. Een goed functionerende democratie behoeft sturing en beheersing. Naast de wet is er ook een sturingsmodel ontwikkeld door het openbaar bestuur die

maatregelen bevat om toezicht te kunnen houden op publieke organisaties. Het doel van het

sturingsmodel is openheid en transparantie creëren over de besteding van publieke middelen en de manier waarop beleidsdoelstellingen worden bereikt. De maatregelen dragen bij aan de ontwikkeling van doelmatige en doeltreffende beleidsdoelstellingen waar tevens verantwoording over afgelegd moet worden (Interdepartementaal beleidsonderzoek, 2003-2004). Publieke managers zijn aangesteld als proceseigenaren in het sturingsmodel en vervullen een belangrijke rol in publieke organisaties. Zij hebben de taak overheidsbeleid te ontwikkelen en uit te voeren ter verbetering van de samenleving en hebben de verantwoordelijkheid om verantwoording af te leggen over de keuzes die zij daarbij maken en de wijze waarop ze publieke middelen inzetten (CROW, 2002; Interdepartementaal beleidsonderzoek, 2003-2004; Bovens, 2005; Schillemans, Van Twist & Vanhommerig, 2013 en Visser, 2015).

Uit de bovenstaande literatuur blijkt het belang van een goed functionerende democratie voor het vertrouwen van de burgers in de overheid welke zich inzet voor het publieke belang. Een goed functionerende democratie wordt in dit onderzoek omschreven als: ‘’Een overheid die zorgvuldig omgaat met publiek geld en maatschappelijke vraagstukken op een efficiënte en effectieve manier tegemoet treedt en daar op een geloofwaardige manier openheid en transparantie over biedt voor het vertrouwen van de burgers’’.

Ondanks de maatregelen die het openbaar bestuur heeft genomen om het vertrouwen tussen burgers en overheid te waarborgen, staat deze toch onder druk. Dat is ernstig, want het

(14)

Zo heeft onder andere de Nationale Ombudsman geconcludeerd dat het vertrouwen is geschonden, dit blijkt uit de 14.000 zaken waar hij jaarlijks mee te maken krijgt. Dit komt onder andere doordat burgers steeds mondiger en zelfbewust worden waardoor zij zich minder vanzelfsprekend laten leiden door systemen (De Nationale Ombudsman, 2011).

Er bestaat brede consensus over de bijdrage van onafhankelijk onderzoek aan het vertrouwen van de burgers in het beleid, de kwaliteit van interventies en in de politiek en het breder openbaar bestuur (De Onderzoeksraad, 2018).

2.2. Het belang van onafhankelijk onderzoek

‘’In een samenleving waarvan veel leden de elite wantrouwen, kunnen getrainde experts worden weggezet als vertegenwoordigers van een groep die per definitie zijn eigen belangen behartigt. In zo’n samenleving zullen burgers niet automatisch gezag toekennen aan een instantie of commissie die onafhankelijk onderzoek verricht.’’

De bevolking is zelfbewuster en het besef dat kennis nooit volledig neutraal is, is doordrongen. Burgers realiseren zich steeds beter dat de informatie die zij krijgen over het functioneren van de overheid altijd tot stand komt door betrokkenen die bijdragen aan het verbeteren van de samenleving. Deze betrokkenen hebben specifieke ervaringen en belangen die hen vaak onbewust beïnvloeden. Burgers geloven steeds minder in de objectiviteit van de informatie die zij krijgen door het ontstaan van het besef dat kennis wordt geproduceerd door de overheid en beleidsmakers. Zij realiseren zich dat de kennis ontstaat door de eigen opvattingen van kennisproducten en dus ook dat hun oordelen subjectief kunnen zijn. Deze kennis kan daarom als partijdig worden beschouwd en zijn waarde kunnen verliezen (Knottnerus, De Goede & Van Der Knaap, 2016 en De Onderzoeksraad, 2018). De vraag is dan ook wat publieke managers zelf kunnen doen om te bevorderen dat de bevolking hun beleidsevaluaties als

betrouwbaar antwoord aanvaardt op de vragen die zij hebben.

Het verrichten van onafhankelijke beleidsevaluaties kan een teken zijn voor de burgers dat de overheid wil leren van wat er fout is gegaan in het verleden. Het zal bijdragen aan het vertrouwen in de democratie doordat zaken serieus worden genomen en er aan wordt gewerkt dat incidenten zich niet herhalen (De Onderzoeksraad, 2018).

(15)

Wil beleidsevaluatie toegevoegde waarde hebben ten opzichte van wat de publieke managers al ondervinden tijdens beleidsontwikkeling- en uitvoering, dan dient er sprake te zijn van voldoende afstand en onafhankelijkheid. Dit is nodig om te kunnen komen tot onpartijdige en

objectieve beoordeling van het beleid en de resultaten van het beleidsonderzoek (Korsten,

2013). Het Onderzoeksraad (2018) heeft onderzoek gedaan naar onafhankelijk onderzoek in het publiek belang en definiëren onafhankelijk onderzoek als ‘’onderzoek zonder inmenging van de politiek en politieke gezagsdragers’’. Dit houdt in dat belanghebbenden geen grip mogen hebben op de aanpak en uitkomst van het onderzoek.

Om de kwaliteit en toegevoegde waarde van beleidsevaluaties te waarborgen vereist de Rijksoverheid op grond van de Regeling Periodiek Evaluatieonderzoek (RPE) de betrokkenheid van onafhankelijke deskundigen (Rijksoverheid, z.d.). In veel protocollen voor beleidsevaluaties worden principes opgenomen waar evaluaties aan moeten voldoen. De RPE beschrijft dat bij de uitvoering van onderzoek naar de doeltreffendheid en doelmatigheid van beleid, minimaal één onafhankelijke deskundige betrokken moet zijn. Daarmee wordt bedoeld iemand die inhoudelijk deskundig is maar geen verantwoordelijkheid draagt voor het te onderzoeken beleid, of in de onderzochte periode verantwoordelijkheid heeft gedragen over het te onderzoeken beleid (Ministerie van Financiën, 2011).

De Inspectie Ontwikkelingssamenwerking en Beleidsevaluatie (IOB) is een evaluatiedienst van het ministerie van Buitenlandse Zaken en omschrijft onafhankelijkheid als: ‘’De oordelen van de onderzoeker zijn niet beïnvloed door externe druk of een belangenconflict. Organisaties of instellingen die de opdracht krijgen voor een evaluatie en leden van evaluatieteams mogen niet eerder betrokken zijn geweest bij de uitvoering van de activiteiten die worden geëvalueerd, noch bij de formulering van het beleid dat daaraan ten grondslag ligt’’ (IOB, 2009).

Ook het ministerie van Binnenlandse Zaken en Koninkrijksrelaties duidt op het belang van onafhankelijk beleidsonderzoek; ‘’wanneer er twijfel bestaat over de mate waarin de evaluatie objectief tot stand is gekomen, is het beter de evaluatie buiten beschouwing te laten’’. De objectiviteit van beleidsevaluaties kunnen bevorderd worden door onafhankelijke onderzoekers in te schakelen (Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2012).

De literatuur schrijft verschillende definities over onafhankelijkheid welke in dit onderzoek nader wordt gedefinieerd als: ‘’objectief beoordeelde beleid waarbij de evaluatieresultaten niet zijn beïnvloed door externe druk of belangenconflict van de beoordelaars’’.

(16)

De voorgaande paragrafen heeft ons geleerd wat het belang is van onafhankelijke beleidsonderzoek voor het vertrouwen van de burgers in de democratie. In de publieke sector is integraal management van toepassing waarbij verantwoordelijkheden worden opgedragen aan managers. Zij zijn onder andere verantwoordelijk voor het ontwikkelen van het overheidsbeleid en de uitvoering daarvan maar zijn ook proceseigenaar van het sturingsmiddel van de overheid voor een goed functionerende democratie. In de volgende paragraaf wordt nader ingegaan op de rollen die publieke managers hebben in het openbaar bestuur.

2.3. De publieke manager als proceseigenaar

In tegenstelling tot de voorgaande jaren, waarin publieke managers minder zichtbaar waren binnen het openbaar bestuur en werden aangeduid als ‘’leidinggevende ambtenaren’’, hebben zij tegenwoordig een steeds grotere rol in het centrale bestuur en krijgen steeds meer verantwoordelijkheid en beslissingsbevoegdheid (Desmidt & Heene, 2005). Noordegraaf (2008) beschouwt de manager dan ook als een subcategorie binnen de categorie leidinggevenden en definieert een manager als: ‘’een persoon die over de uitvoering in de organisatie gaat maar zelf niet uitvoerend is en vooral gaat over budgetten, roosters, structuren en strategieën’’. Volgens zijn omschrijving kunnen managers leiding geven op verschillende managementlagen en hiërarchische plekken in de organisatie, waarbij iedere leidinggevende persoon te maken heeft met andere omgevingen en uitdagingen. Binnen het openbaar bestuur zijn publieke topmanagers, publieke lijnmanagers en publieke stafmanagers te onderscheiden. Publieke topmanagers dragen eindverantwoordelijkheid over de organisatie en hebben een groter werkveld ten aanzien van de andere twee basistype managers. Publieke lijnmanagers, ook wel de ‘’gewone’’ managers, zijn afdelingshoofden die verantwoordelijk zijn voor een organisatieonderdeel, project of programma en moeten binnen de organisatie verantwoording afleggen aan de publieke topmanager. De publieke stafmanager is verantwoordelijk voor het stafmanagement die onder andere gaat over personeel, informatie en automatisering, bijvoorbeeld een directeur personeelszaken (Noordegraaf, 2008).

Dit onderzoek richt zich op de afdeling sociaal domein van gemeenten die verantwoordelijk zijn voor het uitvoeren van taken op gebied van inkomen, jeugd en zorg welke geen stafafdelingen zijn. Verder in het onderzoek zal daarom onder publieke managers worden verstaan: ‘’publieke lijnmanagers die leiding geven aan uitvoerende medewerkers welke bijdragen aan de afdelingen, programma’s en projecten waar de lijnmanagers voor verantwoordelijk voor zijn’’.

(17)

Publieke managers zijn niet alleen verantwoordelijk voor het leiding geven aan medewerkers en het bijdragen aan afdelingen, programma’s en projecten. Zij zijn ook verantwoordelijk gesteld voor het uitvoeren van doelmatige en doelgerichte overheidsbeleid ten aanzien van het verbeteren van de samenleving. In de volgende sub paragraaf zal de rol van de publieke manager als proceseigenaar nader toegelicht worden.

Proceseigenaren in het sturingsmodel voor een goed functionerende democratie

Proceseigenaren zijn ervaren actoren in organisaties die macht hebben en verantwoordelijkheid dragen voor processen. Macht in de zin van het dragen van eigenaarschap om processen te coördineren en te verbeteren. Verantwoordelijkheid in de zin van het dragen van verantwoording met betrekking tot budgetten (Kohlbacher & Gruenwald, 2011). De processen waar proceseigenaren verantwoordelijk voor zijn kunnen meerdere aspecten bevatten. Nieuwenhuis (2010) beschrijft onder andere drie aspecten.

- Het ontwerpen en invoeren van het proces: hier valt onder het procesontwikkelings-verantwoordelijkheid en procesimplementatie-procesontwikkelings-verantwoordelijkheid. Dit omvat het ontwerpen en verbeteren van het proces en het dragen van verantwoordelijk om door middel van onderzoeken aan te tonen dat het proces werkt;

- De resultaten van het proces: wordt ook wel procesbesturingsverantwoordelijkheid genoemd, proceseigenaren zijn verantwoordelijk voor de operationele beheersing van kwaliteit en tijd maar ook de logistieke aspecten zoals mensen en middelen;

- De hiërarchische verantwoordelijkheid: de proceseigenaar maakt een verdeling van de rollen van medewerkers ten aanzien van de processen (Nieuwenhuis, 2010).

In het openbaar bestuur is bepaald dat publieke managers de rol hebben van proceseigenaar in het sturingsmodel voor een goed functionerende democratie. Dit houdt in dat dat zij overheidsbeleid ontwikkelen en uitvoeren voor de taken die ze opgelegd krijgen van hogere hiërarchieën en daar verantwoording over moeten afleggen. Als proceseigenaar valt het nemen van beslissingen over de inzet van instrumenten, inrichten van processen en handhaven van regels onder hun verantwoordelijkheid. Daarbij is het ook belangrijk dat zij inzicht geven in de gerealiseerde beleidsdoelstellingen, de prestaties en de middelen die hiervoor zijn ingezet (CROW, 2002; Interdepartementaal beleidsonderzoek, 2003-2004; Bovens, 2005; Schillemans, Van Twist & Vanhommerig, 2013; Schillemans, Van Twist & Vanhommerig, 2013 en Visser,

(18)

(externe) beleidsevaluatoren om beleidsonderzoek te doen. Publieke managers worden geacht nauw betrokken te zijn bij het beleidsevaluatieproces, op de hoogte te zijn van de methoden waarmee hun beleid wordt geëvalueerd, bepalen hun belangen en doelenstellingen ten aanzien van de beleidsevaluaties en kunnen input geven over de inhoud en effecten van het beleid (Swanbom, 1999; WRR, 2013; Jonkers, 2013 en Knottnerus, De Goede & Van Der Knaap, 2016). Deze betrokkenheid kan echter van invloed zijn op de onafhankelijkheid van beleidsevaluaties, het is immers van belang dat beleidsevaluatoren zelf moeten kunnen bepalen hoe zij het onderzoek verrichten en de onderzoeksresultaten rapporteren. Opdrachtgevers mogen meepraten over wat er wordt onderzocht maar geen invloed uitoefenen op de objectiviteit van de inhoud van het onderzoek.

Nu een duidelijk beeld is ontstaan over managers en proceseigenaren en in kaart is gebracht is wat de verschillen zijn wordt het concept toegespitst op dit onderzoek en gedefinieerd als ‘’publieke lijnmanagers die verantwoordelijk zijn voor het ontwerpen en uitvoeren van effectieve en efficiënte overheidsbeleid en daar verantwoording over moeten afleggen’’.

Deze theorie heeft ons geleerd dat publieke managers belangrijke actoren zijn in de relatie tussen de burgers en overheid en bijdragen aan de vertrouwensrelatie door taken uit te voeren in opdracht van het openbaar bestuur voor het publieke belang. Beleidsevaluaties zijn belangrijke hulpmiddelen die zij gebruiken om burgers en politici te informeren over de door hen gemaakte keuzes en de invloeden daarvan op het verbeteren van de samenleving. Van der Knaap & Pattyn (2016) omschrijven beleidsevaluaties als het systematisch waarderen van beleid en uitvoering, ten behoeve van leren en verantwoorden. In de volgende paragraaf wordt specifieker in gegaan op de meerwaarde van beleidsevaluaties.

2.4. De meerwaarde van beleidsevaluaties

Het productieproces van de Nederlandse publieke sector is gericht op efficiëntie (doelmatigheid) en effectiviteit (doeltreffendheid). Efficiënte is gericht op de relatie tussen de ingezette middelen en de geleverde producten en diensten en duidt aan op de hoeveelheid middelen die nodig zijn per eenheid producten of diensten, oftewel input en output. Effectiviteit heeft betrekking op de oorzaak- en gevolgrelatie tussen de geleverde producten en diensten en de effecten ervan, de vraag is dan of het gevoerde beleid het beoogde effect heeft kunnen realiseren (Van Dooren et al, 2006). Efficiëntie en effectiviteit zijn specifieke aspecten voor het

(19)

bestuur (Verlet, 2008). Publieke organisaties hebben de taak om uitvoering te geven aan de strategische doelen die de overheid opstelt om maatschappelijke problemen op te lossen en de samenleving te verbeteren. Publieke managers ontwikkelen overheidsbeleid waarin ze de algemeen gestelde strategische doelen operationaliseren en concretiseren en zijn verantwoordelijk voor de uitvoering ervan (Dees, 2010; Hartman & Bouwens, 2014 en WODC, 2016). Om inzicht te krijgen in hoeverre het overheidsbeleid heeft bijgedragen aan het oplossen van de maatschappelijke problemen is het noodzakelijk de effecten te beoordelen (CROW, 2002 en Dees, 2010). Tijdens het verrichten van beleidsevaluaties wordt er informatie verzameld over het uitgevoerde beleid en wordt kennis geproduceerd over de werking en effecten ervan (Van Hoesel, 2003 en Dunn, 2004). De Peuter, De Smedt en Bouckaert (2007) schrijven over de grote diversiteit aan definities van beleidsevaluaties. Zo heeft Scriven (1980) beleidsevaluatie redefined ales ‘’Evaluation is the systematic and objective determination of the worth or merit of an object’’. Zijn definitie verwijst als het ware naar de essentie van evalueren; het toekennen van waarde waarbij het belangrijk is dat deze waarde op een systematische en objectieve wijze wordt toegekend. De tweede definitie komt van McDavid & Hawthoren (2006): “Evaluation can be viewed as a structured process that creates and synthesizes information intended to reduce the level of uncertainty for stakeholders about a given program or policy. It is intended to answer questions or test hypotheses, the results of which are then incorporated into the information bases used by those who have a stake in the program or policy”. Deze definitie beschrijft in tegenstelling tot de essentie van beleidsevaluaties, een aantal sleutelkenmerken en aandachtspunten ervan zoals ‘’een gestructureerd proces’’ en ‘’het geven van informatie over de resultaten van een beleid of programma’’ (De Peuter, De Smedt en Bouckaert, 2007). In het rapport ‘’Evaluatieonderzoek ex-post, uitgevoerd door CROW in het kader van het project Van Beleidsbegroting Tot Beleidsverantwoording (2003) worden beleidsevaluaties omschreven als ‘’het waarderen van toestanden en processen, gekoppeld aan de normen doelmatigheid en doeltreffendheid van beleid’’. Deze definitie geeft het verschil aan tussen waarderen en evalueren, welke schuilt in de wijze waarop tot een oordeel wordt gekomen. Beleidsevaluaties behoeven een zorgvuldige, systematische analyse voor het verzamelen van gegevens (CROW, 2003). Uit deze literatuurstudie blijkt dat het evalueren niet alleen gaat om het beoordelen van de effecten van het beleid, het is meer dan dat. Beleidsevaluaties behoeven een systematische wijze van dataverzameling, dit is vereist om de doelmatigheid en doeltreffendheid van beleid te

(20)

Daarbij gaat het om het vaststellen van oorzaak en gevolgrelaties, de vraag is of het ingezette beleid heeft bijgedragen aan het oplossen van het beleidsprobleem (Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2012). Tijdens dit onderzoek worden beleidsevaluaties omschreven als: ‘’Een gestructureerd proces waarin op een systematische wijze toestanden van processen worden gewaardeerd, gekoppeld aan de normen doelmatigheid en doeltreffendheid van beleid’’.

Het systematisch waarderen van beleid vraagt om een gestructureerde aanpak. Beleidsevaluaties maken onderdeel uit een ruim en complex beleidsproces, om goed te kunnen evalueren is het noodzakelijk voldoende aandacht te hebben hiervoor. In de volgende paragraaf wordt het beleidsproces in kaart gebracht.

2.5. Beleidsevaluaties, een onderdeel van een ruimer beleidsproces

Er zijn diverse beweegredenen die aanzetten om beleidsevaluaties uit te voeren. De Peuter, De Smedt & Bouckaert (2007) hebben een overzicht gemaakt in hun werk over beleidsevaluatie waar ze vier beweegredenen samenvatten. Allereerst, beleidsevaluaties kunnen ondersteunen bij de beleidsplanning om na te gaan in welke mate het beleid de problemen kan verminderen. Evaluaties beoordelen dan de coherentie en consistentie van het geplande beleid. Ten tweede kan evaluatie het doel hebben te ondersteunen bij het optimaliseren van de beleidsuitvoering. De derde is het verschaffen van verantwoording over de werking van het beleid en de geleverde overheidsdienstverlening. De laatste beweegreden is het beleidsleren, uit de resultaten van de evaluatie kunnen lessen getrokken worden om het beleid waar nodig te verbeteren (De Peuter, De Smedt & Bouckaert, 2007). Deze verschillende beweegredenen leiden er ook toe dat er verschillende typen en typologieën van beleidsevaluaties zijn. De eerste typologie maakt onderscheid in het tijdstip waarin de evaluatie plaatsvindt in de cyclus. Daarin kunnen drie klassieke typen worden onderscheiden; ex-ante evaluatie, deze vindt plaats tijdens de beleidsplanning, tussentijdsevaluatie gebeurt gedurende het proces van beleidsuitvoering en ex-post, betreft de beleidsbeoordeling (Wollmann, 2007 en De Peuter, De Smedt & Bouckaert, 2007). De tabel hieronder geeft een overzicht van de verbanden tussen de fasen van de beleidscyclus, de type evaluatie en het motief ervoor.

(21)

Figuur 1: Het verband tussen beleidsfase, evaluatietype en evaluatiemotief (De Peuter, De Smedt & Bouckaert, 2007)

De tweede typologie gaat over de inhoudelijke kern van de evaluatie; enerzijds de inhoud van het beleid en anderzijds de beleidsimpact. Met beleidsinhoud doelt men op het concept, de structuur, de instrumenten, de processen en de acties van het overheidsbeleid. Beleidsimpact gaat over de effecten van het beleid en de veranderingen die het teweeg brengt in de samenleving (Hoogerwerf, 2003).

Een derde typologie maakt onderscheid op basis van vooropgestelde evaluatiecriteria om een oordeel te kunnen vellen over het functioneren van de publieke sector. De evaluatiecriteria die essentieel zijn om het functioneren van de overheid te meten zijn:

- Beleidsrelevantie; - Interne coherentie; - Externe consistentie; - Technische efficiëntie; - Doelbereiking; - Effectiviteit; - Kosteneffectiviteit;

- Duurzaamheid van de effecten;

- Adequaatheid van effecten (De Peuter, De Smedt & Bouckaert, 2007).

De laatste typologie betreft de organisatorische positie van de evaluator, het onderscheid betreft interne dan wel externe evaluatie. Indien sprake is van interne evaluatie, maakt de evaluator deel uit van de organisatie waarvan het beleid wordt geëvalueerd. Bij externe evaluatie staat de evaluator los daarvan (Wollmann, 2007).

(22)

Keuze voor typologie en type beleidsevaluaties

Uit figuur 1 is gebleken dat verantwoording en beleidsleren het motief zijn om beleid te evalueren in de eindfase van de beleidscyclus, nadat het beleid is uitgevoerd. Het type evaluatie wordt dan gezien het tijdstip ervan ex post genoemd. Publieke managers geven opdrachten aan interne of externe evaluatoren om het beleidsproces dat is vastgesteld en in uitvoering is genomen te evalueren. Deze evaluatietype laat vaak zien of het beleid wel of niet werkt en is dus gericht op het beoordelen van de effecten van het beleid ter verbetering van de samenleving volgens alle essentiële criteria (Korsten, 2013). Ex-post evaluaties worden vaak uitgevoerd volgens een stappenplan, er zijn vier stappen te onderkennen:

- Stap 1 is het formuleren van de probleemstelling en vragen van het onderzoek; - Stap 2 is het maken van de keuze voor een onderzoeksopzet;

- Stap 3 is het uitvoeren van het onderzoek waarbij gegevens worden verzameld en verwerkt;

- Stap 4 is het opstellen van de rapportage en de follow-up (CROW, 2003).

Deze stappen kunnen onderscheiden worden als evaluatievoorbereiding (stap 1 en 2) en evaluatie-uitvoering (stap 3 en 4). In de voorbereidende fase wordt een doelen vraagstelling voor het onderzoek geformuleerd, een beoordelingskader opgesteld en in navolging daarvan de methoden bepaald. Het beoordelingskader bevat de criteria en indicatoren waarop het beleid beoordeeld zal worden. Bij het bepalen van de methoden worden keuzes verantwoord over de manier van gegevensverzameling, data-analyse en verslaglegging (Kuindersma et al, 2006).

Dit onderzoek zal zich richten op het volledige beleidsevaluatieproces voor ex-post evaluaties. Alle vier de stappen dragen immers bij aan een gestructureerde aanpak voor een systematisch onderzoek. In de volgende paragraaf worden de evaluatiemotieven van ex post evaluaties toegelicht, dit zijn tenslotte de beweegredenen voor evaluaties.

2.6. Terugkijken op de effecten van het beleid Leren

Van publieke managers wordt vereist dat ze het overheidsbeleid dat zij hebben ontwikkeld en geïmplementeerd evalueren en met de resultaten ervan leren van hun successen en mislukkingen (Downe, Martin & Bowaird, 2012). Door middel van beleidsevaluaties wordt het overheidsbeleid beoordeeld en ontstaat er informatie over de effecten ervan in verschillende omstandigheden (Weiss, 1995; Sanderson, 2000 en Van der Meer & Edelenbos, 2006).

(23)

Het doel is om de kwaliteit en toegevoegde waarde van het beleid te verbeteren en op deze manier te werken aan resultaatsgerichte overheidshandelen waarbij publieke middelen doelmatig en doeltreffend worden ingezet ten aanzien van het verbeteren van de samenleving (Walshe & Freeman, 2002). Evaluaties hebben het doel te achterhalen wat het verband is tussen de problemen, de beleidslogica en beleidsresultaten. Organisaties moeten in staat zijn om de verbanden te begrijpen, ervan te leren en bereid zijn om fouten te verbeteren. In de literatuur wordt dit ook wel aangeduid als het ‘’leervermogen’’ van organisaties. Van der Knaap (1995) heeft onderzoek gedaan naar het leervermogen van organisaties en heeft dit bestudeerd vanuit verschillende perspectieven. Uit zijn onderzoek blijkt dat beleidsevaluaties in organisaties in het kader van leren, de functie hebben om betrouwbare informatie te bieden waarmee publieke managers fouten kunnen corrigeren en beleid kunnen verbeteren. Door inzicht te krijgen in de contextfactoren die bepalen of het beleid wel of niet slaagt, kan de afweging worden gemaakt om te kiezen voor alternatieve werkwijzen. Managers moeten in staat zijn fouten te kunnen erkennen en bereid zijn hun beleid aan te passen (De Peuter, De Smedt & Bouckaert, 2007).

Het leren van beleid is beschreven in de evaluatieliteratuur, specifiek ‘’leren’’ is echter niet altijd duidelijk geconceptualiseerd. Dit hebben Reinertsen, Bjørkdahl & McNeill (2017) ook geconcludeerd tijdens een grootschalig onderzoek die zij hebben verricht naar evaluaties in Zweden en Noorwegen. De auteurs hebben leren in hun rapport gedefinieerd als ‘’het aanschaffen van nieuwe kennis die verandering bevordert van programma’s, beleid en organisaties’’. Tijdens dit onderzoek zal deze definitie worden aangehouden, omdat het aansluit op het doel van de leerfunctie van beleidsevaluaties voor publieke managers, namelijk het verbeteren van beleidsontwikkeling- en implementatie ten behoeve van het vergroten van de doelmatigheid en doeltreffendheid ervan.

Verantwoorden

De overheid streeft naar een goed functionerende maatschappij en is mede daarom verantwoordelijk voor het oplossen van complexe vraagstukken en maatschappelijke problemen. Het overheidsbeleid dat gevoerd wordt om deze problemen op te lossen worden gefinancierd met publieke middelen. Van belang is dat de overheid bewust omgaat met deze middelen en de beoogde doelstellingen behaald, burgers en politici eisen namelijk openheid en transparantie. Publieke managers hebben een zogeheten publieke verantwoording (Van der

(24)

Verantwoording heeft verschillende definities gekregen in de literatuur ten aanzien van de publieke sector. Zo valt te denken aan ‘’transparantie’’, ‘’efficiëntie’’, ‘’responsiviteit’’ en ‘’goed bestuur’’. In veel literatuur over verantwoorden in organisaties wordt ‘’verantwoording’’ vaak beschreven als een middel waarmee individuen en organisaties rapporteren aan erkende autoriteiten over de activiteiten waarvoor ze verantwoordelijk zijn. De vele definities van ‘verantwoording’ zijn ontstaan als gevolg van de verschillende opvattingen over het concept. De opvattingen van veel auteurs zijn afgeleid uit conceptuele en theoretische analyses maar weinig gebaseerd op empirisch onderzoek. De auteurs van het boek ‘’Accountability and European Governance’’ schrijven dat deze onsamenhangendheid van definities en opvattingen ervoor heeft gezorgd dat verantwoordingsplicht een groter concept geworden dan het eigenlijk is. Als gevolg daarvan wordt in het Amerikaanse openbaar bestuur het concept ‘’verantwoording’’ gezien als een normatief concept en beschreven als ‘’een set met normen voor het gedrag van publieke actoren’’, daarmee wordt bedoeld dat het afleggen van verantwoording een deugd en positieve activiteit is van openbaar bestuurders (Curtin, Mair & Papadopoulus, 2014). In het Nederlandse openbaar bestuur is de gedachte over publieke verantwoording door de jaren heen veranderd. Vroeger werd het beschouwd als een noodzaak en verplichting, tegenwoordig wordt het gepresenteerd als een publieke zaak en een symbool voor behoorlijk bestuur en verantwoord overheidshandelen (Bovens, 2005).

Er zijn verschillende definities gegeven voor het concept verantwoorden, in dit onderzoek wordt ‘’verantwoorden’’ beschreven als ‘’de middel waarmee publieke managers rapporteren over de activiteiten waarvoor ze verantwoordelijk zijn in het publieke belang’’.

De theorie heeft ons geleerd en duidelijk gemaakt wat het belang van leren en verantwoorden van beleidseffecten in het openbaar bestuur zijn ten aanzien van burgers en politici. In het bijzonder voor publieke managers welke te maken hebben met publieke verantwoording. Alhoewel publieke managers beogen beide doelen te bereiken, blijkt in de praktijk dat leren en verantwoorden door middel van beleidsevaluaties niet altijd even makkelijk gaat. Ook verschillende literatuur bevestigt dat beide functies vaak onverenigbaar zijn. In de volgende twee paragrafen zal het spanningsveld tussen leren en verantwoorden beschreven worden en de factoren die daardoor ontstaan en van invloed kunnen zijn op onafhankelijke beleidsevaluaties.

(25)

2.7. De onverenigbaarheid van leren en verantwoorden

Leren van evaluaties is niet altijd even makkelijk. Indien er zaken die fout gaan onder het licht komen wordt vaak de vraag gesteld waarom er onvoldoende is geleerd van eerdere waarschuwingen en signalen (Knottnerus, 2016). Er zijn verschillende onderzoeken verricht als gevolg van de vraag waarom leren zo moeizaam gaat.

De Japanse regering heeft in 2001 een onderzoek laten doen naar de effectiviteit van beleidsevaluaties bedoeld voor leren en verantwoorden. Dit onderzoek is gedaan door Organisatie voor Economische Samenwerking en Ontwikkeling (OESO). De organisatie bestaat uit een samenwerkingsverband tussen 36 landen om sociaal en economisch beleid te bestuderen en coördineren. Uit het onderzoek is gebleken dat veel organisaties verantwoorden als de kernfunctie zien van beleidsevaluaties en dat deze voornamelijk worden uitgevoerd om te kunnen voldoen aan de verantwoordingsplicht, waardoor leren naar de achtergrond verdwijnt (OESO, 2001). Verantwoorden wordt in organisaties vaak belangrijker gevonden, managers willen voorkomen om afgerekend te worden op onvoldoende prestaties. Ebrahim (2005) vindt het een normatieve veronderstelling van organisaties dat meer verantwoording noodzakelijkerwijs de voorkeur heeft of meer voordelen oplevert. Hij spreekt over

‘’accountability myopia’’, oftewel verantwoordingsbijziendheid welke ontstaat in

organisaties doordat er te veel nadruk wordt gelegd op het volgen van regels in verband met de focus op de verantwoordingsplicht. Als gevolg daarvan wordt de mogelijkheid tot het leren van fouten belemmert (Ebrahim, 2005). Reinertsen, Bjørkdahl & McNeill (2017) sluiten zich aan bij deze conclusie. Zij hebben het spanningsveld tussen leren en verantwoorden bestudeerd in Zweden en Noorwegen en geconcludeerd dat beleidsevaluaties die bijdragen aan de verantwoordingsplicht in veel mindere mate bijdragen aan leren. De onverenigbaarheid van beide functies zorgt voor het ontstaan van een spanningsveld welke leidt tot het maken van moeilijke afwegingen door publieke managers om te kunnen voldoen aan beide doelen, maar vooralsnog met een voordelig verantwoordingsresultaat (Reinertsen, Bjørkdahl & McNeill, 2017). Ook in Nederland zijn er verschillende onderzoeken gedaan naar het spanningsveld tussen leren en verantwoorden waaruit is gebleken dat de twee functies als problematisch worden ervaren. Dit komt veelal door de druk die publieke managers en hun medewerkers ervaren om goed te presteren door de verantwoordelijkheden die ze opgelegd krijgen van hogere niveaus in de organisaties, door politici, burgers of stakeholders waar ze mee te maken

(26)

Uit deze theorie kan gesteld worden dat de verantwoordingsplicht het leereffect van beleidsevaluaties negatief beïnvloed en dat leren verdrongen wordt. Het spanningsveld tussen leren en verantwoorden kan als volgt worden omschreven: de verantwoordingsplicht legt druk op publieke managers omdat onvoldoende presteren als gevolg kan hebben dat er maatregelen worden genomen zoals het verminderen van budgetten en het vertrouwen van de burgers in een goed functionerende overheid. Deze druk leidt tot onzekerheid waardoor leren van de resultaten van beleidsevaluaties niet steeds als primaire functie wordt beschouwd.

De onzekerheid van publieke managers om afgerekend te worden door de gemaakte keuzes maakt niet alleen leren lastig maar ook het opzetten van beleidsevaluaties. Zij kunnen voor de uitdaging komen te staan niet gekleurd te raken door het politiek-bestuurlijke krachtenveld. Zij hebben immers de kennis, macht en middelen om het beleidsevaluatieproces te beïnvloeden. Het spanningsveld kan ertoe leiden dat zij hun objectiviteit verliezen om beleidsevaluaties zodanig in te richten dat zij kunnen voldoen aan een voordelige verantwoording. De volgende paragraaf gaat nader in op de invloed van het spanningsveld tussen leren en verantwoorden op de onafhankelijkheid van publieke managers.

2.8. Het spanningsveld, een uitdaging voor publieke managers

Het proces van evalueren is een proces van keuzes maken, het is geen simpele zaak maar behoeft systematische analyses en objectiviteit. Publieke managers hebben veel belangen bij beleidsevaluaties. Uit de literatuur tot op heden is gebleken dat zowel leren als verantwoorden belangrijk zijn ten aanzien van hun verantwoordelijkheid om doelmatige en doeltreffende beleid te ontwikkelen. Echter brengt het verantwoordingsdoel druk met zich mee om vast te houden aan vooraf geformuleerde doelen en resultaten en om projecten en programma’s onder controle te houden. Dit leidt tot een botsing tussen het leren en verantwoorden. De druk om te voldoen aan een voordelig verantwoordingsresultaat kan de gebruikers beperken om aanpassingen te doen in het beleid. Immers vraagt leren om openheid voor het erkennen van onverwachte resultaten en mislukkingen, terwijl bij verantwoording de aandacht uitgaat naar de behaalde successen.

Een onpartijdige betrokkenheid en objectieve bijdrage van publieke managers zijn noodzakelijk om de kwaliteit en toegevoegde waarde van beleidsevaluaties te bevorderen zodat burgers en politici vertrouwen hebben in de resultaten ervan. Onafhankelijkheid tijdens het beleidsevaluatieproces is daarom essentieel.

(27)

Om dit te borgen is het belangrijk dat er voldoende afstand is in de samenwerking tussen de publieke managers en beleidsevaluatoren bij het verrichten van beleidsevaluaties. Voldoende afstand kan worden gerealiseerd door rekening te houden met de mate waarin publieke managers worden betrokken bij de volgende aspecten van beleidsevaluaties;

- Het vaststellen van de probleemstelling; - De formulering van onderzoeksvragen; - De bepaling van de evaluatieagenda

- Het bepalen van de methoden en technieken.

Deze afstand kan worden bepaald door:

- Richtlijnen op te stellen, om de afhankelijkheidsrelaties tussen publieke managers en beleidsevaluatoren te bepalen. Door middel van deze richtlijnen kunnen betrokkenen beslissen wat de rollen, verantwoordelijkheden en de activiteiten zijn van eenieder tijdens het beleidsevaluatieproces en kan de probleemstelling van het onderzoek worden bijgesteld (Guba & Lincoln, 1989; WRR, 2013; Jonkers, 2013 en Knottnerus, De Goede & Van Der Knaap, 2016).

Extra maatregelen kunnen genomen worden door te kiezen voor extra observaties en reflecties bij de beoordeling van het beleid. Zo kunnen waarnemingen worden gedaan naar het gedrag van betrokken bij evaluaties tijdens het proces en tussentijds gesprekken plaatsvinden over de voortgang van het evaluatieonderzoek en achteraf, aan het einde van het onderzoek (Van der Meer & Edelenbos, 2002).

(28)

3. Methodologie

In hoofdstuk één is de aanleiding van het onderzoek beschreven en de probleemstelling geformuleerd, naar aanleiding daarvan is er een concrete onderzoeksvraag centraal gesteld voor het onderzoek. Het theoretisch kader heeft ons inzicht gegeven in het belang van onafhankelijk onderzoek, de meerwaarde van beleidsevaluaties, het spanningsveld tussen leren en verantwoorden, op welke manier deze de onafhankelijkheid van publieke managers beïnvloed en welke maatregelen er getroffen kunnen worden om onafhankelijkheid te kunnen waarborgen. Er zijn voldoende handvatten verkregen om het onderzoek in de praktijk uit te voeren en op zoek te gaan naar een antwoord op de centrale vraag. In dit hoofdstuk worden de keuzes voor onderzoeksmethoden toegelicht.

3.1. Onderzoeksstrategie

De keuze voor het maken van een juiste onderzoeksstrategie is afhankelijk van de soort vraagstelling waar het onderzoek antwoord op wil geven, van belang is daarom te bepalen of deze beschrijvend, toetsend, verklarend of evaluatief is. In dit onderzoek wordt een kwalitatieve onderzoeksmethode gehanteerd omdat de vraagstelling gebaseerd is op het zoeken naar verklaringen in de praktijk. Het doel van kwalitatief onderzoek is namelijk inzicht krijgen in de verschillende interpretaties en opvattingen die mensen hebben en de betekenis die zij toekennen aan de bepaalde gebeurtenissen of sociale verschijnselen (Korzilius, 2000 en Van Thiel, 2013). Hiervoor is empirische kennis vereist, welke opgedaan zal worden door middel van interviews tijdens verschillende casestudies (Van Thiel, 2013). Publieke managers zijn op basis van verschillende wettelijke regelingen verplicht regelmatig beleidsevaluaties uit te voeren met als uitgangspunt het streven naar een zo goed mogelijk overheidsbeleid en moeten zich daarover kunnen verantwoorden. Essentieel is dat er sprake is van voldoende afstand en onafhankelijkheid tijdens het beleidsevaluatieproces tussen de opdrachtgevers en beleidsevaluatoren om te kunnen komen tot een onpartijdige en objectieve beoordeling. Tijdens deze studie zal worden onderzocht wat de relatie is tussen de afhankelijke en onafhankelijke variabelen en wordt er beoogd te achterhalen in welke mate de evaluatiedoelen leren en verantwoorden invloed hebben op de vormgeving van beleidsevaluaties door gemeentelijke lijnmanagers.

(29)

3.2. Framework

De volgende vraag is centraal gesteld in dit onderzoek:

‘’Hoe geven publieke managers vorm aan beleidsevaluaties en zijn er eventuele verschillen ten aanzien van de evaluatiedoelen?’’

Conceptueel model

Hieronder is een visuele weergave geschetst van de onafhankelijke en afhankelijke variabelen om vervolgens systematisch te kunnen onderzoeken in welke mate deze elkaar beïnvloeden.

Afhankelijke variabele

De afhankelijke variabele in dit onderzoek zijn ‘vormgeving van evaluaties’, specifiek ligt de focus op het vormgeven van beleidsevaluaties door gemeentelijke lijnmanagers rekening houdend met de wijze waarop ze de onafhankelijkheid ervan borgen. Tijdens dit onderzoek zal dit op inductieve wijze in kaart gebracht worden. Door lijnmanagers in gemeenten te spreken wordt beoogd te achterhalen hoe zij beleidsevaluaties inrichten en daarbij rekening houden met de onafhankelijkheid van de evaluaties en objectiviteit van de resultaten. Vervolgens zal aan de hand van het theoretisch kader vergelijkingen worden gemaakt met wat de literatuur zegt over het onafhankelijk vormgeven van beleidsevaluaties en de empirische onderzoekresultaten.

Doelstelling evaluaties

(30)

Tabel 1. Conceptualisering en operationalisering van de afhankelijke variabele

Afhankelijke variabele Concept Indicator

Vormgeving van beleidsevaluaties Hier wordt mee bedoeld de wijze waarop publieke managers betrokken zijn bij het beleidsevaluatieproces en deze inrichten.

De aanwezigheid van:

- De betrokkenheid van publieke

managers bij het beleidsevaluatieproces; - Vormgeving aan de vier stappen van het

proces:

1. De wijze waarop de probleemstelling wordt vastgelegd en de vragen van het onderzoek worden geformuleerd;

2. De wijze waarop keuzes worden gemaakt ten aanzien van de methoden van het onderzoek;

3. De manier waarop het onderzoek wordt uitgevoerd, data wordt verzameld en verwerkt;

4. De wijze waarop de evaluatierapporten tot stand komen en de vervolgactiviteiten - Richtlijnen en/of afspraken over de

rollen, verantwoordelijkheden en activiteiten van publieke managers en evaluatoren. Daarmee wordt bedoeld dat er schriftelijk vastgelegd moet zijn hoe de afhankelijkheidsrelatie tussen beide partijen wordt bewaakt en wat de rollen, verantwoordelijkheden en activiteiten zijn ten aanzien van het vaststellen van de probleemstelling, de formulering van onderzoeksvragen, de bepaling van de evaluatieagenda en het bepalen van de methoden en technieken van de beleidsevaluaties.

Onafhankelijke variabele

De onafhankelijke variabelen zijn de variabelen die het eventuele verschil in de vormgeving van het beleidsevaluatieproces door gemeentelijke lijnmanagers kunnen bepalen. Uit de literatuurstudie is gebleken dat het spanningsveld tussen leren en verantwoorden van invloed kan zijn op de keuzes die publieke managers maken bij de inrichting van het beleidsevaluatieproces. De druk voor een voordelig verantwoordingsresultaat kan ervoor zorgen dat zij het proces beïnvloeden door bewuste keuzes te maken bij onder andere het vaststellen van de probleemstelling en onderzoeksmethoden. De onafhankelijke variabele van dit onderzoek zijn de doelstellingen van evaluaties, de verwachting is dat het doel, leren of verantwoorden van invloed is op de wijze waarop het beleidsevaluatieproces wordt vormgegeven.

(31)

Tabel 2. Conceptualisering en operationalisering van de onafhankelijke variabele

Onafhankelijke variabele Concept Indicator

Doelstelling van beleidsevaluaties Het uitgangspunt om beleidsevaluaties te verrichten naar het uitgevoerde beleid. Onder andere het aanschaffen van nieuwe kennis die verandering bevordert van programma’s, beleid en organisaties en als middel waarmee publieke managers rapporteren over de activiteiten waarvoor ze verantwoordelijk zijn in het publieke belang.

De aanwezigheid van:

- Evaluaties geven inzicht in de problemen, de beleidslogica en beleidsresultaten;

- Geven inzicht in de contextfactoren die het beleid beïnvloeden;

- Bieden betrouwbare informatie om fouten in het beleid te kunnen corrigeren;

- Bieden nieuwe kennis die verandering bevorderd in het beleid;

- Dragen bij aan het verbeteren van de beleidsontwikkeling- en implementatie;

- Biedt informatie over

beleidsoutput- en resultaten om transparantie en verantwoording te vergemakkelijken;

- Middel om te komen tot

verantwoording tegenover burgers en politici over activiteiten waarover verantwoordelijkheid wordt gedragen;

- Bieden informatie om te kunnen voldoen aan de publieke verantwoording;

- Een middel om te verantwoorden over de gemaakte keuzes ten aanzien van de inzet van publieke middelen;

- Dragen bij aan de openheid en transparantie van politici en ambtenaren.

De verwachting is echter dat in de praktijk niet alleen het spanningsveld van invloed zal zijn op de vormgeving van beleidsevaluaties. Immers is het spanningsveld tussen leren en verantwoorden slechts één factor en zijn er meerdere evaluatiedoelen waar beleidsonderzoeken op gericht kunnen zijn. In de praktijk zal dus niet enkel gevraagd worden naar het spanningsveld tussen leren en verantwoorden maar zal worden beoogd te achterhalen of er andere factoren zijn die de vormgeving van beleidsevaluaties beïnvloeden.

(32)

3.3. Onderzoekspopulatie

De onderzoekspopulatie voor deze studie zijn gemeenten welke taken uitvoeren in het sociaal domein. Gemeenten kunnen beschouwd worden als de meest nabije overheid voor inwoners waarbij hun eerste taak het verbeteren van de kwaliteit van samenleven is. Gemeenten zijn genoodzaakt informatie en openbaarheid te geven over de geleverde prestaties, zij hebben namelijk verantwoordingsplicht tegenover burgers, de gemeenteraden en het Rijk ten aanzien van de taken waar ze verantwoordelijk voor zijn (Taakgroep Gemeenten, 2008). Hieruit volgt de aanname dat het voor gemeentelijke lijnmanagers in het sociaal domein belangrijk is om met behulp van beleidsevaluaties te komen tot een voordelig verantwoordingsresultaat maar ook op basis daarvan het beleid te verbeteren of af te bouwen. Sinds enkele jaren is het sociaal domein aan veranderingen onderhevig als gevolg van de decentralisaties. Gemeenten hebben hier een centrale rol in, zij zijn verantwoordelijk voor het uitvoeren van taken op gebied van jeugd, werk & inkomen en zorg. Doordat gemeenten de effecten van hun beleid op verschillende manieren meten heeft VNG Realisatie, in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties ‘’Etalage monitoring Sociaal Domein’’ ontwikkeld. VNG Realisatie is een organisatie die gemeenten helpt bij het ontwikkelen van oplossingen om gemeentelijke uitvoering te verbeteren. Door het instrument kunnen gemeenten inzichtelijk krijgen hoe ze hun beleid kunnen evalueren, wat daarvoor nodig is en hoe ze van elkaar kunnen leren (VNG, 2019). Door middel van deze monitoring zijn verschillende cases in beeld gebracht. In totaal zijn er 27 gemeenten opgenomen in de etalage.

Tabel 3. Gemeenten die zijn opgenomen in de Etalage Monitoring Sociaal Domein Naam gemeente Gemeente grootteklasse Beleidsterrein Monitorings thema Almere 100.001 – 300.000 - Werk en Inkomen;

- Welzijn;

- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.

- Uitvoering - Effecten

Alphen a/d Rijn 100.001 – 300.000 - Werk en Inkomen; - Welzijn

- Effecten

Amersfoort 100.001 – 300.000 - Werk en Inkomen; - Welzijn;

- Basisgegevens - Effecten

Borger – Odoorn < 25.000 - Welzijn;

- Effecten

Ede 100.001 – 300.000 - Werk en Inkomen; - Welzijn;

- Wet Maatschappelijke ondersteuning en zorg;

(33)

- Jeugdhulp- en zorg. Eindhoven 100.001 – 300.000 - Werk en Inkomen;

- Welzijn;

Effecten

Enschede 100.001 – 300.000 - Werk en Inkomen; - Welzijn;

- Basisgegevens - Uitvoering

Groningen 100.001 – 300.000 - Welzijn;

- Basisgegevens - Uitvoering - Effecten Haarlemmermeer 100.001 – 300.000 - Werk en Inkomen;

- Welzijn;

- Basisgegevens

Hoorn 50.001 – 100.000 - Werk en Inkomen; - Welzijn;

- Basisgegevens - Uitvoering

Horst a/d Maas 25.000 – 50.000 - Werk en Inkomen; - Welzijn;

- Basisgegevens - Uitvoering - Effecten Houten 25.000 – 50.000 - Werk en Inkomen;

- Welzijn;

- Wet Maatschappelijke ondersteuning en zorg.

- Basisgegevens - Effecten Leiden 100.001 – 300.000 - Werk en Inkomen;

- Welzijn;

- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Effecten Leidschendam - Voorburg 50.001- 100.000 - Werk en Inkomen; - Welzijn;

- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Basisgegevens - Uitvoering - Effecten Nieuwe Water - weggemeenten 100.001 – 300.000 - Werk en Inkomen; - Welzijn;

- Basisgegevens - Uitvoering - Effecten Nijmegen 100.001 – 300.000 - Werk en Inkomen;

- Welzijn;

- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Basisgegevens - Uitvoering - Effecten Ommen en Hardenberg 50.001 – 100.000 - Werk en Inkomen; - Welzijn;

Regio Twente > 300.000 - Welzijn;

- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Basisgegevens - Uitvoering - Effecten Regio Utrecht West 100.001 – 300.000 - Welzijn;

- Basisgegevens - Effecten Rotterdam > 300.000 - Werk en Inkomen;

- Welzijn;

- Wet Maatschappelijke ondersteuning en zorg;

- Basisgegevens - Uitvoering - Effecten