3. Methodologie
3.3. Onderzoekspopulatie
De onderzoekspopulatie voor deze studie zijn gemeenten welke taken uitvoeren in het sociaal domein. Gemeenten kunnen beschouwd worden als de meest nabije overheid voor inwoners waarbij hun eerste taak het verbeteren van de kwaliteit van samenleven is. Gemeenten zijn genoodzaakt informatie en openbaarheid te geven over de geleverde prestaties, zij hebben namelijk verantwoordingsplicht tegenover burgers, de gemeenteraden en het Rijk ten aanzien van de taken waar ze verantwoordelijk voor zijn (Taakgroep Gemeenten, 2008). Hieruit volgt de aanname dat het voor gemeentelijke lijnmanagers in het sociaal domein belangrijk is om met behulp van beleidsevaluaties te komen tot een voordelig verantwoordingsresultaat maar ook op basis daarvan het beleid te verbeteren of af te bouwen. Sinds enkele jaren is het sociaal domein aan veranderingen onderhevig als gevolg van de decentralisaties. Gemeenten hebben hier een centrale rol in, zij zijn verantwoordelijk voor het uitvoeren van taken op gebied van jeugd, werk & inkomen en zorg. Doordat gemeenten de effecten van hun beleid op verschillende manieren meten heeft VNG Realisatie, in opdracht van het ministerie van Binnenlandse Zaken en Koninkrijksrelaties ‘’Etalage monitoring Sociaal Domein’’ ontwikkeld. VNG Realisatie is een organisatie die gemeenten helpt bij het ontwikkelen van oplossingen om gemeentelijke uitvoering te verbeteren. Door het instrument kunnen gemeenten inzichtelijk krijgen hoe ze hun beleid kunnen evalueren, wat daarvoor nodig is en hoe ze van elkaar kunnen leren (VNG, 2019). Door middel van deze monitoring zijn verschillende cases in beeld gebracht. In totaal zijn er 27 gemeenten opgenomen in de etalage.
Tabel 3. Gemeenten die zijn opgenomen in de Etalage Monitoring Sociaal Domein Naam gemeente Gemeente grootteklasse Beleidsterrein Monitorings thema Almere 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Uitvoering - Effecten
Alphen a/d Rijn 100.001 – 300.000 - Werk en Inkomen; - Welzijn
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Effecten
Amersfoort 100.001 – 300.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Effecten
Borger – Odoorn < 25.000 - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Effecten
Ede 100.001 – 300.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg;
- Basisgegevens - Effecten
- Jeugdhulp- en zorg. Eindhoven 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
Effecten
Enschede 100.001 – 300.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering
Groningen 100.001 – 300.000 - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering - Effecten Haarlemmermeer 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens
Hoorn 50.001 – 100.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering
Horst a/d Maas 25.000 – 50.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering - Effecten Houten 25.000 – 50.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg.
- Basisgegevens - Effecten Leiden 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Effecten Leidschendam - Voorburg 50.001- 100.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Basisgegevens - Uitvoering - Effecten Nieuwe Water - weggemeenten 100.001 – 300.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering - Effecten Nijmegen 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Basisgegevens - Uitvoering - Effecten Ommen en Hardenberg 50.001 – 100.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Effecten
Regio Twente > 300.000 - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg. - Basisgegevens - Uitvoering - Effecten Regio Utrecht West 100.001 – 300.000 - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Effecten Rotterdam > 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg;
- Basisgegevens - Uitvoering - Effecten
- Jeugdhulp- en zorg. Utrecht stad > 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering - Effecten Venlo 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Effecten
Vlissingen 25.000 – 50.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering - Effecten Wageningen 25.000 – 50.000 - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Uitvoering - Effecten Zwolle 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Basisgegevens - Uitvoering - Effecten Den Bosch 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Uitvoering
Ten aanzien van dit onderzoek is ervoor gekozen een selectie te maken van de bovenstaande gemeenten. De selectie is gemaakt op basis van de monitoringthema’s; basisgegevens, effecten en uitvoering. Gezien dit onderzoek zich richt op beleidsevaluaties, en deze uitgevoerde beleid beoordelen op hun effecten, is er gekozen voor monitoring op effecten. Zowel monitoren als evalueren worden gedaan om dezelfde redenen, namelijk om informatie te verzamelen. Het verschil tussen deze twee instrumenten is echter het moment waarop deze worden ingezet. Monitoren gebeurt structureel, het is een continu proces waarbij interventies worden bijgehouden en bekeken. Evaluatie is daarentegen een periodieke beoordeling welke zich richt op de effectiviteit en efficiëntie van interventies. Zowel bij monitoren als evalueren staan dezelfde invalshoeken centraal, namelijk achterhalen wat de resultaten zijn en hoe de interventies hebben bijgedragen aan de resultaten (WUR, 2007).
Na de selectie op basis van de monitoringsthema’s zijn 24 gemeenten overgebleven die het beleid evalueren op de effecten ervan. Vervolgens is de selectie van gemeenten verder afgebakend op basis van de gemeentegrootteklasse. Preskill & Boyle (2008) benadrukken het belang van kennis, vaardigheden en organisatorische inbedding voor de evaluatiecapaciteit in organisaties. Nielsen et al (2011) hebben ook een model ontwikkeld en gaan er van uit dat de evaluatiecapaciteit afhankelijk is van twee dimensies namelijk, 1; het menselijk kapitaal, de tools en resources en 2; het beleid, de plannen, organisatiestructuren, processen en culturen (Nielsen et al, 2011).
Ook de Rijksoverheid benadrukt het belang van evaluatiecapaciteit en geeft als tip mee aan gemeenten die onvoldoende evaluatiecapaciteit beschikbaar hebben voor het uitvoeren van beleidsevaluaties, dat zij met andere, grotere gemeenten kunnen samenwerken omdat het voordelig zal zijn voor de bewijskracht van de resultaten. Evaluaties zullen dan gebaseerd zijn op grotere hoeveelheid aan data (Ministerie van Sociale Zaken en Werkgelegenheid, 2019). Mede hierdoor is voor dit onderzoek de gemeenten met grootteklasse 100.001 – 300.000 geselecteerd. De aanname op basis van de theorie is; hoe groter de gemeente des te meer beleid wordt ontwikkeld en geëvalueerd waarvoor ook een grotere evaluatiecapaciteit nodig is en aanwezig zal zijn. Door een bewuste selectie van de onderzoekspopulatie te maken in een bepaalde context, kan doelgericht onderzocht en verklaard worden of de onafhankelijke variabele van invloed is op de afhankelijke variabele. Dit wordt ook wel purposive sampling genoemd (Boeije, 2009). Dit is het uitgangspunt voor de selectie van onderzoekseenheden die deel uit maken van de onderzoekspopulatie met dezelfde kenmerken. De gemeenten die enkel monitoren op effecten zullen bevraagd worden om te voorkomen dat andere evaluatiecriteria worden aangehaald tijdens het onderzoek. Door zoveel mogelijk gemeentelijke lijnmanagers te spreken die beleidsevaluaties verrichten in dezelfde omstandigheden wordt het mogelijk om een zo compleet mogelijk beeld te weergeven. De vijf gemeenten waar het onderzoek uitgevoerd zal worden, evalueren allemaal de effecten van het beleid om te kunnen komen tot verantwoording en om van te kunnen leren. De gemeente Almere wijkt enkel af ten aanzien van de monitoringsthema en monitort niet enkel op effecten maar ook op uitvoering. Deze gemeente past echter in de onderzoekspopulatie omdat beleidsevaluaties gericht zijn op uitgevoerde beleid en de effecten ervan. De gemeenten komen verder overeen ten aanzien van de onafhankelijke variabelen.
Afbakening beleidsterrein
Het onderzoek zal zich toespitsen op het beleidsterrein Werk en Inkomen (de uitvoering van de Participatiewet). Bij de vaststelling van de Participatiewet heeft de Tweede Kamer verzocht gedegen evaluaties uit te voeren om te beoordelen of de gewenste doelstellingen van de wet worden behaald. Het betreft inhoudelijke beoordelingen naar de doelmatigheid en doeltreffendheid van het beleid waar het Kabinet zo nodig op kan inspelen en bijsturen (Kamerstuk II). Gedegen evaluaties zijn noodzakelijk daar de complexiteit bij de Participatiewet hoog is, de wetswijziging was geen gemakkelijke interventie maar heeft impact
Deze complexiteit en dynamiek vraagt om een actieve betrokkenheid van deelnemers aan het evaluatieproces omdat het continue interactie en samenwerking behoeft. Tegelijkertijd ontstaat echter het risico dat deelnemers hun onafhankelijkheid kunnen verliezen (Steen, Faber, Frankowski & Norbruis, 2018). De reden dat dit onderzoek zich specifiek richt op het beleidsterrein Werk en Inkomen is door de verwachting dat de complexiteit van de beleidsvraagstukken een uitdaging vormen voor gemeentelijke lijnmanagers tijdens de beleidsevaluatieprocessen om objectief en onafhankelijk te kunnen blijven. De vraag is dan ook hoe zij gezien de complexiteit en dynamiek de beleidsevaluaties zodanig inrichten zonder hun scherpe blik te verliezen.
Tabel 4. Selectie van gemeenten voor het onderzoek Naam gemeente Gemeente grootteklasse Beleidsterrein Monitorings thema Almere 100.001 – 300.000 - Werk en Inkomen;
- Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Uitvoering - Effecten
Alphen a/d Rijn 100.001 – 300.000 - Werk en Inkomen; - Welzijn
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Effecten
Eindhoven 100.001 – 300.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
Effecten
Leiden 100.001 – 300.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Effecten
Venlo 100.001 – 300.000 - Werk en Inkomen; - Welzijn;
- Wet Maatschappelijke ondersteuning en zorg; - Jeugdhulp- en zorg.
- Effecten