4. Analyse
4.3. Relatie tussen afhankelijke en onafhankelijke variabele
Beleidsevaluaties binnen het sociaal domein hebben als uitgangspunt te leren of te verantwoorden. In deze paragraaf zal worden geanalyseerd of afhankelijk van de evaluatiedoelen ook de wijze waarop lijnmanagers beleidsevaluatieprocessen vormgeven varieren.
De tabel hieronder geeft op een systematisch wijze weer welke evaluatiedoel centraal staat per evaluatiesoort. Vervolgens zal per type evaluatie worden beschreven welke keuzes lijnmanagers maken bij de vormgeving van het proces ten aanzien van het evaluatiedoel.
Tabel 5: Centraal evaluatiedoel per evaluatiesoort
Evaluatiesoort Leren Verantwoorden
Procesevaluaties X
Interne beleidsevaluaties in opdracht van gemeenten X
Interne beleidsevaluaties in opdracht van politici X
Externe beleidsevaluaties in opdracht van gemeenten X
Externe beleidsevaluaties in opdracht van politici X
Procesevaluatie
Als gevolg van allerlei signalen die gemeentelijke lijnmanagers krijgen van burgers of uitvoerende medewerkers met betrekking tot de effectiviteit van de processen die de dienstverlening beschrijven worden evaluaties verricht. Het uitgangspunt is procesverbetering waardoor leren centraal staat; inzicht in de effectiviteit en effecten van de processen zijn noodzakelijk om fouten en beperkingen te achterhalen en hierdoor te herstellen.
In de tabel hieronder wordt geanalyseerd op welke wijze gemeentelijke lijnmanagers procesevaluaties vormgeven.
Tabel 6: Vormgeving procesevaluaties
Type evaluatie Doel Fase Rol Aandachtspunten
vormgeving Procesevaluatie Leren - Voorbereiding;
- Uitvoering;
- Rapportage & Follow up.
- Evaluator; - Kennisproducent; - Deelnemer.
- Betrouwbaarheid van data; - Diversiteit aan denkbeelden.
Het probleem is vaak gesignaleerd als lijnmanagers besluiten dat er evaluatie nodig is ten aanzien van de uitvoering. Procesevaluaties zijn informeel, niet van grote omvang en behoeven zodoende ook niet veel voorbereiding. Bestuurders zijn niet betrokken in dit proces, de uitvoering staat immers ver van hun vandaan; lijnmanagers zijn verantwoordelijk voor een efficiënt en succesvol verloop van de processen. Procesverbetering staat centraal, daarom schenken lijnmanagers veel aandacht aan het verzamelen van kennis en informatie vanuit diverse kanalen en invalshoeken om de gesignaleerde problemen in kaart te kunnen brengen.
‘’De keuzes voor de onderwerpen die onderzocht worden komen veelal uit de praktijk en zijn dingen waar we tegenaan lopen, het zijn vaak dingen waarvan we op de werkvloer merken dat ze niet goed lopen of dat ze niet goed zijn afgestemd met ketenpartners of wat dan ook. Dan willen we iets verbeteren. Of er is niks en daar willen we dan iets voor opzetten’’ (respondent 1).
In de voorbereidingsfase waarin de onderzoeksopzet wordt opgemaakt worden verschillende medewerkers die deskundig zijn in het evaluatieonderwerp betrokken. Medewerkers op het werkvloer geven uitvoering aan de processen en beschikken over kennis ten aanzien van de werkwijzen en de gevolgen daarvan. Hierdoor zijn zij in staat de lijnmanagers te instrueren door inzicht te geven in de praktijk en daarbij de huidige knelpunten; onder andere welke problemen zij ervaren of opmerken en kunnen een inschatting maken van de eventuele oorzaken die daar ten grondslag aan liggen. Lijnmanagers vinden het daarom noodzakelijk dat uitvoerende medewerkers betrokken worden in het evaluatieproces, zodat zij een volledig mogelijk beeld kunnen weergeven van de processen en de uitvoering in de praktijk. Op deze manier worden de fouten en beperkingen van de processen in beeld gebracht die een effectieve dienstverlening belemmeren. Het evaluatieteam bestaat uit lijnmanagers en uitvoerende medewerkers, in samenwerking wordt het volledige proces doorlopen door middel van het analyseren van data en voeren van overleggen. Tot slot stellen lijnmanagers de rapportages op die zij vervolgens bespreken met procesbegeleiders, senioren en in hun teams. Gezamenlijk worden passende vervolgstappen bedacht en oplossingen ontwikkeld ter verbetering van de processen.
‘’Dan vraag ik ook aan de procesmensen in de bedrijfsvoering hoe de processen eruit zien, zodoende ga je evalueren en kijken waar je tegen aan loopt en welke keuzes je hebt gemaakt, krijg je snel inzichten en kom je snel tot een conclusie’’ (respondent 4).
Interne beleidsevaluaties
Als beleidsevaluaties worden verricht in opdracht van lijnmanagers of directie (hierna: gemeenten) staat leren centraal. Gemeenten zetten beleidsvraagstukken uit naar aanleiding van diverse signalen of veranderingen in de samenleving of wet- en regelgeving. Er is onderzoek noodzakelijk wat deze veranderingen betekenen voor het gevoerde beleid en of de oplossingen nog aansluiten en effectief zijn. Indien het beleid niet meer op koers ligt zal waar mogelijk het
bereiken vragen politici (hierna: bestuurders) zich onverminderd af wat daar ten grondslag aan ligt; ook burgers verwachten openheid over het overheidshandelen en de besteding van publieke middelen. Wanneer er meer politiek gewicht hangt aan de beleidsevaluaties weegt het verantwoordingscomponent zwaarder.
‘’Dan zegt de wethouders, hoe zit dit en leg dit eens uit beste uitvoering. Dan moet ik uitleggen; wat we doen, hoe we het aanpakken, wat het effect ervan is en ook bijvoorbeeld wat de kosten en de baten zijn. Dat zijn onderzoekgerichte vragen en die krijg ik dan als verantwoordelijke uitvoerende leidinggevende. Ik moet dan al die kerngetallen ophalen en de vertaling bespreken en met beleid afstemmen. Ook krijg je heel vaak de vraag wat je zelf vindt van bepaalde zaken, dat kan ook belangrijk zijn’’ (respondent 4).
In de tabel hieronder wordt geanalyseerd op welke wijze gemeentelijke lijnmanagers het proces van interne beleidsevaluaties vormgeven.
Tabel 7: Vormgeving van interne beleidsevaluaties; fase voorbereiding
Type evaluatie Doel Fase Rol Aandachtspunten
vormgeving Intern; in opdracht van
gemeenten
Leren Voorbereiding Gesprekspartner - Open houding; - Goede relatie met de beleidsevaluator; - Sturen op leerbehoefte. Intern; in opdracht van
politici
Verantwoorden Voorbereiding Geen Niet van toepassing.
Beleidsevaluatoren die worden ingeschakeld voor de uitvoering van beleidsevaluaties zijn ten opzichte van hun rol als onderzoeker verantwoordelijk voor het opstellen van een passende onderzoeksopzet. De opdrachtgevers geven input gedurende dit proces, zij hebben immers vraagstukken waar zij antwoorden op willen en delen informatie om hun wensen en behoeften te verhelderen, om ervoor te zorgen dat de evaluaties aansluiten op hun doelen. Dit betekent dat lijnmanagers geen rol hebben in de voorbereidingsfase als de opdracht afkomstig is van lokale of landelijke bestuurders. Als gemeenten evaluatoren inschakelen voor het verrichten van evaluaties, vindt er in de voorbereidingsfase voornamelijk overleg en afstemming plaats over de doelen van het onderzoek, de vragen die leidend zijn en de methoden waarmee het beste antwoorden verkregen kunnen worden. Lijnmanagers proberen hun leerdoelen zo zuiver mogelijk te beschrijven om ervoor te zorgen dat beleidsevaluatoren een degelijk onderzoek
kunnen uitvoeren. Zij hebben vaak weinig tot geen beeld van hoe de uitvoering eruit ziet, lijnmanagers voorzien hen zodoende van kennis en informatie over de achtergronden van de vraagstukken om een zo helder en compleet mogelijk beeld te schetsen van de praktijk. Belangrijk is dat beleidsevaluatoren begrijpen waar beleidsvraagstukken vandaan komen en de probleemstelling zo helder mogelijk formuleren zodat de evaluaties voorzien in de leerbehoeften van lijnmanagers en verbetermogelijkheden bieden die aansluiten op de praktijk en bruikbaar zijn. Van belang is dat beleidsevaluatoren ook daadwerkelijk gebruik maken de input die zij krijgen van lijnmanagers, daarvoor stellen zij zich open op en werken zij aan een goede onderlinge relatie. Wanneer er sprake is van goede onderlinge verhoudingen is de kans groter dan beleidsevaluatoren luisteren naar de inbreng van lijnmanagers en deze ook benutten, zo kan voorkomen worden dat beleidsevaluatoren uitgaan van hun eigen percepties, immers hebben zij waarschijnlijk een beeld van de praktijk die niet overeenkomt met de werkelijkheid omdat zij daar niet betrokken bij zijn als onafhankelijke onderzoeker.
‘’Zij hebben heel vaak behoefte aan afstemming. Zij vragen dan aan mij wat ik ergens van vind, maar ik heb ook seniormedewerkers die ik kan inzetten voor zo een onderzoek. Er zijn ook beleidsmedewerkers die heel nauw contact hebben met seniormedewerkers en via die lijn veel input halen bij mijn team’’ (respondent 6).
Tabel 8: Vormgeving van interne beleidsevaluaties; fase uitvoering
Type evaluatie Doel Fase Rol Aandachtspunten
vormgeving Intern; in opdracht van
gemeenten
Leren Uitvoering - Kennisproducent; - Deelnemer.
- Open houding; - Goede relatie met de beleidsevaluator;
- Betrouwbaarheid en objectiviteit van data;
- Diversiteit aan denkbeelden; - Kritische oordelen.
Intern; in opdracht van politici
Verantwoorden Uitvoering - Kennisproducent; - Deelnemer.
- Open houding; - Goede relatie met de beleidsevaluator;
- Betrouwbaarheid en objectiviteit van data;
Ook in de fase van uitvoering vinden lijnmanagers het belangrijk dat zij zich open opstellen met betrekking tot de evaluaties en een goede relatie onderhouden met de beleidsevaluatoren. Zij zijn bereid om deel te nemen aan overleggen, interviews en beleidsevaluatoren te voorzien van uitleg en antwoorden bij onduidelijkheden of vragen. Eveneens blijkt het in deze fase ook van belang te zijn te voorkomen dat beleidsevaluatoren uitgaan van hun eigen bedenkingen en aannames. Door middel van een actieve deelname en positieve betrokkenheid kunnen lijnmanagers ervoor zorgen dat de input die zij leveren daadwerkelijk worden gebruikt en zij waar nodig kunnen sturen in het proces, bijvoorbeeld als zij het gevoel krijgen dat er sprake is van misvattingen of onjuistheden. Het is immers niet de bedoeling dat de evaluaties een product worden van de evaluatoren, maar aansluiten op het evaluatiedoel waarvoor ze worden verricht. Zij moeten zodoende kunnen uitgaan van de objectiviteit van de lijnmanagers. Om beleidsevaluatoren te kunnen overtuigen van de juistheid van hun inbreng is het essentieel dat zij feitelijke en betrouwbare kennis en data aanleveren. Daarvoor zijn zij voorafgaand de beleidsevaluaties continue bezig met het monitoren van de gang van zaken in de uitvoering; zij spreken regelmatig met uitvoerende medewerkers, controleren de betrouwbaarheid van systemen en beoordelen de juistheid van data en rapportages.
‘’Het is meer dat als het onderzoek loopt dat je ervoor zorgt dat de juiste informatie wordt gedeeld en dat je openstaat voor vragen die de onderzoekers hebben. Het heeft geen zin om te denken, ik heb geen zin in een interview of in het onderzoek en ik doe maar alsof ik er niks mee te maken heb en ze zoeken het maar uit. Uiteindelijk krijg je al die vragen toch terug. Je kan dan beter op voorhand goed erover nadenken hoe je het onderzoek kan sturen voor zover dat kan, dan heb je in ieder geval meer in eigen hand’’ (respondent 1).
De betrouwbaarheid en objectiviteit van data en kennis is noodzakelijk; tenslotte krijgen beleidsevaluatoren door middel van deze input een beeld van de praktijk, een zo compleet mogelijk weergave van de werkelijkheid is essentieel zodat uiteindelijk de resultaten die daaruit ontstaan aansluiten op de leerbehoeften van lijnmanagers en de leerpunten en verbetermogelijkheden toepasselijk zijn op de uitvoeringspraktijk. Lijnmanagers hebben er geen baat bij als evaluaties uitkomsten bieden die vervolgens geen aansluiting hebben met hun uitvoering. Voor een compleet beeld is niet alleen de input vanuit lijnmanagers belangrijk, ook medewerkers en stakeholders die betrokken zijn bij de uitvoering van het beleid hebben expertise over de uitvoering. Hun inzichten leveren een waardevolle bijdrage aan de evaluatieonderzoeken, door de praktijk vanuit verschillende invalshoeken te benaderen willen lijnmanagers voorkomen dat er een eenzijdig beeld ontstaat.
Hoe meer betrokkenen die verstand hebben van de uitvoering, des te meer inzichten worden verkregen die lijnmanagers zelf wellicht nog niet hadden. Kritische kanttekeningen met goed onderbouwde argumenten worden gewaardeerd omdat deze kunnen bijdragen aan het bekijken van de problemen vanuit verschillende perspectieven. Middels deze aandachtspunten tijdens de vormgeving van de uitvoeringsfase beogen lijnmanagers meer leerpunten en betere verbetermogelijkheden te krijgen. Lijnmanagers zijn daarom ook niet selectief bij het aandragen van medewerkers die deel zullen nemen aan de evaluatieonderzoeken, eenieder die deskundig is in het evaluatieonderwerp, tijd heeft en deel wil nemen krijgt de mogelijkheid hiervoor. Zij zijn ervan overtuigd dat op deze manier de beste inzet en input wordt verkregen met betrekking tot de evaluatieresultaten.
‘’De interviews zijn belangrijk, want zij leveren bepaalde bijdragen die dus juist niet in de stukken staan. Je kan dan bijvoorbeeld aangeven, we hebben destijds die keuze gemaakt omdat het toen zus en zo is gegaan, de interviews zijn voor ons dus wel degelijk van belang tijdens zo een onderzoek’’ (respondent 1).
Ook bij beleidsevaluaties waar politici opdrachtgevers voor zijn en verantwoorden centraal staat is het noodzakelijk dat er betrouwbare en objectieve data wordt aangeleverd om een compleet en kloppend beeld van de werkelijkheid te schetsen. Voorafgaand de beleidsevaluaties zijn lijnmanagers aan het monitoren wat de effecten zijn van het beleid in de samenleving en hoe de uitvoering van de processen verlopen. Op deze manier zijn zij op de hoogte van de ontwikkelingen in de praktijk en kunnen zij inspelen op de fouten. Ook controleren zij regelmatig de betrouwbaarheid van de systemen die zij raadplegen voor juistheid van data. Deze input leveren lijnmanagers aan beleidsevaluatoren voor de uitvoering van de evaluatieonderzoeken, de acties die lijnmanagers preventief uitvoeren zouden moeten bijdragen aan de objectiviteit van de onderzoeksresultaten. Lijnmanagers moeten daarover uiteindelijk verantwoording afleggen en hebben door deze wijze van vormgeving als doel te voorkomen dat er onverwachtse resultaten tot stand komen die voor hen moeilijk te verantwoorden zijn. Op deze manier zijn zij enigszins aan het sturen op resultaten en kunnen zij gemakkelijker verantwoorden waar hun keuzes op zijn gebaseerd zijn ten aanzien van het beleid en hoe deze uitpakken in de praktijk; als er dingen misgaan hebben zij vooraf inzicht verkregen in de oorzaken en kunnen zij daar toelichting over geven. Indien lijnmanagers als gevolg van onjuiste of subjectieve input voor onverwachte onderzoeksresultaten zullen komen te staan, zal het
Belangrijke aanvullingen die niet in de geleverde stukken staan geven lijnmanagers en medewerkers tijdens interviews. Lijnmanagers overleggen ook regelmatig met beleidsevaluatoren. Tijdens deze gesprekken is er ruimte voor mondelinge toelichting van cijfers, rapportages, bedenkingen en aannames. Ook hier is een open houding en een goede relatie met de beleidsevaluator van belang. Beleidsevaluatoren zullen zich door de positieve instelling van lijnmanagers eerder geroepen voelen om vragen te stellen, verduidelijking te vragen en waar nodig de lijnmanagers tegemoet komen in hun verwachtingen ten aanzien van de evaluatieresultaten.
‘’Er zijn werkgroepen bij betrokken, er vinden interviews plaats en worden ook vaak studies verricht naar jurisprudentie. Het is een totaal scala en op basis daarvan wordt er een gewogen conclusie getrokken’’ (respondent 6).
De medewerkers en stakeholders die deelnemen aan de interviews worden geselecteerd door de lijnmanagers. Bij deze selectie letten lijnmanagers erop dat medewerkers deskundig zijn en stakeholders betrokken zijn bij de uitvoering van het beleid. Deelnemers moeten immers verstand hebben over de gang van zaken om de juiste input te kunnen geven. Ten opzichte van de selectie van de medewerkers zijn er nog twee aandachtspunten; lijnmanagers proberen zo min mogelijk medewerkers deel te laten nemen die negatief ingesteld zijn ten opzichte van de organisatie en evaluaties en moeten zich goed kunnen uitdrukken en verwoorden.
‘’Ook is het belangrijk om mensen te kiezen die goed in staat zijn om daar wat over te zeggen, soms is het natuurlijk ook zo dat de ene medewerker daar beter is dan de ander. Dus afhankelijk van het onderwerp ga je dan ook kijken wie in mijn team kan daar goed in meedenken’’ (respondent 2).
Als lijnmanagers bijvoorbeeld weten dat een medewerker negatief is ingesteld en continue klaagt, kiezen zij niet voor deze medewerker om deel te laten nemen. Het argument hiervoor is dat als medewerkers negatief zijn ingesteld, de kans groter is dat zij situaties vanuit de negatieve kant zullen belichten omdat zij hun objectiviteit kunnen verliezen tijdens de interviews. Dit kan ervoor zorgen dat er een vertekend beeld ontstaat bij de beleidsevaluatoren en de resultaten van de evaluaties negatief zullen worden beïnvloed. Dit zal de lijnmanagers niet ten goede komen ten opzichte van hun verantwoordingsplicht; het zal hen meer moeite en energie kosten om het daadwerkelijke verhaal te vertellen, uit te leggen wat ten grondslag ligt aan die resultaten en bestuurders te overtuigen over de waarheid ervan. Respondent 6 geeft een voorbeeld: ‘’Er was ooit eens een nieuwe manager gekomen, die wilde van elke afdeling iemand spreken, zo ook mensen uit mijn afdeling. Ik kreeg daar later dingen van terug en ik zei ik herken ze wel en die
zijn ook deels waar maar je moet het wel nuanceren en toen kwam er een heel verhaal. Want ik had wel zoiets van deze persoon heeft iets heel eenzijdig belicht en daar is niets mis mee maar de rest is er ook en dan moet je het zelf corrigeren. Je moet er dus wel alert op zijn wie wat zegt, het is niet erg als je het maar altijd kan uitleggen’’.
Tabel 9: Vormgeving van interne beleidsevaluaties; fase rapportage en follow up
Type evaluatie Doel Fase Rol Aandachtspunten
vormgeving Intern; in opdracht van
gemeenten Leren Rapportage en follow up Rapportage: geen Follow up: - Interpreteren en bespreken van resultaten; - Ontwikkelen van verbeterplannen. - Resultaten controleren op juistheid;
- Lessen trekken uit de uitkomsten; - Resultaten bediscussiëren; - Verbeterde beleidsplannen ontwikkelen en vaststellen. Intern; in opdracht van
politici Verantwoorden Rapportage en follow up Rapportage: geen Follow up: - Verklaren en verantwoorden van resultaten; - Ontwikkelen van verbetermogelijkheden. - Resultaten controleren op juistheid; - Oorzaak en gevolgrelaties in kaart brengen; - Verbanden beargumenteren; - Verbetermogelijkheden bedenken en suggereren.
Vanuit hun rol als onderzoekers zijn beleidsevaluatoren tevens ook verantwoordelijk voor het rapporteren van de onderzoeksresultaten die zij gedurende het proces hebben verkregen. Lijnmanagers krijgen enkel inzage in de evaluatierapporten en kunnen deze controleren op eventuele onjuistheden. Daarbij letten zij op of de onderzoeksbevindingen van beleidsevaluatoren wel aansluiten op wat lijnmanagers bedoelden te zeggen tijdens overleggen en interviews. Feitelijke onjuistheden kunnen lijnmanagers aankaarten, mits deze goed zijn onderbouwd worden ze gecorrigeerd door de beleidsevaluatoren, verder kunnen zij geen invloed uitoefenen op de uitkomsten van de rapporten. Voor lijnmanagers is het noodzakelijk
over af te leggen. Als lijnmanagers het niet eens zijn met de inhoud van de rapportages, maken zij dit kenbaar bij de onderzoekers en bestuurders. Hun reactie kan worden opgenomen in het rapport om te laten zien dat zij het oneens zijn met wat de rapporten schetsen over de situaties in hun uitvoeringspraktijk, immers worden de resultaten toegeschreven aan hun afdelingen.
In de follow up fase van het evaluatieproces worden de evaluatieresultaten besproken met bestuurders. Lijnmanagers bereiden deze gesprekken goed voor door de onderzoeksresultaten te analyseren, te vergelijken met bestaande beleidsstukken en rapportages en bereiden hun verhaal goed voor om te kunnen beargumenteren waar de keuzes die zij in het verleden hebben gemaakt op zijn gebaseerd en de huidige effecten toch konden ontstaan. Zij moeten hier verantwoording over afleggen. Een goede voorbereiding is tevens belangrijk om in te kunnen spelen op de keuzes die bestuurders zullen maken ten aanzien van nieuwe beleidsplannen om de geconstateerde problemen op te lossen. Door goed voorbereid het gesprek in te gaan kunnen lijnmanagers inschatten welke keuzes bestuurders wellicht gaan maken op basis van de resultaten, hiervoor tegenargumenten bedenken, zelf verbetermogelijkheden bedenken en uitwerken. Op deze manier beogen lijnmanagers bestuurders te kunnen overtuigen van hun ideeën als zij andere beslissingen zullen nemen die afwijken van wat lijnmanagers willen. Het is voor hen van belang dat bestuurders de door hen gewenste verbetervoorstellen accepteren,