Reflecties op evaluatieverhalen

In dit hoofdstuk stonden drie verhalen van Alterra-onderzoekers over praktijkervaringen met lerende evaluaties centraal. We gaan in op de belangrijkste elementen uit deze verhalen en bespreken enkele leerpunten voor dergelijke vormen van evaluatie.

In het verhaal over de evaluatie ‘Ontwikkelen met kwaliteit’ gaat de onderzoeker in op zijn dilemma’s in de evaluatiestudie naar het beleidsthema Ontwikkelen met kwaliteit. Het gaat vooral om een explorerende benadering waarin de onderzoeker op zoek gaat naar de verschillende doelen en beelden die betrokken actoren hebben van dit beleidsveld. Hij komt terecht in een nog nauwelijks ontwikkeld beleidsveld dat nog niet is afgebakend en waar duidelijke doelen, ook bij de rijksoverheid, ontbreken. De onderzoeker worstelt vooral met zijn rol in het beleidsveld. Soms lijkt het wel alsof hij het beleid zelf beïnvloedt. Dat spoort niet met zijn beeld van de onderzoeker als onpartijdige buitenstaander.

Dit laatste beeld komen we ook tegen bij de reflecties op de MNP-evaluaties (in hoofdstuk 4). Ook de MNP-evaluator wil graag zijn werk doen als onpartijdige buitenstaander. Toch heeft men ook uiteindelijk tot doel dat de opdrachtgever (indien nodig) het beleid bijstuurt. Alleen kiest het MNP over het algemeen voor de formele weg. Men publiceert een rapport, stuurt dit aan de Tweede Kamer en verspreid een persbericht. De doorwerking van de resultaten kan beginnen. Met meer lerende vormen van evaluatie begint de doorwerking (idealiter) al eerder. In een responsieve evaluatie die alleen maar op leren is gericht, zoals de voorbeelden van Abma (hoofdstuk 3), is het leren in feite afgelopen na afsluiting van de evaluatie. De leereffecten zijn bereikt in de interacties van de evaluatie zelf en een rapportage heeft dan vooral een symbolische waarde of een betekenis voor de buitenstaanders.

Meer leren in beleidsevaluatie betekent dus dat je als onderzoeker het beleid meer direct gaat beïnvloeden. Dat levert nieuwe dilemma’s op voor onderzoekers die gewend zijn om juist als afstandelijke buitenstaander het beleid te beoordelen. Indien een MNP zich meer op leren in beleidsevaluatie gaat richten zou het goed zijn, om zich hiervan bewust te zijn.

Het tweede verhaal over de evaluatie reconstructie schetst de start van een evaluatie die duidelijk op leren en afrekenen is gericht. De achtergrond hiervan is dat de onderzoekers de beleidscontext definiëren als een governance omgeving. Er zijn zeer veel bestuurlijke en andere partijen betrokken bij de reconstructie en de inschatting is dat het niet verstandig is om alleen de rijksdoelen als uitgangspunt te nemen. Bovendien zouden andere partijen ook iets kunnen leren van de evaluatie, maar dan moet de evaluatie hun doelen en belangen wel

serieus nemen. Bovendien is het Rijk zelf als opdrachtgever een voorstander van een dergelijke evaluatie. Ook omdat reconstructie (ook formeel) bij uitstek een vorm van (op zijn minst) multi-level governance is.

In de evaluatie verzamelen de onderzoekers eerst de wensen en verwachtingen van de belangrijkste actoren in open interviews. Vervolgens maken de onderzoekers hiervan een beoordelingskader en wordt dit kader verrijkt en getoetst in een interactieve bijeenkomst met de belangrijkste actoren in de reconstructie. Dit vraagt om heel andere vaardigheden dan gebruikelijk bij (evaluatie)onderzoekers. Het komt nu ook aan op procesmethoden en procesvaardigheden.

Het resultaat van de bijeenkomst lijkt een groter draagvlak voor de onderzoeksaanpak te zijn. Aanvankelijk wantrouwen van de betrokken partijen tegen een evaluatie lijkt te zijn verdwenen. Maar uiteindelijk zullen er (later) ook conclusies worden getrokken die niet iedereen even leuk zal vinden. Het lijkt een risico voor de evaluatie dat er uiteindelijk wel ‘beoordeeld’ zal worden. In hoeverre accepteren de betrokken partijen dit van onderzoekers die in een eerste fase vooral begripvol hebben geluisterd naar de zorgen en verwachtingen van de beleidsactoren? Hier eindigt dit verhaal, omdat deze evaluatiestudie nog niet is afgerond.

Het verhaal laat zien dat mengvormen tussen leren en verantwoorden naast analytische vaardigheden ook om heel andere vaardigheden vragen. Procesvaardigheden en communicatieve vaardigheden zijn belangrijk. Daarbij is verwachtingenmanagement van belang. Het moet duidelijk zijn voor de betrokkenen dat er uiteindelijk beoordeeld zal worden. Hoe genuanceerd ook, er zal uiteindelijk een rapport worden geschreven, dat ook kritisch kan zijn over het beleid of de rol die bepaalde actoren hierin spelen. De veronderstelling is dat het gemeenschappelijk draagvlak dat voor het beoordelingskader is ontstaan, een positieve invloed zal hebben op de acceptatie en het gebruik van de uiteindelijke resultaten van de evaluatie. Maar in hoeverre dit daadwerkelijk het geval zal zijn, moet nog blijken in 2006/2007.

Er is in ieder geval een opvallend contrast met de MNP-evaluatie van de reconstructie (hoofdstuk 4) waarin de onderzoekers juist expliciet ervoor kiezen om de rijksdoelen centraal te stellen en andere actoren geen invloed te laten uitoefenen op het beoordelingskader. Dit werd vooral beargumenteerd vanuit het perspectief van de onafhankelijke onderzoeker. De worsteling tussen de rollen van onafhankelijk en afstandelijk beoordelaar van beleid en betrokken onderzoekers gericht op leren komt ook naar voren in het derde verhaal. In dit verhaal over de evaluatie van het WCL-beleid, vertelt de onderzoeker over de verschillende stromingen binnen het projectteam (afrekenen versus leren). De spanning hiertussen komt ook juist naar boven in de eindfase van het project. Daarvoor konden beide sporen blijkbaar nog naast elkaar lopen. Ook omdat de opdrachtgever zowel leren als afrekenen wilde.

Aan het einde van het project wilde men graag een totaalbeeld schetsen van het beleid. Het stoplichtmodel (rood, oranje of groen) impliceerde al een sterke nadruk op afrekenen. Hierbij is het nadeel dat alle nuance die in de verschillende gebiedsstudies is geschetst grotendeels verloren gaat. LNV krijgt het totaalbeeld, maar de gebiedsactoren herkennen zich niet meer in de simpele stempels van rood, groen of oranje.

Dit illustreert het dilemma van dit soort evaluaties. Aan de ene kant willen de onderzoekers het verloop van het beleidsproces kunnen verklaren en begrijpen. Aan de andere kant wil men ook een oordeel vellen. Het gevaar is dan, dat deze twee onderdelen weinig meer met elkaar te maken hebben. Met andere woorden lijkt het zo te zijn: meer lerende vormen van evaluatie

leiden tot genuanceerde verhalen en minder duidelijke oordelen over het beleid in termen van goed of slecht. Indien uiteindelijk dat simpele eindoordeel toch geveld moet worden, bestaat het gevaar dat de informatie die dit oordeel nuanceert niet gebruikt wordt. Het gevolg kan zijn dat dit juist meer weerstand oproept bij de betrokkenen bij de evaluatie. Het lijkt aan te bevelen om ook in het eindoordeel van dergelijke evaluaties meerstemmigheid toe te laten. Het vinden van de juiste verhouding tussen simpele eindoordelen en genuanceerde verhalen is maatwerk en vraagt veel van de manoeuvreerkunsten van de betrokken onderzoekers.