Eerder (meta-)onderzoek naar ex ante analyses

Nederland

In 2004 werd een kleine meta-evaluatie van ex ante studies verricht in het kader van de evaluatie van de operatie Van Beleidsbegroting tot Beleidsver-antwoording (VBTB). Volgens IOFEZ hadden acht departementen sinds 2002 42 afgeronde ‘ex ante evaluaties’ opgenomen in het (inmiddels niet meer gebruikte) Evaluatieoverzicht rijksoverheid (EOR) 2004 (IOFEZ, 2004, p. 36). Hiervan bleken vijftien studies geen ex ante evaluatie maar een ‘restcatego-7 Kamerstukken II, 2009/10, 31 731, nr. 6. Radaelli et al. (2010) typeerden het IAK als volgt ‘(...) all existing quality

standards and checklists have been reviewed with a view to mainstreaming and digitalising the system of policy formulation and improve on the connection between ex ante appraisal and implementation.’ 8 www.kc-wetgeving.nl/kennisbank/integraal-afwegingskader-beleid-en-regelgeving.

9 (...) ‘The challenge is to embed the IAK system into policymaking, and avoid the degradation to “check the box” routines that somewhat damaged the BET-checklist. A reform of RIA in a comprehensive direction would assist in the implementation of IAK’ (Radaelli et al., 2010). Met comprehensive doelen de auteurs op een breed IAK dat uiteenlopende aspecten van een voorstel – en meerdere betrokken stakeholders – afdekt.

10 Van Lochem (2009) uitte twijfel over de te verwachten spontane naleving van de integrale wetsvoorbereiding in de nota Vertrouwen in wetgeving, verwijzend naar eerdere bevindingen over de inachtneming van wetge-vingskwaliteitsnormen (Klosse et al., 2003). Herweijer (2009) analyseerde de beleidstheorie van de integrale wetsvoorbereiding en kwam tot vergelijkbare bevindingen.

rie’: geen ex post onderzoek.11 De onderzoekers achtten dit een opvallend klein aantal gelet op het aantal beleidsmutaties. ‘Blijkbaar wordt een ex ante analyse niet vaak opportuun geacht, dan wel wordt het uitgevoerde onder-zoek niet in het [evaluatieoverzicht] opgenomen.’ De onderonder-zoekers achtten het voorts opvallend dat in het EOR geen enkele kosten-batenanalyse (KBA) was opgenomen terwijl dit type onderzoek wel in de RPE-definitie past. Navraag bij de departementen en bij Financiën bevestigde het beeld dat vaak geen sprake was van gestructureerde afwegingen om al dan niet te komen tot uitvoering van een ex-ante onderzoek. Ook de kwaliteit van elf nader bestu-deerde ex ante evaluaties liet volgens de VBTB-evaluatie te wensen over (IOFEZ, 2004, p. 36-37). Zo kwam naar voren dat doelmatigheid en effectivi-teit niet standaard deel uitmaakten van de onderzoeken – zoals beoogd met de RPE. Voorts werden in de minderheid – vier van de elf – studies uitge-werkte alternatieven naast een nul- of referentiealternatief geplaatst. Ook ontbrak meerdere keren een deugdelijke vraagstelling en onderzoeksdesign. Ten slotte zou de onafhankelijkheid van het onderzoek in te weinig gevallen zijn gewaarborgd.

Recent is ook een aantal meta-evaluaties van toepassingen van maatschap-pelijke kosten-batenanalyses (MKBA’s) en van ex ante studies van infrastruc-turele en ruimtelijke projecten verschenen (o.a. Beukers et al., 2012; Rienstra, 2008; Visser & Korteweg, 2008). Een paar mogelijke knelpunten die hieruit naar voren kwamen zijn dat MKBA’s laat worden ingezet en niet hebben geleid tot fundamentele wijzigingen in de voorgenomen initiatieven. Ook het niet in geld kunnen uitdrukken van ‘zachte waarden’ is een knelpunt omdat van een MKBA desondanks een einduitspraak in de vorm van een negatief of positief saldo wordt verwacht. Hierdoor resteert weinig ruimte voor nuance-ring. Ten slotte zouden betrokkenen op rijksniveau tevredener zijn over de procesgang van MKBA’s dan regionale betrokkenen.

Metastudies van ex ante onderzoek op andere terreinen richten zich meer op de inhoudelijke bevindingen (bijv. CPB, 2008a en Hamberg-van Reenen et al., 2009 met betrekking tot resp. wegverkeer en zorg). Schrijvershof et al. (2013) inventariseerden in de justitiële keten over de periode 2010-2012 28 al dan niet gepubliceerde ex ante uitvoeringsanalyses en bezagen in hoeverre de verschillende aanpakken afstemming dan wel integratie zouden toelaten met het oog op een ketenbrede ex ante benadering.12

Tijdens de looptijd van de onderhavige metastudie verscheen ten slotte een studie naar de stand van ex ante evalueren in Nederland (Hanemaayer, 2012). Deze biedt een overzicht van de (regulerende) kaders en inzichten, ook op EU-niveau. Ex ante evaluatie wordt hierin gedefinieerd als onderzoek dat

11 Zo leek SZW ruim vertegenwoordigd maar bij nadere bestudering bleken de effecten van beleid niet geraamd te worden, waarmee de studie niet voldeed aan de definitie van ex ante evaluatie in de RPE.

12 De uitvoeringsanalyses dekten soms één, soms meerdere onderdelen van de keten. Bij het maken van een analyse over meerdere schakels achtten de geïnterviewden voor de studie van belang dat gegevensbronnen goed vergelijkbaar worden gemaakt. Ook zouden de aannames van de verschillende ketenpartners moeten worden gecontroleerd en consistent worden gemaakt.

inzicht biedt in de doeltreffendheid en doelmatigheid van voorgenomen beleid. Drie typen ex ante evaluatie die worden onderscheiden zijn: naar doelbereiking, naar kosten en baten en naar de uitvoering. Volgens de auteur staan de vele handreikingen en toetsen in scherp contrast met de geringe hoeveelheid online aangetroffen Nederlandse ex ante evaluaties. In het ver-volg van dit onderzoek koppelen we terug naar deze bevindingen.

Europese Unie

Er bestaat een online overzicht van de inmiddels uitgevoerde RIA’s van uit-eenlopende Europese Commissievoorstellen. Hiervan zijn het afgelopen decennium verschillende meta-evaluaties verricht – op basis van steeds gro-tere aantallen verschenen RIA’s (o.a. Europese Rekenkamer, 2010; Cecot et al., 2008; Lee & Kirkpatrick, 2004, 2006; Nielsen et al., 2006; Renda, 2006). Deze betreffen vooral de inhoud en kwaliteit van RIA’s in relatie tot de eisen die de Europese Commissie heeft gesteld. Kwaliteitsproblemen die hiermee voor het voetlicht zijn gebracht, betreffen: het niet kwantificeren van kosten en impact (baten), het niet bestuderen of vergelijken van meerdere beleids-alternatieven waaronder ook beleids-alternatieven voor regelgeving, een smalle focus, en onduidelijke presentatie van onderzoeksresultaten. Cecot et al. (2008) nuanceerden deze kritiek enigszins door op basis van 111 RIA’s te stel-len dat in recenter jaren en voor meer omvangrijke projecten de kwaliteit meer aan de maat is.13 Op de genoemde kwaliteitsproblemen zijn verbeter-voorstellen gevolgd, onder meer van de Europese Rekenkamer (2010). Deze wees overigens ook op gebrek aan een uitgewerkte interventielogica of beleidstheorie in de ex ante studies.

Een Engelstalige bundel van Verschuuren (2009) over impact assessments van regulation betreft zowel de inhoud als de context van ex ante onderzoek, met bijdragen over de ontstaansgeschiedenis, systemen, methoden en poli-tieke aspecten – deels aan de hand van concrete ervaringen in de EU en in lidstaten. De variatie in methoden binnen ex ante studies zou bijvoorbeeld beperkt zijn; veel van het onderzoek zou de consultatie van belanghebben-den behelzen. Een terugkerend element in de bundel is de vraag hoe voorkó-men kan worden dat ex ante onderzoek gepolitiseerd raakt.

Volgens Hertin et al. (2009), die onderzoek deden naar RIA’s in vijf EU-lidstaten waaronder Nederland, domineert het technisch-rationele model in ex ante evalueren. De besluitvormingspraktijk is volgens deze auteurs echter niet technisch-rationeel. Zo is er de ‘illusie’ van lineariteit, dat ex ante analyse een proces is gericht op probleemoplossing, terwijl veel problemen en doel-stellingen in werkelijkheid voortdurend worden aangepast.14 Ook zou het RIA-model gestoeld zijn op het beeld van een enkelvoudige besluitvormer

13 en daarmee op een vergelijkbaar kwaliteitsniveau als die van ex ante impact assessments in de VS. 14 ‘In many of the studied cases, policy discussions and negotiations evolved around a policy solution rather than a

problem. (...) In some cases, the policy process originated neither from a problem nor from a solution, but from a decision opportunity.’ Het garbage can-model (Cohen, March & Olsen, 1972) van besluitvorming zou volgens

terwijl in de praktijk vaak tal van belangen spelen, zowel binnen als buiten de overheidsorganisatie. De auteurs achten voorts het streven naar analytische volledigheid en duidelijkheid niet reëel: ex ante uitkomsten hebben vaak een beperkte focus en reikwijdte en zijn met onzekerheden omgeven. De tech-nisch-rationele impact assessments zouden dan ook het best benut kunnen worden voor minder complexe, niet al te omstreden issues. In de slotconclu-sie van deze metastudie grijpen we op deze argumentatie terug.

1.2 Probleemstelling en onderzoeksvragen en opbouw van de studie