Eerdere bevindingen

De hoeveelheid literatuur over de relatie tussen ex ante en ex post onderzoek is beperkt.196 Binnen Nederland zijn op het terrein van IeM publicaties bekend waarin gesteld wordt dat het vele ex ante onderzoek bijna niet wordt gevolgd door ex post evaluaties. Zo stelden DVS, SWOV en KiM (2011) in de ex post evaluatie van verkeersveiligheidsmaatregelen: ‘[d]e effectiviteit wordt vaak ex ante (vooraf) vastgesteld, om de beleidsmaatregel mede te rechtvaar-digen. Of de inschatting wordt gerealiseerd, wordt vaak niet ex post (nader-hand) vastgesteld.’ Ook is niet of nauwelijks ervaring opgedaan met ex post evaluatie van infrastructuurprojecten. ‘Als een infrastructuurproject eenmaal af is, is er weinig interesse meer in de vraag of het project een goede keuze was, of de verwachtingen overeenkwamen met het eindresultaat, en zo niet, wat de oorzaken van eventuele afwijkingen waren. Antwoorden op die vragen kunnen van belang zijn voor de verantwoording van het project (...) maar ze kunnen ook worden gebruikt om van te leren’ (Nijland et al., 2010, p. 7). Gelet op de beperkte ervaringen hebben het KiM en het Planbureau voor de Leefomgeving (PBL) zich in de afgelopen jaren theoretisch verdiept in de ex post evaluatiepraktijk van infrastructuurprojecten (zie respectievelijk Berve-ling et al. (2009); Scholten et al. (2008) en voornoemde studies).

Van Gestel en Vranken (2008) vergeleken – aan de hand van wat zij feedback

research noemen, de ex ante beoordelingen van de effectiviteit van nieuwe

wetgeving door de Raad van State met latere ex post evaluaties van dezelfde

wetgeving om vast te stellen hoe accuraat de voorspellingen van de Raad ble-ken. De ex ante toets van de RvS is niet beperkt tot juridische aspecten maar kent tevens een beleidsanalytische component – waaronder bijvoorbeeld noodzaak, efficiency en handhaafbaarheid. ‘In het bijzonder gaat onze aan-dacht uit naar de mate waarin de Raad de vinger gelegd heeft op wat achteraf knelpunten of onwenselijke (neven)effecten van de wet blijken te zijn dan wel, omgekeerd, dat de Raad knelpunten of onwenselijke (neven)effecten heeft verwacht die achteraf niet blijken te zijn voorgekomen. Kortom, hoe trefzeker is de Raad ten aanzien hiervan geweest?’ Van Gestel en Vranken (2008) hebben twee dossiers bestudeerd. Ten aanzien van de te vergelijken onderwerpen bleek op één dossier een zuivere vergelijking niet meer moge-lijk door de substantiële veranderingen en aanscherpingen tijdens de parle-mentaire behandeling. ‘Ook zijn de ex post evaluaties al binnen korte tijd na de inwerkingtreding van de wet gehouden, en waren zij meer gericht op het oplossen van in de praktijk zich voordoende knelpunten dan op het verwer-ven van een afgerond oordeel over de werking van de wet’ (Van Gestel & Vranken, 2008, p. 53, 88).

Hanemaayer (2012, p. 114-115) observeerde, in verwijzing naar een onder-zoek van de Europese Rekenkamer uit 2010 naar de kwaliteit van EU-impact assessments, dat ex post evaluaties lang niet altijd gericht bleken te zijn op de onderwerpen die in het ex ante impact assessment aan de orde waren. In een artikel uit de World Bank series op het vlak van ‘conditional cash

trans-fer programs’ ten behoeve van ontwikkelingslanden lukte het Leite, Narayan

en Skoufias (2011) wel om ex ante simulaties te vergelijken met (experimen-tele) ex post evaluaties. Het betreft hier een betrekkelijk overzichtelijke inter-ventie. Zij concludeerden dat ex ante simulaties van de effecten van de pro-gramma’s relatief vaak de latere empirische ex post resultaten benaderen en dus een zinvol instrument kunnen zijn om het ontwerpen van toekomstige programma’s te ondersteunen.

4.1.2 Methode

Om de onderzoeksvraag te beantwoorden is allereerst nagegaan in hoeverre bij de 306 ex ante analyses in het gegevensbestand latere evaluaties te vinden zijn. Hiertoe is allereerst per ex ante analyse online gezocht met behulp van de volgende termen: [evaluatie]+[het bestudeerde onderwerp of synoniem daarvan, en/of het overkoepelende beleidsprogramma].197 Omdat het onder-werp of de benaming van sommige beleidsvoornemens in het besluitvor-mingstraject ingrijpend kan zijn gewijzigd, valt niet uit te sluiten dat we eva-luaties zijn misgelopen. Ook zijn er mogelijk ex post evaeva-luaties verricht die niet zijn gepubliceerd.

197 Een eerste zoektocht naar – gepubliceerde – ex post evaluaties van medio en eind 2012 is in juli 2013 goed-deels herhaald om eventuele nieuw verschenen evaluaties alsnog in het onderzoek te betrekken.

Op basis van de gevonden evaluaties kan allereerst een uitspraak worden gedaan over de mate waarin ex ante analyses erdoor worden afgedekt. Zowel met behulp van ons eigen gegevensbestand als met een online quickscan is voorts onderzocht welke factoren licht werpen op de aan- of afwezigheid van evaluaties.

Om vervolgens feedback-onderzoek te kunnen verrichten van ex post evalua-tiebevindingen naar de ex ante ‘voorspellingen’198 moeten de evaluaties vol-doende in het verlengde liggen van de ex ante studies (vgl. ook Van Gestel & Vranken, 2008). Daarvoor zou in de eerste plaats het beleid dat wordt geëva-lueerd niet al te zeer moeten afwijken van de beleidsvoornemens in de ex ante analyse.199 Uiteraard is het ook een relevante bevinding als dit wel het geval is. Voor de vergelijking van het voorgenomen beleid ten tijde van de ex ante analyses met het vastgestelde beleid ten tijde van de ex post evaluaties zijn geen andere documenten dan de studies zelf bestudeerd.

In de tweede plaats zou de focus van onderzoek niet te zeer moeten verschil-len tussen de latere evaluaties en de ex ante studies. Een evaluatie kan zich bijvoorbeeld alleen op implementatie en output richten, terwijl de ex ante studie alleen over de maatschappelijke effecten gaat – of omgekeerd. Door per ex post-ex ante-dossier een vergelijking te maken pogen we vat te krijgen op deze aansluiting (zie bijlage 9). Van de studies die voldoende op elkaar aansluiten, volgt ten slotte een vergelijking van de belangrijkste uitspraken.200 In dit hoofdstuk staat het streven centraal om ex ante uitspraken te toetsen aan de empirie. We benadrukken dat de zojuist genoemde voorwaarden voor feedback-onderzoek niet verward moeten worden met wat nastrevenswaar-dig is in de praktijk van beleid en evaluatie. Een ongewijzigd eerste beleids-plan kan dan wel bevorderlijk zijn voor feedback-onderzoek, maar ook zeer onwenselijk uit oogpunt van de effectiviteit. Ook het handhaven van de focus van onderzoek in een ex post of ex durante evaluatie is lang niet altijd raad-zaam.

198 Soorten uitspraken die – zoals we in het vorige hoofdstuk zagen – in ex ante resultaten besloten kunnen lig-gen, zijn: ’zet vanwege (...) wel/niet door op de voorgestelde/ingeslagen weg’; ‘alternatief x is het meest kos-teneffectief’; ‘er zullen x knelpunten in de uitvoering optreden’ of ‘gegeven scenario xy wordt de doelstelling in 2020 wel/niet bereikt’.

199 Als in de ex ante studie meerdere alternatieven zijn onderzocht, wordt er ex post doorgaans maar één onder-zocht omdat in de praktijk immers vaak maar één alternatief kan worden waargemaakt. Een ex post evaluatie levert in die gevallen altijd maar een gedeeltelijke toetsing van ex ante uitspraken op. De vraag ‘is optie x ook daadwerkelijk beter gebleken dan optie y?’ blijft dan onbeantwoord.

200 Strikt genomen zou zowel het ex ante als het ex post onderzoek voldoende deugdelijk moeten zijn om een onderlinge vergelijking valide en betrouwbaar te maken. Een filter hierop hebben we uiteindelijk niet gehan-teerd, gelet op het kleine aantal dossiers waarbinnen überhaupt vergelijking mogelijk bleek.

4.2 Verhouding tussen de (aantallen) ex ante analyses en ex post