Feedback-onderzoek en bevindingen

Geen enkele ex post of ex durante evaluatie ligt qua focus volledig in het ver-lengde van de ex ante studie. In 14 van de evaluaties is wel expliciet terugver-wezen naar één of meer ex ante analyses in het gegevensbestand, in de tekst dan wel in de referentielijst. Maar een verwijzing betekent nog geen inhoude-lijke aansluiting.

In 5 dossiers vindt expliciet feedback of terugkoppeling vanuit de empirie plaats naar de bevindingen in de ex ante analyse: aanwezigheidsplicht van ouders bij de rechter, stimuleringsmaatregelen woningbouw, het rookver-bod, het GSB (Grotestedenbeleid)-III en de uitvoeringstoets van de motie-Spekman.212 In één van deze dossiers (stimuleringsmaatregelen woning-bouw) zijn de ex ante studie en de latere evaluatie afkomstig van dezelfde instantie, het Economisch Instituut voor de Bouw (EIB).213 In deze ex post evaluatie is het ex ante rapport zelfs de enige verwijzing. De ex post evaluatie (Koning & Mulder, 2012) is op een specifiek punt (de Nationale Hypotheek-garantie) positiever dan de ex ante studie (EIB, 2009), maar bevestigt deze op het punt van doorwerking van maatregelen. In het geval van het GSB-III is de ex ante analyse van de bestuurlijke vormgeving (Fleurke, 2006) een

terugke-209 Bij veel ex durante studies valt te verwachten dat deze beter aansluiten op ex ante uitvoeringsanalyses dan op de andere ex ante studies. Hiervoor bieden onze gegevens echter geen duidelijke aanwijzingen.

210 Kamerstukken II, 2010/11, 30 846, nr. 17.

211 Op basis van bijlage 8 over de niet-geëvalueerde onderwerpen valt eveneens een bescheiden algemene observatie te maken van gebruik; hier leveren 9 dossiers een gemengd beeld op wat betreft de doorwerking van ex ante uitkomsten in beleid (conform en niet-conform). In 4 van deze 9 dossiers zijn in beleidsdocumen-ten verwijzingen naar de ex ante onderzoeken gevonden.

212 In afwachting van de beslissing op een aanvraag voor verblijf in Nederland, kan een ex-asielzoeker in aan-merking komen voor opvang. Dit is alleen mogelijk als het een uitgeprocedeerde asielzoeker betreft die een aanvraag indient om een verblijfsvergunning regulier voor medische behandeling of uitstel van vertrek om gezondheidsredenen (artikel 64 Vw) (www.ind.nl/Nieuws/Pages/AanvraagMotieSpekman.aspx). 213 Maar het kwam ook voor dat in een ex post rapport (van Berenschot) niet naar de ex ante studie van

rend ijkpunt in de ex post studie en wordt deze de ene keer wel en de andere keer niet bevestigd. De andere voorspelling, dat de administratieve lasten van het GSB-III maar beperkt te reduceren zijn (Blekemolen et al., 2007), wordt beaamd. In de ex durante evaluatie van het rookverbod (Dekker et al., 2009) zijn de verwachte (positieve) netto baten gedeeltelijk (en voorlopig) beves-tigd. Over de eindeffectiviteit worden geen definitieve uitspraken gedaan, maar wel zou de naleving door de horeca gaandeweg zijn afgenomen. De ex durante evaluatie van de motie-Spekman over opvang of uitstel van vertrek op medische gronden voor uitgeprocedeerde asielzoekers is gebaseerd op IND-gegevens214. Ook deze evaluatie koppelt expliciet terug naar zowel de ex ante analyse als naar het gebruik daarvan in het beleid. Uit de ex durante eva-luatie die is vervat in een brief aan de Tweede Kamer komt naar voren dat risico’s zich niet in de verwachte mate hebben voorgedaan.215

De verwijzingen en feedback in de ex post en ex durante evaluaties kunnen worden aangemerkt als benutting door evaluatoren.

In nog eens 11 van de 28 dossiers kunnen uitkomsten van de latere evaluaties en de ex ante studies ondanks het ontbreken van expliciete feedback wel gedeeltelijk met elkaar vergeleken worden; bijvoorbeeld op enkele onderde-len van het beleid, of wat betreft een gedeelte van de eindresultaten. In de 5 meest vergelijkbare van deze 11 dossiers vinden de ex ante conclusies op hoofdlijnen bevestiging: Voorwaardelijke Invrijheidsstelling (VI) (Flight et al., 2011; Van Hooff et al., 2007), het Europese Plattelandsontwikkelingspro-gramma (POP)(Ecorys et al., 2006; Ecorys & Witteveen+Bos, 2010), Sneller Beter (Dückers & Wagner, 2005; Poortvliet & Van Vree, 2009; Vos et al., 2008), Verplicht eigen risico (NZA, 2008; Oortwijn et al., 2011), en de verkeersmana-gementproef op de ring A-10 (Beijer et al., 2009; Van der Veen, 2011).216 Het lijkt erop dat de vergelijkbaarheid tussen ex ante analyses en latere eva-luaties groter is naarmate het voorgenomen beleid ten tijde van de ex ante evaluatie al meer ‘gestold’ is. Maar een noodzakelijke voorwaarde is dit niet.217

4.4 Samenvatting en conclusies

Door zowel academici als door beleidsmakers en zo ook in de aanvraag tot onderhavig onderzoek (onderzoeksvraag 4) is de vraag gesteld in hoeverre ex ante bevindingen bevestiging krijgen in latere ex post resultaten, m.a.w. in hoeverre de ‘voorspellingen’ van ex ante onderzoekers in de praktijk zijn uit-gekomen. Deze vraag staat centraal in dit hoofdstuk.

214 Kamerstukken II, 2010/11, 30 846, nr. 17.

215 De motie is wel geëvalueerd onder de (gunstige) omstandigheid van een lage instroom. 216 In 2 van de 5 dossiers wordt in de latere evaluaties niet naar de ex ante analyses verwezen.

217 Vgl. Koning en Mulder (2012) waarbij het ex ante onderzochte pakket is bijgesteld maar de ex post analyse wel expliciet teruggrijpt op concrete ex ante voorspellingen. En omgekeerd: de WRO-sturingsfilosofie lag zo goed als vast ten tijde van de ex ante analyse maar in de ex durante evaluatie is de focus toch algemener en meer gericht op de voortgang.

In hoeverre heeft ex post evaluatie plaatsgevonden?

Om de vraag te beantwoorden is eerst nagegaan hoeveel latere evaluaties er beschikbaar zijn met betrekking tot ons gegevensbestand van 306 ex ante analyses. Er zijn 34 relevante evaluaties gevonden bij 47 (15% van de) ex ante analyses. Als een plan of voornemen relatief vastomlijnd is ten tijde van de ex ante analyse, verdubbelt de hoeveelheid evaluaties. Waarschijnlijk hebben vastomlijnder plannen meer kans om daadwerkelijk beleid te worden. Voorts kan vanwege het latere ‘beleidsstadium’ het moment voor evalueren al eer-der daar zijn geweest, waardoor we er meer hebben aangetroffen. Veruit de meeste ex ante analyses (85%) zijn echter niet opgevolgd door een ex post of ex durante evaluatie. De redenen hiervoor zijn niet tot in detail doorgrond, maar op basis van ongeveer een derde van de ex ante studies komt naar voren dat: (1) het voorgenomen beleid van de baan is; (2) het zich nog steeds in de ontwerpfase bevindt – bijvoorbeeld enkele EU-richtlijnen; (3) het beleid is aangenomen maar het nog te kort dag is voor evaluatie; (4) een evaluatie aanstaande is en (5) alleen ander materiaal voorhanden is, zoals ‘stukjes’ eva-luatie verspreid over meerdere dossiers, een voortgangsrapportage, een lokale of een pilotevaluatie. In evenzoveel gevallen als dat het beleid van de baan ging, vond het overigens wèl doorgang maar is een evaluatie vooralsnog achterwege gebleven.

Het is overigens niet gezegd dat terugkoppeling naar ex ante analyses per definitie ‘goed’ is en het ontbreken ervan ‘fout’. Sommige ex ante analyses lenen zich bijvoorbeeld niet goed voor evaluatie. Voorbeelden zijn juridisch-vergelijkende studies in het kader van voorgenomen (EU-)regelgeving, of ver-kenningen van meerdere nog abstracte alternatieven. Dit neemt niet weg dat ex post evaluatieonderzoek toekomstig ex ante onderzoek kan verrijken, bij-voorbeeld met meer accurate ervaringscijfers ten behoeve van effectschattin-gen.

Hebben ex post en ex ante studies dezelfde focus?

Vervolgens is bezien hoe vaak in de evaluaties is teruggekoppeld naar bevin-dingen in de ex ante analyses, en of ze er inhoudelijk genoeg op aansluiten om als toets op voorspellingen te kunnen dienen. De 34 ex post evaluaties en 47 ex ante analyses zijn samengebracht in 28 dossiers van zowel ex ante als ex post bestudeerde beleidstopics. Meer dan de helft van de gevonden evalua-ties (19/34) betreft een ex durante evaluatie, zoals een procesevaluatie van de in- en uitvoering, de stand van eventuele handhaving of de samenwerking en coördinatie tussen uitvoerende organen. De ex ante studies gaan juist vaak over de potentiële effectiviteit of (neven)effecten en veel ex durante evalua-ties sluiten hier maar in beperkte mate op aan. Een mogelijke oorzaak voor het grote aandeel ex durante onderzoek is dat de beleidscyclus niet dusdanig snel draait dat we over de onderzoeksperiode van 2005-2011 al veel eindeva-luaties konden aantreffen. Maar ook is het mogelijk dat het uitvoeringsproces zich eenvoudiger laat onderzoeken dan eindeffecten; of dat voor een

proces-evaluatie geopteerd wordt omdat die knelpunten blootlegt die geen funda-mentele beleidswijzigingen vereisen om aangepakt te kunnen worden. Louter uit oogpunt van de toetsing van ex ante uitspraken aan de (latere) empirie zou het verschil tussen het voorgenomen en uiteindelijk vastgestelde beleid niet al te groot moeten zijn. Dit valt niet altijd na te gaan. In 10 van de 28 dossiers is de planvorming ex ante al min of meer ‘gestold’, wat de verge-lijkbaarheid met later evaluatieonderzoek vergroot. Zo was ten tijde van de ex ante studie naar het rookverbod in de horeca al duidelijk dat het verbod zou worden ingevoerd.

Zijn ex ante ‘voorspellingen’ uitgekomen?

De vraag ‘zijn ex ante bevindingen uitgekomen?’ kan uiteindelijk slechts beantwoord worden aan de hand van 16 ‘ex ante-ex post dossiers’ gebaseerd op het gegevensbestand van 306 ex ante studies. Binnen ex durante en ex post evaluaties wordt vaker verwezen naar ex ante studies (14 keer) dan dat er gericht vanuit de empirie naar wordt teruggekoppeld (5 keer). In één van deze vijf dossiers is de ex ante analyse een terugkerend ijkpunt in de ex post evaluatie. Uit de vijf dossiers waarin expliciet wordt teruggekoppeld rijst een gemengd beeld wat betreft het al dan niet ‘uitkomen’ van ex ante voorspellin-gen; de ene keer worden ze bevestigd, de andere keer niet. Zo lijken de posi-tieve bevindingen van de MKBA van het rookverbod een jaar na de invoering voorlopig bevestiging te krijgen, maar zou wel de naleving door de horeca verminderen. En de voorspelling dat de administratieve lasten van het derde Grotestedenbeleid slechts beperkt te reduceren zijn wordt beaamd, terwijl ex ante uitspraken over de bestuurlijke vormgeving ervan de ene keer wel en de andere keer geen bevestiging vinden. De genoemde verwijzingen en de expli-ciete inhoudelijke terugkoppeling in ex post en ex durante evaluaties kunnen overigens worden aangemerkt als gebruik of benutting, maar dan door evalu-atieonderzoekers.

In nog eens elf dossiers – al dan niet met verwijzing – ontbreekt expliciete feedback, maar zijn uitkomsten van ex post en ex ante studies wel in meer of mindere mate met elkaar te vergelijken. In de vijf daarvan met de meeste overeenstemming in focus zijn de evaluatiebevindingen op hoofdlijnen con-sistent met de ex ante conclusies (Wet voorwaardelijke invrijheidsstelling, het plattelandsontwikkelingsprogramma POP, Sneller Beter, verplicht eigen risico en verkeersmanagement).

Deze bevindingen zijn in lijn met eerdere observaties door Van Gestel en Vranken (2008) en door de Europese Rekenkamer (2010): het ex durante karakter van evaluaties maakt inhoudelijk feedback-onderzoek lastig, net als de verschillen tussen plannen en het daarna vastgestelde beleid.

Een ‘bijvangst’ van dit hoofdstuk zijn enkele waarnemingen over het gebruik van de ex ante studies in beleid. In acht dossiers valt uit de ex post of ex durante evaluatie op te maken dat dit het geval is geweest; echter vaker redactioneel of motiverend dan substantieel. Een concreet voorbeeld is de

uitvoeringstoets van de motie-Spekman over opvang of uitstel van vertrek op medische gronden voor uitgeprocedeerde asielzoekers, die ondanks het ex ante gesignaleerde misbruikrisico toch is verwezenlijkt.

gesystematiseerde aandacht van onderzoekers en beleidsmakers bestaan dan voor studies gericht op de opbrengsten van ingevoerd beleid (ex post). Maar afgemeten aan de groeiende hoeveelheid ex ante toetsen, waarvan een groot aantal (120) is teruggebracht tot het sinds 2011 geldende Integraal Afwegings-kader (IAK) voor beleid en wetgeving, zwelt de belangstelling op rijksniveau voor het vóóraf onderzoeken van beleid aan.

In EU-verband, met betrekking tot regulatory impact assessments (RIA’s), lij-ken de ontwikkelingen verder gevorderd en zijn bijvoorbeeld online over-zichten218 beschikbaar en voorts een aantal metastudies over de inhoud of de bruikbaarheid van RIA’s (o.a. Renda, 2006; Nielsen et al., 2006; Europese Rekenkamer, 2010). Eén van de kanttekeningen in deze metastudies bij het Europese ex ante werk is de relatief late beleidsontwikkelingsfase waarin de studies worden ingezet, wat een systematische vergelijking tussen beleids-alternatieven bemoeilijkt en bovendien minder relevant maakt voor beleid. In Nederland zijn vooralsnog alleen met betrekking tot maatschappelijke kosten-batenanalyses (MKBA’s) dergelijke metastudies verricht (o.a. Beukers et al., 2011), met vergelijkbare conclusies ten aanzien van de fase.

Aan een onderzoek naar aard en aantal van in Nederland inmiddels uitge-voerde ex ante analyses voor rijksbeleid heeft het tot nu toe ontbroken. Reden voor de sector Wetgevingskwaliteitsbeleid van de Directie Wetgeving en Juridische Zaken van het ministerie van Veiligheid en Justitie om het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) hierom te verzoeken. Behalve aantal en aard werd interessant geacht in hoeverre ex ante studies zijn gebruikt voor beleid, en in hoeverre de bevindingen over-eenstemmen met uiteindelijk in ex post evaluaties vastgestelde resultaten.219 De probleemstelling van dit onderzoek luidt: Hoeveel ex ante analyses treffen

we aan over de periode 2005-2011? Hoe vallen deze studies te typeren in ter-men van opdrachtgever, aanleiding, onderwerp en aanpak? En voorts: In hoe-verre zijn ex ante analyses gebruikt voor beleid en hoe valt dit te verklaren? Wat leren ex post evaluaties ons over de voorspellingskracht van ex ante analy-ses?