De dataverzameling is erop gericht geweest om zo veel mogelijk openbare ex-ante analyses te verzamelen die zijn verschenen in de periode 2005 t/m 2011. De meerledige zoekstrategie heeft plaatsgevonden aan de hand van een serie zoektermen en combinaties van zoektermen. Aanvankelijk is een ruime defi-nitie gehanteerd en zijn uiteenlopende toekomstgerichte studies verzameld. Vanwege de grote hoeveelheid rapporten die dit opleverde en om een heldere grens te kunnen trekken, is daarna een meer afgebakende definitie gehan-teerd. We volstaan hier met een kort verslag van de zoektocht. Bijlage 2 bevat meer informatie over de reeks zoektermen, zoeklocaties en de verdere afba-kening tot de uiteindelijke set van 306 ex ante analyses die de basis hebben gevormd voor hoofdstuk 2, 3 en 4 (in bijlage 3).
We hebben niet gebruikgemaakt van het (verouderde) EvaluatieOverzicht Rijksoverheid (EOR), en uit gesprekken met sleutelpersonen bij de departe-menten en de Algemene Rekenkamer is gebleken dat geen kant-en-klare departementale of rijksbrede overzichten van ex ante studies beschikbaar zijn of worden bijgehouden. Mede hierom is een eigen zoekstrategie ontwor-pen en is voorts besloten om af te zien van een aanvullende rijksbrede inven-tarisatie van niet-openbare ex ante studies.
De zoekstrategie heeft bestaan uit vier lagen, te weten speurtochten in (a) rijksbegrotingen en (met name) jaarverslagen; (b) websites van ministe-ries; (c) het internet (Google) aan de hand van een (lange) serie zoektermen en -combinaties en (d) websites van (semi-)publieke en particuliere onder-zoeksinstellingen die (mogelijk) ex ante studies verrichten.
Omdat een brede zoektocht aanvankelijk rond de 550 (op het eerste gezicht) toekomstgerichte studies opleverde over de onderzoeksperiode – te veel om te kunnen analyseren – is het gegevensbestand verder afgebakend tot studies die passen binnen onze uiteindelijke definitie van ‘ex ante analyse’: onder-zoek naar één of meer beleidsvarianten of -mogelijkheden. Veel van de volgende typen studies vallen hierdoor buiten de verdere analyse: probleem-verkennende studies (bijv. de economische impact van arbeidsmigratie), sce-nariostudies en voorverkenningen zonder bestudering van beleidsoptie(s), prognoses of ramingen van beleidsrelevante ontwikkelingen (bijv. van de ver-keersveiligheid (SWOV) of de WODC-prognosemodellen met het oog op de capaciteit van civiele en justitiële ketens), monitors (bijv. de Europese
ver-kenningen voor BUZA door CPB & SCP).16 Rapporten die geen op zichzelf staand ex ante onderzoek zijn, vallen ook buiten het definitieve bestand; denk aan beleidsplannen of -notities, nulmetingen en voorstudies, waaron-der ook rapporten gericht op de ontwikkeling van ex ante methodieken. Voorts blijven buiten beschouwing: consultatiedocumenten en de toetsen door de Raad van State met betrekking tot wetsvoorstellen – zie daarvoor res-pectievelijk Popelier et al. (2007) en Van Gestel en Vranken (2008, 2009).17 Ten slotte zijn evaluaties van pilotprojecten vanwege hun terugblikkende aard niet tot ex ante onderzoek gerekend. Dat al deze studies buiten beschouwing zijn gebleven neemt niet weg dat ze voor beleidsontwikkeling uiterst relevant (kunnen) zijn.
Zeker vijftig infrastructurele studies in opdracht van regionale directies van Rijkswaterstaat (RWS) zijn uiteindelijk ook buiten het gegevensbestand gebleven vanwege beperkingen aan onderzoekscapaciteit; strikt genomen vallen deze ex ante analyses wel binnen onze definitie, omdat het om rijks-projecten (bijv. Rijksvaarwegen) gaat. Een voorbeeld is de MIRT-verkenning kentallen-kosten-batenanalyse (KKBA) Zeetoegang IJmond (i.o.v. Rijkswater-staat Noord-Holland). Bijlage 4 biedt een overzicht van deze en een aantal andere ex ante studies die (mogelijk) wel in onze definitie passen maar die niet in het uiteindelijke gegevensbestand zijn betrokken.
Met als eerste ingang directies financieel-economische zaken zijn aan infor-manten op het vlak van onderzoek en evaluatie binnen de beleidsdeparte-menten zowel bovengenoemde zoekstrategie als de resulterende lijsten van studies voorgelegd. De reacties liepen uiteen van een globale terugkoppeling tot aanvullingen op de volledige of een belangrijk deel van de conceptlijst.
Beperkingen aan de zoekstrategie
Onze zoekstrategie beperkt zich tot (grotendeels online) gepubliceerd mate-riaal. Er zijn ongetwijfeld ex ante studies verricht die in onze definitie passen maar die we niet kennen omdat ze niet gepubliceerd zijn. Verder bleek bij de meeste geraadpleegde contactpersonen geen goed beeld te bestaan van het aandeel niet-gepubliceerde ex ante rapportages met betrekking tot hun departement. Drie contactpersonen waagden zich aan een inschatting hier-van: bij SZW zou een relatief groot aandeel niet zijn gepubliceerd en bij IenM een klein. Een respondent bij OCenW stelde dat veel richtinggevend werk wordt verzet in vroege fasen van de beleidsvoorbereiding, als nog geen con-crete beleidsopties beschikbaar zijn. Denk daarbij bijvoorbeeld ook aan de vele probleemverkennende studies (buiten onze definitie) die we aantroffen of aan toekomstvisies van bijvoorbeeld de Onderwijsraad of de
Gezondheids-16 www.scp.nl/Publicaties/Terugkerende_monitors_en_reeksen/Europese_Verkenningen.
17 Bijlage 1 bevat een meer uitgebreid overzicht van studies die buiten beschouwing zijn gebleven, met voor-beelden. Voor zover het wetgeving betreft, wordt ieder voorstel aan een toets onderworpen (door resp. Justi-tie, Raad van State en de Eerste Kamer). Ook worden specifieke onderdelen getoetst door ambtenaren van andere ministeries voordat een wetsvoorstel in de ministerraad aan de orde komt.
raad – die bijvoorbeeld maatschappelijke of technologische ontwikkelingen verkennen en op basis daarvan adviseren over mogelijke beleidsrichtingen. Mogelijk is dan ook sprake van systematische vertekening ten opzichte van de werkelijke samenstelling, aard en inhoud van alle ex ante studies in Nederland (publication bias). Het kan bijvoorbeeld dat alleen de meer uitge-werkte studies worden gepubliceerd, of alleen de kwalitatief hoogwaardiger of toegankelijker studies. Ook is het denkbaar dat van de gepubliceerde stu-dies een groter deel over meer uitgekristalliseerd beleid gaat dan de ongepu-bliceerde varianten. Verder valt binnen de mogelijkheden dat politiek of wetenschappelijk ‘welgevallige’ studies vaker dan andere zijn gepubliceerd waardoor deze sterker in onze dataset vertegenwoordigd kunnen zijn (vgl. o.a. Florax, 2001; Scargle, 2000).18
De beschrijving van aard en aantal van de ex ante analyses in hoofdstuk 2 is steeds gebaseerd op de inhoud van de rapporten. De rapportinhoud is niet gecontroleerd of aangevuld met behulp van andere stukken of interviews. Daarmee is bijvoorbeeld de door ons per studie geregistreerde ‘aanleiding’ de aanleiding zoals in het rapport beschreven, ook al was deze in werkelijkheid mogelijk anders of complexer. Dit geldt ook voor de weergave van andere contextuele kenmerken, zoals het ‘stadium’ van de beleidsvorming, de opdrachtgever en de BC. Op basis van de rapporten alleen valt niet tot in detail na te gaan in hoeverre belangrijke keuzes bij besluitvormers in werke-lijkheid al gemaakt waren op het moment dat tot ex ante analyse werd over-gegaan.
We doen in het vervolg van dit rapport weliswaar uitspraken over de inhoud en de context van ex ante analyses, maar niet over de kwaliteit van de beleidsvoorbereiding.19 Ex ante analyses zoals door ons gedefinieerd zijn daar slechts een aspect van. Wat betreft wetgeving vallen het advies van de Raad van State (en de opvolging daarvan) en consultatietrajecten buiten het bereik van dit onderzoek. Ook zijn een groot aantal toekomstgerichte studies buiten beschouwing gebleven (bijvoorbeeld probleemverkennende studies en vroegtijdige visies), die ook rechtstreeks relevant kunnen zijn voor beleids-voornemens zonder dat ze deze rechtstreeks bestuderen.
Ten slotte hebben we de verhouding tussen de set ex ante analyses niet onderzocht in relatie tot de totale hoeveelheid beleid(svoornemens) of de bedragen die daarmee gemoeid zijn.
Beantwoording onderzoeksvraag 1
Met bovengenoemde zoekstrategie is het probleem van selectieve uitval zoveel mogelijk ondervangen. Hierdoor kan gesteld worden dat de resulte-rende dataset van 306 studies een goed beeld geeft van het totaal van (gepu-bliceerde) ex ante analyses in de onderzoeksperiode. Volledige afdekking 18 In de medische wetenschappen is dit onderzocht aan de hand van gesprekken met wetenschappers (o.a.
Dickersin et al., 1987). Over clinical trials waarin geen significante resultaten op het onderzochte verband wer-den vastgesteld, zou drie keer zo weinig worwer-den gepubliceerd dan over bevestigende resultaten.
claimen we niet, gelet op de onderzoeken die buiten beschouwing zijn geble-ven.20
Met de beschrijving van de zoekstrategie is onderzoeksvraag 1 met betrek-king tot het aantal studies beantwoord. Hanemaayer (2012, p. 84-85) vond met de zoekterm ‘ex ante’, ex ante evaluatie, en impact assessment (en ‘syno-niemen’) online 93 rapporten – zonder verdere afbakening – over een langere onderzoeksperiode (2000-2010). Net als wij liet hij vele online gearchiveerde MKBA’s op infrastructureel terrein buiten de analyse. Wij hebben – ondanks de nadere afbakening tot onderzoek naar één of meer (rijks)beleidsopties – aanzienlijk meer studies gevonden, namelijk 306 over 7 jaar (in plaats van 93 over 11 jaar). De eerdere observaties dat er weinig ex ante onderzoek heeft plaatsvonden lijken op basis van deze aantallen dus niet gerechtvaardigd. Maar we hebben de gegevens nog niet uitgesplitst naar bijvoorbeeld opdrachtgever of het type onderzoek om hier een definitief oordeel over te kunnen geven. In hoofdstuk 2 doen we dit (en meer) voor de 306 studies in ons uiteindelijke gegevensbestand.
20 Voorts valt, omdat we de honderden gevonden studies niet allemaal tot in detail hebben kunnen bestuderen, niet uit te sluiten dat sommige studies wellicht ten onrechte buiten beschouwing zijn gebleven.
In dit hoofdstuk doen we verslag van de resultaten van de in het vorige hoofdstuk beschreven zoektocht naar ex ante analyses passend binnen de door ons gehanteerde afbakening van studies naar beleidsvoornemens of -opties.
Van alle 306 studies in ons gegevensbestand rapporteren we hier de belang-rijkste kenmerken naar aanleiding van onderzoeksvraag 2: Hoe zijn de
onder-zoeken te typeren? (a) wat waren de belangrijkste aanleidingen en wie gaf opdracht? (b) in welke stadia van beleid zijn de ex ante analyses verricht? (c) welke verschijningsvormen van beleid zijn bestudeerd (bijv. instrument, project of programma)? In hoeverre betroffen deze wetgeving? (d) hoeveel alternatieven/opties zijn bestudeerd? (e) welke typen studies zijn te onderschei-den & welke onderzoeksmethoonderschei-den weronderschei-den daarbinnen gebruikt?
Op basis van deze vragen, de literatuur en een pilot21 van zestig studies is een lijst van relevante studiekenmerken opgesteld. In dit hoofdstuk wordt de ver-deling van de 306 ex ante analyses over elk van deze kenmerken beschreven (paragraaf 2.1). Voor elk kenmerk wordt verdieping aangebracht door de ‘kwantitatieve’ resultaten – waar mogelijk en relevant – te illustreren met voorbeelden uit ons gegevensbestand en te toetsen aan eventueel beschik-bare literatuur. Ook samenhangen tussen onderscheiden variabelen komen daarbij aan bod, bijvoorbeeld: in welke beleidsfase komen bepaalde studie-typen vaker of juist minder vaak voor? Worden er in vroege fasen van beleids-ontwikkeling meer opties bestudeerd dan in late?
Vervolgens brengen we verdieping aan (paragraaf 2.2) door eerst bij verschil-lende aanleidingen van ex ante onderzoek enkele veel voorkomende typen onderzoek te beschrijven. Deze zouden als inspiratiebron kunnen fungeren voor toekomstige beleidsmedewerkers of ex ante onderzoekers. Van ieder onderzoekstype wordt voorts een overzicht geboden van de meest voorko-mende methoden van dataverzameling en -analyse. Paragraaf 2.3 biedt een samenvatting van de bevindingen in dit hoofdstuk.
Van rapporten tot gegevensbestand
Om de inhoud van de rapporten behapbaar en overzichtelijk te maken is besloten om de belangrijkste bevindingen op de voor ons relevante kenmer-ken samen te vatten in een Excel-bestand waarin de studiekenmer-kenmerkenmer-ken zijn vervat in kolommen en de ex ante analyses in rijen (vgl. de score card van Cecot et al., 2009). Alle 306 rapporten zijn daartoe op hoofdlijnen bestudeerd. 22
21 In de pilot waren studies door het Planbureau voor de Leefomgeving (PBL) – vanwege het vroege stadium van het verzamelen van studies – oververtegenwoordigd.
22 Voor sommige variabelen (bijv. begeleidingscommissie of klankbordgroep) is daarbij gebruikgemaakt van de zoekfunctie, ook telkens m.b.v. andere of bredere zoektermen om de vindkans te optimaliseren. Ook is in elk rapport gezocht aan de hand van het woord ‘wet*’ en ’regel*’ om te bezien in hoeverre het onderzoeksonder-werp een juridische component had.
Om een zo betrouwbaar mogelijk kwantitatief beeld te krijgen van de verde-ling van kenmerken over de rapporten in onze dataset zijn deze variabelen gecategoriseerd en/of gekwantificeerd en vervolgens ingevoerd in het data-bewerkings- en -analyseprogramma SPSS. Dit is gedaan door de beschrij-vende kenmerken om te zetten naar concrete categorieën: de variabele opdrachtgever heeft bijvoorbeeld als categorieën o.a. SZW en OCenW. Dit vergde voor sommige variabelen een indelingsslag. Aangezien het invullen van de scorekaart door één persoon is gedaan, is daarom een toets op inter-beoordelaarsbetrouwbaarheid uitgevoerd.23 Daarvoor is een gestratificeerde steekproef (met voldoende variatie op jaartal en departement) van 17 studies (5,6%) getrokken en vervolgens – zowel kwalitatief als kwantitatief –
‘gescoord’ door een tweede persoon. De ‘scores’ binnen de steekproef zijn vervolgens24 vergeleken met de originele scores door de eerste beoordelaar. Over veruit de meeste van toegekende waarden aan de 21 variabelen bleek overeenstemming te bestaan. De verschillen waren voor een belangrijk deel geconcentreerd in enkele variabelen en lieten zich verklaren door een ver-schil in interpretatie van de variabele zelf of van de subcategorieën. Zo vergde de telling van het aantal ex ante bestudeerde beleidsopties nadere toelichting. Ook waren sommige variabelen te verfijnd (te veel categorieën), waardoor scores verschilden. Deze variabelen zijn daarop vereenvoudigd, zoals ‘fase’ en ‘aanleiding’.25 De toets op betrouwbaarheid heeft uiteindelijk geleid tot de herindeling en aanscherping van enkele variabelen en voorts een reeks extra controles op het volledige databestand.
2.1 Kenmerken van 306 ex ante analyses en verbanden tussen