Designs en methoden binnen studietypen

De gebruikte onderzoeksdesigns en methoden van dataverzameling en ana-lyse verschillen tussen typen ex ante studies, zo zal blijken uit wat nu volgt.68 Ter illustratie volgen voorbeelden.

(Maatschappelijke) kosten-batenanalyses – (M)KBA’s

De 48 bijeengebrachte (M)KBA’s zijn bijna zonder uitzondering gebaseerd op een herkenbaar design, gericht op de kwantificering en monetarisering van de kosten en potentiële effecten van voorgenomen beleid. Vier belangrijke stappen in (M)KBA’s zijn: (1) de uitwerking van aannames of uitgangspunten (bijv. scenario’s) en het specificeren van de typen (directe, indirecte, externe) verwachte effecten; (2) het binnen de aannames en uitgangspunten inschat-ten van de omvang van deze effecinschat-ten; (3) een berekening van het saldo van kosten en baten hiervan en (4) gevoeligheidsanalyses, d.w.z. het variëren met de aannames om te bezien in hoeverre het saldo stand houdt onder verschil-lende – ‘positieve’ of ‘negatieve’ – scenario’s.

Kwantificering van de effecten (stap 2) is mogelijk door het uitvoeren van empirische analyses, door gebruik te maken van resultaten van eerder uitge-voerde empirische analyses, of door het ‘prikken’ van waarden, bijvoorbeeld op basis van ‘expert opinions’ (o.a. Van den Berg et al., 2010, p. 6 – zie box 11 en tabel 6). Veel van de getraceerde (M)KBA’s in deze metastudie blijken gebaseerd op ervaringscijfers of kentallen uit hetzelfde of andere domeinen. Box 11 Kosten en baten verlenging zwangerschaps- en

bevallingsverlof van 16 naar 18 of 20 weken

Dit SEO-onderzoek (Van den Berg et al., 2010) is grotendeels gebaseerd op een uitgebreide studie van relevante internationale wetenschappelijke lite-ratuur. De verwachte effecten van de beleidsplannen (resp. 18 en 20 weken verlof) worden vergeleken met het nulalternatief: voortzetting van de hui-dige Nederlandse situatie van 16 verlofweken. Conform de leidraad OEI wordt onderscheid gemaakt tussen directe, indirecte en externe beleidsef-fecten.

Onder directe beleidseffecten verstaat SEO de kosten en baten voor de ver-schillende actoren op de arbeidsmarkt, te weten de werkende en zwangere vrouw, de werkgever en de overheid. Onder indirecte beleidseffecten wor-den die kosten en baten verstaan die via markttransacties worwor-den doorge-geven aan actoren buiten de arbeidsmarkt. Een voorbeeld is mogelijk uitstel van het gebruik van kinderopvang met maximaal de duur van de verlenging van het verlof. Dit leidt weer tot een besparing op de kosten (en subsidië-ring) van kinderopvang. Externe beleidseffecten zijn kosten en baten die buiten iedere markt om door het beleidsvoorstel worden veroorzaakt;

voorbeeld het mogelijke gezondheidseffect voor kinderen dat zou kunnen ontstaan als vrouwen meer en langer borstvoeding gaan geven.

Het inschatten van de verwachte effecten en de kwantificering daarvan op basis van de literatuur gebeurde – in de woorden van de auteurs – als volgt: ‘Bij de kwantificering van effecten dienen alle effecten voor alle actoren, voor zover ze niet binnen de kosten-batenanalyse tegen elkaar wegvallen, te worden uitgedrukt in monetaire eenheden. Dat houdt in dat elk effect eerst (1) in eenheden moet worden uitgedrukt (bijvoorbeeld een vermindering van het gebruik van kinderopvang in weken), vervolgens (2) moet worden gemeten in volume (bijvoorbeeld hetzelfde aantal weken als de verlenging van het verlof) en ten slotte (3) moet worden uitgedrukt in monetaire een-heden via een waarderingsmethode (hoeveel kost de opvang van pasgebo-renen per week?). Door voor elk effect deze drie stappen te doorlopen, wordt inzichtelijk gemaakt op welke wijze effecten worden gekwantificeerd en hoe ‘hard’ die kwantificering is. Dat voorkomt dat de MKBA een ‘black-box’ wordt. (...) In [...] deze MKBA [worden]de effecten gekwantificeerd op basis van een uitgebreide internationale literatuurstudie’ (Van den Berg et al., 2010, p. 6).

De potentiële effecten van een verlengd zwangerschaps- en bevallingsverlof zijn weergegeven in tabel 2.7. In deze tabel representeert ‘-’ een negatief effect, ‘+’ een positief effect en ’0’ een neutraal effect (als negatieve en posi-tieve effecten elkaar ongeveer in evenwicht houden). Naast het totale maat-schappelijk saldo (in de rechterkolom) heeft SEO uitgewerkt wat de speci-fieke effecten voor betrokken belanghebbende actoren zijn. Het in kaart brengen van deze verdelingseffecten biedt volgens SEO mogelijkheden voor beleidsoptimalisatie, bijvoorbeeld door tot een meer evenwichtige verde-ling te komen met subsidies, heffingen of prijzen.

Geen van de door SEO betrokken internationale studies had specifiek betrekking op Nederland. Om die reden is specifiek gelet op de relevantie van de gevonden resultaten voor de Nederlandse context. Bovendien lieten de beschikbare empirische studies vaak grote onzekerheidsmarges zien rond de gevonden effecten. Om die onzekerheid te reduceren heeft SEO gevoeligheidsanalyses uitgevoerd. Zo is de genoemde veronderstelling over uitstel van het kinderopvanggebruik een onzekere en daarom is een extra analyse verricht op basis van de aanname dat het uitstel van het gebruik van kinderopvang niet het totaal, maar de helft bedraagt van de verlenging van het verlof. Op deze manier zijn ook andere veronderstellingen in de MKBA voor gevoeligheidsanalyse veranderd. De resultaten daarvan vormen ‘band-breedtes’ rond het gevonden maatschappelijke kosten-batensaldo van een verlofverlenging. Voor een verlenging met twee weken resulteerde een bandbreedte van het maatschappelijke kosten-batensaldo van -506 miljoen euro tot -81 miljoen euro. Voor een verlenging met vier weken was de band-breedte -1.099 miljoen tot -250 miljoen euro. In alle gevallen resulteerde nog steeds een negatief maatschappelijk kosten-batensaldo en zou een

ver-lenging van het zwangerschaps- en bevallingsverlof een negatieve invloed op de maatschappelijke welvaart hebben.

Tabel 6 Overzicht potentiële effecten verlenging zwangerschaps- en bevallingsverlof Actoren Werk ende en zwan-gere vrouwen Werk-gevers Geboren kinderen Overheid Maat-schappij (overig) Totaal natio-naal Directe effecten Productiedaling -

-Vergoeding productiedaling werkgevers + - 0

Vertraagde werkgelegenheidsdaling + +

Aanpassing personeelsbestand -

-Toename niet-werktijd + +

Daling ziekteverzuim tijdens verlof + +

Daling ziekteverzuim na verlof + +

Daling arbeidsproductiviteit moeders -

-Daling looninkomen moeders - + 0

Hogere arbeidsparticipatie na verlof + + +

Indirecte effecten

Lagere kosten kinderopvang + + +

Belastingverstoring _

-Externe effecten

Betere gezondheid kind + +

Lagere gezondheidskosten moeders + +

Hoger geboortecijfer + +

Bron: Van den Berg et al. (2010, p. 11)

Soms zijn ervaringsgegevens niet voorhanden en moet teruggevallen worden op andere methoden om effecten te kunnen inschatten en kwantificeren. Dit gebeurt in de praktijk vaak door middel van oordelen door betrokkenen of experts. Dit was bijvoorbeeld het geval bij de impact assessment van de Euro-pese conceptrichtlijn gelijke behandeling buiten de arbeid (Van den Berg et al., 2009), waarin deze expertschattingen waar mogelijk wel zijn aangevuld met ervaringsgegevens (box 12).69

69 Het gebruik van deze studie en van de voorgaande MKBA over zwangerschaps- en bevallingsverlof is onder-werp van hoofdstuk 3.

Box 12 Impact assessment van de Europese conceptrichtlijn gelijke behandeling buiten de arbeid

Dit ex ante onderzoek is gebaseerd op het Commissievoorstel 426 van 2 juli 2008 en richt zich op twee van de vier daarin vervatte discriminatiegronden: leeftijd en handicap (Van den Berg et al., 2009). De kern van de impact assessment is een KBA volgens de OEI-Leidraad.

Bij gebrek aan een concreet uitgangspunt in de Richtlijn hebben de onder-zoekers gekozen voor een inschatting van de kosten en baten van toeganke-lijkheidsverplichtingen jegens personen met een handicap in zeven ver-schillende varianten: van volledige aanpassing van alle voorzieningen (100% variant) vooraf, tot varianten waarin invulling is gegeven aan ‘onevenredige belasting’ door minder dan 100% vooraf te realiseren. Het type aanpassingen waarmee is gerekend betreft het rolstoeltoegankelijk maken van gebouwen, het openbaar vervoer, het aanbrengen van een inva-lidentoilet, maar ook voorzieningen voor auditief gehandicapten zoals ring-leidingen en spraakvoorzieningen voor websites.

Voor de kostenberekening is gebruikgemaakt van standaardkosten per type voorziening – ongeacht sector of situatie. Deze kosten zijn na consultatie van deskundigen en de verschillende ministeries bepaald en indien moge-lijk geverifieerd op basis van ervaringsgegevens, in de andere gevallen zijn de aanpassingen, kosten en aantallen aan te passen objecten gehanteerd zoals aangegeven door de deskundigen en de ministeries. Om in de speci-fieke 50% (zelfregulerings)variant tot aannames te komen over kosten en baten, is nagegaan wat vergelijkbare convenantsaanpakken (Arbo en milieu) hebben opgeleverd.

De baten worden niet in geld uitgedrukt, maar in het aantal personen dat profijt heeft van de aanpassingen. Zo zijn de baten van het toegankelijk maken van restaurants bepaald aan de hand van een schatting van het aan-tal gehandicapten dat na het aanbrengen van de voorziening een restaurant zal bezoeken. De aanname daarbij is dat na deze ingreep gehandicapten net zo vaak een restaurantbezoek zullen afleggen als niet-gehandicapten. De baat van de investering zit hem in de toename van gehandicapte bezoekers. De kosten van implementatie variëren in de verschillende varianten van 9 tot 54 miljard euro. De baten zijn het grootst in de varianten van 100% en 70% aanpassingen vooraf op korte termijn (3 jaar). Er zullen voordelen voor derden optreden, maar deze zijn voornamelijk kwalitatief te duiden en waarschijnlijk klein. De verhouding tussen kosten en baten is uitgedrukt in kosten per begunstigde per jaar. Deze zijn het hoogst in de variant 100%, te implementeren over de lange termijn. De variant met de laagste kosten per begunstigde is de 30%-variant voor de korte termijn. Een langere imple-mentatietermijn blijkt per begunstigde meer kosteneffectief.

Ex ante evaluaties van de effectiviteit

De 39 als ‘ex ante evaluaties’ van de effectiviteit getypeerde studies zijn voor ongeveer de helft kwantitatieve doorberekeningen of inschattingen van doel-bereiking (en soms neveneffecten). Dit gebeurde onder meer aan de hand van bestaande gegevens zoals ervaringscijfers, vaak onder toepassing van meerdere scenario’s. Veel van deze studies zijn verricht naar aanleiding van beleid van IenM (en VenW en VROM). Daarmee lijken ze in zekere zin op (M)KBA’s, met als belangrijkste verschil dat niet vele mogelijke effecten in kaart zijn gebracht en gemonetariseerd om tot één saldo te komen. Voorts kan sprake zijn van één onderzochte beleidsoptie – terwijl in een MKBA altijd meerdere opties worden vergeleken.

Een voorbeeld van een cijfermatige ex ante evaluatie van de potentiële effec-tiviteit is het werken met prijselasticiteiten ter vaststelling van de invloed van verschillende ‘milieudifferentiaties’ van een kilometerprijs (ABvM) voor vrachtauto’s, bestelauto’s en autobussen (Schroten et al., 2009). Ook het werkprogramma Schoon & Zuinig is doorgerekend op de mogelijke realisatie van de doelstellingen in het toenmalige coalitieakkoord, te weten een hoger energiebesparingstempo van 2%, een aandeel van 20% hernieuwbare energie en 30% minder uitstoot van broeikasgassen in 2020 ten opzichte van 1990 (Menkveld, 2007). In de berekeningen is gebruikgemaakt van de vier scena-rio’s in de kort daarvoor verschenen studie Welvaart en Leefomgeving (WLO); (Janssen et al., 2006)70 om mogelijke waarden in het model zoals die van olie-prijzen, CO₂ en normen voor voertuigen aan te ontlenen. Enkele andere keren betrof het de inschatting van marktpotentieel, bijvoorbeeld in de ex ante evaluatie van verdere liberalisering van de luchtroute Amsterdam-Paramaribo (Burghouwt et al., 2009). Dit gebeurde onder andere aan de hand van een kwantitatieve analyse van toetredingsdrempels, binnen twee scena-rio’s (meer dan wel minder naar voren tredende aanbieders) en met behulp van interviews met luchtvaartmaatschappijen ArkeFly, Martinair en KLM. Ten slotte gebruiken Aalbers en Nooij (2006) voor de beoordeling van de inkomenseffecten van een ander tariefsysteem voor kleinverbruikerselektrici-teit bestaande kwantitatieve gegevens over inkomens, elektricikleinverbruikerselektrici-teits- en gasge-bruik, en huishoudenskenmerken zoals opleidingsniveau, gezinsgrootte en elektrische apparaten.

In de niet- of deels kwantitatieve ex ante evaluaties betreft het een mix van meerdere elkaar aanvullende, of naast elkaar bestaande methoden – overlap-pend, of steeds ter beantwoording van een andere deelvraag. De combinatie

70 De WLO-studie analyseert mogelijke langetermijnontwikkelingen voor de woningmarkt, bedrijfsruimte, verkeer en vervoer, natuur, milieu, landbouw, energie, stad en platteland. Elk van de vier hierin uitgewerkte scenario’s beschrijft een plausibele, samenhangende ontwikkeling van de factoren die voor de Nederlandse fysieke omgeving bepalend zijn, zoals de economische groei en de samenstelling daarvan, de bevolkingsdynamiek, technologische ontwikkeling, de internationale politiek, en de individualisering.

van desk study of literatuuronderzoek met interviews – met (veld)experts, belanghebbenden of beide komt het vaakst voor.71

Een minder vaak voorkomende mix van methoden is (systematische) litera-tuurstudie gecombineerd met empirisch (cijfer)materiaal, zoals in het uitge-breide onderzoek door Dijkgraaf et al. (2009) naar de effectiviteit van conve-nanten in het energiebeleid. Hierin heeft naast een secundaire analyse van wetenschappelijke literatuur een kwantitatieve analyse van OESO-data plaatsgevonden. Het kwantitatieve deel van deze studie richt zich op de rela-tie tussen het gebruik van convenanten en energie-efficiency, CO₂-uitstoot en het gebruik van hernieuwbare energie in 24 OESO-landen zowel op macroniveau als voor verschillende sectoren. Er zijn een groot aantal gevoe-ligheidsanalyses uitgevoerd om de robuustheid van de resultaten te toetsen. Nagenoeg alle analyses hebben geresulteerd in de conclusie dat convenanten – niet alleen binnen het energiebeleid maar ook daarbuiten – niet effectief zijn.

In de mix van methoden komen soms bewerkelijke vormen van dataverza-meling voor. Voorbeelden zijn de praktijkproef met mosselzaadvanginstalla-ties die gecombineerd werd met (draagvlak)onderzoek onder belanghebben-den en experts (Scholten et al., 2007). Het onderzoek voor VWS naar Positron Emissie Tomografie (PET) als medische, niet-invasieve beeldvormende tech-niek (ZonMw, 2007) is verricht aan de hand van vier strategieën: zeven (deel)projecten, bijeenkomsten, interviews en literatuur. Ten slotte is een combinatie van ‘werkplekobservatie’ met interviews met verschillende groe-pen en experts samen met literatuurstudie ingezet om de mogelijkheden en beperkingen van een landelijke sporendatabank te onderzoeken (Stol et al., 2005). Tijdens de werkplekobservatie hebben respondenten aan de onder-zoekers het functioneren van bestaande databases laten zien en zijn deze uit-gebreid toegelicht.

Stakeholderonderzoek aan de hand van interviews of expertsessies komt in ongeveer een derde van de ex ante effectiviteitsstudies voor. Dit lijkt dan vaker te worden ingezet voor het leveren van expertise dan voor het polsen van draagvlak (maar zelden heeft het een expliciet doel).

Twee ex ante evaluaties zijn gebaseerd op de ‘Tafel van 11’ voor handha-vingsbeleid; beide betreffen zelfregulering ter bestrijding van fraude en ille-gale bemiddeling in de uitzendbranche (Bolhuis et al., 2005; Velden et al., 2006) nadat het in 2005 onderzochte plan van de baan was.72

71 Enquêtes aan de hand van gestructureerde vragenlijsten komen een stuk minder vaak voor dan interviews met experts, en dan ook nog vooral in combinatie met interviews – dit zijn we tegengekomen in drie van de ex ante effectiviteitsevaluaties. Een voorbeeld van een dergelijke ex ante evaluatie op basis van alleen literatuur is het onderzoek naar financieringsconstructies voor landschap (Vreke, 2010).

72 In het kader van de effectiviteit zijn in deze studies ook draagvlak, kostenefficiëntie, handhaafbaarheid en uit-voerbaarheid onderzocht.

Verkenningen

Veel ex ante bestudeerde plannen zijn abstract en hebben (nog) geen duide-lijke doelstelling. Ook hebben veel van deze studies zelf een voorlopig of quickscan-karakter. De uitkomsten van deze 49 verkenningen worden vaak omgeven door aanzienlijke onzekerheidsmarges.73 De meeste van de verken-ningen zijn gebaseerd op literatuurstudie van eerdere resultaten of effecten of best dan wel worst practices, al dan niet in combinatie met gesprekken met (een beperkt aantal) experts.

Vaak hebben deze literatuurstudies een landenvergelijkend karakter. Een eer-ste voorbeeld is de verkenning van ervaringen met landaanwinning gelet op eventuele initiatieven in de Noordzee (Stronkhorst, 2008); een tweede de internationale vergelijking van de wijze van prestatiemetingen bij universitei-ten in zes landen (Australië, Verenigd Koninkrijk, Duitsland, Vlaanderen, Noorwegen, Nieuw-Zeeland), die is gevolgd door een expertmeeting ten behoeve van inventarisatie van mogelijke vormen en voor- en nadelen van dit instrument in de Nederlandse context (Jongbloed et al., 2005). Nog een dergelijke studie (ook voor OCenW) betreft de kosten en effecten van gratis toegang tot musea (Goudriaan & Visscher, 2006), waarin, gelet op het korte tijdpad, literatuuronderzoek is aangevuld met expertinterviews over de Nederlandse situatie en met onderzoek naar een casus in Groot-Brittannië. Deze kennis is vervolgens in samenhang toegepast in de vergelijking van zes meer en minder vergaande varianten van gratis openstelling.74

Meer dan twee mixed methods zien we ook herhaaldelijk bij de verkenningen maar wel minder vaak dan bij de meer definitieve ex ante evaluaties. In plaats daarvan gaat het vaker om een meer of minder stevig onderbouwd ‘expert-oordeel’, bijvoorbeeld van voor- en nadelen van onderdelen van een plan. Een voorbeeld is de Verkenning E-herkenning (Bottelberghs & Liezenberg, 2008), een andere opzet voor DigiD waarin geen expliciete beoordelingscrite-ria of bronverwijzingen te vinden zijn, maar wel sprake is van een grote hoe-veelheid technische termen.

Ten slotte dienen enkele verkenningen de inventarisatie van vereiste condi-ties voor het slagen van voorstellen (succesfactoren). Een voorbeeld is de

quickscan energie en ruimte (Hoorn et al., 2010) ter inventarisatie van de

raakvlakken tussen energiemaatregelen en ruimtelijke ordening om knelpun-ten en kansen te identificeren voor het halen van de ‘Schoon en Zuinig’-energiedoelen in 2020.

73 Soms zijn in de verkenning zelf beleidsopties of oplossingsrichtingen gearticuleerd en vervolgens (globaal) vergeleken, bijvoorbeeld de negen mogelijke oplossingen in de verkenning toekomstige arbeidsmarkt rijks-overheid (Volkerink et al., 2011).

74 Literatuurstudies in verkenningen staan soms ook in het teken van kwantitatieve analyses op basis van de secundaire gegevens. Dit laatste is veel het geval gebleken bij I&M maar bijvoorbeeld ook bij OCenW. Hier betrof het de prijsgevoeligheid in culturele sectoren (Goudriaan et al., 2007) met het oog op mogelijke aan-passingen van toegangsprijzen.

Analyses van specifieke consequenties

Voor de 44 studies van dit type is veel gebruikgemaakt van secundair materi-aal (literatuur, kentallen) en al dan niet voor het studiedoel aangepaste kwan-titatieve modellen.

In rond de helft van de studies stond niet één maar meerdere (meestal twee) soorten gevolgen centraal. Voorbeelden zijn de studie naar juridische en natuurgevolgen van de eventuele baanverlenging van vliegveld Eelde (Lensink & Van Eekelen, 2005) – die later geannuleerd werd; en de analyse van kosten en indirecte effecten van windmolenparken (Christensen et al., 2008).

Kwantitatieve analyses komen in ongeveer de helft van de studies voor, soms met behulp van al beschikbare modellen. Milieu is daarbij vaak een thema – bijvoorbeeld de toepassing van het model STONE om de gevolgen van het nieuwe mestbeleid voor nutriëntenbelasting van bodem en water door te rekenen (Willems et al., 2005, 2008).75 Een opvallende studie in dit verband is het onderzoek naar de gevolgen van verschillende gradaties van het project E-facturering op CO₂-uitstoot (Hoorik et al., 2010). Dit gebeurde aan de hand van een combinatie van bronnenonderzoek en het opstellen van een reken-model dat is vertaald naar de Nederlandse situatie. Het doel van de (ver-plichte) milieueffectrapportage (MER) is om bij de besluitvorming over plan-nen en programma’s het milieu een volwaardige plaats te geven, met het oog op de bevordering van een duurzame ontwikkeling. In onze dataset bevinden zich vier MER’s met landelijke reikwijdte.76 Eén daarvan bevat tevens een ‘passende beoordeling’; in dit geval van de gevolgen voor het ‘Natura 2000’-programma, met name voor IJsselmeer en Waddenzee (Grontmij, 2011). Net als in MKBA’s en enkele ex ante evaluaties worden vaak gevoeligheids-analyses verricht op de kwantitatieve berekeningen, waarbij met gemaakte aannames gevarieerd wordt op basis van verschillende denkbare scenario’s, bijvoorbeeld in het onderzoek door de NMA (2011) naar effecten van prijsre-gulering voor kleinverbruikers van warmte in het kader van de (te wijzigen) Warmtewet.

Andere onderwerpsgebieden waar relatief vaak kwantitatieve analyses plaats-vinden zijn markteffecten en administratieve lasten (voor bedrijven). Voorts zijn er de economische analyses door het CPB, bijvoorbeeld van wijzigingen in de fiscale behandeling van rente in de vennootschapsbelasting (CPB, 2008b).

In het resterende niet-kwantitatieve deel van de ex ante analyses over speci-fieke consequenties betreft het een mix van uiteenlopende topics, van

infor-75 In sommige studies liggen dergelijke gevolgen dicht tegen de eigenlijke doelstelling(en) van het (voorgeno-men) beleid aan. Werd dit niet expliciet gemaakt in het rapport, dan is gekozen voor indeling in de onderha-vige categorie. Voorts is de scheiding met uitvoeringsanalyses niet altijd even scherp; bijvoorbeeld studies naar specifiek de technische haalbaarheid, of de administratieve lasten van een beleidsvoornemen. Deze zijn over het algemeen bij het hier besproken studietype ingedeeld, omdat het doorgaans maar deels het