Exploring evaluation capacity in Dutch central policy departments
Bijlage 4 Enkele uitwerkingen van het evaluatie- evaluatie-kader bij beleidsdepartementen
3 Confrontatie van de beleidstheorie met de literatuur (in ieder geval bij ex ante, optioneel bij proces- en ex post evaluatie)
4 Veldonderzoek (alleen bij proces- en ex post evaluatie). In het veldonderzoek wordt de gereconstrueerde beleidstheorie getoetst aan de doelgroep en andere betrokkenen. Dit kan uiteraard alleen als de interventie al in gang gezet is. For-muleer voor elke informant relevante en te beantwoorden vragen en denk na over de meest geschikte onderzoeksmethode voor elk type betrokkenen. De auteurs betogen dat het een iteratief proces betreft: ‘De stopregel wordt
gevormd door het niet meer verkrijgen van volledig nieuwe informatie.’ (2012:90). Tot slot hoort de kritische analyse en evaluatie tot de kern van de verklarende methodiek. Dit is de analyse waarin de confrontatie tussen beleidstheorie en praktijk wordt aangegaan, waarin in de diepte ontrafeld wordt welke nieuwe of aangepaste mechanismen de interventie heeft veroorzaakt met gewenste gedragsveranderingen als uitkomst.
Dan zou ook duidelijk moeten worden of een interventie (deels) wel en/of (deels) niet heeft gewerkt. Dat kan in essentie aan het volgende liggen: (1) Het beleids-ontwerp was goed, maar het is niet goed geïmplementeerd; het is gebleken dat
uitvoerders van het beleid niet doen wat de beleidsbedoeling was. Als de implemen-tatie wel conform de bedoeling is gedaan, kan het zijn dat: (2) het onderliggende mechanisme niet op gang is gebracht, bijvoorbeeld omdat de juiste context ontbrak, of (3). er een breuk is in de causale keten, één schakel heeft niet gewerkt.
De auteurs bieden op basis van de literatuur voorts richtpunten voor wat bij kwalita-tief onderzoek als dit, bruikbare methodologische kwaliteitscriteria (kunnen) zijn.156
Kwaliteitscriteria voor verklarende evaluatie volgens de evaluatoren van Kohnstamm (2012)
Validiteit – via de reconstructie van het proces : de gebeurtenissen in een case worden geordend en er wordt nagegaan in hoeverre die als causaal proces met elkaar in verband kunnen worden gebracht.
Betrouwbaarheid of repliceerbaarheid – via aanpak-transparantie en triangulatie van bronnen.
Generaliseerbaarheid – via o.a. multiple case study designs.157
Gevoeligheid – onder welke condities gaat het beter/ minder?
Causale validiteit – hiertoe dient een evaluatie zo ingericht te worden, dat een effect van andere variabelen vooraf en/of achteraf zoveel mogelijk uitgesloten wordt.
Bruikbaarheid – de evaluatie bevat aanknopingspunten voor beleid.
Fijnmazigheid – welk (bijv. psychologisch) mechanisme ligt precies aan gevonden fenomenen ten grondslag.
Checklist evaluatieopzet FEZ (EZ)
1 Aanleiding
De aanleiding voor de evaluatie is duidelijk omschreven. 2 Beleidsonderbouwing
De probleemanalyse is beschreven (wat is het probleem en waarom interventie).
Het verband tussen de overheidsinterventie (bijvoorbeeld subsidie), activiteiten en outcome is beschreven.
Er zijn heldere meetbare doelen en indicatoren benoemd. 3 Probleemstelling en onderzoeksvragen
De probleemstelling of centrale onderzoeksvraag is duidelijk.
De probleemstelling of centrale onderzoeksvraag sluit aan bij de aanleiding van de evaluatie en de probleemanalyse.
Bij een beleidsdoorlichting: alle elementen/vragen uit de RPE zijn benoemd.
Bij een individuele evaluatie: de benoemde onderzoeksvragen geven antwoord op alle relevante elementen van een beleidsdoorlichting om zodoende als basis gebruikt te worden voor de beleidsdoorlichting.
156 Bij black-box of experimenteel onderzoek is interne validiteit het belangrijkste kwaliteitscriterium: hoe hard is een relatie te leggen tussen interventie(s) en uitkomsten? (o.a. Farrington c.s., 2004) – hoewel de genoemde criteria ook hier zeker van toepassing zijn.
157 Waarbij bevindingen uit een eerste case als veronderstelling worden ingebracht in de tweede etc., of waarbij de bevindingen van verschillende, onafhankelijk uitgevoerde cases naast elkaar worden gelegd en vergeleken (zie bijvoorbeeld Miles & Huberman, 1994).
4 Onderzoeksaanpak
De causale relatie tussen beleidsinstrument(en), de activiteiten en het vermeende effect worden onderzocht.
Er is aangegeven of een nulmeting is gedaan.
Er is aangegeven of er mogelijk een controlegroep bestaat.
De beperkingen en onmogelijkheden ten aanzien van het meten van effecten worden benoemd.
Duidelijk is op welke alternatieve wijze de doeltreffendheid wordt onderzocht, indien er geen nulmeting en controlegroep is (bepalen plausibiliteit).
Verkennen van en advies over verbeteringen in de mogelijkheden tot effectmeting.
De wijze waarop data worden verzameld staat beschreven (databases, interviews, enquête).
De beperkingen ten aanzien van uitspraken over de doeltreffendheid bij een alternatieve onderzoeksaanpak (geen nulmeting/controlegroep) zijn benoemd. 5 Uitbesteden of zelf doen
Er is aangegeven of en waarom het onderzoek wordt uitbesteed of zelf wordt gedaan.
6 Tijdpad
Het tijdpad van het onderzoek (start- en einddatum en tussenproducten) is helder..
7 Organisatie en kosten
Aanspreekpunt voor het onderzoek (projectleider) is benoemd.
Er is aangegeven hoe het onderzoek wordt begeleid.
Er is aangegeven welk budget beschikbaar is voor het onderzoek. 8 Communicatie
Er is aangegeven of de evaluatie wel/niet wordt aangeboden aan de Tweede Kamer.
Checklist evaluatierapport FEZ (EZ)
1 Volledigheid
Het rapport geeft antwoord op de centrale onderzoeksvraag.
Het rapport geeft antwoord op alle (deel)vragen uit de evaluatieopzet/offerte. 2 Duidelijkheid
De conclusie over de doeltreffendheid van het beleid is helder (het beleid is wel/ niet effectief of kan niet worden aangetoond, maar wel indicaties dat …),
Het rapport maakt duidelijk onderscheid tussen de bevindingen, de analyse en de conclusies die daaruit getrokken worden.
3 Methodologische verantwoording
Het rapport geeft aan in welke mate de bevindingen valide en betrouwbaar zijn.
De strekking (‘hardheid’) van de conclusies sluit aan op de validiteit en betrouw-baarheid van de bevindingen.
Er staat voldoende informatie in het rapport om te kunnen beoordelen hoe het onderzoek is uitgevoerd, hoe de variabelen zijn gemeten.
4 Aanbevelingen
De aanbevelingen zijn een logisch gevolg van de conclusies.
De aanbevelingen zijn bruikbaar (toepasbaar en zinvol).
Het relatieve belang van de aanbevelingen komt duidelijk naar voren.
De evaluatie van de WBSO (EZ)
De Wet bevordering speur- en ontwikkelingswerk (WBSO, 1994) heeft als doels-telling om onderzoek en ontwikkeling door Nederlandse bedrijven en ondernemers te stimuleren door de loonkosten van onderzoekend personeel te verlagen door middel van een fiscale tegemoetkoming. Het budget voor de WBSO bedraagt in 2012 872 miljoen euro. Sinds 1994 wordt het budget van de WBSO jaarlijks vast-gesteld in het Belastingplan, de realisatie kan afwijken van het budget. Het fiscale instrumentarium binnen de wet is voor de periode 2006-2010 door EIM kwantitatief geëvalueerd; overigens niet voor het eerst. In de loop der jaren zijn door technolo-gische vooruitgang steeds geavanceerdere evaluatietechnieken toepasbaar gewor-den. In de huidige evaluatie – gebaseerd op een dynamisch paneldatamodel dat geschat is met behulp van non-lineaire regressie – zijn een aantal vragen (hypothe-sen) getoetst (EIM, 2012).
Kernhypothese
1 De WBSO heeft een positief effect op de totale R&D-loonuitgaven van een onderneming.
Hypothese ter ondersteuning kernhypothese
2 Bedrijven die relatief veel subsidie krijgen geven relatief meer uit aan R&D-loon dan bedrijven die een lager subsidiepercentage hebben.
Hypotheses voor toetsing uitstralingseffecten
3 De WBSO zorgt voor meer innovatie op bedrijfsniveau. 4 De WBSO leidt tot spill-overs in de eigen sector. 5 De WBSO leidt tot spill-overs buiten de eigen sector.
6 De WBSO zorgt voor een hogere toegevoegde waarde per werkende.
Het betreft een technisch-kwantitatieve evaluatie op basis van een geabstraheerd model, zoals de onderstaande formule illustreert:158
We gaan hier verder niet in op de bevindingen, maar het voorbeeld laat zien dat wetsevaluaties behalve kwalitatief-juridisch ook kwantitatief-economisch kunnen zijn.
158 Hierin is Y de totale R&D-loonsom in een bedrijf in een jaar, αi een fixed effect per bedrijf, WBSO het bedrag dat vanwege de WBSO minder aan belasting hoeft te worden betaald, X een reeks aan controlevariabelen en μt een fixed effect voor de jaren. U is de storingsterm.