Beperkingen op het hanteren van het experimenteel design

Los van bovenstaande randvoorwaarden, is het hanteren van een experimenteel design niet steeds een vanzelfsprekende optie. Er zijn immers ook enkele elementen aan te wijzen die het gebruik deels of geheel in de weg kunnen staan.

Een eerste element is van praktische aard en heeft betrekking op de fase waarin het beleid zich bevindt. Het is niet denkbeeldig dat men voor een innovatief beleid of demonstratieproject een evaluatie van de beleidsimpact wil organiseren aan de hand van een experimenteel design. Dergelijke ex ante toepassing is mogelijk wanneer er voldoende middelen zijn voorzien. Ze kan nuttig informatie opleveren in het kader van een beslissing om het beleid wel of niet uit te breiden naar een grotere schaal of om er een permanent beleid van te maken.

Echter van zodra een beleid is gepland en in de implementatiefase zit, dient men er op te letten om het experimentele design niet te snel toe te passen. De impactvraagstelling kan immers leiden tot resultaten die minder relevant zijn vooraleer het beleid een zekere stabiliteit en maturiteit in werking heeft. Immers, het gebeurt vaak dat vroeg in de uitvoeringsfase bepaalde aspecten van de implementatie nog bijgestuurd worden om het beleid en de uitvoering ervan verder te verfijnen. Wanneer men op dat moment reeds een experimentele evaluatie opzet en er veranderen tijdens de evaluatie nog tal van

factoren, komt dat de bruikbaarheid van de evaluatieresultaten niet ten goede. Veranderingen tijdens de uitvoeringsfase kunnen de facto leiden tot verschillende varianten van het beleid. Daardoor is het achteraf niet meer duidelijk welke ‘versie’ van het beleid welke effecten voortbracht. Beleidsevaluaties met een experimenteel design worden dus best gereserveerd voor ex post evaluaties van een beleid dat tamelijk stabiel is en waarvan de implementatie tijdens de duur van de evaluatie geen ingrijpende veranderingen ondergaat.

Ten tweede kan een experimenteel evaluatiedesign als inadequaat beoordeeld worden vanuit ethische overwegingen. In het bijzonder wanneer het om personen gaat, kan de procedure van toevallige toewijzing aan de beleids- en controlegroep door stakeholders gezien worden als arbitrair en als het onterecht niet toekennen van voordelen aan personen in de controlegroep. In deze zienswijze staat men wel open voor het experimenteren met beleid wanneer dit klaarblijkelijk positieve effecten kan meebrengen. Maar men beschouwt het als schadelijk wanneer men potentiële goede dienstverlening niet openstelt voor zij die er nood aan hebben. Dit wordt als onethisch beschouwd. De keerzijde van dit dilemma kan als volgt worden geargumenteerd: meestal is het niet op voorhand geweten of een beleid effectief is en daarin ligt precies de reden voor een experiment. Vanuit dit opzicht worden de personen van de controlegroep niet weerhouden van een tussenkomst waarvan de gunstige invloed vaststaat, maar worden ze misschien wel gespaard van een tijdsverlies door een beleid dat niet effectief is.

In bepaalde gevallen zullen stakeholders afkerig staan tegenover de procedure van toevallige toewijzing omdat er een kans bestaat dat bepaalde personen nadeel zullen hebben. Neem bijvoorbeeld een evaluatie van de werking van de financiële bijstand die de overheid voorziet voor gezinnen van een niet nader gedefinieerde inkomenscategorie. Voor de duur van de evaluatie kan de onderhoudskost van gezinnen oplopen afhankelijk van het ‘lot’ of ze tot de controlegroep behoren of niet. De evaluator kan wel voorzien in een vergoeding voor een eventuele meerkost maar dit gegeven zelf kan het gedrag van deze personen en dus de resultaten van de evaluatie beïnvloeden.

De sterkste ethische dilemma’s betreffen doorgaans de omstandigheden van de controlegroep. Wanneer van conventionele dienstverlening bewezen is dat ze effectief is, zou het onethisch zijn om deze dienstverlening te onthouden met het oog op het uittesten van alternatieven. Zo is het ondenkbaar om kinderen geen wiskundelessen te geven omdat ze tot een controlegroep worden toegewezen ter vergelijking met een andere groep kinderen die een nieuw wiskundecurriculum volgen. In dergelijke gevallen, is de hamvraag echter niet of het nieuwe curriculum beter is dan het bestaande, maar wel of het beter is dan het bestaande. In deze optiek is dan ook een vergelijking tussen een groep die het nieuwe curriculum krijgt en een controlegroep die het klassieke curriculum volgt de aangewezen experimentele setting.

Ethische bezwaren kunnen ook ontstaan door de procedure van toevallige toewijzing te hanteren wanneer de middelen schaars zijn en de vraag naar dienstverlening niet volledig kan beantwoord worden. Slechts een deel van de in aanmerking komende personen kan genieten van de dienstverlening. In dergelijk geval kan echter ook beargumenteerd worden dat de toevallige toewijzing de meest billijke methode is om hierin te beslissen vermits alle personen een gelijke kans krijgen. Wanneer de onzekerheid over de effectiviteit van het beleid groot is, kan dit inderdaad een oplossing bieden. Echter, wanneer beleidsverantwoordelijken bij voorbaat overtuigd zijn van de effectiviteit van het beleid, ondanks het gebrek aan empirische bevindingen die dit staven, kunnen zij sterk gekant zijn tegen een aselecte keuze. Ze kunnen dan erop aandringen dat de meest behoeftige personen prioriteit krijgen bij de dienstverlening.

Een derde beperking op het gebruik van een experimentele opzet met aselecte toewijzing is dat de uitvoering van het beleid of de dienstverlening tijdens de evaluatie op kritieke punten kan afwijken van de dagdagelijkse praktijk. Des lager het routinegehalte in de beleidsuitvoering, des te groter de kans op afwijkingen. Wanneer het gewicht van de afhankelijke beleidsbeslissing het toelaat, kan een aanpak voor dit probleem erin bestaan om twee rondes in de evaluatie te voorzien. Waarbij de dienstverlening eerst gebeurt als onderdeel van het evaluatieonderzoek en daarna in de dagdagelijkse setting. Op deze wijze kunnen bepaalde administratieve procedures geëvalueerd getoetst worden in het licht van het criterium van effectiviteit.

Een vierde beperking betreft de middelen die rechtstreeks aangewend kunnen worden voor de beleidsevaluatie. Hoewel het experimenteel design de sterkste garanties kan bieden op het vlak van de geldigheid van de resultaten, heeft deze aanpak een hogere kostprijs en vraagt ze meer tijd in vergelijking met alternatieve methoden. Zoals we eerder al stelden: waneer het beleid dat geëvalueerd wordt bij voorbaat een minieme kans heeft om voortgezet te worden of weinig aandacht van stakeholders krijgt, is het maar de vraag of dit evaluatiedesign de investering waard is.

Een laatste beperking die we hier willen vermelden, vormt de kans dat het experiment tijdens de uitvoering zelf vertekend wordt doordat er relevante verschillen optreden tussen de beleidsgroep en de controlegroep. Dit kan leiden tot een mogelijke bias of vertekening van de inschatting van beleidseffecten.