Het debat over RCTs nader beschouwd
Jannes van der Meer
Abstract
RCTs zijn de laatste laren erg populair als instrument voor impact evaluaties en
is daarbij zelfs als de ‘goudstandaard van de ontwikkelingseconomie’
beschreven. In dit onderzoek is de validiteit van deze propositie beschouwd. De
conclusie luidt dat het aannemen of niet aannemen van deze propositie afhangt
van aannames en waardenoordelen. Er is dus geen eenduidig antwoord te geven.
Huidige ontwikkelingen in de ontwikkelingseconomie bewegen wel weg van het
RCTs toedichten van een uitzonderingspositie. Dat neemt niet weg dat RCTs in
de toekomst een rol van betekenis kunnen blijven spelen in impact evaluaties in
de ontwikkelingseconomie. Er zijn echter erg veel goede redenen om RCTs niet
leidend te laten zijn, maar ondersteunend.
22-01-2014
Inleiding
Ontwikkelingseconomie als wetenschap stamt uit de eerste jaren na de Tweede Wereldoorlog. Nadat Europa decennia lang in de greep had geleefd van wereldbeschouwelijke stromingen zoals nationalisme, sociaal-darwinisme en fascisme vond er in het Westen na de Tweede Wereldoorlog een herwaardering plaats van het humanistisch gedachtengoed. Deze
herwaardering resulteerde in het ontstaan van de Verenigde Naties en werd gesymboliseerd door De Universele Declaratie van de Rechten van de Mens uit 1948. De belangrijkste pijlers van het humanisme hielden onder andere in dat ieder mens gelijk is en ieder menselijk leven gelijkwaardig.
In dezelfde tijd, alsook in de jaren voor de Tweede Wereldoorlog, vond ook de dekolonisatie plaats. Haast alle voormalige kolonies van Europese landen werden officieel of effectief onafhankelijk verklaard. Dit ging lang niet altijd geleidelijk waardoor
machtsvacuüms vaak tot conflicten leidden. De kolonies waren financieel en bestuurlijk vaak afhankelijk geworden van hun kolonisten en bezetters.
De armoede van veel niet-Westerse landen en de toestand waarin veel voormalige kolonies waren achtergelaten in combinatie met de humanistische overtuigingen die weer brede aanhang genoten maakten de ontstane situatie voor veel mensen in het Westen onverdraaglijk en leidde tot een gevoel van een morele verplichting om deze financiële en politieke armoede te bestrijden.
In de jaren ’50 en ’60 werd het ontwikkelingsproces beschouwd als een serie fases van economische groei waar ontwikkelingslanden doorheen moesten. Dit ‘linear-stages-of-growth
model’ was vooral gebaseerd op theorieën waarin de juiste (relatieve) hoeveelheid van sparen,
investeringen, en buitenlandse hulp ontwikkeling mogelijk zouden maken (Todaro en Smith, 2011, p.110). In de jaren ’70 werd dit model grotendeels afgeschreven. Twee conflicterende theorieën gingen het debat over ontwikkeling beheersen. De eerste gebruikte economische theorieën en statistische analyses om een beeld te schetsen van de interne processen van ‘structurele’ verandering die een ‘typisch’ ontwikkelingsland zou moeten ondergaan om duurzame economische groei te bereiken. De tweede beschouwde internationale en nationale machtsrelaties en politieke en institutionele structuren als de bron van de instandhouding van, alsook de potentiële oplossing voor, het armoedeprobleem (idem).
Doorheen de jaren ’50, ’60 en ’70 was steeds planning het sleutelwoord volgens haast iedereen die zich met ontwikkelingseconomie bezighield (ibidem, p.512). Dit veranderde in de jaren ’80 en ’90 toen een heel andere benadering de bovenhand kreeg. Om met Reagon te
spreken ontstond de overtuiging dat het antwoord op de armoede in de wereld lag gelegen in
“the magic of the market place” (ibidem, p.526) Deze benadering was de neoklassieke, ook
wel neoliberale, Washington Consensus. De publieke sector moest zich terugtrekken en de private sector moest haar rol overnemen.
In de praktijk bleek echter dat dit niet werkte, al was het maar omdat in veel ontwikkelingslanden de voorwaarden voor een goed functionerende markt helemaal niet aanwezig waren. Het ene gouden ei om dit probleem op te lossen na het andere werd uitgevonden. Bekende voorbeelden hiervan zijn Muhammad Yunus’ microfinancieringen, Hernando de Soto’s legalisering van eigendomspapieren van armen, en infrastructurele projecten. Echter, ook zij leidde niet tot de gewenste resultaten.
Inmiddels is er een nieuw gouden ei, of goudstandaard zoals haar eigen bepleiters het noemen, namelijk Randomized Controlled Trials (RCTs). Het verschilt fundamenteel van alle voorgaande theorieën in dat het geen antwoord biedt op de armoede in de wereld, maar een
middel om tot antwoorden te komen. Voor veel economen en beleidsmakers is dit
ontegenzeggelijk de methode op basis waarvan kennis over ontwikkelingseconomie tot stand kan komen, maar wie de geschiedenis van de ontwikkelingseconomie als wetenschap kent, waar de ene theorie na de andere elkaar haast als hypes op hebben gevolgd, wordt direct argwanend door dit enthousiasme.
Dit onderzoek is erop gericht de voor- en nadelen van RCTs in de
ontwikkelingseconomie in kaart te brengen en de vraag te beantwoorden of RCTs inderdaad de potentie hebben om uit te groeien tot goudstandaard in de ontwikkelingseconomie. Hiertoe zal allereerst in hoofdstuk 1 het huidige academische debat hierover, dat wel degelijk bestaat, in kaart worden gebracht. In hoofdstuk 2 wordt ingezoomd op een aspect dat in het huidige economische debat, dat vooral door economen wordt gevoerd, slechts met mondjesmaat wordt besproken; namelijk de ethiek rondom het uitvoeren van RCTs. Hierbij wordt de waardigheid van RCTs als methode bepaald aan de hand van twee van, zo niet de twee, meest
toonaangevende ethische stelsels: het utilisme en de deontologie. Daarnaast zal in hoofdstuk 2 worden gepoogd tot een framework te komen op basis waarvan de argumenten voor en tegen RCTs inzichtelijk kunnen worden gemaakt, waaraan de logische geldigheid van de
argumenten getoetst kan worden en op basis waarvan het debat in de toekomst wellicht gevoerd kan worden. Hoofdstuk 3 betreft een vooruitblik op de rol van RCTs in de toekomst, aan de hand van twee ontwikkelingen die momenteel in de ontwikkelingseconomie gaande zijn. Tot slot zal in de conclusie een korte samenvatting worden gegeven van hetgeen
besproken is en teruggekomen worden op de onderzoeksvraag zoals hierboven geformuleerd. 3
Hoofdstuk 1 - Het debat.
In dit hoofdstuk worden de voor- en nadelen besproken van Randomized Controlled Trials (RCTs) die naar voren komen in het academische debat over RCTs zoals dat momenteel gevoerd wordt. Hierbij wordt uitgegaan van de meest essentiële vorm van RCTs. Deze vorm wordt door het Abdul Latif Jameel Poverty Action Lab (PAL), een, zo niet het meest,
toonaangevende onderzoeksinstituut op het gebied van RCTs in de ontwikkelingseconomie, als volgt beschreven:
“A Randomized Evaluation is a type of Impact Evaluation that uses random assignments to allocate resources, run programs, or apply policies as part of the study design. Like all
impact evaluations, the main purpose of randomized evaluations is to determine whether a
program has an impact, and more specifically, to quantify how large that impact is. Impact evaluations measure program effectiveness typically by comparing outcomes of those
(individuals, communities, schools, etc) who received the program against those who did not. There are many methods of doing this. But randomized evaluations are generally considered the most rigorous and, all else equal, produce the most accurate (i.e. unbiased) results.”
(website PAL, 05-01-2014).
In dit hoofdstuk wordt nader beschouwen waarom RCTs zo in zwang zijn geraakt (I), wat de voordelen zijn (II), wat de nadelen zijn (III), en ten slotte welke deelconclusie we hieruit kunnen trekken (IV).
I. Opkomst van RCTs
Veel, vooral macro-, economen hebben in het verleden geprobeerd om volledig
gespecificeerde systemen te ontwerpen waaruit complete modellen van determinatie van parameters konden volgen. Deze modellen waren dan veelal gestoeld op theorieën, waaraan noodgedwongen veel aannames vooraf gingen. Deze aannames werden voor veel economen een probleem. Vanuit een sceptische insteek, die een goed wetenschapper geboden is, werden steeds meer van deze aannames in twijfel getrokken.
Een alternatief voor de volledig gespecificeerde en op theorie gebaseerde modellen waren econometrische analyses die correlaties moesten achterhalen. Dit kon gebeuren met behulp van data-analyses maar ook met testen en experimenten waarin sommige individuen, gemeenschappen, scholen etc. wel werden ‘behandeld’, en andere niet. Volgens Freedman
was de rol van econometrische analyse niet dat het causale modellen probeerde vorm te geven, maar “to create an analogy, perhaps forced, between an observational study and an
experiment” (2006, p.691). Op deze manier, zo hoopte men, zouden bepaalde mechanismes
kunnen worden blootgelegd. Deze mechanismes zouden bijvoorbeeld kunnen worden
gebruikt om te voorspellen of een bepaald ontwikkelingsprogramma gunstige effecten heeft of niet.
Een probleem met econometrische analyses op basis van observationele data is de complexiteit die de analyses parten kan spelen. Dit geldt zeker in een onderzoekspraktijk waar veel factoren van invloed (kunnen) zijn, zoals veelal het geval is bij processen in de praktijk van de ontwikkelingseconomie. Dit leidde ertoe dat onderzoekers in het verleden fouten hebben gemaakt en discutabele aannames hebben moeten doen, bijvoorbeeld om de analyse te laten voldoen aan de econometrische vereisten (Deaton, 2010, pp.428-430). Deaton stelt dat in de praktijk zelfs de keuze voor de verklaarde variabele vaak afhing van de mogelijkheid dat de relevante verklarende variabelen wel aan de econometrische vereisten zouden voldoen (ibidem, p.429).
Nadat de volledig gespecificeerde en op theorie gestoelde economische modellen al door velen waren verworpen, leidde de complexiteit van econometrische analyse in
combinatie met de onzorgvuldigheid van haar beoefenaars, en de vele aannames en concessies die econometristen in de praktijk vaak genoodzaakt zijn te doen, eveneens tot scepticisme over econometrische analyses en twijfels over hun bruikbaarheid. Volgens Banerjee en Duflo zijn causale verbanden te complex en te multipel om aan veranderingen de juiste causale oorzaken te verbinden (2009, p.152). Barrett en Carter halen Stokes aan wanneer ze stellen dat een structureel scepticisme heeft plaatsgemaakt voor een radicaal scepticisme dat stelt dat het aantal potentiele verstorende en ontbrekende factoren zo groot is dat het onhandelbaar of zelfs onkenbaar is (2011, p.240).
Tegelijkertijd bestond er frustratie over het onvermogen van de Wereld Bank om van zijn eigen projecten te leren en over de geschiedenis van ontwikkelingseconomie waarin het zo lijkt te zijn dat er, zoals in de inleiding beschreven, van de ene hype naar de ander is gehopt. Veel economen waren het erover eens dat er een nieuwe manier gevonden moest worden om tot progressieve kennisopbouw te komen en veel van hen deden dit vanuit het standpunt van radicaal scepticisme zoals hierboven beschreven. In een wereld, stelt Stokes, waarin radicaal scepticisme opgaat valt of staat de bewijslast van een onderzoeker bij het aantonen van de afwezigheid van een relatie tussen de belangrijkste variabelen uit het
onderzoek met het ongekende universum van potentiele verstorende en ontbrekende factoren. 5
Als dat het geval is, aldus Stokes, is willekeurige toewijzing van de belangrijkste
onafhankelijke variabelen de enige verdedigbare strategie voor identificatie (Barret en Carter, 2011, p.240). Deze overtuiging luidde de opmars in van RCTs. In tegenstelling tot de meeste economische modellen en econometrische analyses zijn RCTs volgens haar bepleiters wel in staat om op relatief eenvoudige wijze en nagenoeg zonder assumpties tot conclusies te komen over belangrijke parameters.
II. Voordelen van RCTs
Hierboven zijn twee van de belangrijkste voordelen al even voorbij gekomen. Ten eerste blinken RCTs uit in simpliciteit; het is een kwestie van het vergelijken van gemiddeldes. Ten tweede hoeven er nauwelijks aannames gedaan te worden, terwijl de alternatieven vaak afhankelijk zijn van veel en discutabele aannames.
We zagen al hoe econometrische analyses tegen het probleem van simultane causaliteit aanlopen. Instrumentele Variabelen (IVs) bieden in dergelijke situaties wel enigszins een oplossing maar hun rol veranderde “from being solutions to a well-defined problem of
inference to being devices that induce quasi-randomization” (Deaton, 2010, p.425). In de
praktijk leidden verschillende begrippen van IV tot fouten, misverstanden en verwarring terwijl de bewijslast van econometrische analyses vaak staat of valt bij het gebruik van IVs. De scepsis die hierdoor ontstond over econometrische macro-analyses leidde tot een hang naar RCTs.
Een ander voordeel dat Banerjee en Duflo aanhalen is dat RCTs tot zeer verrassende resultaten kunnen leiden die waarschijnlijk niet snel voorzien zouden zijn door onze intuïtie en economische theorieën (2009. p.153). Juist doordat onderzoekers die RCTs toepassen zich niet laten leiden door a priori kennis kunnen de resultaten nog alle kanten op. Cartwright sluit zich hierbij aan. Ze stelt dat in een ideale situatie, als alle assumpties opgaan, positieve resultaten bij een test op basis van die assumpties suggereren dat de gedane interventie effectief is. Maar, “the benefit that the conclusion follow deductively in the ideal case comes
with great cost: narrowness of scope” (Cartwright, 2007, p.11).
Tegelijkertijd is een belangrijk voordeel van RCTs dat ze focussen op een enkele variabele. Observatiegerichte onderzoeken, zo stellen Banerjee en Duflo, passen doorgaans meerdere variabelen tegelijk aan. Dit maakt het erg lastig om de exacte causale relaties vast te stellen (2009, p.153). En ook al kunnen de effecten voor individuen niet worden vastgesteld, maken de experimenten het zo mogelijk om intern valide schattingen te doen van het
gemiddelde effect van een interventie voor de gegeven populatie (ibidem, p.152). Als de 6
bereidheid er is om voldoende experimenten uit te voeren kan op heel nauwkeurige wijze in kaart gebracht worden waar welke interventie wat voor effect heeft. Banerjee en Duflo stellen dat het haast onmogelijk lijkt voor observatiegerichte studies om op eenzelfde wijze hun quasi-experimenten in zoveel settings te herhalen (ibidem, p.162). Het is echter niet
onmogelijk om dit argument voor RCTs te bekritiseren. In sommige gevallen is het namelijk juist de combinatie van een set interventies die tot een bepaald effect leidt. Anders gezegd is een effect van een programma met meerdere interventies niet per se de som van de effecten die de individuele interventies zouden hebben wanneer ze los van elkaar zouden zijn uitgevoerd.
Voor progressieve kennisopbouw is exacte replicatie echter niet eens geboden. Men cumuleert namelijk kennis waardoor elke test er idealiter ook juist anders uitziet. Elke keer nadat je een experiment hebt uitgevoerd beschik je namelijk als het goed is over meer kennis (Banjeree en Duflo, 2009, p.161). Wanneer onder ‘nadelen’ de verstoorde kennismarkt wordt besproken zal echter blijken dat onderzoekers in de praktijk erg weinig prikkels hebben om replicerend onderzoek te verrichten, hetgeen de kracht van dit argument in twijfel trekt.
Nadat een interventie is geïmplementeerd hoeven onderzoekers niet alleen te
observeren, ze zijn ook in staat om in te grijpen en experimenten bij te sturen (ibidem, p.155). Het is mede hierom een groot voordeel dat onderzoekers bij RCTs zich begeven in het veld. Bovendien zijn onderzoekers hierdoor in staat om meer te zien dan alleen data en mogelijk ingrijpen dus ook daarop te baseren (Ravallion, 2009, p.2). Samengevat maken RCTs een dynamische wijze van leren mogelijk. In de praktijk zou dit bijvoorbeeld de vorm aan kunnen nemen van een in eerste instantie breed opgezet project om in het geval van een effect
middels steeds specifiekere interventies te achterhalen welke (combinatie van) factoren precies voor het effect zorgen(/zorgt) (Banerjee en Duflo, 2009, p.154).
In de afgelopen jaren is het vertrouwen onder veel academici zo groot geworden dat men spreekt over RCTs als een generator van ‘gold standard evidence’ dat superieur is aan econometrische bewijzen en die immuun is voor methodologische kritieken die zo vaak zijn uitgesproken over economische modellen en econometrische analyses (Deaton, 2010, p.438)
III. Nadelen
Het enthousiasme over RCTs wordt echter niet door iedereen gedeeld, of in ieder geval niet in dezelfde mate. Waarom niet?
Allereerst gaan er ethische problemen gepaard met het uitvoeren van RCTs. Martin Ravallion merkt hierover op dat sommige participanten de projecten helemaal niet nodig
zullen hebben, terwijl sommige niet-participanten enorm gebaad zouden zijn bij zo’n project (2009, p.2). Dit voelt onrechtvaardig omdat op deze manier daar waar de grootste schaarste heerst de allocatie van deze middelen niet efficiënt is. Anderzijds is het wel het geval dat RCTs als een investering kunnen worden beschouwd om de allocatie van schaarse middelen in de toekomst zo efficiënt mogelijk in te zetten.
Het is volgens Barrett en Carter in ieder geval zo dat er grenzen zijn aan wat RCTs ‘mogen inhouden’. Ze onderscheiden vier ethische principes (2011, pp.243-253). Ten eerste moeten de RCTs voldoen aan het do not harm-principle. Dit houdt volgens Barrett en Carter in dat verwachte schade gegarandeerd gecompenseerd moet worden door social gain; dat participanten en niet-participanten geïnformeerd moeten worden over de risico’s; dat wanneer er toch schade ontstaat, dit wordt gecompenseerd; en dat het onderzoek wordt stopgezet als blijkt dat het schade veroorzaakt. Ten tweede stellen Barrett en Carter dat volgens het
principle of informed consent mogelijke participanten in het onderzoek voordat ze
daadwerkelijk als participanten gebruikt mogen worden en nadat ze volledig zijn geïnformeerd om toestemming moeten zijn gevraagd. Ten derde is er het
blindedness-principle. Wanneer mensen uit een populatie waarop een RCT wordt uitgevoerd weten dat ze
tot een bepaalde subgroep behoren dan kan dit emotioneel lijden veroorzaken. Dit geldt vooral voor subjecten in de controlegroep. Het is daarom de vraag of het moreel wel billijk is om mensen hierover te informeren. Ten vierde is er het targeting-principle. Dit principe heeft betrekking op het punt dat Ravallion maakte. Ook dit principe stelt dat randomization niet tot een optimale allocatie van schaarse goederen leidt en stelt dat het waarschijnlijk beter is om schaarse goederen te verdelen op basis van de kennis die lokaal aanwezig is over wie wat nodig heeft.
Het probleem hier is dat het al dan niet toepassen van de bovenstaande principes niet alleen ethische consequenties heeft, maar ook statistische. Deze principes leiden er
bijvoorbeeld toe dat sommige onderzoeken niet uitgevoerd mogen worden, dat de interne validiteit wordt aangetast omdat geïnformeerde mensen zich bijvoorbeeld zullen terugtrekken, zich berekenend zullen gaan gedragen of zelfs moral-hazard gaan vertonen, en dat überhaupt de willekeurigheid van de toewijzingen in het geding komt. Over het ethische aspect van RCTs is nog lang niet alles gezegd. Hierop zal in het volgende hoofdstuk teruggekomen worden.
Ten tweede is er het probleem van externe validiteit. Resultaten van statistische studies zijn extern valide “if they can be generalized from the population and the setting studied to other
populations and settings” (Stock and Watson, 2012, p.807). RCTs staan bekend als extern
niet erg valide. Dit is een van de grootste struikelblokken voor criticasters van RCTs, zeker omdat er in sommige gevallen met de resultaten wordt omgegaan alsof ze wel extern valide zijn. Banerjee en Duflo verwoorden dit diplomatiek wanneer ze stellen dat “the objection
raised by critics of the experimental literature are best viewed as warnings against overinterpreting experimental results” (2009, p.159).
Het probleem is dat het goed mogelijk is dat ontwikkelingsprogramma’s in verschillende settings en populaties verschillende impacts hebben, door Ravallion
‘heterogeniteit van impacts’ genoemd (2009, p.3). Het zou een zeer discutabele assumptie zijn om aan te nemen dat ontwikkelingsprogramma’s altijd en overal dezelfde impact hebben. We weten namelijk alleen maar dat iets ergens een bepaald effect heeft, maar niet waarom. Hierop zullen we later terugkomen. Hierover stellen Barrett en Carter dat “unobservable and
observable features inevitably vary at the community level and cannot be controlled for in experimental design due to context matters” (2011, p.267). Bepleiters van RCTs stellen dat
dit probleem opgelost kan worden door onderzoeken vaak te herhalen. Ravallion betwijfeld echter of dit tot validere resultaten zal leiden en acht het bovendien hoogst onwaarschijnlijk dat er genoeg fondsen geworven kunnen worden (2009, p.4). Banerjee en Duflo voegen daaraan toe dat de implementatie van een programma altijd een interactie betreft tussen alle betrokken actoren. Exacte replicatie van onderzoeken is daarom praktisch onmogelijk (2009, p.159). Ook hierop komen we later terug.
Daarnaast blijkt in de praktijk dat wanneer een programma wordt opgeschaald na een RCT er veelal geprobeerd wordt om vooral die mensen te bedienen die het het hardst nodig hebben of op wie het het meeste effect heeft. Hierdoor wordt het grootschalige programma echter fundamenteel anders dan het kleinschalige. Input en zelfs het programma zelf kunnen veranderen en Ravallion vraagt zich dan ook af hoe waardevol bij een opschaling de
informatie is die voortkomt uit het oorspronkelijke experiment (2009, p.4). Een andere bedreiging van de externe validiteit zijn spillovers van het programma op niet-participanten. Veelal wordt verondersteld dat deze er niet zijn maar dat is erg onwaarschijnlijk, vooral op de lange termijn. “The extent of this problem depends on the setting, not whether the evaluation
was randomized or not” (idem).
Hierboven staan al enkele praktische moeilijkheden beschreven met betrekking tot de generaliseerbaarheid van experimenten en ethische principes. Hieruit blijkt al dat RCTs minder assumptievrij zijn dan veel van de bepleiters van RCTs pretenderen. Men gaat
bijvoorbeeld uit van volledige beheersbaarheid van experimenten, homogene reacties op interventies tussen verschillende plaatsen, en de afwezigheid van berekenend handelen. Echter, wanneer we kijken naar de onderzoekspraktijk van RCTs is het twijfelachtig of deze assumpties wel kunnen worden gemaakt.
Barrett en Carter zeggen hierover het volgende: “The core purpose of RCTs is to use
random assignment in order to ensure that the unconfoundedness assumption essential to identifying an average treatment effect holds (Imbens, 2010). In the abstract, this is a strong argument for the method. Problems arise, however, when pristine asymptotic properties confront the muddy realities of field applications, and strict control over fully exogenous assignment almost inevitably breaks down, for any of a variety of reasons ... The end result is that the attractive asymptotic properties of RCTs often disappear in practice, much like asymptotic properties of other IV estimators. We term this the “faux exogeneity” problem”
(2011, pp.253-254).
Veel van de ‘muddy realities of field applications’ hebben betrekking op de heterogeniteit van reacties op interventies. Veel beoefenaars van RCTs gaan uit van de assumptie van homogeniteit van deze reacties, terwijl volgens criticasters van RCTs een programma op iedereen andere gevolgen heeft (Ravallion, 2009, p.3 alsook Deaton, 2010, p.441). Bijvoorbeeld Ravallion stelt dat iedereen op een andere wijze reageert op bijvoorbeeld een nieuw product, contract, institutioneel arrangement, informatie en technologie. Zeker bij kleinschalige RCTs is het daarom twijfelachtig of waargenomen reacties wel willekeurig zijn verdeeld. Dit fenomeen, wordt ook wel essentiële heterogeniteit genoemd (Ravallion, 2009, p.3). Hoewel deze heterogeniteit een significante bedreiging vormt voor de interne validiteit van de resultaten van RCTs zijn uitvoerders van experimenten geneigd om deze
ongeobserveerde heterogeniteit te bagatelliseren en “to hide it under the emperor’s clothes of
an RCT that does not truly randomize the treatment to which agents respond; this is crucially distinct from the treatment the experimenter wishes to apply” (Barrett en Carter, 2011, p.256).
Er zijn wel manieren om dit probleem te corrigeren maar in de praktijk gebeurt dit nauwelijks, aldus Ravallion (2009, p.3).
Essentiële heterogeniteit komt bijvoorbeeld om de hoek kijken wanneer een groep individuen, of bijvoorbeeld dorpen en scholen, met bepaalde gedeelde karakteristieken niet aan een experiment mee willen doen terwijl ze wel via randomization als participant waren aangewezen (Banerjee en Duflo, 2011, p.163). Dit leidt tot een verschil tussen de local
average treatment effect (LATE) en de average treatment effect (ATE), of met andere
woorden tussen het gemeten gemiddelde effect en het gemiddelde effect dat een programma 10
op de gehele populatie heeft (Barett en Carter, 2011, p.256). De klassieke remedie hiervoor is
double blinding. Hierbij weten zowel de onderzoeker als de subjecten uit een populatie niet
wie tot de groep behoord die ‘behandeld’ wordt en wie tot de controlegroep behoord. Echter, we zagen hiervoor al dat dit ethische problemen met zich meebrengt. Bovendien is double
blinding erg lastig uitvoerbaar in sociale experimenten. Het is moeilijk verborgen te houden
dat sommigen bepaalde prikkels krijgen en anderen andere of geen prikkels (Deaton, 2010, pp.444-445).
Een andere haast onvermijdelijke complicatie is dat mensen die aan een onderzoek meedoen (zowel participanten als niet-participanten) zich anders kunnen gedragen dan ze normaal zouden doen omdat ze aan een onderzoek meedoen. Dit kan zich uiten in een fenomeen dat reporting bias heet (Banerjee en Duflo, 2009, p.163). Dit houdt in dat mensen, bijvoorbeeld omdat ze willen dat een onderzoeker een bepaald beeld van hen krijgt, onjuiste data verstrekken. Als dit gebeurt dan gaan onderzoekers dus met onjuiste data aan het werk. Het kan zich ook uiten in dat mensen niet zozeer onjuiste gegevens rapporteren, maar dat ze zich daadwerkelijk anders gaan gedragen. Dit kunnen ze ook doen om onderzoekers te
pleasen, of juist te dwarsbonen, maar ook om hun maximale potentiële persoonlijke gewin uit
het experiment te halen op een manier die ze zonder een experiment niet zouden hebben toegepast.
Een probleem dat we al eerder zagen steekt de kop op bij opschaling van programma’s van kleinschalige RCTs naar grootschalig beleid. Dit kan komen door general equilibrium
effects waarvoor RCTs vaak te klein zijn. Daarnaast zullen kleine ontwikkelingsprojecten
bijvoorbeeld niet snel de aandacht trekken van corrupte ambtenaren, maar wanneer de projecten worden opgeschaald misschien wel. Bovendien kan van ambtenaren niet dezelfde zorgvuldigheid worden verwacht in de implementatie van programma’s als van
wetenschappers verwacht mag worden (Barrett en Carter, 2011, p.448). Benerjee en Duflo dragen wel oplossingen aan om deze effecten te mitigeren, maar stellen ook direct vast dat dit de problemen niet helemaal kan oplossen (2009, pp.168-169).
Een ander probleem dat we al eerder zagen is dat van spillovers. Een assumptie die veelal wordt gemaakt bij RCTs is dat niet-participanten niet worden beïnvloed door een experiment (Ravallion, 2009, p.4). In de praktijk is dit echter maar de vraag. Wanneer bijvoorbeeld een participerend dorp en een niet-participerend dorp in dezelfde markt actief zijn is het, al naargelang het project, waarschijnlijk dat het niet-participerende dorp effecten ondervindt van het participeren van het andere dorp. Bovendien kunnen overheden die zien dat bijvoorbeeld een school gesubsidieerd wordt door een NGO omwille van een bepaald
experiment hun eigen budget voor scholen aan andere scholen spenderen (idem). Het is dan erg moeilijk te achterhalen wat het effect van deze spillovers is.
Een laatste probleem in de onderzoekspraktijk van RCTs is dat het gewoonweg erg lastig is om een onderzoeksprogramma te implementeren. “Corruption, incomplete
comprehension of research methods, logistical complications, etc., also lead to imperfect implementer compliance with the intended research design, and thus to sampling bias”
(Barrett en Carter, 2011, p.259). Het is echter onterecht om dit volledig op RCTs als methode af te schuiven. Ook de datawinning bij observationele onderzoeken ondervinden dergelijke moeilijkheden.
Tot zover zijn de ethische problemen van RCTs besproken, de externe invaliditeit van RCTs en de bedreigingen voor de interne validiteit van RCTs. Hiernaast is er nog een belangrijke kritiek op RCTs. Deze kritiek komt erop neer dat wat de RCTs meten, valide en ethisch toelaatbaar of niet, in veel gevallen irrelevant is. Met andere woorden meten RCTs veelal niet wat, bijvoorbeeld, beleidsmakers willen weten.
Om te beginnen is er volgens Ravallion een verstoorde markt voor kennis over ontwikkelingseffecten. Portfolio evaluaties hebben een niet-representatieve hang naar interventies die goed werken (2009, p.1). Agenten die verantwoordelijk zijn voor projecten zonder effect of zonder het gewenste effect zijn namelijk geneigd om evaluaties erover te voorkomen. Bovendien is het moeilijk om evaluaties van dergelijke projecten gepubliceerd te krijgen. Dit geldt ook voor lange termijn effecten. Hiervoor is beduidend minder aandacht dan korte termijn effecten (idem). Deze problemen zijn niet specifiek van toepassing op RCTs, maar een andere implicatie van de verstoorde kennismarkt is dat onderzoekers nauwelijks prikkels hebben om replicerend onderzoek te verrichten. Wetenschappelijke tijdschriften zijn er namelijk niet erg happig op om veelvuldig over hetzelfde onderwerp te publiceren
(Banerjee en Duflo, 2009, p.161). Ook dit effect is niet specifiek van toepassing op RCTs maar wel extra problematisch. Zoals hiervoor beschreven beargumenteerde Banerjee en Duflo namelijk dat juist replicatie van RCTs kan leiden tot progressieve kennisopbouw en dat replicaties de tekortkomingen van RCTs met betrekking tot externe invaliditeit kunnen beperken. Dat dit in de praktijk niet mogelijk is kan dan ook als tekortkoming worden gezien van RCTs als methode.
De mogelijke kennisopbouw met behulp van RCTs wordt dus beperkt door deze verstoorde kennismarkt. Echter, daarnaast is de kennis die RCTs idealiter tot stand kunnen brengen vaak niet het enige of datgene wat beleidsmakers willen weten. RCTs zijn enkel
gericht op of iets een effect heeft en hoe zeer. Exclusieve focus op de ATE is alleen van waarde onder bepaalde sociale welvaartsfuncties (Banerjee en Duflo, 2009, p.169). Beleidsmakers willen bijvoorbeeld ook vaak weten of de interventie ook zo gewerkt heeft zoals bedoeld, wat het percentage participanten is dat gebaad was bij de interventie en hoe deze is verdeeld, wat er gebeurd als het programma op grotere schaal wordt toegepast, en hoe het verbeterd kan worden om de impact te vergroten (Ravallion, 2009, p.3).
Wat bijvoorbeeld een probleem voor beleidsmakers is is dat RCTs in het geval van heterogeniteit van effecten niet helpen bij keuzes over specifieke gevallen of subgroepen. Een voorbeeld dat Deaton geeft is dat als op basis van een RCT blijkt dat dammen in India
gemiddeld genomen niet tot een reductie van armoede leiden, dit niets zegt over het effect van een specifieke dam, zelfs niet als deze in het onderzoek was opgenomen. Toch moeten
beleidsmakers over het algemeen een beslissing nemen over bijvoorbeeld de bouw van een bepaalde dam, of over een doelgroep met bepaalde criteria. Het is dan erg onbevredigend dat er niets gezegd kan worden over welke factoren bepalen of bijvoorbeeld een dam wel of geen effect heeft op armoede (Deaton, 2010, p.441 en p.448).
Barrett en Carter maken een onderscheid tussen de efficacy en de effectiveness van een programma (2011, p.263). Het eerste houdt in dat een programma een effect heeft, het tweede dat een programma het beoogde effect heeft. Het eerst is een eerste stap voor de promotie van een bepaald ontwikkelingsprogramma, maar niet de beslissende (idem).
Een ander punt dat Barrett en Carter maken is dat RCTs alleen kunnen worden
toegepast op bepaalde vraagstukken (2011, p.264). Vragen op het terrein van macro-economie of politieke economie zijn bijvoorbeeld minder geschikt, terwijl deze volgens velen van eerste-orde belang zijn. Grootschalige infrastructurele projecten kunnen bijvoorbeeld praktisch niet worden gerepliceerd (idem) en de kosten van de aanleg van wegen zij te hoog om te laten gebeuren op basis van willekeurige toewijzing.
Dat RCTs niet geschikt zijn voor de beantwoording van alle vragen omtrent
ontwikkelingseconomie is geen kritiek op de methode als zodanig. Het wordt echter wel een probleem als RCTs beschouwd worden als de manier om tot kennis te komen en als de goudstandaard van ontwikkelingseconomie (Barrett en Carter, 2011, p.265). In dat geval wordt de onderzoeksagenda namelijk bepaald door op welke onderwerpen RCTs kunnen worden toegepast in plaats van door welke vraagstukken relevant zijn om te behandelen.
Bovendien zijn de mogelijkheden van RCTs met betrekking tot kennisopbouw beperkt. Ze tonen namelijk alleen dat en niet waarom iets werkt (Deaton, 2010, p.426). Het waarom is echter nu juist wat voor externe validiteit van belang is. Echter, wanneer
onderzoekers zich op het terrein gaan begeven van waarom iets werkt dan zullen ze theorieën en assumpties nodig hebben die zoveel weerstand opriepen onder academici en tot de
populariteit van RCTs hebben geleid.
Duflo, Glennerster, and Kremer stellen expliciet dat de standaard wijze in ontwikkelingsliteratuur een regressie is met enkel een constante, een errorterm, en een
dummy die aangeeft of iemand wel of niet heeft deelgenomen aan een project (2008, p.3921). De richtingscoëfficiënt (zeg β) van de dummy geeft hierin aan wat het effect is van een bepaald programma. De β is het enige dat RCTs over het algemeen meten. Echter, door heterogeniteit is deze β niet in alle individuele gevallen constant, en Deaton stelt dat het juist deze verschillen zijn die de achterliggende mechanismes weergeven en dus het onderwerp van studie zouden moeten zijn (2010, p.429). Achter deze verschillen gaan namelijk verklaringen schuil waarom iets in een bepaalde context effect heeft en waarom het het effect heeft dat het heeft.
IV. Deelconclusie
In dit hoofdstuk is behandeld waar de populariteit van RCTs zijn oorsprong vindt, namelijk in een sceptische houding jegens complexe economische modellen en econometrische analyses die in de praktijk vaak niet blijken te werken en berusten op discutabele assumpties. RCTs hoeven deze assumpties niet te doen. Bovendien zijn ze relatief eenvoudig en kunnen ze, hetzij in combinatie met enkele assumpties, tot resultaten leiden die als intern valide kunnen worden beschouwd. Replicatie van experimenten kan zelfs tot een zekere kennisopbouw leiden.
Tegelijkertijd hebben we gezien dat de mogelijkheden van RCTs worden beperkt door een aantal ethische kwesties, dat er zonder aannames te doen niet gesproken kan worden van externe validiteit, dat de weerbarstige onderzoekspraktijk waarin de uitvoerders van RCTs zich begeven ook de interne validiteit van RCTs twijfelachtig maakt, en dat RCTs ons lang niet altijd datgene leren wat we willen weten.
Om RCTs de goudstandaard van de ontwikkelingseconomie te noemen lijkt alles bij elkaar wat overdreven. Daarvoor zijn de mogelijkheden te beperkt en de moeilijkheden bij de uitvoering van RCTs te groot en te veel in aantal. Veel van de behandelde economen pleiten dan ook voor een herwaardering van de rol van RCTs en theorieën in de kennisopbouw van de ontwikkelingseconomie als wetenschap.
Volgens Deaton kan dit ook niet anders. Goede RCTs zijn veeleisend. Er ontstaan vaak problemen die met statistische en econometrische correcties moeten worden opgelost.
Echter, dit verwijderd ons uit de wereld van ideale RCTs en brengt ons terug in de wereld van statistiek en econometrie. Daarom, ondanks dat RCTs vaak bruikbaar zijn, herbergen RCTs geen speciale of uitzonderingspositie (Deaton, 2010, p.447).
Cartwright beargumenteerd ongeveer hetzelfde, maar dan met andere woorden: “the
validity of evidence-based policy depends on the weakest link in the chain of argument and evidence, so that by the time we seek to use the experimental result, the advantage of RCTs over matching or other econometric methods has evaporated. In the end, there is no substitute for careful evaluation of the chain of evidence and reasoning by people who have the
experience and expertise in the field. The demand that experiments be theory-driven is, of course, no guarantee of success, though the lack of it is close to a guarantee of failure”
(Deaton, 2010, p.450).
Deaton stelt voor dat RCTs, en veldonderzoek in het algemeen, een verbindende functie moeten hebben tussen ‘laboratoria’ en ‘natuurlijke data’ (2010, p.451). Als dit lukt dan leidt dit tot realisme dat vaak ontbrak in theoretische modellen en analyses en
tegelijkertijd tot de mogelijkheid om substantiële economische theorie te ontwikkelen en gebruiken. Ook Banerjee en Duflo pleiten voor een positie tussen te weinig assumpties, omdat generalisatie in dat geval niet mogelijk is, en te veel assumpties, wanneer observationele data als voldoende beschouwd kunnen worden (2009, p.159).
Ook Barrett en Carter komen tot een vergelijkbare conclusie: “Behavioural economics
that render observable measures of key sources of economically relevant heterogeneity hold out promise for studies using both experimental and observational data. Of course, in the end, no measures are beyond reproach. We treat them all with healthy, structural scepticism and retreat from the radical scepticism that prevails in much of economics today. Rebalancing the mix of theory, observational data and randomization in development economics will not deliver an elusive gold standard. But it just might return us to … the relentless pursuit of, not unbiasedness per se, but of confidence intervals that are sufficiently narrow to reliably guide policy advice and the design of development interventions that can improve the human condition without predictably harming those whom we hope will benefit from our research”
(Barrett en Carter, 2011, p.269).
Hoofdstuk 2 – Reflectie
In het vorige hoofdstuk zijn de argumenten voor en tegen het uitvoeren van RCTs besproken zoals die worden genoemd in het huidige academische debat. In dit hoofdstuk worden dezelfde argumenten nogmaals langskomen, maar dan met een ander doel. Het vorige
hoofdstuk diende er vooral toe om een overzicht te bieden van het momenteel gevoerde debat over RCTs. Dit hoofdstuk zal vooral een overzicht bieden van waar deze argumenten vandaan komen, wat de assumpties, claims en waardenoordelen zijn die hieraan voorafgaan.
Dit hoofdstuk bestaat uit twee delen. Het eerste deel behandeld de argumenten met betrekking tot de ethiek rondom RCTs, het tweede deel behandeld waar veel van de overige voor- en tegenargumenten vandaan komen. Deze opsplitsing heeft twee redenen. Ten eerste is deze opsplitsing gebaseerd op een onderscheid dat Immanuel Kant maakt. Hij onderscheidt twee perspectieven waar vanuit geanalyseerd kan worden. Ten eerste is er het verklarende perspectief; ten tweede het rechtvaardigende perspectief (Kleingeld, 2011, p.197). Het onderscheid tussen beide perspectieven is dat het verklarende onderzoek causale relaties tracht te achterhalen en haar analyses opstelt in termen van oorzaak en gevolg. Het
rechtvaardigende perspectief velt oordelen en stelt haar analyses op in termen van reden en doel. Beide perspectieven kunnen hetzelfde object van studie analyseren, maar worden op verschillende momenten toegepast. Kleingeld geeft een psychiater als voorbeeld die uit haar rol valt wanneer ze ‘foei’ roept tegen iemand wiens handelen ze probeert te verklaren aan de hand van oorzaken (idem).
De tweede reden voor de gekozen opsplitsing is dat Boumans en Davis stellen dat economen met toenemende mate te maken krijgen met morele normen, door de twee auteurs omschreven als “widely held rules or conventions about what is right and wrong” (2010, p.182). Boumans en Davis stellen dat deze morele normen doorgaans weinig fundering hebben in de vorm van ethische waardes en theorieën. Ze stellen bovendien dat het niet de rol van economen is om de fundering voor deze normen vorm te geven. Doordat de argumenten in hoofdstuk 1 alleen door economen zijn gegeven is het dan ook niet verwonderlijk dat datgene dat over ethiek gezegd is onvoldoende is om een ethisch oordeel over RCTs te vellen. Door een paragraaf speciaal aan ethiek te wijden zal worden gepoogd in dit hoofdstuk het ethische debat iets meer substantie te geven in het debat over RCTs en krijgt het
rechtvaardigende perspectief een dominantere rol dan in het algemene debat waar het overgrote deel van de argumenten uit het verklarende perspectief lijkt te komen (of het
overgrote deel van de argumenten inderdaad uit dit perspectief komt zal in de tweede paragraaf nader worden geanalyseerd).
Ter vervollediging van het voorgaande dient te worden opgemerkt dat bijvoorbeeld de vraag tot welke kennis wij precies willen komen met behulp van wetenschappelijk onderzoek ook een vraag is die vanuit het rechtvaardigende perspectief beantwoord moet worden. Toch komt deze vraag niet in de eerste paragraaf aan bod. De reden hiervoor is dat er op deze manier meer focus kan worden gelegd op de ethiek rondom RCTs hetgeen in mijn ogen een onderbelicht onderwerp is in het huidige debat. Het debat over tot welke kennis men wil komen komt in het huidige debat al veel uitgebreider aan de orde en de argumenten die uit de keuze tot welke kennis men wil komen volgen vinden veelal hun oorsprong in het verklarende perspectief.
Paragraaf 2.1 – Ethiek en RCTs
In het vorige hoofdstuk zijn enkele door economen veronderstelde ethische problemen
behandeld met betrekking op de uitvoering van RCTs. Het woord ‘behandeld’ is hierbij echter nauwelijks op zijn plaats. Het is beter om te zeggen dat er veronderstelde problemen zijn ‘benoemd’. Barrett en Carter, bijvoorbeeld, gaan niet verder dan te stellen dat het do not
harm-principle inhoudt dat je mensen geen schade mag aanrichten, en gaan daarna direct door
naar voorbeelden en implicaties hiervan. Hoe vanzelfsprekend dit ook moge klinken is er nauwelijks sprake van enige argumentatie. Aan het verbod om mensen geen schade aan te richten met een RCT moet toegevoegd worden op basis waarvan dit niet mag. Zonder verdere toelichting is het do not harm-principle namelijk alsof uit de lucht gegrepen en biedt het geen gefundeerde redenen om daadwerkelijk nageleefd te worden. In deze paragraaf zal worden bekeken of het mogelijk is om onderzoekers standaarden te bieden aan de hand waarvan zij de ethische juistheid van hun keuze voor RCTs en vervolgens hun onderzoeksopzet kunnen toetsen. Het doel van deze paragraaf is te analyseren of vanuit het ethische perspectief RCTs als goudstandaard van de ontwikkelingseconomie kunnen worden beschouwd. Met andere woorden: zijn RCTs het onbetwiste goede om als onderzoeksmethode te hanteren? Of kunnen er juist vanuit ethisch perspectief vraagtekens worden gezet bij het gebruik van RCTs?
Er zijn meerdere invalshoeken waar vanuit RCTs ethisch getoetst kunnen worden. Er is bijvoorbeeld een hoop te zeggen over aan welke ontwikkelingen wetenschappelijk
onderzoek met betrekking tot ontwikkelingseconomie vanuit ethisch oogpunt zou moeten bijdragen. Vervolgens zouden RCTs beoordeeld kunnen worden op de mate waarin ze hiertoe zinvol zijn. Hierover zagen we in het vorige hoofdstuk bijvoorbeeld dat Banerjee en Duflo stelden dat RCTs alleen voldoende zijn onder bepaalde social welfare functions (2009, p.169). Deze invalshoek zal in deze paragraaf niet behandeld worden. Op deze manier worden RCTs enkel als middel gezien om tot de verwezenlijking of maximalisatie van een bepaald ideaal te komen. Dit is zeker een wezenlijke rol van RCTs die voor de beantwoording van de
onderzoeksvraag van dit onderzoek zelfs van groot belang kan zijn. De reden dat deze invalshoek toch niet wordt behandeld in dit onderzoek is dat de literatuur over social welfare
functions zo uitgebreid en divers is en het debat zo uitvoerig dat het, gezien de omvang van
dit onderzoek, een onmogelijke opgave zou zijn om dit debat te beslechten, terwijl dit
noodzakelijk is om de instrumentele rol van RCTs te beoordelen. Er zal in de behandeling van het consequentialisme wel een opmerking worden gemaakt die van toepassing is op alle social
welfare fuctions omdat deze opmerking logischerwijs volgt uit de consequentialistische
ethiek.
In deze paragraaf zal de ethiek rondom de uitvoering van RCTs worden behandeld, of beter, van RCTs als zodanig. Dit zal worden gedaan aan de hand van de consequentialistische en de deontologische ethiek. Er bestaat een veelheid aan ethische theorieën op basis waarvan RCTs ethisch geanalyseerd zouden kunnen worden. Er zijn twee redenen waarom voor het consequentialisme en de deontologie is gekozen en niet voor andere stelsels. Allereerst zijn deze twee stelsels twee van, zo niet de twee, bekendste, meest invloedrijke en breedst aangehangen ethische stelsels. Ten tweede vertoont het consequentialisme grote overeenkomsten met de ethiek die binnen de economische wetenschap, vaak impliciet, gebezigd wordt. De deontologie staat bekend als de grootste kritiek op het consequentialisme en is zowel als contrast alsook als alternatief toegevoegd.
Consequentialisme
Zoals de benaming van het consequentialisme doet vermoeden is haar ethiek gericht op consequenties. Met andere woorden, het gaat consequentialisten er alleen om dat de gevolgen van een handeling of keuze goed zijn. Moore stelt dan ook dat “Acts are morally right just
because they maximize the amount of goodness in the world” (Shafer-Landau, 2012, p.118).
Dit is een stelling waar weinig tegen is in te brengen. Er staat eigenlijk: hoe meer goed hoe beter. Dit is logisch; beter en meer goed betekenen precies hetzelfde. Dit ontkennen zou inhouden dat het mogelijk is te stellen dat meer goed ook minder of even goed kan betekenen. Wanneer we aannemen dat er een eenduidige definitie van ‘het goede’ is te geven dan is de stelling dat meer goed niet per se beter hoeft te zijn dan ook inconsistent en dus logisch onjuist. De vraag is alleen wat het goede is.
Volgens de meest prominente consequentialist, John Stuart Mill, is dit welzijn, geluk of utiliteit – woorden die hij in zijn teksten door elkaar gebruikt. Deze specifieke vorm van consequentialisme heet utilitarisme. Zijn aanpak is niet alleen de meest geaccepteerde vorm van consequentialisme, maar zal ook het meest natuurlijk aanvoelen voor economen. Net als economen stelt Mill dat er een manier moet worden gevonden waarop utiliteiten meetbaar en vergelijkbaar worden. Conform het consequentialisme moeten deze utiliteiten vervolgens gemaximaliseerd worden. Veel economen zijn in eenzelfde traditie opgeleid.
Het principe waarop handelingen, of methodes zoals RCTs, beoordeeld worden volgens utilitaristen is het utiliteitsprincipe. Dit principe houdt in “that actions are right in
proportion as they tend to promote happiness, wrong as they tend to produce the reverse of
happiness. By happiness is intended pleasure, and the absence of pain; by unhappiness, pain, and the privation of pleasure” (Mill, 1969, p.210). Zoals het consequentialisten gaat om de
maximalisatie van het totaal van ‘het goede’, gaat het utilitaristen om de maximalisatie van het totaal aan utiliteit. De bekende stijlregel waarin Mill dit verwoord is dat het gaat om “the
greatest good for the greatest number” (Shafer-Landau, 2012, p.120).
Verder stelt Mill dat utiliteit de som betreft van plezier minus pijn (Mill, 1969, p.209). Met deze definitie van utiliteit verwerpen utilisten in een klap alle ethische problemen die in hoofdstuk 1 zijn genoemd. Als we Mill volgen is het namelijk helemaal niet per definitie oneerlijk dat schaarse middelen bij willekeurige toewijzing niet altijd bij de meest
hulpbehoevenden terecht komen, dat mensen schade aan een RCT ondervinden, dat mensen niet geïnformeerd worden, of dat ze psychische last kunnen krijgen van de wetenschap tot welke subgroep ze behoren. Dit is allemaal acceptabel zolang de totale utiliteit op de wereld maar toeneemt, wat wil zeggen dat de pijn die hieruit volgt wordt gecompenseerd door plezier bij henzelf of anderen.
Het moge duidelijk zijn dat het utilitarisme net zo min als waar kan worden beschouwd als de ethische principes zoals geformuleerd door Barrett en Carter. Er gaan aannames aan vooraf, zoals het bestaan van ‘het goede’ dat ook nog eens eenduidig is, dat dit ‘goede’ gelijk is aan utiliteit en dat utiliteiten meetbaar en vergelijkbaar zijn. Het utilitarisme toont echter wel aan dat de principes van Barrett en Carter niet zomaar mogen worden
geponeerd. In het geval Barrett en Carter uitgaan van het utilitarisme en tegelijkertijd de door hunzelf genoemde principes aanhangen dan komen ze voor wat betreft de rechtvaardiging van hun keuze voor RCTs in de problemen vanwege inconsistentie in hun redenering.
Omdat het utilitarisme alle in hoofdstuk 1 uit hoofde van ethische principes genoemde restricties aan RCTs naast zich neer legt lijkt het een vrijbrief te geven aan onderzoekers om alle gewenste RCTs uit te voeren. Zeker omdat, zoals Banerjee en Duflo hebben aangegeven, RCTs hebben aangetoond tot verassende resultaten te kunnen leiden (2009, p.153). Toch blijkt utilitarisme voor RCTs zeer problematisch te zijn. Hoewel het utilitaristen niet uitmaakt
hoe een RCT leidt tot maximalisatie van utiliteit, het is wel essentieel dat een RCT tot deze
maximalisatie leidt.
Wanneer we Mill heel strikt volgen dan kan een handeling of beslissing alleen
naderhand worden beoordeeld, als alle consequenties zich aan ons hebben voorgedaan. Om te beoordelen of er een RCT moet worden uitgevoerd hebben onderzoekers in dat geval dus, om met Shafer-Landou (2011, p.122) te spreken, een kristallen bol nodig. Dit is echter een
onwerkbare situatie voor iemand die graag een besluit wil nemen over welke handeling, of in dit geval wetenschappelijke methode, diegene zou moeten uitvoeren. Sommige utilitaristen na Mill hebben dit als een tekortkoming van Mills utilitarisme erkent. Zij stellen daarom dat iemand beoordeeld moet worden op basis van de effecten die iemand verwacht te hebben met zijn/haar handelen. De keuze voor een RCT is in dat geval de juiste keuze wanneer de te verwachten effecten van de RCT tot meer utiliteit leiden dan alle andere alternatieven.
Hier komen de bepleiters van RCTs echter in de problemen. Veel van hen stellen namelijk dat er geen voorspellingen kunnen worden gedaan over de effecten van een
experiment – vandaar het experiment. Om dit te doen zullen er alsnog theorieën en modellen gebouwd moeten worden, of tenminste assumpties worden gedaan. Het is zeker niet gezegd dat een RCT zinloos is in combinatie met assumpties, maar hiermee vervalt wel een van de grootste voordelen van RCTs en verliezen RCTs de uitzonderingspositie die veel van hun bepleiters RCTs toedichten. Dit gaat niet alleen bij het utilitarisme op, maar bij alle vormen van consequentialisme.
Bovendien is het voor ontwikkelingseconomen erg moeilijk om het consequentialisme te verwerpen, omdat het consequentialisme en micro-economie zeer nauw met elkaar
verbonden zijn. Wellicht is het zo dat het idee dat meer altijd beter is enigszins is achterhaald, maar ook andere social welfare functions, zoals die beschreven door zijn Rawls, Nussbaum en Marx, impliceren dat de consequenties van, bijvoorbeeld, een experiment bepalen of het uitgevoerd moet worden of niet. In alle gevallen is de rechtvaardiging van RCTs dus
afhankelijk van voorspellingen van de effecten van die RCTs. Wanneer het consequentialisme wordt opgegeven als bepalingsgrond van wat goed is en wat niet dan zou dit praktisch alle micro-economische literatuur en principes, vanuit het rechtvaardigende perspectief, onderuit halen als bepalingsgrond voor welke keuzes iemand moet maken. En dat terwijl veel van de vragen waarop ontwikkelingseconomen een antwoord zoeken van micro-economische aard zijn en hetzelfde geldt voor een nog groter deel van de vragen waarop RCTs toegepast kunnen worden (Barrett en Carter, 2011, 264). Wanneer consequentialisme echter gehandhaafd blijft als bepalingsgrond van wat goed of fout is moeten, om de keuze voor RCTs te
verantwoorden, aannames worden gedaan over de effecten van een experiment, terwijl veel voorstanders van RCTs nu juist wilden voorkomen dat ze deze moesten maken.
Deontologie
Omdat economische theorieën doorgaans impliciet doordrongen zijn van het
consequentialistisch gedachtengoed kan bij economen wellicht de vraag rijzen of er überhaupt 21
alternatieven zijn voor consequentialisme. Die zijn er. Een van de bekendste is de
deontologie. De deontologie stelt haast het omgekeerde van consequentialisme; namelijk dat iets niet als goed of fout beoordeeld kan worden op basis van (te verwachten) effecten, maar alleen op basis van intenties.
De grondlegger van de deontologie is Immanuel Kant. Volgens Kant is het enige dat “zonder restrictie voor goed gehouden kan worden … een GOEDE WIL” (Kant, 1785, p.393). Allerlei andere eigenschappen en deugden zoals moed, koelbloedigheid, vastbeslotenheid en scherpzinnigheid kunnen ook goed zijn, maar kunnen ook kwaadaardig zijn wanneer ze worden gekoppeld aan een slechte wil. Een moordenaar, bijvoorbeeld, die zo slim is om listen te bedenken en zo koelbloedig om zijn pistool goed te kunnen richten is waarschijnlijk zelfs nog slechter dan een moordenaar die zichzelf niet meer in de hand heeft. Dit geldt ook voor geluk, dat voor overmoed kan zorgen. Al deze eigenschappen en vaardigheden zijn dus alleen
waardig als ze zijn gekoppeld aan een goede wil.
“Een goede wil is niet goed door wat hij tot stand brengt of verricht, niet door zijn geschiktheid om een gesteld doel te bereiken, maar hij is enkel goed door het willen, dat wil zeggen: op zich genomen … Aan deze waarde kan nut of vruchteloosheid niets toevoegen of afdoen. Zijn nut zou, als het ware, enkel maar de zetting zijn om hem in de gewone omgang beter te kunnen hanteren of om de aandacht op zich te vestigen van diegenen die nog
onvoldoende kenner zijn, maar niet om hem bij kenners aan te bevelen en om zijn waarde te bepalen” (Kant, 1785, p.394).
Laat ons een voorbeeld nemen dat de moeilijkheden van het consequentialisten aangeeft en de kracht van de deontologie. Stel de volgende twee scenario’s voor:
1. Een automobilist ziet een kind dat oversteekt. Hij wil remmen, maar zijn remmen laten het afweten waardoor hij het kind aanrijdt. Vervolgens stopt hij omdat hij vindt dat hij het kind moet helpen. Er valt echter niets te helpen want het kind is overleden.
2. Een automobilist ziet een kind dat oversteekt. Hij besluit nog wat extra gas te geven omdat hij het leuk vindt om het kind aan te rijden. Hierna stopt hij even de auto om de schade aan zijn auto op te nemen. Als hij weer verder wil rijden start de motor niet waardoor hij noodgedwongen stil moet blijven staan. Het kind is overleden. Volgens het consequentialisme is er weinig verschil tussen beide situaties. Ceteris paribus leiden beide scenario’s namelijk tot hetzelfde resultaat – een dood kind en een stilstaande auto. Het utilitarisme zou stikt genomen het tweede scenario zelfs prefereren omdat de bestuurder daar tenminste nog plezier aan het voorval heeft beleefd. Een deontoloog zal echter concluderen dat de intenties van de automobilist in het tweede scenario verkeerd zijn
en in het eerste geval goed (tenzij de automobilist in het eerste scenario willens en wetens met defecte remmen zonder noodzaak de weg op ging). Daarom zouden deontologen de
automobilist in het eerste geval niet de dood van het kind verwijten, maar in het tweede geval wel.
Een goede wil is niet zo vrijblijvend als het wellicht klinkt. Een goede wil leidt
namelijk tot plichten. Het begrip van de plicht omvat het begrip van de goede wil (Kant, 1785, p.397). Iets is alleen intrinsiek van waarde wanneer het gebeurt omwille van de plicht. Bij het vorige voorbeeld is het duidelijk dat de automobilist in het tweede scenario dit niet doet omdat zijn handelen tegen de plicht ingaat (we zullen zo dadelijk zien waarom). Een voorbeeld dat Kant (1785, p.397) zelf aanhaalt laat zien dat het soms moeilijker is om te duiden of iets omwille van de plicht gebeurt of niet is het volgende: stel dat een winkelier een kind eenzelfde prijs rekent als meer ervaren klanten en dat hij dit doet om reputatieschade te voorkomen (het risico bestaat namelijk dat dit uitkomt). In dat geval handelt de winkelier wel
conform de plicht, maar niet omwille van de plicht. Dit zou wel het geval zijn wanneer de
winkelier van mening is dat hij een eerlijke prijs voor iedereen behoort te rekenen. Het is zelfs zo dat wanneer de winkelier een kind uit hoofde van liefde, hij is een kindervriend of familie, de gangbare prijs rekent, de prijs niet omwille van de plicht voor iedereen gelijk is, maar vanuit persoonlijke neigingen.
De laatste zin van de vorige alinea duidt een belangrijk element van Kants theorie. ‘Goede’ handelingen komen nooit voort uit neigingen of verlangens. Dus ook niet wanneer deze gelijk zijn aan handelingen die omwille van de goede wil, oftewel de plicht, gebeuren. Wat de goede wil is moet volgens Kant berusten op redenen. Dus, iemand met een goede wil beredeneerd wat goed is om te doen en legt dit zichzelf op als plicht. Alleen als deze persoon vervolgens handelt omwille van deze plicht dan handelt hij vanuit zijn goede wil en de goede wil is het enige dat ten alle tijden goed is, en de handelingen die omwille van de plicht gebeuren daarmee ook. Deze plicht noemt Kant ook wel de morele wet.
Wanneer wij onze rede bepalend laten zijn voor ons handelen dan leggen wij onszelf een ‘gebod van de rede’ op. De formulering van zo’n gebod heet een imperatief (Ibidem, p.413). Er bestaan twee soorten imperatieven. Hypothetische imperatieven schrijven voor wat er logischerwijs moet gebeuren om een bepaald doel te bereiken (je moet bijvoorbeeld appels kopen als je een appeltaart te bakken). Echter, we hebben gezien dat hieruit volgens Kant niet onze morele wet volgt. Dit geldt wel voor de categorische imperatieven, waaraan mensen zich willen houden omdat ze goed van wil zijn. “De categorische imperatief zou dan de imperatief
zijn die een handeling als voor zichzelf, zonder betrokkenheid van een ander doel, als objectief noodzakelijk presenteert” (Ibidem, p.414).
De categorische imperatief geldt als ultiem moreel principe. De vraag is nu wat de categorische imperatief is? Kant draagt meerdere kandidaten aan. De bekendste formulering van de categorische imperatief staat bekend als het principe van universaliseerbaarheid (Ibidem, p.421). Shafer-Landau (2011, pp.154-167) heeft deze echter dusdanig overtuigend weerlegd dat deze hier niet behandeld zal worden. Een tweede formulering staat bekend als het principe van de menselijkheid. Dit principe stelt: “handel zo dat jij het mens-zijn, zowel in eigen persoon als in de persoon van ieder ander, altijd tegelijk als doel, nooit louter als middel gebruikt” (Kant, 1785, p.429).
Met het mens-zijn bedoelt Kant de rede. Dit is volgens Kant wat mensen onderscheid van andere vormen van leven. Of beter gezegd, het vermogen om van iemand zijn/haar rede bepalend te laten zijn voor ons handelen, en iemands vermogen om zichzelf een morele wet op te leggen. Wanneer iets of iemand over dit vermogen beschikt dan is hij autonoom en waardevol, aldus Kant (ibidem, p.440). Een redelijk wezen (vanaf nu wordt hiernaar
verwezen met mensen) moet altijd als dusdanig behandeld worden, dus waardig en als iemand die autonoom is, en deze waardigheid en autonomie mogen nooit ontkent worden door deze persoon als middel te gebruiken om een bepaald doel te bereiken. In het geval van de
automobilist die het kind aanrijdt omdat hem dit pleziert gebruikt het kind als middel om tot dit plezier te komen. Daarom is de automobilist in dit scenario laakbaar. In het scenario waarin de automobilist wil stoppen voor het kind, omdat deze automobilist het kind als redelijk wezen respecteert, dan handelt deze persoon omwille van de plicht. Hij/zij is daarom niet laakbaar. Echter, wanneer de automobilist alleen wilde remmen om schade aan de auto te voorkomen dan betuigt deze handeling niet van respect voor het kind en volgt de handeling dus niet uit de morele wet. Het is dan niet mogelijk te stellen dat deze handeling ‘goed’ was.
Hoe verhouden RCTs zich tot Kants categorische imperatief wanneer we deze als grondslag gebruiken om te bepalen wat goed is en wat niet? Allereerst volgt uit de deontologie dat RCTs op zichzelf niet goed kunnen zijn. Het enige dat op zichzelf goed is dat is de goede wil. Of een RCT het goede is om te doen hangt af van de vraag of haar uitvoerders het als hun plicht zien om het uit te voeren. Met betrekking tot ontwikkelingshulp stelt Shafer-Landau dat Kant hier het volgende over zou hebben gezegd: “Aid workers motivated by compassion or
sympathy are not to be praised for their good deeds. But those who overcome a complete lack of interest and nonetheless offer help, not because they want to but just because it is their duty
to do so, will receive full moral credit” (2011, p.175). Shafer-Landau voegt hier wel aan toe
dat compassie en sympathie wel samen kunnen gaan met een plicht. Het gaat er alleen om dat de plicht beslissend is voor het uitvoeren, van in dit geval, de hulp. Anders volgt iemand slechts zijn neigingen en dat is niet prijzenswaardig, aldus Kant.
Het is mogelijk dat het uitvoeren van RCTs volgt uit de morele wet wanneer iemand op basis van de categorische imperatief beredeneerd dat mensen in een situatie waarin ze op ‘onmenselijke’ wijze leven geholpen dienen te worden en diegene veronderstelt dat RCTs hiertoe het beste middel zijn. Echter, wanneer iemand veronderstelt dat theoretische modellen een beter middel zijn dan zal uit de wet van die persoon volgen dat hij/zij de plicht heeft om theoretische modellen te bouwen.1 Een deontoloog kan dus redenen hebben om een RCT als de goudstandaard te beschouwen, maar een RCT kan op zichzelf niet als goudstandaard worden beschouwd.
Daarnaast volgen er uit de deontologie een aantal voorwaarden waaraan een RCT moet voldoen, zelfs als het gebruik van RCTs als plicht wordt beschouwd. Neem bijvoorbeeld het idee van double blinding dat Deaton oppert om berekenend gedrag bij participanten te voorkomen (2010, pp.444-445). Dit druist tegen de categorische imperatief van menselijkheid in. Mensen worden in dit geval namelijk alleen maar als middel gebruikt om tot kennis te komen. Hun rol in het geheel is dan niet veel anders dan die van een proefmuis in een laboratorium en daarmee wordt de autonomie en waardigheid van de leden van de onderzochte populatie ondermijnd.
Wat zijn precies de voorwaardes die de categorische imperatief van menselijkheid stelt aan RCTs? We hebben gezien dat conform deze imperatief de autonomie van mensen ten alle tijden gerespecteerd moet worden. Zij moeten dus zelf hun eigen wet op kunnen blijven leggen. Deze vereiste vormt voor de inhoud van de meeste RCTs geen bedreiging. Ook wanneer een interventie wordt opgelegd zonder toestemming van een participant dan is het alsnog aan de participant hoe hij hierop reageert. Het is, zoals bij double blinding, wel problematisch wanneer de inwoners van een populatie niet vooraf wordt gevraagd of ze aan een RCT deel willen nemen. Dan, nogmaals, zouden onderzoekers de mensen uit deze
1 Dit klinkt wellicht consequentialistisch. Er is hier sprake van een hypothetische imperatief die volgt uit de
categorische imperatief. Het verschil met het consequentialisme is dat hier volgens de deontologie de juistheid van een handeling afhangt van een redenering. Wanneer iemand aanneemt dat RCTs beter werken dan modellen dan redeneert iemand juist wanneer hij/zij stelt dat hij RCTs moet gebruiken. Volgens de deontologie is het dus niet noodzakelijk dat iemand voorspellingen doet over de effecten en deze vergelijkt met de effecten van alternatieven. Dit is wel een vereiste vanuit het consequentialistische standpunt. Volgens het
consequentialisme hangt de waardigheid van een handeling namelijk volledig af van deze effecten, en niet van of een redenering wel consistent is en volgt uit een bepaald principe.
25
populatie alleen als middel gebruiken. Een vereiste is dus toestemming vooraf van de mensen uit de populatie waarop de RCT uitgevoerd zal worden. Daaruit volgt ook een tweede
vereiste: inlichting van diezelfde populatie over wat de betreffende RCT behelst, wat het doel is van het onderzoek, wat de risico’s zijn voor de populatie etc. Deze vereiste volgt in
tegenstelling tot de eerste vereiste niet logischerwijs uit de gehanteerde categorische imperatief, maar wel uit de eerste vereiste. Wanneer er geen uitleg wordt gegeven over de inhoud van RCTs dan is er geen sprake van het voorleggen van een keuze, maar van het iemand dwingen tot het doen van een gok. Dit kan niet als waarborging van iemands autonomie worden gezien.
Het is mogelijk dat sommigen zich afvragen of RCTs überhaupt wel zijn toegestaan omdat onderzoekers die RCTs uitvoeren altijd mensen als middel gebruiken om tot kennis te komen. Het klopt dat RCTs dit doen, maar door zich aan de vereisten te houden gebruiken de onderzoekers hen niet louter als middel. In de eerste plaats zijn de mensen uit een
onderzochte populatie als autonome wezens benaderd. Het is ook mogelijk dat sommigen zich zullen afvragen of deontologen dan ook geen voorspellingen moeten doen over de uitkomsten van een experiment zoals consequentialisten dat moeten doen om RCTs te rechtvaardigen, maar ook dat is niet zo. Wanneer voorspellingen en schattingen onmogelijk zijn dan zouden deontologen juist over voorliegen kunnen spreken wanneer hiertoe toch gepoogd zou worden. Wanneer er wel (pogingen tot) voorspellingen zijn (gedaan) waarbij er over de geldigheid van deze voorspellingen wordt getwijfeld dan moeten deze wel worden voorgelegd. Op deze manier is het aan de mensen uit de populatie die onderzocht zou kunnen gaan worden om te besluiten hoeveel waarde hieraan te hechten. Tot slot zouden sommigen kunnen denken dat het niet goed is om mensen te veel informatie te geven. Zeker niet wanneer, vanwege
bijvoorbeeld ongeletterdheid, vermoed kan worden dat mensen niet veel met deze informatie kunnen. Er zou bijvoorbeeld voorgesteld kunnen worden om voor deze mensen een selectie te maken uit de informatie die voorhanden is. Echter, dit strookt in tegen de gehanteerde
categorische imperatief die een verbod op paternalisme impliceert, aldus Shafer-Landau:
“[Paternalism] is treating autonomous individuals as children, as if we, and not they, were best suited to making the crucial decisions of their lives” (2011, p.171).
Laat ons dan nu de deontologie naast de ethische principes van Barrett en Carter (2011, pp.243-253) leggen zoals die in hoofdstuk 1 zijn benoemd. Ten eerste is er het do not
harm-principle. Dit principe stelt dat het per definitie fout is om mensen schade toe te richten.
Voor deontologen hoeft dit niet het geval te zijn – degenen die (mogelijk) de schade ondergaan moeten hier alleen wel toestemming voor geven. Dit zal er met grote
waarschijnlijkheid toe leiden dat een hoop RCTs waarin de mensen uit een populatie een grote kans hebben om schade op te lopen in de praktijk niet uitgevoerd kunnen worden door een gebrek aan animo om mee te doen. Het is echter niet ondenkbaar dat sommigen het als hun plicht zien om kans op schade te lopen als dit tot kennisaccumulatie kan leiden waarvan in de toekomst autonome mensen kunnen profiteren. Ten tweede is er het principle of
informed consent. Volgens dit principe moeten mogelijke participanten voorafgaand aan een
onderzoek geïnformeerd worden en toestemming geven. Dit principe is volledig conform het deontologische standpunt. Ten derde is er het blindedness-princple. Dit principe stelt in twijfel of de individuen uit een mogelijk te onderzoeken populatie wel geïnformeerd zouden moeten worden over of ze participant zijn, tot de controle groep behoren of geen van beide. Dit zou namelijk emotioneel lijden kunnen veroorzaken, vooral als iemand zich in de controlegroep bevindt. Wanneer dit als ‘principe’ wordt gehanteerd dan is er sprake van paternalisme. Deontologen zouden zeggen dat deze keuze aan de mensen uit de populatie moet worden overgelaten. Ten slotte is er het targeting principle dat stelt dat het oneerlijk is om schaarse middelen op basis van randomization te verdelen in plaats van op basis van behoeftigheid. Hiervoor geldt vanuit deontologisch perspectief wederom dat hierover de mensen uit de mogelijk onderzochte populatie moeten beslissen. Dit levert voor onderzoekers het gevaar op dat hulpbehoeftigen minder snel akkoord zullen gaan met een RCT dan minder-hulpbehoeftigen.
RCTs zijn dus niet per se ‘goed’, maar wel te rechtvaardigen. Daar staat wel tegenover dat de restricties in de praktijk tot problemen kunnen leiden. De vereiste van toestemming brengt het risico wel erg op de voorgrond dat mensen weigeren deel te nemen aan een experiment. Dit hoeft op zichzelf niet erg te zijn, tenzij de weigeraars bepaalde
karakteristieken delen die niet in dezelfde mate aanwezig zijn bij de mensen die toestemming verlenen. We zagen in hoofdstuk 1 al dat Banerjee en Duflo (2011, p.163) beargumenteerde dat dit tot een verschil tussen LATE en ATE kan leiden. Ook de vereiste van informeren neemt risico’s met zich mee. Banerjee en Duflo (idem) wezen eveneens op de mogelijkheid dat deelnemers aan een experiment zich anders kunnen gedragen omdat ze graag een bepaald beeld van zichzelf willen neerzetten voor de onderzoekers of omdat ze willen bijdragen aan de verwezenlijking van een (on)gewenste uitkomst. Het is goed mogelijk dat naarmate
mensen meer weten van een onderzoek (waaronder ook doel en risico’s) de kans toeneemt dat ze zich op een dergelijke berekende manier gaan gedragen. Ten slotte is het zeer twijfelachtig wat er van de onderzoekspraktijk terecht komt wanneer RCTs moeten voldoen aan de strikte deontologische eisen. Krijgen populaties die onderzocht (gaan) worden in de praktijk niet een
