Adequaat onderzoek als oplossing

Een noodzakelijke stap in de analyse van het resultaat van een maatschappelijke interventie, is het inzichtelijk maken van de bedoelde en niet-bedoelde effecten. Aan gedegen effectenonderzoek ontbreekt het echter nog vaak in het sociale domein.

Het maken van een effectenstudie van een maatschappelijke interventie is lastig maar niet onmogelijk. Econoom Gerard Marlet maakte een KBA in een studie naar de waarde van een veilige stad. Volgens Marlet kun je de mate van veiligheid wel degelijk onderzoeken. De maat voor veiligheid is in dit onderzoek de prijs die mensen willen betalen voor een huis in een veilige omgeving. Vervolgens wordt dit vergeleken met een huis in een minder veilige omgeving. Voor de stad Utrecht blijkt elk extra geweldsmisdrijf per duizend inwoners, samen te gaan met een gemiddeld waardeverlies van € 1100,-- per huis (Marlet en Woerkens, 2004).

In het kader van een andere studie brengt onderzoeker Marianne Junger (2005) een Engelse studie onder de aandacht waaruit blijkt dat kinderen met een gedragsstoornis op 28-jarige

leeftijd (in totaal) zo’n 70.000 pond extra kosten aan onderwijsuitgaven, justitiële ‘opvang’, gezondheidszorg en uitkeringen. Kinderen zonder stoornis kosten ongeveer 7.000 pond. De gedragsstoornis kost hiermee tot en met het 28^e jaar 2250 pond per jaar (63.000 pond delen door 28 jaar).

Zoals uitgelegd aan de hand van de complexe interventielogica, is het inschatten van effecten van een interventie om praktische redenen zeer moeilijk. Een mogelijke oplossing kan gevonden worden in het ontwerp van het onderzoeksinstrument. Het ontwerp zal hierbij de opgemerkte problemen met betrekking tot complexiteit en subjectiviteit moeten verminderen.

2.5.1 De Randomised Controlled Test

Objectief inzicht in complexe materie kan worden verkregen door het doen van goed onderzoek. Bij het verkrijgen van inzicht in de effecten van interventies, wordt vanuit de wetenschap aangedrongen op het gebruik van ‘Randomised Controlled Tests’ (RCT).

Junger (2006) noemt een effectenstudie op basis van een RCT, “een geschikte mogelijkheid om effecten van interventies te beoordelen”. De RCT heeft een aantal kenmerken die ervoor zorgen dat een complexe situatie toch enigszins objectief beoordeeld kan worden.

Lachin, Matts en Wei (1988) noemen de RCT de meest betrouwbare vorm van wetenschappelijk bewijs omdat ze onterecht veronderstelde causaliteit en vooroordelen uitsluiten. Hiermee zou de RCT voldoen aan de eerdergenoemde wens om problemen met betrekking tot complexiteit en subjectiviteit te verminderen.

Zelfs een genoemd bezwaar van de RCT, het één-dimensionale karakter van het instrument, zou bij de beoordeling van resultaten van een interventie in een complex systeem, een voordeel kunnen zijn. Een RCT beoordeelt een eigenschap van een experimentele groep (na interventie) met een eigenschap van de controlegroep (zonder interventie). Het onderzoek wordt hierbij zuiver gehouden door slechts één eigenschap te vergelijken. Wanneer meerdere eigenschappen worden vergeleken, is het onzeker hoe deze eigenschappen elkaar onderling beïnvloeden en is de betrouwbaarheid van de RCT- meting afgenomen. De kritiek dat een dergelijke beperkte meting ongeschikt zou zijn in verband met een complexe samenhang van deelsystemen is, zo is de aanname van dit onderzoek, wellicht niet van toepassing.

De eerdergenoemde onvoorspelbaarheid van complexe systemen, maken het ontwikkelen van een instrument dat alle eigenschappen kan beoordelen onmogelijk. Het is juist de kunst om een enkele belangrijke eigenschap te benoemen en deze te beoordelen op veranderingen door toedoen van de interventie.

De RCT komt voor in een ‘open’ en een ‘gesloten’ variant. Bij de open RCT zijn alle betrokken partijen op de hoogte van de interventie. Bij de gesloten RCT worden controle- en experimentele groepen blind toegewezen. In dit onderzoek wordt gewerkt met de open variant. Hiervoor is gekozen om praktische redenen. In de casusstudie wordt een interventie in een enkele woonkern centraal gesteld. De aanwezigheid van informatie over deze interventie woog hierbij zwaarder dan het blind toewijzen van woonkernen in de controle- en experimentele groep.

De meeste westerse zorgsectoren maken gebruik van een (veelal verplichte) effectentest. Voorwaarde voor goedkeuring van geneesmiddelen is het aantoonbaar maken van voldoende positieve effecten. Door dit besluit is het gebruik van een specifieke vorm van effectenstudie, de RCT, in een aantal jaren toegenomen van honderd tot ongeveer 10,000 op jaarbasis (Chassin, 1998).

Bij gedragsinterventies wordt er nauwelijks gebruik gemaakt van de RCT-methodiek (Verdurmen, 2004). Op justitieel terrein zijn experimenten met RCT uitgevoerd. Dit heeft vooral plaatsgevonden in de Verenigde Staten, veel minder vaak in Europa en niet in Nederland (Farrington en Welsh, 2005). Het gevolg van het ontbreken van gedegen effectenstudies is dat er veel tijd, moeite en energie wordt geïnvesteerd in een groot pakket van interventies waarvan met geen enkele mogelijkheid te zeggen is of ze enig effect sorteren (Blokland, 2003; Verdurmen, 2004).

De Raad voor Maatschappelijke Ontwikkeling (RMO) stelt dat het effect van een interventie uitsluitend kan worden vastgesteld wanneer het onderzoek voldoet aan een aantal kwaliteitseisen. Een van deze voorwaarden is dat er twee groepen worden bestudeerd, een experimentele en een controlegroep. De experimentele groep ondergaat een bepaalde behandeling, in dit geval een maatschappelijke interventie. De controlegroep ondergaat deze behandeling niet.

Nametingen zijn wenselijk om een goed beeld te verkrijgen van de effecten op de lange termijn. Er zijn studies die bij een eerste evaluatie geen positieve resultaten van de interventie konden bepalen maar op de lange termijn wel effecten vonden (Tremblay, 2001).

2.5.2 De RCT-toepassing

Het effect van een interventie kan worden vastgesteld wanneer men op twee punten helderheid heeft. Enerzijds moet worden vastgesteld of er bij de doelgroep ‘onder behandeling’ een verandering is opgetreden. Anderzijds moet worden vastgesteld of deze verandering aan de interventie is toe te rekenen. Uitgesloten dient te worden dat de verandering in het gedrag van de doelgroep ook was opgetreden zonder dat de preventieve interventie was gepleegd. De autonome gedraging van het systeem wordt in de regel aangeduid als het nul-alternatief, nul-situatie of ‘deadweight’. Wanneer men verschuivingen van de autonome situatie probeert te duiden, kan worden beoordeeld of er van zichzelf een verslechtering of een herstel zou voordoen. Dit zou de keuze voor een bepaalde interventie kunnen stimuleren of wellicht blijkt dat een interventie niet nodig is. Methoden om gegevens in het verleden te gebruiken voor een voorspelling over de toekomst zijn bijvoorbeeld extrapolatie, delphi-methode of scenario-analyse.

Volgens Veerman en Yperen (2005) is het ontwikkelingsniveau van de meeste interventies dusdanig pril, dat een RCT zoals toegepast in de medische sector, nog niet haalbaar is in andere sectoren. De RCT kan volgens hen dienen om gegevens te verkrijgen over de reeds uitgevoerde interventies om die zodoende te gebruiken bij verbetering en beleidsvorming. Zij stellen voor om de RCT ‘in te bedden’ in een aantal voorbereidende stappen. Veerman en Yperen (2005) stellen de volgende stappen voor bij de beoordeling van een interventie:

1) Benoem de doelgroep van de interventie. Wat zijn de eigenschappen van de interventie? Wat zijn de beoogde doelen?

2) Beoordeel vanuit ervaringskennis en wetenschappelijke kennis de evidentie dat de interventie tot het wenselijke doel zal leiden? Hoe kan dit doel zo goed mogelijk worden bereikt?

De bovengenoemde fasering wordt ook gevonden in de opzet van de W.K. Kellogg Foundation (2004) in hun visie op het opzetten, beheersen en evalueren van maatschappelijke programma’s. De Kellogg Foundation noemt dit het opzetten van een ‘logisch model’. Een logisch model kan worden gedefinieerd als een beeld van hoe de organisatie haar maatschappelijke werk doet. Het betreft de theorie en aannamen die ten grondslag liggen aan het programma van activiteiten. Een logisch model koppelt resultaten aan activiteiten en aan de theoretische principes/aannamen van het programma. Met behulp van dit instrument kunnen doelstellingen worden bepaald, belanghebbenden geïnformeerd, processen beheerst en vervolgens resultaten worden aangetoond (WKKF, 2004).

De hantering van een ‘logisch model’ is onder te verdelen in drie fasen. Elk van de fasen heeft een andere aanpak nodig. De drie fasen zijn planning, implementatie en evaluatie.

• Planning

Het aannemelijk maken waarom een bepaalde inzet van middelen zal leiden tot een gewenst resultaat. Hierbij worden aannamen gemaakt over hoe en waarom de veranderstrategie zal slagen in deze situatie.

• Implementatie

De tweede fase van het logisch model is het transparant maken van het voortbrengingsproces. Door vervolgens vanuit het doel van het programma terug te rekenen naar het begin van het proces, wordt een helder beeld verkregen van de benodigde randvoorwaarden en activiteiten die leiden tot het gewenste resultaat.

• Evaluatie

De derde en laatste fase in het ‘logische model’ is het inrichten van de evaluatie. De evaluatie dient ingericht te worden zodat het voorziet in de interne en externe informatiebehoeften. Het complexe karakter van een maatschappelijke interventie noodzaakt het zorgvuldig selecteren van een geschikte indicator. Een indicator kan beschreven worden als een vroegtijdig signaal voor succes. Het signaal moet hierbij zorgvuldig worden uitgezocht opdat het daadwerkelijk betrouwbare informatie oplevert over de uiteindelijke resultaten.