Vooraf: enkele methodologische knelpunten

Bij de bespreking van bestaande interventies willen we uiteraard weten of de aanpak al dan niet effectief is in het verminderen van criminaliteit; we willen duidelijkheid over de impact van de implementatie van een bepaalde interventie op de criminaliteit. Hiervoor is evaluatieonderzoek nodig van goede methodolo-gische kwaliteit. In onze zoektocht naar effectevaluaties van bestaande interven-ties botsten we echter herhaaldelijk op een aantal methodologische beperkin-gen. Het ontbreken van een (gelijkaardige) controlegroep, statistische

significan-tietests en follow-up onderzoek zijn hiervan voorbeelden. Voor een bespreking van wat we dan wel onder “goede methodologische kwaliteit” verstaan, baseren we ons op Cook en Campell (1979, vermeld in Farrington, Gottfredson, Sherman & Welsh, 2002) die vier types validiteit onderscheiden.

Een eerste vereiste voor evaluatieonderzoek van goede methodologische kwa-liteit is een hoge interne validiteit. Interne validiteit verwijst naar de vraag of veranderingen in variabele X (vb. meer politie op hot spots), veranderingen in variabele Y (vb. de geregistreerde criminaliteit) tot gevolg hebben (Farrington et al., 2002), met andere woorden of de veranderingen in variabele Y te wijten zijn aan wijzigingen in variabele X. Er zijn een aantal zaken die het besluiten tot dergelijke conclusies bemoeilijken en dus de interne validiteit in het gedrang brengen. Farrington et al. (2002) illustreren dit aan de hand van een sprekend voorbeeld:

Veronderstellen we de hypothese dat closed-circuit television (CCTV) een daling van criminaliteit veroorzaakt. Om dit na te gaan zou men buurten zonder en met CCTV kunnen vergelijken voor wat betreft het aantal delic-ten. Indien men inderdaad vindt dat de buurt met CCTV minder criminali-teit kent dan de buurt zonder CCTV kan men hieruit echter nog niet beslui-ten dat dit te wijbeslui-ten is aan het gebruik van CCTV. Er kunnen namelijk tal van andere redenen zijn voor het gevonden verschil in criminaliteit. Zo is het mogelijk dat men buurten heeft geselecteerd die sowieso verschillen op vlak van criminaliteit. Een andere manier om de onderzoekshypothese te testen is in één bepaalde buurt de aanwezigheid van CCTV manipuleren en bijgevolg de criminaliteitscijfers in die buurt voor en na de aanwezigheid van CCTV te vergelijken. Ook dit is geen voldoende voorwaarde om tot causaliteit te kunnen besluiten. Immers, er kunnen meerdere alternatieve verklaringen aangehaald worden voor de daling van criminaliteit in die buurt. Zo is het mogelijk dat de daling te wijten is aan een tijdelijke inten-sievere patrouillering door de politie, of is de daling louter een voortzetting van een trend die al aanwezig was. Ook is het plausibel dat de CCTV net geïntroduceerd werd na een periode van uitzonderlijk hoge criminaliteits-cijfers en is de daling van criminaliteit gewoon een terugkeer naar ‘normale’ waarden. Om met (meer) zekerheid te kunnen besluiten dat de vastgestelde daling in de criminaliteitscijfers veroorzaakt wordt door de invoering van CCTV is een vergelijkbare controleconditie nodig. Het gerandomiseerd ex-periment wordt doorgaans beschouwd als het beste onderzoeksdesign om causale hypotheses te toetsen, omdat het de meeste alternatieve hypotheses uitsluit. In ons voorbeeld zou men de stad kunnen indelen in verschillende blokken en daarbij in bepaalde, at random (op toevallige wijze) gekozen, blokken wel CCTV introduceren en in andere niet. Daarna zou men de cri-minaliteit kunnen vergelijken in de blokken met en zonder CCTV. Met dit design heeft men controle over het al dan niet gebruiken van CCTV en over de eventuele externe factoren die de criminaliteit kunnen beïnvloeden, aangezien de externe factoren gemiddeld genomen in de experimentele en controlecondities in dezelfde mate aanwezig zijn.

Bovengenoemde aspecten moeten we in het achterhoofd houden als we conclu-sies formuleren over het effect van een bepaalde interventie. Volgens Farrington et al. (2002) kunnen pas valide conclusies worden getrokken uit evaluatieonder-zoek als er minimum sprake is van metingen van criminaliteit voor en na de

invoering van het programma in een experimentele en controleconditie. Het onderzoekstype dat bestand is tegen de meeste bedreigingen van interne vali-diteit, is het gerandomiseerd onderzoek, waarbij de betrokken eenheden op toevallige wijze aan een experimentele of controleconditie worden toegewezen. Naast een hoge interne validiteit, wordt goed methodologisch evaluatieonder-zoek gekenmerkt door een hoge constructvaliditeit. Constructvaliditeit verwijst naar de mate waarin men de theoretische constructen die men wil meten (vb. criminaliteit) op een geschikte manier geoperationaliseerd heeft. Indien men zich bijvoorbeeld voor het meten van criminele activiteit enkel baseert op zelf-rapportages, is de constructvaliditeit beperkt. Operationalisaties die daarentegen gebaseerd zijn op officiële registraties van criminele feiten, interviews met ob-jectieve observatoren en met bewoners van een wijk zelf aangaande de crimi-nele activiteit in een bepaalde buurt, hebben een hogere constructvaliditeit. Er is nood aan officiële cijfers en onafhankelijke beoordelaars die blind zijn voor de conditie (Wasserman & Miller, 1998).

Ten derde is de validiteit van de statistische conclusies een belangrijk aandachts-punt. Dit type validiteit verwijst naar het waarheidsgehalte van het antwoord op de vraag “zijn X en Y gerelateerd?” (Farrington et al., 2002). Over de sterkte van de relatie tussen X en Y kan men conclusies formuleren op basis van de statis-tische significantie en het betrouwbaarheidsinterval dat men gebruikt heeft. Farrington et al. (2002) wijzen erop dat deze vorm van validiteit in het gedrang kan komen indien men ongeschikte statistische tests gebruikt, of indien de sta-tistische kracht te beperkt is om effecten te vinden, bijvoorbeeld door te kleine steekproeven.

Wanneer men conclusies wil formuleren over de effectiviteit van een bepaalde interventie is ook de externe validiteit niet onbelangrijk. Hier gaat het over de mate waarin men de gevonden causale relaties kan generaliseren naar andere contexten, met andere personen, op andere tijdstippen. Immers, een bepaalde interventie kan effectief zijn wanneer die wordt toegepast in die specifieke context met die specifieke personen, maar is daarom niet algemeen effectief te noemen. Dit is wat Pawson en Tilley (1997) trachten op te vangen met de

‘con-text-mechanism-outcome benadering’. Deze benadering stelt centraal dat men

oog moet hebben voor de werkzame mechanismen van een bepaalde interven-tie of maatregel, in een specifieke context. De ‘outcome’ of ‘uitkomstpatronen’ omvatten dan alle bedoelde en onbedoelde gevolgen van interventies, die vol-gen uit de activering van verschillende mechanismen in verschillende contexten. Deze benadering laat toe te verklaren waarom het implementeren van een be-paalde interventie in de ene context wel werkzaam is en in de andere niet: de werkzaamheid van de mechanismen is immers mede afhankelijk van de context waarin de interventie plaatsgrijpt (Pawson & Klein Haarhuis, 2005).

Wasserman en Miller (1998) wijzen er ten slotte op dat er systematisch aan

follow-up gedaan moet worden als men een volledig beeld wil krijgen van de

effectiviteit van een interventie. Immers, pas als de gevolgen op lange termijn van een bepaalde interventie gekend zijn, kan men degelijke uitspraken doen over het effect ervan.

Wanneer we op zoek gaan naar evaluatieonderzoek in de literatuur, komen we, zoals reeds gezegd, tot de vaststelling dat het niet evident is om onderzoek te vinden dat aan de maximale methodologische vereisten voldoet. Op vlak van de interne validiteit ontbreekt vaak een controleconditie; het enige wat men

geme-ten heeft is de criminele activiteit voor het implementeren van de maatregel en erna, of in bepaalde studies zelfs enkel erna. Indien er wel sprake is van een controleconditie, is deze vaak niet vergelijkbaar met de experimentele conditie, wat opnieuw een bedreiging is voor de interne validiteit; de gevonden verschil-len in criminele activiteit in experimentele en controleconditie kunnen dan mogelijk te wijten zijn aan reeds bestaande verschillen tussen de condities. Een gerandomiseerd onderzoeksopzet komt men slechts sporadisch tegen, dus vaak zijn er potentieel storende variabelen aanwezig. Ook de constructvaliditeit is vaak beperkt omdat men zich voor het bepalen van het effect enkel op crimineel gedrag baseert op zelfrapportages. Wat de validiteit van statistische conclusies aangaat, stellen we vast dat niet alle effectmetingen gebruik maken van een sta-tistische significantietest. Er wordt, bijvoorbeeld, enkel geconcludeerd dat de criminaliteit in een bepaald gebied met 15% gedaald is ten opzichte van een controlegebied. Een percentage alleen zegt echter niets over de significantie van de daling. Verder moeten we alert blijven en ons behoeden voor generalisaties van conclusies, want in effectevaluaties wijzen de onderzoekers ons niet steeds op de beperkte reikwijdte van de conclusies. Ten slotte moet er meer aan fol-low-up onderzoek gedaan worden om te weten of de effecten van de interventie al dan niet aanwezig blijven.

Na deze korte evaluatie wordt reeds duidelijk dat er nood is aan meer unifor-miteit op vlak van de methodologische aspecten van effectevaluaties. Immers, zolang ieder onderzoeker er zijn eigen methode op na houdt om interventies te evalueren, kunnen we de conclusies van de verschillende onderzoekers niet naast elkaar plaatsen. In dat geval zouden we immers appelen met peren ver-gelijken. Farrington et al. (2002) doen een stap in de goede richting door alle evaluatiestudies die betrokken zijn in de meta-analyse te onderwerpen aan éénzelfde toets van interne validiteit vooraleer conclusies te formuleren. Hiertoe hebben ze de Maryland Scientific Method Scale ontwikkeld, een vijfpuntenschaal om de interne validiteit van criminologische effectstudies te evalueren, groten-deels gebaseerd op het werk van Cook en Campbell (1979). In deze schaal zitten de verschillen in methodologische kwaliteit zoals besproken bij de paragraaf over interne validiteit vervat. Farrington et al. (2002) stellen dan dat het enkel geoorloofd is conclusies te trekken uit studies die minimum score 3 behalen op de Maryland SMS (metingen van criminaliteit voor en na de invoering van het programma in experimentele en controlecondities).

Bij de bespreking van studies dienen de conclusies met betrekking tot effectivi-teit van een interventie of maatregel dus met enige voorzichtigheid gelezen te worden.