De rol van recidivemetingen bij de evaluatie van straffen en maatregelen
5.4 Slot: de evaluatieketen in beeld
Een recidivemeting is het geëigende middel om de uiteindelijke outcome van een daderprogramma te bepalen. Maar om teleurstellingen te voorko-men moet de meting wel aan een aantal voorwaarden voldoen. Bovendien dient ze vooraf te worden gegaan door een uitgebreide plan- en proces-evaluatie. Alleen dan krijgen we zicht op mechanismen die ervoor zorgen dat de interventie werkt zoals beoogd.
Figuur 5.2 maakt nog eens duidelijk hoe het onderzoek naar daderpro-gramma’s kan worden gefaseerd. Onderin de figuur herkennen we de drie hoofdfasen van het onderzoek: de plan-, de proces- en de productevalu-atie. Ze lopen gelijk op met de drie stadia die in de uitvoering van een daderprogramma te onderscheiden zijn: de fase waarin het programma wordt ontworpen, de fase waarin het programma in de praktijk wordt uitgetest en het stadium waarin het wordt uitgevoerd zoals het bedoeld is. Elke fase wordt afgesloten met een rapportage. In de fase van de product-evaluatie kunnen de prestaties van het project in eerste instantie door middel van voortgangsrapportages worden bijgehouden. Op het moment dat er voldoende deelnemers zijn uitgestroomd om een vergelijkende analyse te doen die aan de technische kwalificaties voldoet, kunnen de verzamelde gegevens worden afgezet tegen de resultaten in een contro-legroep.74 Het bijhorende rapport brengt in beeld welke impact de inter-ventie heeft gehad op de criminogene factoren van de deelnemers. Later volgt de recidivemeting en kan definitief worden vastgesteld of het dader-programma aan de verwachtingen heeft voldaan. Het eindrapport kan worden opgesteld.
74 De n in tijdstip tn staat voor het aantal observaties dat nodig is om het verwachte effect te kunnen meten (zie tabel 5.3).
Figuur 5.2 De PPP-evaluatieketen van daderprogramma’s
UITVOERING
ONTWERP IMPLEMENTATIE CONSOLIDATIE
EVALUATIE PRODUCT-EVALUATIE PLAN -EVALUATIE PROCES -EVALUATIE tpi t0 tn trm Vaststellen programma Vertrek n-ste deelnemer Vertrek n-ste deeln. + 2 jaar Start project Indienen plan Rapport
Rapport Rapport Rapport
Voortgangsrapportages Veldstudie KBA ex ante Reconstructie progr.theorie Meting crim. factoren Inventarisatie diensten output & impact KBA ex post Recidivemeting outcome ti Bron: Wartna (2005)
De aaneenschakeling van uiteenlopende typen onderzoek biedt de gele-genheid om de ‘kwalitatieve’ benadering die Pawson en Tilly voorstaan en de ‘kwantitatieve’ aanpak van de aanhangers van de Campbell Colla-boration met elkaar te combineren. In hoofdstuk 2 zagen we dat Pawson en Tilly scherpe kritiek hebben op de experimentele traditie. De nadruk die deze traditie legt op de eis van ‘interne validiteit’ zou te zeer ten koste gaan van de vraag waar het werkelijk om draait, de vraag naar de context waarin de interventie werkzaam is en naar de onderliggende mechanis-men die ermee in werking worden gezet.
De research syntheses van de ‘realistische’ school worden vaak gecontras-teerd met de experimentele benadering van de Campbell Collaboration en haar meta-analyses gericht op de decompositie van effect sizes. In feite echter vullen beide benaderingen elkaar aan.75 Met Pawson en Tilly willen we begrijpen hoe een daderprogramma werkt en met Farrington willen we toetsen of het succesvol is. De standpunten van beide kampen zijn niet strijdig. Ze hebben betrekking op verschillende fasen in het onderzoeks-proces. Een meta-analyse vindt plaats in de eindfase. Zij is een research synthese van een groep productevaluaties en onderzoekt de heterogeniteit
75 Knaap et al. (2008) wezen al eerder op de mogelijkheid de Campbell-standaard te combineren met de uitgangspunten van de realistische school van Pawson en Tilly.
163
Recidive als maat voor effectiviteit
in de outcome van de programma’s die werden geëvalueerd. Elke afzon-derlijke productevaluatie is – als het goed is – voorafgegaan door een plan- en een procesevaluatie waarin ruim aandacht is besteed aan context en mechanismen.
‘Which methods work best for which types of offenders and under what conditions or in what types of settings?’ (Palmer, 1975) – om deze vraag draait het uiteindelijk. Niet alleen een meta-analyse, maar elk type onderzoek levert een bijdrage aan het antwoord op deze vraag. Een kwantitatieve meta-analyse is pas aan de orde als de evaluatieketen van elk van de geselecteerde daderprogramma’s is doorlopen. Tot die tijd mag evengoed geen enkele aanwijzing van de mogelijke werking van een daderprogramma worden veronachtzaamd. We hoeven niet te wachten op de uitkomsten van een rct om uitspraken te kunnen doen over de effec-tiviteit. Het doorlopen van de evaluatieketen levert immers ‘voortschrij-dend bewijs’ op. Naarmate het onderzoek vordert, worden – als het goed is – de aanwijzingen van de werking van de interventie steeds sterker.76
Indien een planevaluatie uitwijst dat een interventie goed is onderbouwd, als een procesevaluatie duidelijk maakt dat de interventie volgens plan wordt uitgevoerd en als uit tussentijdse metingen blijkt dat de gestelde behandeldoelen op overtuigende wijze worden gehaald, dan mogen we met toenemend vertrouwen aannemen dat het daderprogramma in zijn opzet slaagt en de recidive onder de deelnemers verlaagt. En mocht bij de uiteindelijke recidivemeting onverhoopt blijken dat we ons daarin hebben vergist, dan stellen we onze theorieën over effectieve interventiestrate-gieën bij en zoeken we verder.
76 Vergelijk dit met de ‘effectiviteitsladder’ van Veerman (2006), die vier treden onderscheidt waarop duidelijk wordt gemaakt of interventies effectief (kunnen) zijn.