6
Hoe kunnen recidivemetingen worden vormgegeven en welke plaats nemen zij in bij de evaluatie van strafrechtelijke interventies? Zo luidde de probleemstelling van dit proefschrift. Het eerste gedeelte van deze vraag werd beantwoord in hoofdstuk 3. Met de procedures ontwikkeld in het kader van de Recidivemonitor is het mogelijk de verschillende facet-ten van de terugval van justitiabelen efficiënt en op eenduidige wijze in kaart te brengen. De belangrijkste beperking die daarbij geldt is dat het onderzoek alleen de strafrechtelijke recidive aan het licht brengt. De fei-telijke recidive in een dadergroep zal in veel gevallen hoger zijn, omdat een onbekend deel van de gepleegde delicten aan de aandacht van de autoriteiten ontsnapt. Het is niet mogelijk deze beperking op te heffen. Het gebrek dient te worden geaccepteerd. Maar er valt mee te leven, want bij het vergelijken van de recidive van twee groepen zal steeds grofweg dezelfde ‘meetfout’ worden gemaakt. Omdat er bovendien controles zijn ingebouwd op het bestaan van registratie-effecten, is ook bij herhaalde metingen sprake van een constante onderschatting van de feitelijke reci-dive. De uitkomsten van het onderzoek zijn dus wel degelijk indicatief voor verschillen tussen groepen of in de tijd. Ze zijn in elk geval indicatief voor de mate waarin deze groepen in aanraking komen met justitie. Het tweede gedeelte van de probleemstelling – de vraag naar de rol van recidivemetingen bij de evaluatie van strafrechtelijke interventies – vergt een langer antwoord, een antwoord dat afhangt van het soort interventie dat men beschouwt. In dit proefschrift hebben we ons geconcentreerd op een specifieke groep van strafrechtelijke interventies. Het ging om programma’s gericht op speciale preventie door de aanpak van crimino-gene factoren. Deze daderprogramma’s komen in alle soorten en maten voor. Naast hun gemeenschappelijke doel delen zij echter nog een belang-rijk kenmerk. Bij een daderprogramma wordt de interventie waarvan men de werking wil vaststellen, bij herhaling toegepast. Dit maakt het in principe mogelijk om willekeurige kandidaten de interventie niet te laten ondergaan. En dit laatste opent de weg naar een experimentele opzet van het evaluatieonderzoek.
Het sterkst denkbare bewijs van de effectiviteit van een daderprogramma is een verschil in recidive in een vergelijkende studie met een gerandomi-seerd design. Met een experiment worden twee parallelle werelden gecre-eerd waarin alleen de interventie het verschil uitmaakt. Maar constateren dat een ingreep succesvol was, is niet voldoende. We willen ook weten waarom het ene daderprogramma werkt en het andere niet. Daarom dient zelfs een effectstudie met een gerandomiseerd design te worden vooraf-gegaan door een zorgvuldige plan- en procesevaluatie. Deze vormen van onderzoek leveren ons de kennis op die nodig is om de resultaten van de
effectmeting te interpreteren en te gebruiken bij de verdere invulling van het strafrechtelijke beleid.
Een experimenteel design of een quasi-experimenteel design (waarin randomisering is vervangen door matching) is niet altijd haalbaar. Bij complexe, eenmalige operaties zoals de invoering van een nieuwe wet of een algemene wijziging in het strafrechtelijke beleid is het opzetten van een experiment geen optie. Alleen als de interventie kan worden ‘aan- of uitgezet’ en zij plaatsvindt in een wereld die voor het overige onveranderd blijft, behoort willekeurige toewijzing tot de mogelijkheden. Als er geen experiment mogelijk is, moet het vraagstuk van de causaliteit – het ‘attri-butieprobleem’ – op een andere manier worden opgelost. Men dient dan goed op de hoogte te zijn van ‘wat er in de wereld speelt’, om de invloed van de interventie op de uitkomst die men meet te kunnen scheiden van het effect van gelijktijdige ontwikkelingen. Dat is niet eenvoudig en soms ronduit onmogelijk. De metingen die men doet, kunnen nog zo nauw-keurig zijn, maar de betekenis van de meetresultaten blijft diffuus. Een eenduidige conclusie levert het onderzoek niet op. De betekenis van de resultaten van het onderzoek wordt gevormd in het maatschappelijke veld waarin het onderzoek wordt opgemerkt en waar iedereen – politici, opinieleiders, professionals en wetenschappers voorop – zijn eigen inter-pretatie aan de uitkomsten geeft.
Ook recidivecijfers kunnen bijdragen aan de maatschappelijke discus-sie over wat ‘waar’ en ‘goed’ is. Daarbij geldt een eenvoudige wet: hoe globaler de onderzoeksvraag, hoe minder informatief de cijfers zijn. In dit slothoofdstuk wordt nog eens op een rij gezet op welke wijze het recidive-onderzoek onze kennis van de werking van straffen en maatregelen vergroot. Er zijn grofweg drie niveaus waarop recidivemetingen worden toegepast om uitspraken te doen over effecten van ‘strafrechtelijke inter-venties’: nationaal, regionaal en lokaal. Op elk niveau speelt het causali-teitsvraagstuk. Op elk niveau wil men weten hoe men de uitkomsten moet interpreteren en waaraan men ze kan toeschrijven.
6.1 Nationale overzichten en trendstudies
Het meest basale niveau waarop recidivecijfers behulpzaam zijn, is dat van de landelijke overzichten. Dit is het terrein van de vaste metingen van de Recidivemonitor. In hoofdstuk 3 hebben we gezien hoe de ontwikkeling van de OBJD het mogelijk heeft gemaakt om op nationale schaal onder-zoek te doen. De Recidivemonitor brengt het Nederlandse recidiveland-schap in kaart. De jaarlijkse metingen hebben betrekking op zo goed als alle personen die in ons land met justitie in aanraking zijn gekomen. Voor de meeste groepen zijn data beschikbaar vanaf 1997, voor de tbs-sector zelfs vanaf 1974.
167
Slotbeschouwing
De cijfers van de Recidivemonitor zijn niet erg geprononceerd. De uitkom-sten die in hoofdstuk 4 zijn gepresenteerd, geven een algemeen beeld van de globale ontwikkeling van de strafrechtelijke recidive; veel diepgang hebben ze niet. Bij de jeugdigen en de volwassen justitiabelen, de twee grootste onderzoekspopulaties, kunnen de resultaten slechts naar enkele dader- of zaakkenmerken worden uitgesplitst. Het is op dit moment bijvoorbeeld niet mogelijk om binnen de groep daders die een werk- of een leerstraf kregen, onderscheid te maken naar de aard van de opgelegde straf. We weten dus niet of een ‘kale’ werkstraf een hoger terugvalpercen-tage te zien geeft dan een werkstraf waarbij sprake is van reclasserings-begeleiding. Om dergelijke hiaten op te vullen zullen de metingen van de monitor in de komende jaren worden uitgebreid. Naast de cliënten uit de drie sectoren van DJI kunnen bijvoorbeeld ook de cliënten van andere uitvoeringsorganisaties, zoals de reclassering en de raad voor de kinder-bescherming, in het onderzoek worden betrokken. Door gebruik te maken van de in- en doorstroomgegevens van deze organisaties kunnen meer onderscheidingen in het materiaal worden aangebracht en ontstaat er een genuanceerder beeld van de recidive die volgt op de sancties die in Neder-land worden uitgevoerd.
Naast uitbreiding van het aantal dadergroepen moet er echter meer gebeuren. Want hoe gedifferentieerd het recidivebeeld ook moge zijn, de platte cijfers laten niet zien waarom de recidive is gestegen of gedaald. De trends die de Recidivemonitor blootlegt zijn voor meerdere uitleg vatbaar. Stijgen de landelijke recidivepercentages omdat er sprake is van toenemende criminaliteit, nemen de effecten van onze straffen en maatregelen misschien af, of is er toch sprake van een registratie-effect? De Recidivemonitor kan de discussie over de betekenis van de resultaten niet beslissen, maar wel verder op weg helpen. Om te begrijpen waarom de cijfers zijn gedaald of juist zijn toegenomen zijn ‘verklarende analyses’ nodig. De uitkomsten van de Recidivemonitor moeten in verband worden gebracht met ontwikkelingen die zich gelijktijdig hebben voorgedaan. Dat kan door aan het voorspellingsmodel dat gebruikt wordt voor de correctie van de ruwe cijfers factoren toe te voegen die deel uitmaken van een criminologische theorie. In paragraaf 3.4.1 bespraken we een aantal Amerikaanse meta-analyses waarin is nagegaan welke indicatoren consis-tent samenhangen met de in de geselecteerde studies gebruikte crimina-liteitsmaat. Een dergelijke benadering is ook mogelijk in Nederland. De beschikbaarheid van digitale gegevens neemt toe en daar kan op worden geanticipeerd. Door de gegevens van de Recidivemonitor te koppelen aan informatie uit andere bronnen kan worden onderzocht welke factoren de hoogte van de recidive het best weten te voorspellen. Te denken valt hier bijvoorbeeld aan sociaaleconomische informatie zoals algemene werk-loosheidscijfers en cijfers met betrekking tot het aantal voortijdige school-verlaters. Maar ook aan informatie over buurten en aan aanvullende gegevens op persoonsniveau met betrekking tot opleiding bijvoorbeeld, of
eerdere hulpverleningscontacten. Door te werken vanuit causale modellen kan worden geanalyseerd hoe de recidive tot stand komt en onder welke omstandigheden die uitblijft. De ‘verdiepingsslag’ die hier wordt voorge-steld, zal het nut van de Recidivemonitor belangrijk doen toenemen. Naast kennis van de omvang van de terugval levert het onderzoek dan immers ook inzicht op in de achtergronden ervan.
Het is de ambitie van het kabinet-Balkenende IV de prevalentie van recidive onder ex-gedetineerden en jeugdige justitiabelen met 10% te verlagen. Deze operationele doelstelling kan met de gecorrigeerde cijfers van de Recidive-monitor betrekkelijk nauwkeurig worden getoetst. De vraag in hoeverre de ‘netto-ontwikkeling’ van de recidive een direct gevolg is van het gevoerde beleid, zal de Recidivemonitor niet uitputtend kunnen beantwoorden. Maar met behulp van verklarende analyses kan het antwoord wel dichterbij worden gebracht. Door na te gaan hoe de trend in de recidivecijfers zich verhoudt met de ontwikkeling van de criminaliteit in het algemeen, door nog beter na te gaan of er misschien sprake kan zijn van registratie-effecten en door het bijsluiten van theoretisch relevante informatie die nieuw licht werpt op de instroomverschillen tussen de opeenvolgende cohorten van justi tiabelen, kan de omvang van de recidive op nationaal niveau verder worden ontleed. Wie weet blijft na het wegnemen van de invloed van deze gelijktijdige ontwikkelingen nog een daling in de recidivecijfers over. Dat zou dan het effect van het strafrechtelijke beleid kunnen zijn, meer bepaald het effect van de maatregelen gericht op het voorkomen van herhalings-criminaliteit. Maar de recidive kan natuurlijk ook stijgen.
6.2 Uitsplitsingen naar regio, instelling of inrichting
De volgende toepassing van recidivecijfers doet zich voor op het niveau van organisaties. Het strafrechtelijke bedrijf kent een aantal schakels die zijn opgesplitst in regionaal werkende eenheden. De politie kent 25 dis-tricten, de rechterlijke macht 19 arrondissementen en de reclassering 10 regio’s. Daarnaast bestaan de drie sectoren van de DJI elk uit een aantal inrichtingen. Het gevangeniswezen telt 20 clusters met een totaal van meer dan 60 hvb’s en gevangenissen. Het JJI-veld gebruikt minstens 13 opvang- en behandelinrichtingen en de tbs-sector bestaat uit 12 klinieken en centra. Binnen elke schakel hebben de eenheden eenzelfde of in elk geval een soortgelijke taak. Dit maakt het mogelijk om de prestaties van deze organisatie-eenheden in een benchmark met elkaar te vergelijken. Camp (1989) omschrijft benchmarking als ‘the search and implementation of best practices’. Maar met minder neemt men ook genoegen; de bedoeling van een benchmark is dat de organisatieonderdelen door vergelijking en analyse van elkaar leren om zo tot betere prestaties te komen.
Door ze uit te splitsen naar regio of instelling kunnen recidivecijfers onderdeel uitmaken van een benchmark. Daar zit wel een gevaar aan vast.
169
Slotbeschouwing
Recidive wordt snel gezien als prestatie-indicator. De hoogte van de reci-dive laat zien ‘hoe goed men het heeft gedaan’. Voor een tbs-kliniek of een jeugdbehandelinrichting past dat wel in het beeld, maar andere organi-satieonderdelen werken toch vooral aan andere taken. Voor de overheid is het terugdringen van recidive een centrale doelstelling, maar dat betekent niet dat alle onderdelen van de organisatie daar in gelijke mate verant-woordelijk voor zijn. De kans dat een justitiabele recidiveert is bovendien van vele factoren afhankelijk. Vaak ligt slechts een deel daarvan binnen de invloedssfeer van de medewerkers in de instellingen. Het is dus zeker niet zo dat elk organisatieonderdeel simpelweg kan worden ‘afgerekend’ op de hoogte van de recidive. Dat hangt af van de mate waarin de reductie van de terugval expliciet tot de opdracht behoort.
Wel heeft het uitsplitsen van de cijfers altijd informatieve waarde. Het is goed om te weten hoe omvangrijk de terugval is, al was het maar om in te kunnen schatten welk deel van de ‘klanten’ men terug kan verwachten. En er gaat van de cijfers toch een zekere signaalwerking uit. Als de recidive relatief hoog is, zal men zich toch afvragen hoe dit komt en of men er iets aan kan doen. Een kaal recidivepercentage fungeert dus wel degelijk als ‘kengetal’. Het kan binnen de organisatie een discussie op gang brengen over de taakopvatting en de inrichting van de werkzaamheden. Als het recidivebeeld van een instelling sterk afwijkt van dat van haar soortgeno-ten uit andere regio’s, zal men daarvoor een verklaring willen hebben. Het probleem is dat de instellingen te maken hebben met instroomver-schillen. Het ene arrondissement krijgt andere verdachten te verwerken dan het andere en de ene inrichting herbergt zwaardere gedetineerden dan de volgende; niet alle justitiabelen hebben hetzelfde risicoprofiel. Dit probleem kan echter worden opgelost door gebruik te maken van een voorspellingsmodel. Per instelling wordt niet alleen gekeken naar de ruwe, geobserveerde recidive, maar ook naar het percentage recidivisten dat mocht worden verwacht afgaand op de achtergronden van de justitiabe-len die de instelling te verwerken kreeg. Figuur 6.1 illustreert het een en ander. We zien de geobserveerde en verwachte recidivepercentages in de groep personen waar één bepaalde instelling mee te maken kreeg. Het zou hier kunnen gaan om een politiedistrict, een arrondissement of een peni-tentiaire inrichting. De geobserveerde recidive is lager dan het gemiddelde voor alle soortgelijke organisatie-eenheden, maar hoger dan recidive die kon worden verwacht gelet op de samenstelling van de groep. In dit voor-beeld heeft de eenheid uiteindelijk dus een ongunstige ‘score’. Misschien ligt dit aan de groep die men te verwerken kreeg, maar misschien ook is het terug te voeren naar een factor binnen de eigen organisatie.
Men hoeft dit type analyse niet op de gehele populatie toe te passen. Desnoods beperkt men zich tot een deel van de cliënten of een deel van de instellingen binnen de sector. Zo zou de reclassering bijvoorbeeld speciaal geïnteresseerd kunnen zijn in regionale verschillen in de recidive van taakgestraften en de DJI in de verschillen tussen de inrichtingen die
uitvoering geven aan penitentiaire programma’s voor langgestraften. Afhankelijk van de vraag die voorligt, past men de analyse aan. In de tbs-sector, meer algemeen de forensische zorg, ligt een dergelijke benchmark sterk voor de hand. Het vraagstuk van de effectiviteit van de behandeling van terbeschikkinggestelden kan vanwege de lage aantallen alleen via een multicenter study worden aangepakt. De klinische gegevens van de instel-lingen kunnen worden gekoppeld aan de justitiële gegevens van de Reci-divemonitor. Het voorspellingsmodel kan dan worden uitgebreid, zodat de verwachte recidive nauwkeuriger kan worden vastgesteld en er nog beter rekening kan worden gehouden met instroomverschillen tussen de deel-nemende instellingen.
Figuur 6.1 Verwachte en geobserveerde recidive onder ex-cliënten van een regio of organisatieonderdeel
0 10 20 30 40 50 60 70 80 0 1 2 3 4 observatieperiode in jaren
landelijk beeld regio/inst. A verwacht
regio/inst. A geobserveerd pe rc en ta ge r ec id iv is te n
Zoals aangegeven ligt bij het gebruik van recidivecijfers in een bench-mark het gevaar van ‘over-interpretatie’ op de loer; men kan gemakkelijk te veel aan de cijfers aflezen. Een directeur van een organisatieonderdeel zal naar aanleiding van uitkomsten als in figuur 6.1 ter verantwoording worden geroepen. Daar is op zich niets mis mee, mits duidelijk is welke rol de cijfers spelen. Op voorhand moet duidelijk zijn hoezeer de hoogte van de recidive tot de verantwoordelijkheden behoort van de medewerkers in de verschillende schakels van het strafrechtelijke bedrijf. Belangrijk is bovendien dat de cijfers niet geïsoleerd worden beschouwd, maar worden ingebed in een systeem waarin meer en juist ook andersoortige output- en outcome-indicatoren zijn opgenomen. Ideaal zou zijn als men een dergelijke benchmark opbouwt vanuit een expliciet model waarmee de onderlinge verhouding tussen de verschillende indicatoren is vastgelegd
171
Slotbeschouwing
en wordt getoetst. Indien de recidivecijfers een goede plaats krijgen in het geheel, kan er sprake zijn van een zinvolle bijdrage. Essentieel is dat er binnen de organisatie helder wordt gecommuniceerd wat op dit punt de verwachtingen zijn.
6.3 Evaluatie van lokale, specifieke interventies
Naast de nationale overzichten en de rapportages per instelling of regio worden recidivecijfers ingezet bij specifiek evaluatieonderzoek. Op dit niveau is het object van onderzoek niet het strafrechtelijke beleid of het functioneren van een onderdeel van de organisatie, maar een op zichzelf staande interventie, een ‘daderprogramma’, zoals wij dat hier genoemd hebben. In hoofdstuk 5 werd beschreven hoe de evaluatie van een dader-programma dient te verlopen. Benadrukt werd dat het meten van de recidive slechts een onderdeel van het onderzoek is. Evaluatie van dader-programma’s vindt plaats in een aaneenschakeling van uiteenlopende onderzoeksactiviteiten. Aan het vaststellen van de uiteindelijke uitkom-sten gaat een plan- en een procesevaluatie vooraf.
Ook op dit niveau speelt uiteraard het attributieprobleem: hoe weten we dat de interventie effect heeft gehad? Omdat er bij de evaluatie van daderprogramma’s gewerkt kan worden met vergelijkingsgroepen, zijn er nu meer mogelijkheden om causale uitspraken te doen. De beste optie is het opzetten van een randomized controlled trial. Kandidaten voor de interventie worden willekeurig toegewezen aan een onderzoeks- en een controleconditie. Randomisering zorgt ervoor dat de uitgangssituatie voor beide groepen gelijk is. Dat is vooral nuttig indien de omstandig-heden die leiden tot een bepaalde uitkomst niet goed bekend zijn (Weis-burd, 2004). Als we die omstandigheden wel goed kennen, hebben we het toeval minder hard nodig. Een quasi-experimenteel design waarin voor de belangrijkste overgebleven verschillen tussen de onderzoeks- en de controlegroep wordt gecorrigeerd, is dan acceptabel, vooral in situaties waar randomisering op juridische of zwaarwegende praktische bezwaren stuit. Het is dan wel van belang dat we weten welke kenmerken het beste kunnen fungeren als criteria voor het matchen van de personen in de onderzoeks- en de controlegroep.
Dit laatste geeft nog eens aan hoe belangrijk het is voorafgaand aan de recidivemeting kwalitatief onderzoek te doen. Het denken in termen van een keten van onderzoeken maakt dat een recidivemeting niet in het luchtledige plaatsvindt. De plan- en de procesevaluatie hebben – als het goed is – al de nodige kennis opgeleverd. De uitgangssituatie van de kandidaten voor de interventie is bekend. Er is een analyse gemaakt van de mechanismen die met de interventie in werking worden gezet en er is vastgesteld welke veranderingen er in de uitgangssituatie van de deelnemers zijn opgetreden. Met de plan- en de procesevaluatie is er
goed beschouwd gewerkt aan een basis om causale uitspraken te doen. Wanneer we goed op de hoogte zijn van de omstandigheden die normaal gesproken tot recidive leiden, is het niet per se nodig om in de slotfase van