Planevaluatie: waarom zou een interventie werken?

Een planevaluatie handelt om de vraag welke effecten van een (bijstelling van een) programma mogen worden verwacht. Deze fase van onderzoek gaat als het goed is aan de invoering van een programma vooraf. Hierop zijn echter uitzonderingen denkbaar. Ook als het programma al enige tijd draait, is het mogelijk een planevaluatie te doen. De centrale vraag veran-dert daardoor niet: welke resultaten zal het programma op grond van de plannen – dus op grond van de theoretische veronderstellingen – weten te behalen?

Een planevaluatie moet de beleidsmakers duidelijk maken of het verstan-dig is om een bepaald daderprogramma te implementeren. In feite is dat natuurlijk ook de opdracht van de eerdergenoemde erkenningscommis-sie. Het werk van deze commissie mag dan ook een planevaluatie worden genoemd. De commissie bekijkt de plannen die zijn ingediend en geeft daar een oordeel over. Er zijn verschillende manieren om een planevalu-atie uit te voeren. Een onmisbaar element is het reconstrueren van de onderliggende ‘programmatheorie’. Daarnaast kan men gebruikmaken van een groep technieken die als kosten-batenanalyse kan worden aange-duid. Op beide benaderingen gaan we kort in.

64 Dezelfde indeling vinden we bij Swanborn (1999), zij het dat deze auteur de planevaluatie ziet als de ontwerpfase van de interventie (of het beleid) en niet op de eerste plaats als onderzoek naar de plannen op zich, zoals hier de opvatting is. We spreken van een evaluatieketen omdat de drie fasen normaal gesproken in een vaste volgorde worden afgewerkt. Soms is het echter nodig verschillende plan- en procesevaluaties uit te voeren alvorens over te gaan tot de productevaluatie, bijvoorbeeld wanneer de opzet van een programma een belangrijke wijziging heeft ondergaan.

Reconstructie van de programmatheorie

Aan elk daderprogramma liggen assumpties ten grondslag; over de doel-groep, over de aard en oorzaken van hun criminele gedrag en over de mechanismen die in werking worden gezet met het pakket aan te plegen interventies. De juistheid van de assumpties bepaalt het succes van het programma. Niet alleen de onderliggende criminologische theorie moet kloppen, ook de uitwerking daarvan is van groot belang. Ook bij de verta-ling van de theorie in een interventiestrategie en de omzetting dáárvan in concrete plannen en handelingsvoorschriften worden keuzes gemaakt waarvan de houdbaarheid moet worden onderzocht (cf. Leeuw, 2003). Met een planevaluatie wordt het geheel van assumpties, de onderliggende ‘logica’ of ‘rationale’ van de interventie, in kaart gebracht. Althans, voor zover dat nog niet is gebeurd. De eerste eis voor daderprogramma’s die in aanmerking willen komen voor erkenning, is namelijk dat de interventie voldoende is onderbouwd (zie box 5.1). De interventie dient gebaseerd te zijn ‘op een expliciet veranderingsmodel waarvan de werking weten-schappelijk is aangetoond’. Als een daderprogramma wordt aangemeld, is – als het goed is – een deel van het werk dus al gedaan. Uit de project-beschrijving moet blijken welke processen en mechanismen in de ogen van de behandelaars een rol spelen bij het ontstaan van crimineel gedrag, op welke criminogene factoren de interventie aangrijpt en hoe men deze precies tracht te beïnvloeden om verdere recidive te voorkomen.

In de planevaluatie worden de plannen van een daderprogramma maxi-maal ontvouwd om te bezien of zij een kans van slagen hebben. Alle veronderstellingen – niet alleen van de formele, criminologische theorie maar ook van de uitwerking in de praktijk – worden gearticuleerd en getoetst aan de kennis en inzichten vastgelegd in de wetenschappe-lijke literatuur. De eis van de commissie dat het veranderingsmodel een bewezen werking moet hebben, is erg streng. Het zou betekenen dat er geen nieuwe interventies bij de commissie kunnen worden aangemeld. Gelukkig wordt in de toelichting van de eis het een en ander gerelati-veerd. Indien er nog geen wetenschappelijk bewijs voorhanden is, dient de werking van het daderprogramma ‘aannemelijk’ te worden gemaakt, door zo veel mogelijk te verwijzen naar relevante wetenschappelijke bevin-dingen (Programma TR, 2005). Zo blijft er – terecht – ruimte voor nieuwe initiatieven.

Meer in het algemeen draait het in deze eerste fase van de evaluatie om ‘aannemelijkheid’. Centraal staat niet de feitelijke effectiviteit van een interventie, maar de mogelijke werking. De reconstructie van de program-matheorie is een kwalitatieve analyse van de kansen van een daderpro-gramma. Het is van belang dat de plannen voor interventies goed worden doorgelicht, zodat het risico op mislukking zo klein mogelijk gehouden wordt. Als de programmatheorie niet klopt, werkt de interventie niet – althans niet zoals die is bedoeld – en is het wellicht beter om van invoe-ring af te zien.

145

Recidive als maat voor effectiviteit

Box 5.2 Aandachtspunten voor de planevaluatie

In de fase van de planevaluatie worden de assumpties die ten grondslag liggen aan de uitvoering van een daderprogramma kritisch onderzocht. Voorbeelden van vragen die bij de reconstructie van de ‘programmatheorie’ aan de orde kunnen komen, zijn:

– In welke specifieke termen wordt de doelgroep van het daderprogramma omschreven?

– Op welke criminogene factoren richt het programma zich en hoe zijn deze factoren van invloed op het (crimineel) gedrag van de deelnemers? – Waaruit bestaat de behandeling van deze criminogene factoren? Is er

sprake van een eenvormig geheel (een module) of bestaat de interventie uit verschillende onderdelen die in wisselende samenstelling worden aangeboden (een ‘multimodaal’ programma)?

– In welke setting of context vindt de interventie plaats? Maakt zij onderdeel uit van een traject of van een ander groter geheel? Waarom zou de interventie in deze context werken?

– Welke (ketens van) gedragsmechanismen moeten ervoor zorgen dat de interventies die men pleegt, leiden tot de gewenste veranderingen en het uitblijven van recidive? Waarom zouden deze mechanismen in werking treden?

– Zijn er, hoewel wellicht in een andere context, vergelijkbare programma’s of behandelmethoden bekend voor de betreffende doelgroep en welke resultaten geven deze interventies te zien?

– Welke verwachtingen koesteren de direct betrokkenen van het programma? Wat motiveert hen om aan het programma mee te werken? Onder welke omstandigheden werkt het volgens hen het best?

– Welke recidivereductie mag van dit daderprogramma worden verwacht? Waarop is deze verwachting gebaseerd?

– Welke positieve en negatieve effecten zijn er naast recidivereductie te voorzien? Op welk niveau zullen deze neveneffecten zich voordoen?

Kosten-batenanalyse

Een aanvullende manier om vooraf een inschatting te maken van de kwaliteit van een daderprogramma, is het uitvoeren van financiële ana-lyses. Aandacht voor de kostenaspecten van strafrechtelijke interventies bij evaluatieonderzoek is betrekkelijk nieuw. In de Verenigde Staten en in het Verenigd Koninkrijk is inmiddels de nodige ervaring opgedaan en zijn de gebruikte methodieken beschreven (zie bijvoorbeeld Aos et al., 1999; Dhiri & Bran, 1999). In Nederland ontwikkelde onderzoeksbureau Ecorys een eerste versie van een algemeen model voor kosten-batenanalyses van justitiële interventies (Versantvoort et al., 2005). Het bureau onderscheidt drie varianten van kosten-batenanalyses:

1 Kosteneffectiviteitanalyse: deze methode wordt gebruikt als het belang rijkste effect van een interventie (i.c. recidivereductie) wel in een maat, maar niet in een geldwaarde kan worden uitgedrukt. 2 Kosten-batenanalyse in engere zin: deze techniek wordt toegepast als

de belangrijkste baten van een interventie wel in geldwaarden kunnen worden uitgedrukt.

3 Multicriteria-analyse: deze methode geldt als de baten van een inter-ventie uiteenlopen en niet (goed) te kwantificeren zijn.

Bij kosteneffectiviteitanalyses worden de verwachte kosten van daderpro-gramma’s afgezet tegen de verwachte baten in termen van reductie van recidive. Op basis van ervaringen met soortgelijke interventies in binnen- en buitenland schat men het percentage recidivedelicten dat men via het programma hoopt te kunnen voorkomen.65 De verhouding tussen dit percentage en de (meer)kosten die per deelnemer worden gemaakt, geeft aan wat de verwachte kosteneffectiviteit van een programma is. Het is de prijs die voor de recidivereductie moet worden betaald en dus een maat voor de prijs-kwaliteitverhouding.

Bij een kosten-batenanalyse in engere zin (KBA) worden ook de effecten van een interventie uitgedrukt in financiële waarden. Als een daderpro-gramma recidiveverlagend werkt, betekent dit dat de samenleving zich kosten bespaart. Recidivereductie houdt in dat er minder delicten worden gepleegd, dat er minder maatschappelijke schade ontstaat en dat politie en justitie minder uitgaven behoeven te doen. In Nederland heeft het economisch onderzoeksbureau SEO schattingen gemaakt van de maat-schappelijke kosten van bepaalde delicten (Groot et al., 2007). Met deze ‘delictprijzen’ kan worden berekend welk bedrag naar verwachting zal worden terugverdiend op elke euro die het programma kost.

Een multicriteria-analyse is een extensie van een KBA. Ze houdt rekening met het feit dat een daderprogramma tegelijk meerdere doelen dient en dat niet alle effecten van de interventie te kwantificeren zijn. Daderpro-gramma’s zijn gericht op recidivereductie. Dat is het hoofddoel. Maar er zijn ook neveneffecten. Een voorbeeld van een belangrijke, maar vaak vergeten bijwerking is het incapacitatie-effect. Bij sommige sancties is dit het primaire strafdoel (bijvoorbeeld ISD), maar bij andere interventies wordt dit effect nogal eens over het hoofd gezien. Men is geneigd alleen te kijken naar het recidivebeeld na afloop van de behandeling, terwijl ook tijdens de interventie vaak een hoeveelheid criminaliteit wordt voorko-men. Personen die gedetineerd zijn of anderszins onder toezicht staan, zijn niet of in elk geval minder in de gelegenheid om delicten te plegen. Meer in het algemeen is het zo dat verschillende soorten ‘baten’ en ‘kosten’ een rol kunnen spelen in de besluitvorming rond een programma. Een multicriteria-analyse neemt alle verwachte hoofd- en neveneffecten 65 Bij deze prognose mogen de percentages natuurlijk niet zomaar uit de onderzoeksliteratuur worden

overgenomen. Men moet rekening houden met de wijze waarop de recidive is berekend en ook rekening houden met de base rate, het recidiveniveau dat men normaal gesproken in de doelgroep aantreft.

147

Recidive als maat voor effectiviteit

in ogenschouw, bedoeld en onbedoeld en of zij nu in (geld)waarden uit te drukken zijn of niet. Een brede kijk voorkomt dat de aandacht zich te sterk richt op hetgeen gemakkelijk te meten is.