Het codeerwerk voor de webportal en de meta-analyse valt uiteen in een aan-tal blokken. In bijlage 4 is het volledige codeerschema opgenomen en zijn de blokken terug te vinden. Ze worden hier globaal besproken om een indruk te geven van de dimensies waarop de gevonden effectstudies werden gescoord en ingedeeld.
Blok 0 Voorcodering
De eerste stap bij het codeerwerk wordt de voorcodering genoemd. In deze fase worden de publicatiegegevens vastgelegd en wordt beslist of een publi-catie een geschikte kandidaat is voor opname in de kennisbank en de meta-analyse (zie hiervoor). Is dat het geval, dan wordt bij de voorcodering ook
beoordeeld hoe de publicatie is opgebouwd. Het kan zijn dat in een studie meer dan één interventie aan de orde komt, of dat er diverse experimentele groepen worden onderscheiden met elk hun eigen controlegroep. Twee codeurs bekijken steeds welke structuur een studie heeft en bepalen, onaf-hankelijk van elkaar, of er blokken zijn die meer dan eens moeten worden gescoord. Zij gaan pas verder met het codeerwerk als overeenstemming bestaat over het aantal interventies, onderzoeksgroepen en uitkomstmaten dat in de publicatie aan de orde komt.
Figuur 2.1 geeft een complex voorbeeld van de structuur van een publicatie. In deze studie worden drie interventies besproken. Een daarvan wordt toege-past op twee onderscheiden dadergroepen met elk een eigen controlegroep, uitkomstmaat en resultaat. Bij het onderzoek van de middelste interventie ontbreekt een controlegroep. Bij de bovenste interventie zijn in de publicatie twee uitkomstmaten te vinden. Dit levert twee resultaten (of ‘vergelijkingen’) op. Beide worden geboekstaafd, maar de meta-analyse waarvan hier verslag wordt gedaan heeft alleen betrekking op het resultaat dat wordt uitgedrukt in termen van recidive.
Figuur 2.1 Voorbeeld van de interne structuur van een effectstudie
Publicatie Interventie Interventie Interventie Experimentele groep Experimentele groep Experimentele groep Experimentele groep Controlegroep Controlegroep Controlegroep Uitkomstmaat Uitkomstmaat Uitkomstmaat Uitkomstmaat Uitkomstmaat Resultaat Conclusie Resultaat Resultaat Conclusie Resultaat Resultaat Conclusie Blok A Publicatievariabelen
In dit blok wordt aan de publicatiegegevens die bij de voorcodering zijn vast-gelegd toegevoegd om welk soort publicatie het gaat (bijvoorbeeld een boek, artikel, thesis of overheidsrapport), welke relatie de auteur van de publicatie heeft met de onderzochte interventie(s) en door welk onderzoeksinstituut de studie werd gepubliceerd. Daarbij wordt in dit stadium ook een abstract opgesteld. Dit is een korte samenvatting van de studie waarin aandacht wordt besteed aan de achtergrond, het doel en de opzet van het onderzoek. De abstracts van alle effectstudies zijn opgenomen in bijlage 3. Zij verschij-nen te zijner tijd ook op de schermen van de webportal van de kennisbank.
Blok B Interventievariabelen
In dit blok worden de kenmerken van de interventie vastgelegd. Eén van de kenmerken is de strafrechtelijke titel. Deze variabele geeft aan welk type strafrechtelijke sanctie het uitgangspunt vormde voor de onderzochte inter-ventie. De meeste interventies kunnen worden gezien als een invulling of variant van een bepaalde hoofdstraf (boete, taakstraf of (on)voorwaardelijke vrijheidsstraf). Maar het kan ook zijn dat de interventie in de plaats komt van verdere vervolging of een alternatief vormt voor een meer reguliere aanpak. De interventies werden ingedeeld in de volgende categorieën: voorjustitiële afdoening, geldstraf, werkstraf, voorwaardelijke sanctie/leerstraf, onvoor-waardelijke vrijheidsstraf, detentiefasering, vrijheidsbeperkende maatregel en diversen. De laatste categorie wordt gebruikt als de interventie onder meer dan één strafrechtelijke titel kan worden uitgevoerd.11 De categorie ‘voorjus-titiële afdoening’ omvat de afdoeningen op politieniveau (zoals Halt), en de sancties opgelegd door het OM, bijvoorbeeld in het kader van schorsing van de voorlopige hechtenis of als voorwaarde bij een beleidssepot.
Naast de strafrechtelijke titel van de interventie wordt gescoord in welke set-ting de interventie wordt uitgevoerd: binnen de muren van een inrichset-ting, buiten een inrichting in de gemeenschap, gemengd of opeenvolgend (eerst intramuraal, dan extramuraal). Ook wordt vastgelegd welke hoofdstrategie wordt gevolgd om de kans op recidive onder de deelnemers van de interven-tie te helpen verlagen. We sluiten daarbij aan bij de trichomisainterven-tie van Mac-kenzie (2006). Zij onderscheidt drie wegen waarlangs gewerkt wordt aan reci-divevermindering: afschrikking, incapacitatie en resocialisatie. Deze begrip-pen kwamen in de introductie al aan de orde. Het is een zeer grove indeling, van elke strategie zijn tal van variaties denkbaar. Bovendien komen zij vaak in combinatie met elkaar voor. De ‘hoofdstrategie’ geeft dus slechts een eerste indruk van de oriëntatie van de interventie.
Blok C Kenmerken experimentele groep
De term ‘experimentele groep’ staat in deze meta-analyse voor de groep die de onderzochte interventie onderging. In dit blok van het codeerschema wor-den zo veel mogelijk achtergronwor-den van de personen in de experimentele groep vastgelegd. Er wordt gekeken naar de sekseverdeling, dat wil zeggen, of er alleen mannen of vrouwen in de onderzochte groep zitten of dat de groep gemengd is. Ook wordt de leeftijdsopbouw van de deelnemers in de experi-mentele groep gescoord. Verder wordt het aandeel etnische minderheden in de groep geregistreerd evenals een aantal kenmerken van het strafrechtelijk verleden van de deelnemers.
Met de informatie over deze achtergronden kan worden vastgesteld of de experimentele groep heterogeen of homogeen is samengesteld; of de onder-zoeksgroep uit allerlei verschillende daders bestaat of juist uit daders die veel met elkaar gemeen hebben. De verschillen kunnen van belang zijn bij de
interpretatie van de effect size, de uiteindelijke uitkomst van het onderzoek. Als de groep homogeen is, is er meer duidelijkheid over het effect van de interventie maar zijn de resultaten minder goed te generaliseren. Bij een hoge heterogeniteit geldt dit laatste minder, maar is het moeilijker om te bepalen voor wie precies de interventie werkzaam is.
De achtergronden van de deelnemers worden ook vastgelegd om vooraf een inschatting te kunnen maken van het gemiddelde recidiverisico. Zoals we zagen is één van de basisprincipes van de what works-benadering dat de intensiteit van de interventie moet zijn afgestemd op de verwachte kans op terugval (zie hoofdstuk 1, paragraaf ‘What works in Nederland’). Wellicht geldt dit niet alleen voor gedragsinterventies maar voor alle sancties.
Blok D Kenmerken controlegroep
We zullen zien dat in de Nederlandse en Vlaamse effectstudies niet altijd een controlegroep wordt gebruikt. In zo’n geval valt de studie af voor de meta-analyse. Maar als er een controlegroep is, wordt deze grofweg op dezelfde wijze gecodeerd als de experimentele groep. Daarnaast wordt er een aantal extra kenmerken gescoord. Zo wordt vastgelegd welk type interventie de per-sonen in de controlegroep hebben ondergaan: bijvoorbeeld géén interventie, de gebruikelijke interventie, of wachtlijstplaatsing. Verder wordt gecodeerd hoe de deelnemers aan de controlegroep zijn toegewezen. Er zijn verschil-lende mogelijkheden: random toewijzing, individuele matching, groepsmat-ching of een vergelijking met een bestaande groep. De informatie over de toewijzing van personen aan de controlegroep en de gegevens over hun ach-tergronden worden in een later stadium van het codeerwerk gebruikt om twee belangrijke methodologische aspecten af te leiden: de interne validiteit van het onderzoeksdesign van de effectstudie en de vergelijkbaarheid van de controlegroep. Maar daarover later meer, in paragraaf 2.4.2.
Blok E Uitkomstmaat
In dit blok worden zaken gecodeerd die te maken hebben met de maat waar-mee de effectiviteit van de interventie wordt ingeschat. Voor de meta-analyse is dit steeds (een bepaalde vorm van) recidive, maar er kunnen in een studie ook andere indicatoren worden gebruikt die interessant zijn voor opname in de Kennisbank Criminaliteitspreventie. Gaat het echter om recidive, dan wordt in dit blok gescoord welk facet van de recidive als uitkomstmaat diende: de prevalentie, frequentie, omvang of snelheid. De prevalentie is het percentage recidivisten, de frequentie het aantal recidivedelicten en de omvang is een combinatie van beide. Daarnaast wordt hier ook vastgelegd welke definitie van recidive in het onderzoek werd gehanteerd, uit welke bron de recidivegegevens afkomstig zijn (bijvoorbeeld zelfrapportage, politie-of justitiegegevens) en welke observatietermijn werd gebruikt.
Blok F Studie-uitkomst
Het resultaatgedeelte in het codeerschema valt uiteen in een sectie uitkomst’ en een sectie ‘berekening effect sizes’. In de sectie ‘studie-uitkomst’ worden voor elke onderzochte combinatie van interventie, experimentele en controlegroep en per uitkomstmaat, de resultaten van de effectstudie vastgelegd. Omdat de huidige meta-analyse zich heeft beperkt tot vergelijkende studies die de prevalentie van recidive als uitkomstmaat hanteren (zie box 2.1), werd in eerste instantie in dit blok alleen geregis-treerd: het percentage recidivisten in de experimentele groep, het percentage recidivisten in de controlegroep, en het significantieniveau van het onder-linge verschil.
Blok G Effect sizes
In de sectie ‘berekening effect sizes’ wordt voor iedere uitkomst van de verge-lijking van experimentele en controlegroep de hoogte van de effect size bere-kend. ‘Effect size’ is de generieke term voor de overkoepelende maat die in meta-analyses wordt gebruikt. De effect size drukt het relatieve succes van de onderzochte interventies op een eenduidige manier uit. In de literatuur zijn verschillende typen effect sizes te vinden (Lipsey & Wilson, 2001). In dit onderzoek hanteren we de odds ratio, de meest gebruikte effect size in meta-analyses op studies die werken met een dichotome uitkomstvariabele, dat is hier: wel of geen recidive. In paragraaf 2.5.1 wordt de odds ratio (OR) in meer detail besproken. De berekening van de odds ratio vindt plaats nadat alle studie-uitkomsten zijn gecodeerd. In de toekomst zullen we ook studies incorporeren die een ander type uitkomstmaat hanteren. Daarom worden de odds ratio’s ook omgezet naar de effect size d, een variant die ook kan wor-den gebruikt bij vergelijkingen van frequenties, zoals verschillen in het aantal recidivedelicten, het aantal recidivevrije dagen of het aantal vervolgplaatsin-gen in behandelklinieken (Cohen, 1988).
Blok H Conclusie
Het conclusiegedeelte van de codeerlijst is niet direct van belang voor de meta-analyse. In dit gedeelte wordt speciaal ten behoeve van de Kennisbank Criminaliteitspreventie een samenvatting gegeven van de uitkomsten van de effectstudie. Per interventie wordt een conclusie opgesteld ten aanzien van de effectiviteit zoals die naar voren komt uit het onderzoek.