Het beste bewijs voor verandering
de mate van overeenstemming tussen verschillende bronnen van informatie
Master Forensische Orthopedagogiek Graduate School of Child Development and Education Universiteit van Amsterdam
Fien Rademaker 11129956 Begeleiding: dhr. dr. P.J. Hoffenaar Tweede beoordelaar: mw. dr. A. Spruit
Amsterdam Datum: 13.11.2017
Inhoud Samenvatting ... 3 Abstract ... 3 Inleiding ... 5 Methode ... 12 Inclusiecriteria ... 12 Procedure ... 13
Coderen en analyseren van effectstudies ... 14
Codering. ... 14
Codeurs ... 15
Berekening effectgrootte ... 15
Resultaten ... 15
Studiekenmerken ... 15
Methodologische kenmerken en uitkomstmaten ... 16
Bevindingen op basis van RPC Model ... 16
Discussie ... 20 Referenties ... 30 Appendix A: Tabellen ... 35 Tabel 1 ... 35 Tabel 3 ... 36 Tabel 4 ... 37 Tabel 5 ... 38 Appendix B: codeboek ... 39
Samenvatting: Hoewel er veel onderzoek wordt gedaan naar de effectiviteit van interventies binnen de forensische jeugdzorg, wordt hierbij geen rekening gehouden met (in)consistenties tussen de verschillende informantenbronnen en methoden. Dit artikel bespreekt aan de hand van een recent ontwikkeld model (Range of Possible Change [RPC] model) de effectiviteit en het bewijs voor verandering voor interventies binnen de Forensische Jeugdzorg rekening houdend met de (in)consistenties. In dit artikel worden de twee evidence-based interventies Multi Systeem Therapie (MST) en Multidimensionele Familie Therapie (MDFT) geclassificeerd aan de hand van het RPC-model. Voor deze interventies wordt nagegaan of de huidige classificatie van de Erkenningscommissie, ‘effectief volgens sterke aanwijzingen’, herzien zou moeten worden als het RPC-model wordt toegepast. Hierbij wordt onderzocht hoe consistent de resultaten zijn, zowel binnen als tussen onderzoek. Vanuit het RPC-model komen voor zowel MST als MDFT inconsistente resultaten naar voren waarbij er geen sprake lijkt te zijn van informant en/of methode specifieke resultaten. Dit resulteert in een bewijskracht van ‘geen bewijs’ tot ‘beste bewijs’ voor verandering. Volgens de RPC-analyse lijkt MDFT beter dan MST aan te sluiten bij het verminderen van recidive. Het analyseren van effectstudies middels de RPC-analyse geeft ook zicht op een aantal beperkingen van effectstudies zoals het gebruik van enkel één informant en/of meetmethoden. Voor vervolgonderzoek is het raadzaam om effectiviteit te meten middels meerdere informanten zoals andere familieleden en vrienden bij te betrekken. Ten slotte wordt het aanbevolen om in het vervolg de inclusiecriteria van de RPC-methode bij effectiviteitsonderzoek van interventies binnen de forensische jeugdzorg toe te passen.
Abstract: There has been a lot of research of evidence-based interventions for youth delinquency. These studies do not take into account the inconsistencies of informants and methods. This article discusses interventions for youth delinquency involving a new developed model (Range of Possible [RPC] model) which pays attention to the (in)consistencies. The study will classify two evidence-based interventions Multi System Therapy (MST) and Multidimensional Family Therapy (MDFT) using the RPC-method. The Accreditation Committee for Youth Interventions classifies these interventions as strong evidence for change. This study will illustrate if the current classification of the Accreditation Committee for Youth Interventions will be acknowledged when analysing these two interventions with the RPC-method. The RPC-method will show if there are inconsistencies in and between studies of these interventions. The interventions MST and MDFT
show inconsistencies in the results but do not include contextual- or informant specific change. The results show an evidence with a range of ‘no evidence for change’ to ‘best evidence for change’. The intervention MDFT seems to have better results for reducing recidivism than MST. Besides the results of the evidence for change for both intervention, this study shows the constraints of effect studies. A lot of studies only use one informant or method. A follow-up research should include more informants, like more family members and/or friends. Finally, it is recommended to use the inclusion criteria of the RPC-method for every effect studies for more valid results.
Het beste bewijs voor verandering
Tot een aantal jaren geleden werden gedragsinterventies ingezet met de gedachte ‘baat het niet dan, schaadt het niet’ (Van Ooyen-Houben, 2011; Dekovic, 2010). Hoewel ontwikkelaars van deze gedragsinterventies goede bedoelingen hadden, bleken sommige interventies averechts te werken en het recidiverisico te verhogen (Dekovic, 2010; Dishion, McCord & Poulin, 1999). Er had zich een enorm aanbod van interventies ontwikkeld zonder enige ondersteuning voor effect op recidive (Van Ooyen-Houben, 2011). Eén van de doelstellingen van het Ministerie van Veiligheid en Justitie is het verminderen van recidive van de jeugdige delinquent (Kleemans, Haarhuis, Leeuw & van Ooyen-Houben, 2007;Leeuw, 2009).Vanuit deze gedachte moesten alle gedragsinterventies voor jeugdige delinquenten erkend worden door de in 2005 ingestelde
Erkenningscommissie Gedragsinterventies Justitie op daadwerkelijke effectiviteit om zo te komen tot een beperkt en sluitend aanbod (Van Yperen, 2007). Deze commissie maakt onderscheid in de effectiviteit en werkzaamheid van de interventies aan de hand van drie categorieën op de effectiviteitsladder; a) eerste aanwijzing, b) goede aanwijzingen en c) sterke aanwijzingen (Nederlands Jeugdinstituut, zd).
Hoewel in de afgelopen jaren de nadruk is toegenomen op het ‘evidence-based’ werken door inzet van de Erkenningscommissie, is er ook kritiek op de criteria (zie tabel 1) waarop het oordeel gebaseerd wordt (De Winter, Verhagen & Goossens, 2016). Uit het evaluatierapport naar het functioneren van de commissie komt naar voren dat de criteria ten aanzien van de
beschrijving van de werking van de interventie goed in detail beschreven wordt (RIVM, 2012). Op welke manier de resultaten gewogen worden en welke criteria hierbij gehanteerd worden komt echter niet duidelijk naar voren en/of wordt niet gepubliceerd. Bij het vaststellen van een evidence-based interventies (EBI’s) zouden twee vragen centraal moeten staan; (1) is de interventie in staat om het beoogde construct te veranderen? En (2) hebben de verschillende meetmethoden en informatenbronnen invloed op de uitkomsten die mogelijke verandering aantonen? Het probleem bij de Erkenningscommissie is dat ze geen aandacht besteden aan de tweede vraag. Het is echter van belang dat men zich er van bewust is dat de resultaten afhankelijk zijn van de verschillende methoden en respondenten die ingezet worden, wat kan leiden tot inconsistenties.
Ondanks dat het probleem al langer bekend is, wordt de weging van verschillende en mogelijke (in)consistente resultaten tot op heden niet op een systematische manier opgenomen bij
het bepalen van een interventie-effect (Los Reyes & Kazdin, 2008). Wanneer er geen rekening gehouden wordt met inconsistenties, kan dit een vertekend beeld geven over de effectiviteit van de interventie. (In)consistente resultaten kunnen onder andere ontstaan doordat verscheiden informanten verschillende ‘effecten’ zien. Uit zelfrapportage kan bijvoorbeeld naar voren komen dat een jeugdige aangeeft minder agressie te gebruiken na het volgen van een interventie, terwijl ouders geen verschil rapporteren met een voor- en nameting. Een gemiddelde effectgrootte zou in dit geval een vertekend beeld geven. Dit onderzoek richt zich om deze reden op een nieuw
ontwikkelde methode die de gebrekkige overeenstemming tussen methoden en informanten serieus neemt. Deze methode gaat op een zinvolle en verantwoorde manier om met
inconsistenties tussen informaten en meetmethoden (Los Reyes & Kazdin, 2009).
Wanneer (in)consistenties meegenomen worden bij het bepalen van de effectiviteit is het van essentieel belang om inzicht te hebben in de oorzaken. Inconsistenties binnen en tussen effectstudies kunnen optreden door twee soorten methodologische verschillen. Allereerst zijn de uitkomsten afhankelijk van verschillende informanten die worden gebruikt om informatie te verzamelen. Metingen van deze verschillende bronnen komen vaak niet overeen met elkaar (Achenbach, Krukowski, Dumenci & Ivanova, 2005; De Los Reyes & Kazdin, 2004, 2005). Uit de monitor Jeugdcriminaliteit (CBS, 2016) komt naar voren dat de recidive middels
zelfrapportage niet overeenkomt met politieregistraties. In het rapport komt naar voren dat jeugdcriminaliteit het beste kan worden beschreven wanneer meerdere bronnen worden gebruikt die onafhankelijk zijn van elkaar. Dit wordt ondersteund door onderzoek Van Yperen et al., (2008) waarin wordt omschreven dat de bewijskracht voor de werkzaamheid van de interventie wordt onderbouwd wanneer er sprake is van vergelijkbare gewenste patronen in de ontwikkeling van de deelnemers volgens verschillende informanten. Wanneer de verschillende informanten andere patronen zien, leidt dit tot inconsistenties en mogelijk een vermindering in de
bewijskracht.
Ten tweede kunnen inconsistenties optreden door de verschillende methoden en
meetinstrumenten die toegepast worden om verandering vast te stellen (e.g., Achenbach, 2005; De Los Reyes & Kazdin, 2006). Afhankelijk van het meetinstrument kan verandering op drie manieren vastgesteld worden. Een veel gebruikte manier is het meten van gemiddelde verschillen tussen de controle- en experimentele groep bij de nameting. Daarnaast kunnen verschillen
veranderingen wordt er gekeken of de jeugdige na het volgen van een interventie nog tot de klinische groep behoort (Vanhoutte, Faber & Merkies, 2010). Ten slotte wordt er bij het vaststellen van verandering middels de diagnostische status nagegaan met een diagnostisch proces in hoeverre de symptomen voor een diagnostische status nog voorkomen na behandeling (Tak, Veerman, Bosch & Couturier, 2015, p.61). Inconsistenties kunnen optreden doordat de interventie bijvoorbeeld als succesvol wordt beoordeeld aan de hand van significante verschillen tussen de voor- en nameting, maar waarbij de jeugdige geen klinische verandering laat zien en nog steeds hulp nodig heeft met re-integreren in de samenleving.
Wanneer besloten wordt dat (in)consistenties mee spelen in het eindoordeel van de
effectiviteit van de interventie, moet er overwogen worden hoe zwaar (in)consistenties meewegen en of volledige overeenstemming nodig is om te spreken van effectiviteit (Los Reyes & Kazdin, 2009). Om hierover te kunnen beslissen komt de vraag naar voren hoeveel procent van de resultaten verandering moet ondersteunen om te spreken van effectiviteit. Om deze vraag te beantwoorden hebben Los Reyes en Kazdin (2006) het Range of Possible Change (RPC) model ontwikkeld. Het uitgangspunt van het RPC-model is dat veranderingen binnen interventies niet gelijkmatig zijn, maar inconsistent. Het model maakt daarom gebruik van een vorm van multidimensionaliteit, waarbij meerdere informanten en/of methoden gebruikt worden en resultaten kruislings gecontroleerd kunnen worden (Tavecchio, 2014). Het RPC-model ziet (in)consistenties over verschillende bronnen en informanten juist als een indicatie voor bewijskracht en geeft inzicht in inconsistenties en de omstandigheden waarin een interventie optimaal effect heeft (Los Reyes & Kazdin, 2006).
De mate van verandering van het beoogde construct kan aan de hand van het RPC-model zowel tussen als binnen effectstudies geclassificeerd worden (Los Reyes & Kazdin, 2006, 2008). Het RPC-model veronderstelt dat de resultaten zich zullen bevinden langs een range van
mogelijke veranderingen. Deze range wordt in het RPC-model onderverdeeld in zes categorieën (tabel 2). Binnen elke categorie worden gegevens die afkomstig zijn van verschillende
informanten en die zijn verkregen met verschillende meetinstrumenten en methoden met elkaar vergeleken.
Tabel 2
Categorieën en bijbehorende criteria RPC-analyse
Categorie Criteria
Aspecifiek
Beste bewijs voor verandering Minimaal 80% van de bevindingen van verschillende informanten, metingen, methoden en analyse uitkomsten laten een significant verschil zien.
Bewijs voor mogelijke verandering
Meer dan 50% van de bevindingen van verschillende informanten, metingen, methoden en analyse uitkomsten laten een significant verschil zien.
Beperkt bewijs voor verandering 50 % of minder van de bevindingen van verschillende informanten, metingen, methoden en analyse uitkomsten laten een significant verschil zien.
Geen bewijs voor verandering Er zijn geen significante veranderingen gevonden
Specifiek
Bewijs voor contextuele, of informant specifieke verandering
Significante verschillen zijn grotendeels (80%) verkregen van specifieke informanten, en weinig tot geen bewijs (50% of minder) is gevonden bij de andere informanten; een duidelijk contextuele of informant-specifieke patroon van significante verschillen.
Bewijs voor meting, - of methode specifieke veranderingen
Significante verschillen zijn grotendeels (80%) verkregen via specifieke meetinstrumenten of analysemethode, en weinig tot geen bewijs (50% of minder) is gevonden aan de hand van andere meetinstrumenten en analyses; duidelijke meet- en/of methode specifieke patronen van significante verschillen
Bij de zes categorieën van het RPC-model wordt onderscheid gemaakt tussen specifieke en aspecifieke verandering. Het RPC-model bevat twee specifieke categorieën; (1) contextuele, en/of informant-specifieke verandering en (2) methode en analyse-specifieke verandering. Vanuit de resultaten kan bijvoorbeeld naar voren komen dat significante veranderingen in het
delinquente gedrag alleen vanuit de thuissituaties gerapporteerd wordt en niet vanuit school en vrijetijd. In dit geval is er sprake van contextuele of informant-specifieke verandering. Er kan dan gesproken worden van bewijs voor verandering, specifiek voor de thuissituatie. Daarnaast kan het
zijn dat er enkel significante verschillen naar voren komen vanuit bijvoorbeeld de Child Behavior Checklist (CBCL) en niet vanuit andere meetinstrumenten. In dit geval spreekt men van
methode-specifieke bewijs voor verandering.
Mocht er geen sprake zijn van een specifieke verandering, dan kan er gekeken worden naar het percentage significante verschillen vanuit alle informanten en methoden. Het percentage significante bevindingen van het totaal bepaalt onder welke classificatie van de aspecifieke categorie de interventie valt. Wanneer bijvoorbeeld het delinquente gedrag wordt gemeten aan de hand van vragenlijsten voor jeugdige, ouders en politieregistraties wordt er gekeken in hoeverre deze resultaten consistent zijn. Het kan voorkomen dat alleen bij de resultaten van zelfrapportage significante verschillen naar voren komen en bij ouders en politieregistraties niet. Dit levert inconsistente resultaten op, waarbij slechts 33.33% van de resultaten bewijs voor verandering aantoont. Aan de hand van het percentage kan bekeken worden welke aspecifieke categorie hierbij past. Een percentage van 33.33% zal in dit geval vallen onder de categorie ‘beperkt bewijs voor verandering’.Tevens kan het RPC-model ingezet worden om te kijken naar de
(in)consistenties tussen verschillende effectstudies van dezelfde interventie. Het RPC-Model gaat ervan uit dat verschillende onderzoeken van dezelfde interventies mogelijk verschillen in
consistentie voor het bewijs van verandering. Deze inconsistenties kunnen resulteren in uiteenlopende resultaten van ‘geen bewijs’ tot ‘beste bewijs’ voor verandering. Wanneer
bijvoorbeeld bij twee of meer studies ‘beperkt bewijs’ wordt gevonden en slechts voor één studie ‘beste bewijs’, kan de effectiviteit in twijfel kan worden getrokken. Dit maakt het ingewikkeld om te spreken van effectiviteit, aangezien er geen richtlijnen zijn waarbij is afgesproken hoeveel bewijs van de verschillende effectstudies verandering van het beoogde construct moet
ondersteunen om te kunnen spreken van effectiviteit. Om effectstudies toch met elkaar te kunnen vergelijken, neemt het RPC-model naast de categorieën van verandering ook de effectgrootte mee bij het vergelijken (zie tabel 3). Het RPC-model kan samen met de effectgrootte gebruikt worden om het bewijs te classificeren van twee of meerdere effectstudies naar dezelfde interventie en hetzelfde construct.
Een voorbeeld hiervoor kan zijn dat voor twee studies is bewezen dat de recidive is verminderd en de interventie is geclassificeerd als ‘beste bewijs voor verandering’, met een effectgrootte (d) van 0.5 tot 1.0. Dit betekent dat er een conclusie getrokken kan worden dat de interventie geclassificeerd kan worden als ‘beste bewijs voor verandering’ met een geschatte
gemiddeld tot groot positief effect. Er kunnen echter ook inconsistentie resultaten gevonden zijn, waarbij de ene studie ‘beperkt bewijs’ aantoont en de andere studie ‘mogelijk bewijs’ voor verandering. De inconsistenties leiden in dit geval tot de conclusie dat het bewijs voor de
effectiviteit van de interventie gemixt is en afhankelijk van de research setting (De Los Reyes & Kazdin, 2008). De inconsistente resultaten geven inzicht in wie significante verschillen ziet en in welke situatie. Dit betekent echter niet dat de ene effectstudie ‘goed’ is en de ander ‘fout’. Bij een wisselend beeld van effect kan echter wel de vraag gesteld worden of er sprake is van een
succesvolle replicatie en hoe robuust de bevindingen daadwerkelijk zijn.
Vanuit het RPC-model wordt duidelijk hoe (in)consistenties binnen en tussen
effectstudies meewegen in het eindoordeel van effectiviteit van de interventie (De Los Reyes & Kazdin, 2008). Behalve dat het RPC-model (in)consistenties mee laat wegen in het eindoordeel van de effectiviteit levert de aanwezigheid van (in)consistenties ook waardevolle informatie op. Ten eerste geven de inconsistenties inzicht onder welke specifieke omstandigheden de interventie juist wel of niet het gewenste effect lijkt te hebben. Het is mogelijk dat er in onderzoek naar voren komt dat er consistente resultaten vanuit ouders en jeugdigen komen wanneer het gaat om verbale en fysieke agressie, maar inconsistente resultaten wanneer docenten en behandelaar als informanten ingezet worden. De inconsistente resultaten laten zien dat uitkomsten afhankelijk zijn van de context (De Los Reyes et al., 2009).
Ten tweede geeft het niet alleen inzicht in de specifieke omstandigheden waarin een interventie effect heeft, maar ook kennis over de constructen binnen een interventie die wel of juist geen consistente resultaten laten zien (Los Reyes & Kazdin, 2009). Een voorbeeld hiervan is dat middels een RPC-analyse naar voren kan komen of interventies die veelomvattend zijn ook daadwerkelijk effectief blijken te zijn op meerdere constructen of dat slechts één construct consistente resultaten laat zien. Hierbij is het mogelijk om te onderscheiden welke componenten binnen de interventie nu echt bijdragen aan de effectiviteit. Dit kan er uiteindelijk voor zorgen dat de interventie zo aangepast wordt dat de interventie enkel wordt ingezet voor behandeling van deze componenten. Ten slotte kan dit ook leiden tot het combineren van interventies die consistente effecten van verschillende constructen laat zien, zodat er een effectieve
totaalbehandeling aangeboden kan worden (Los Reyes & Kazdin, 2011). Er kunnen bijvoorbeeld twee interventies gecombineerd worden waarbij de ene interventie consistente resultaten laat zien op recidiverisico en de andere interventie consistentie resultaten laat zien betreffende agressie.
Ten derde levert de aanwezigheid van inconsistenties zowel binnen als tussen onderzoek zinvolle informatie op voor vervolgonderzoek (Los Reyes & Kazdin, 2009). Inconsistenties geven richting aan hoe in het vervolg verder onderzoek naar de interventie gedaan dient te worden en op welke details er gelet moet te worden. De inconsistenties geven kennis over de interventie-effecten en kunnen helpen bij het opstellen van hypotheses en een onderzoeksopzet. Wanneer er in effectonderzoek inconsistente resultaten naar voren komt betreffende agressief gedrag kan vervolgonderzoek kijken in hoeverre de resultaten consistent zijn als deze
uitkomstmaat opgesplitst wordt in bijvoorbeeld verbale en fysieke agressie. Daarnaast kan met behulp van (in)consistenties gekeken worden naar patronen van de bevindingen en of deze
betrekking hebben op situatie-specifieke klinische veranderingen. Dit leidt tot een beter begrip en tot een methode waarbij het maximale effect bereikt kan worden (Los Reyes & Kazdin, 2008).
Tot op heden is het RPC-model slechts één keer door de ontwikkelaars toegepast bij interventies gericht op angst (De Los Reyes & Kazdin, 2009). In het onderzoek van De Los Reyes en Kazdin (2009) werd jeugdgerichte cognitieve gedragstherapie (CGT) en oudergerichte cognitieve gedragstherapie (BPT) geclassificeerd aan de hand van de RPC-methode. Hieruit werd geconcludeerd dat ondersteuning voor effectiviteit van de interventie erg afhankelijk kan zijn van welke informant rapporteert. Significante veranderingen kwamen voornamelijk naar voren vanuit zelfrapportage en was er sprake van informant-specifieke resultaten. Dit betekent dat de
interventie enkel bewijs voor verandering aantoont bij zelfrapportage. Het onderzoek van De Los Reyes en Kazdin (2009) laat zien dat middels een RPC-analyse meer inzicht verkregen wordt over de effectiviteit van de interventie en onder welke omstandigheden deze verandering zichtbaar is.
Er vanuit gaande dat het RPC-model aanvullende informatie geeft betreffende de ondersteuning voor effectiviteit is het van belang het model bij meerdere onderzoeken toe te passen. Op deze manier kan antwoord gegeven worden op de vraag of een interventie beoogde constructen kan veranderen en onder welke omstandigheden. Het RPC-model maakt het mogelijk om multidimensionele constructen te vergelijken binnen en tussen effectstudies. Gezien er met de methode van de Erkenningscommissie geen rekening gehouden wordt met inconsistenties is het belangrijk dat in de toekomst meta-analyses opnieuw geanalyseerd worden met behulp van het RPC-model. Met de categorieën van het RPC-model kan het bewijs voor verandering
Het huidige onderzoek zal de RPC-methode toepassen op interventies die door de
Erkenningscommissie als ‘effectief volgens sterke aanwijzingen’ worden beschreven. Dit zijn de interventies Multi Systeem Therapie (MST) en Multidimensionele Familie Therapie (MDFT) die binnen de forensische jeugdzorg worden ingezet. Voor deze interventies die vanuit de
Nederlandse Erkenningscommissie de status van ‘effectiviteit volgens sterke aanwijzingen’ hebben, wordt nagegaan of de huidige indeling herzien zou moeten worden als het RPC-model wordt toegepast. Voorafgaand aan de classificatie wordt onderzocht hoe consistent de resultaten zijn voor zowel binnen als tussen de effectstudies.
Methode
Voor het huidige onderzoek werden interventies getoetst die binnen die binnen de forensische jeugdzorg gebruikt worden. Aan de hand van het RPC-model werd nagegaan of de classificatie van de interventies, die nu vanuit de Erkenningscommissie de status ‘effectief’ hebben, herzien zouden moeten worden wanneer de criteria uit het RPC-model gehanteerd wordt. Om een zo volledig mogelijk beeld te geven van de verdeling van de Erkenningscommissie, nam dit onderzoek interventies mee op alle niveaus van erkenning; eerste aanwijzing, goede
aanwijzing en sterke aanwijzing. Bij deze interventies werd gekeken of de beoogde constructen consistente resultaten naar voren brachten. Vervolgens werd er met de resultaten vanuit de RPC-analyse gekeken of de interventie overeenkwam met de categorie die de Erkenningscommissie aan de interventie heeft toegewezen.
Inclusiecriteria
Voorafgaand aan het zoeken naar artikelen voor de huidige RPC-analyse zijn er een aantal inclusiecriteria opgesteld voor het selecteren van relevante studies. Hierbij werd onderscheid gemaakt in inclusiecriteria voor het huidig onderzoek en het RPC-model. Voor de interventies in het huidige onderzoek zijn de volgende inclusiecriteria opgesteld; (1) de interventie moest vallen onder ‘sterke’, ‘goede’ of ‘eerste aanwijzingen’ van de Nederlandse Erkenningscommissie; (2) de interventies moest worden ingezet binnen de forensische setting voor jeugdigen en (3) het
onderzoek moest één van de volgende constructen meten: delinquentie, externaliserend gedrag en/of agressie.
Daarnaast zijn er inclusiecriteria opgesteld door Los Reyes & Kazdin in het RPC-codeboek waar de onderzoeken aan moeten voldoen. De inclusiecriteria voor een RPC-analyse zijn als volgt; (1) het onderzoek/studie moet gepubliceerd zijn in een peer-reviewed tijdschrift;
(2) er moet sprake zijn van een controle groep; (3) de effectstudie moet bezitten over een
prospectief design waarbij er sprake was van een Random Control Trial; (4) de onderzoeksgroep moet bestaan uit kinderen van drie tot achttien jaar; (5) de onderzoeksgroep moet bestaan uit jeugdige met psychologische problemen of afwijkend gedrag; (6) er moet sprake zijn van een follow-up meting van elk psychologisch probleem waarvoor de jeugdige geselecteerd en behandeld werd; (7) elk onderzoek moet een statistisch significant (p <.05) verschil laten zien met de controle groep en ten slotte; (8) elk onderzoek moet voldoen aan minimaal twee verschillende informantenbronnen en methoden.
Een aantal criteria uit het oorspronkelijke codeboek van Los Reyes en Kazdin zijn niet overgenomen of zijn aangepast voor deze studie. Hiervoor is gekozen omdat de opgestelde inclusiecriteria niet van toepassing en/of niet haalbaar waren in het huidige onderzoek. Allereerst geven Los Reyes en Kazdin aan dat er sprake moet zijn van op zijn minst drie verschillende metingen/informantenbronnen van het beoogde construct of gedrag. Vanwege de complexe setting is te zien dat eerdere studies in het forensische werkveld vaak niet de mogelijkheid hebben om het beoogde construct te meten aan de hand van drie of meer verschillende informanten. De inclusiecriteria zijn aangepast van minimaal drie naar minimaal twee verschillende
meetinstrumenten en informanten. Ten tweede geven Los Reyes en Kazdin aan dat er in de controle- en interventiegroep geen sprake mag zijn van medicijn gebruik. De voorwaarde dat er geen sprake mag zijn van medicijngebruik is niet opgenomen in het codeboek van dit onderzoek, vanwege het feit dat de RPC-analyse anders niet werkzaam is binnen de forensische setting. In de forensische setting is er bij de jeugdigen sprake van veel medicijngebruik.
Procedure
De huidige studie betrof een literatuuronderzoek over de Forensische Jeugdinterventies die aan de hand van een RPC-analyse geclassificeerd werden voor de mate van bewijs voor verandering. In het huidige onderzoek is gekozen voor interventies die door de
Erkenningscommissie Interventies van het Nederlands Jeugdinstituut erkend zijn als effectief. De RPC-analyse werd uitgevoerd aan de hand van de onderzoeken die de Erkenningscommissie heeft gebruikt voor het classificeren van de interventie. Voor het zoeken van relevante artikelen is de Erkenningscommissie geraadpleegd. De aangegeven literatuur is verzameld met behulp van Google, Google Scholar, PubMed, UbaUva.
Vervolgens is nagegaan of de literatuur vanuit de Erkenningscommissie voldeed aan de randvoorwaarden om een RPC-analyse toe te passen. Hieruit bleek dat er onvoldoende literatuur vanuit de Erkenningscommissie voldeed aan de voorwaarde om een RPC-analyse uit te kunnen voeren. Alleen de interventies onder de categorie ‘sterke aanwijzingen’ voldeed aan criteria voor de RPC-analyse. Uiteindelijk bleken de interventie MST en MDFT geschikt om de RPC-analyse op toe te passen. De Erkenningscommissie haalde echter onvoldoende onderzoeken aan die aan de inclusiecriteria voldeden om de consistentie binnen en tussen onderzoeken te achterhalen. Om deze reden is gekozen om de onderzoeken die geanalyseerd zijn in de meest recente
meta-analyses mee te nemen voor de RPC-analyse. Aan de hand van deze zoekstrategie zijn er in totaal 44 studies (MST: 22 en MDFT: 22) gescreend op bruikbaarheid. Tenslotte zijn de artikelen van de meta-analyse vergeleken met de inclusiecriteria van het RPC-model. De onderzoeken die voldeden aan de inclusiecriteria van Los Reyes en Kazdin bestonden uit zeven onderzoeken naar MST en drie naar MDFT. De lijst van de onderzoeken en beschrijvingen hiervan met de
demografische en methodologische kenmerken en de uitkomstmaten zijn terug te vinden in tabel 4 en 5.
Coderen en analyseren van effectstudies
Codering. Los Reyes en Kazdin (2009) hebben een codeboek ontwikkeld waarin de
procedures zijn beschreven welke informatie en hoe deze informatie gecodeerd moet worden. Het codeboek van Los Reyes en Kazdin (2009) bestaat uit een aantal delen; (1) studiekenmerken; (2) meetuitkomsten; (3) effectgrootten en statistische analyses; en (4) classificatie van de interventie aan de hand van het RPC-model. Het codeboek is aangepast voor het huidige onderzoek, waarin de stappen zijn toegespitst die relevant zijn voor het huidige onderzoek. Het aangepaste codeboek is opgenomen als bijlage (zie codeboek).
Allereerst worden de algemene karaktereigenschappen van het artikel besproken, zoals het publicatiejaar en de publicatiestatus. Vervolgens worden de kenmerken van de steekproef gecodeerd. Hiervoor is onder andere informatie verzameld over de steekproefgrootte, leeftijd en het geslacht. In fase twee is gekeken naar de eigenschappen van de resultaten en de analyses. Hierbij zijn de methode, analyse, instrumenten geïnventariseerd en de uitkomstmaten
geïnventariseerd. In de derde fase is de informatie gecodeerd, zodat de effectgrootte berekend kon worden. Ten slotte wanneer fase één tot en met drie zijn doorlopen kan de vierde fase starten.
In de laatste fase is alle voorafgaande informatie gebruikt om te kunnen classificeren onder welke mate van bewijskracht de interventie valt. Vanuit elke informant, meetinstrument en methode is bekeken of het construct een significante verandering heeft ondergaan in vergelijking met de controlegroep. Deze procedure is voor elke uitkomstmaat uitgevoerd. Wanneer voor elke informant per uitkomstmaat bekend is of er een significante verandering heeft plaatsgevonden, is vervolgens berekend in welke klasse van verandering de effectstudie valt. Het percentage van het aantal significante veranderingen bepaalde de bewijskracht.
Ten slotte is de effectgrootte meegenomen in de RPC Model classificatie. Voor elke uitkomstmaat is de effectgrootte range gecodeerd, waarbij de hoogste en laagste geobserveerde effectgrootte geïdentificeerd werd. Alleen de effectgroottes waarbij significante resultaten naar voren komen, zijn hierbij genoteerd.
Codeurs. Voor dit onderzoek is de codering van de effectstudies uitgevoerd door één codeur. Deze codeur is onafhankelijk van de Erkenningscommissie en effectstudies binnen de forensische jeugdzorg. Voordat er begonnen is van het coderen van de geanalyseerde effectstudies van MST en MDFT, is er eerst met andere interventies geoefend zodat de codeur bekend werd met de procedure.
Berekening effectgrootte. Om een consistente weergave van de resultaten te geven is ervoor gekozen om de effecten met de Cohen’s d te berekenen. Aangezien er in de diverse effectstudies de effectgroottes op verschillende manieren worden omschreven is er met behulp van Lakens effect size calculator (2013) en de Campbell Collaboration effect size calculator (Wilson, z.d.) de effectgrootte omgerekend naar de Cohens’ d om te controleren of de effectgroottes overeen kwamen. De gemiddelde en standaarddeviaties zijn vervolgens met Excel berekend.
Resultaten Studiekenmerken
De methodologische studiekenmerken van de meegenomen onderzoeken naar MST en MDFT zijn terug te vinden in tabel 6 en 7. Voor MST was de gemiddelde steekproefgrootte 125.63 (SD = 65.21), gebaseerd op de grootte van zowel de interventie- als controlegroep die zijn meegenomen in de RPC-analyse: controlegroep, M(SD) = 57.63 (28.44); interventie groep, M(SD) = 68, (37.32); dit zijn de gegevens van zeven onderzoeken die zijn meegenomen in de RPC-analyse. De jongeren in het onderzoek naar MST bevonden zich in een leeftijdsrange van
einde kindertijd tot adolescente, M(SD) = 15.06, (0.62). Daarnaast zaten er in de geanalyseerde onderzoeken naar MST meer jongens (M = 79.3%) dan meisjes (SD = .13)
Voor MDFT geldt dat er een gemiddelde steekproefgrootte is van 215 (SD = 204.03) jeugdigen, gebaseerd op de grootte van zowel de interventie- als controlegroep die zijn meegenomen in de RPC-analyse: controlegroep, M(SD) = 100 (108.77); interventie groep, M(SD) = 102.33, (95.27); dit zijn de gegevens van drie onderzoeken die zijn meegenomen in de RPC-analyse. De jongeren in het onderzoek naar MDFT bevonden zich in een leeftijdsrange van einde kindertijd tot adolescente, M(SD) = 15.38, (1.15). Daarnaast zaten er in de geanalyseerde onderzoeken naar MDFT meer jongens dan meisjes (M = 82%, SD = .06).
Methodologische kenmerken en uitkomstmaten
De methodologische kenmerken en uitkomstmaten van zowel MST als MDFT onderzoek zijn terug te vinden in tabel 4 en 5. Voor beide interventies geldt dat alle data die weergeven zijn, zijn vergeleken met de controlegroep waarbij geen verschillen zijn gevonden tussen de controle- en experimentele groep.
Voor het onderzoek naar het beste bewijs naar MST geldt een gemiddelde aantal uitkomsten van 7.14 (SD = 2.67). Daarnaast had MST een gemiddeld aantal van 2.71
informantenbronnen (SD = .76), en 4 (SD = 1.91) verschillende meetmethoden/instrumenten, 2.17 verschillende analyses (SD = .98), en 2.33 gemeten constructen (SD = .82). In zijn geheel genomen laat MST een gemiddeld van 4.83 aantal significante bevindingen zien (SD = 2.64). Dit betekent dat gemiddeld 53.02 % van de resultaten significante verschillen lieten zien (SD = 22.97). Dit percentage is echter niet bepalend in de classificatie van MST in het RPC Model.
Voor MDFT waren er gemiddelde een aantal uitkomsten van 2.67 (SD = 1.15). Daarnaast had MDFT een gemiddeld aantal van 2 informanten (SD= 0), en 2 (SD = 0) verschillende
meetmethoden/instrumenten, 1.67 types of statistische analyses (SD = 0.58), en 1.67 gemeten constructen (SD = .58). In zijn geheel genomen laat MDFT een gemiddeld van 2.33 aantal
significante bevindingen zien (SD = 1.53). Dit betekent dat 83.33 % van de resultaten significante verschillen lieten zien (SD = 28.87). Dit percentage is echter niet bepalend in de classificatie van MDFT in het RPC Model.
Bevindingen op basis van RPC Model
De resultaten die naar voren komen vanuit de RPC-analyse laten voor zowel MST en MDFT uiteenlopende resultaten zien in de vorm van bewijs voor verandering en effectgrootte van
de betreffende interventie. Voor MST geldt dat er twee van de zeven (28.6 %) effectonderzoeken binnen ‘het beste bewijs voor verandering’ vallen. Daarnaast valt een merendeel (42.9 %) van de effectonderzoeken binnen ‘beperkt bewijs voor verandering’. Daarnaast valt er nog een
onderzoek binnen ‘mogelijk’ en ‘geen bewijs’ voor verandering. Naast de indicatie voor verandering over het gemiddelde van de drie gemeten constructen, is er ook gekeken naar de mate van verandering per construct. Voor MST is te zien dat de resultaten voor delinquent gedrag hierin ook inconsistent zijn. Twee effectstudies geven hierbij ‘beste bewijs’ aan, één ‘mogelijk bewijs’, en drie studies ‘beperkt bewijs’. Voor het construct externaliserend gedrag zijn de resultaten minder inconsistent. Hierbij is ‘beperkt bewijs voor verandering’ van externaliserend gedrag voor drie effectstudies en twee studies voor ‘beste bewijs voor verandering’. Ten slotte is er vanuit de resultaten te zien dat agressie in een minderheid van de studies een gemeten
construct is. Drie studies meten dit construct, waarbij het construct tweemaal wordt geclassificeerd als ‘beperkt bewijs’ en eenmaal als ‘geen bewijs’.
Voor MDFT zijn de resultaten ook inconsistent. Twee van de drie (66.67%)
effectonderzoeken vallen binnen ‘het beste bewijs voor verandering’. Daarnaast valt er nog één effectonderzoek binnen de categorie ‘beperkt bewijs voor verandering’. Naast de
(in)consistenties die gemeten zijn binnen de algehele interventie, is er ook gekeken naar het bewijs voor verandering per uitkomstmaat. De resultaten voor het primaire construct ‘delinquent gedrag’ zijn consistent en worden geclassificeerd onder de categorie ‘beste bewijs voor
verandering’. Het secundaire construct ‘agressie’ is bij de geanalyseerde effectstudies niet gemeten. Ten slotte laat het secundaire construct ‘externaliserende problemen’ inconsistente resultaten zien van ‘beperkt bewijs’ tot ‘beste bewijs’ voor verandering.
Tabel 6
Descriptive statistics for MST en MDFT verkregen vanuit RPC-model
Auteur RPC-Model categorie
Effect-grootte range (d)
Effect- Grootte M (d)
Delinquent gedrag Agressie Externaliserende
problemen
MST
Asscher (2013) Beste bewijs voor verandering (83,3%)
0.25-0.36 0.29 Beperkt bewijs
(50%) ⁱ
Beste bewijs (100%) Borduin (2009) Beste bewijs van
verandering (88.8%)
0.39-1.75 1.09 Beste bewijs (100%) Beperkt bewijs (50%)
Beste bewijs (100%) Butler (2011) Bewijs voor mogelijke
verandering (72,5%) 0.35-0.37 0.36 Mogelijk bewijs (75%) Beperkt bewijs (50%) Beperkt bewijs (50%) Henggeler (2002)
Beperkt bewijs voor verandering (50%)
0.46-0.54 0.50 Beperkt bewijs
(50%) Henggeler
(1997)
Beperkt bewijs voor verandering (22.2%)
0.44-0.50 0.47 Beperkt bewijs
(25%)
Geen bewijs (0%) Beperkt bewijs (50%)
Löfholm (2009) Geen bewijs (0%) Ogden (2006) Beperkt bewijs voor
verandering (42.9%)
0.51-1.52 1.11 Beste bewijs (100%) ⁱ
Beperkt bewijs (33.3%)
Tabel 7
Descriptive statistics for MDFT verkregen vanuit RPC-model
Auteur RPC-Model categorie Effect-grootte range (d) Effect- Grootte M (d)
Delinquent gedrag Agressie Externaliserende
problemen
MDFT
Dakof (2015) Beste bewijs voor verandering (100%)
0.22-0.99 klein-groot
0.85 Groot
Beste bewijs (100%) Beste bewijs (100%)ⁱ
Schaub (2014) Beperkt bewijs van verandering (50%) 0.26 klein-medium 0.26 Klein Beperkt bewijs (50%)
Liddle (2009) Beste bewijs voor verandering (100%) 0.31-0.55 klein-groot 0.43 Klein Beste bewijs (100%)
Discussie
In dit onderzoek is met gebruik van de RPC-methode de effectiviteit van interventies opnieuw geclassificeerd. Voor interventies in de Forensische Jeugdzorg is nagegaan of de huidige classificatie van de Erkenningscommissie, ‘effectief volgens sterke aanwijzingen’, herzien moet worden wanneer de criteria uit het RPC-model gehanteerd worden. In eerste instantie is
systematisch nagegaan hoe consistent de interventie-effecten zijn binnen de effectstudies. Vervolgens is gekeken naar welke categorie van bewijs toegewezen kan worden aan de interventies MST (Multi systeem therapie) en MDFT (Multidimensionele familie therapie), rekening houdend met (in)consistenties tussen de effectstudies. De studies voor de RPC-analyse waren afkomstig uit de meest recente meta-analyses van MST en MDFT.
De resultaten aangaande de interventie MST variëren op basis van het RPC-model van ‘geen bewijs’ tot ‘beste bewijs’ met een klein tot groot effect gebaseerd op de resultaten vanuit de meta-analyse van Van der Stouwe et al., (2014). Vanuit de RPC-komen er twee van de zeven studies naar voren als ‘beste bewijs’ vanwege consistentie resultaten (Asscher, 2013; Borduin, 2009). Gezien deze twee effectstudies met consistente resultaten zou de classificatie van de Erkenningscommissie ‘effectief volgens sterke aanwijzingen’ passend zijn. De resultaten vanuit de RPC-analyse zijn echter inconsistent met één effectstudie die ‘geen bewijs’ aantoont en drie studies met ‘beperkt bewijs’ voor verandering. Dit betekent dat er bij de helft van de
geanalyseerde effectstudies geen bewijs is voor verandering of dat het mogelijk is dat de interventie het beoogde construct niet verandert. Gezien de inconsistente resultaten kan de classificatie van de Erkenningscommissie in twijfel getrokken worden. Naar aanleiding van de RPC-analyse zijn er meer consistente resultaten nodig om de classificatie ‘effectiviteit volgens sterke aanwijzingen’ toe te kennen.
Vanuit alle effectstudies betreffende MST lijkt er geen sprake van informant- en/of methode-specifieke resultaten. Dit betekent dat er geen aanwijzingen zijn voor situationele patronen die wijzen op grote afhankelijkheid van het type informant. Het is echter wel opvallend dat het per onderzoek verschilt welke informant verandering rapporteert. In het onderzoek van Henggeler (1997) komt bijvoorbeeld naar voren dat de jeugdigen verandering rapporteren ten aanzien van delinquent gedrag en ouders niet. In onderzoek van Butler (2011) blijkt echter het tegenovergestelde, waarbij het opvallend is dat middels zelfrapportage van de jeugdigen geen verandering naar voren komt, maar andere betrokkenen zoals ouders en docenten wel degelijk
een gedragsbeoordeling invullen met significante verschillen tussen de voor- en nameting. Daarbij wordt verandering in deze onderzoeken ondersteund door politieregistraties. Hoewel er geen sprake van informant-specifieke resultaten lijkt te zijn, kan er wel de vraag gesteld worden of er rekening gehouden dient te worden met welke informant de verandering ziet en of hier een verschil in waarde aan toegekend moet worden.
Hoewel er geen sprake lijkt te zijn van informant en/of methode specifieke resultaten, lijkt de behandelduur wel van invloed op de resultaten. Het is opvallend dat het overwegend de
studies met een langere gemiddelde behandelduur een hoge mate van consistentie laten zien. De effectstudies die vallen binnen de categorie ‘beste bewijs voor verandering’ hebben de langste behandelingsduur (174 – 215.60 dagen) in vergelijking met de andere effectstudies (119.60 – 170.10 dagen). Dit suggereert dat een langere behandelingsduur meer effect heeft op het
verminderen van delinquent gedrag, externaliserende problemen en agressie. Dit sluit aan bij de principes van het Risk-Needs-Responsibility (RNR) model (Andrews & Bonta, 2010). Hierin wordt beschreven dat de intensiteit van een interventie afgestemd moet zijn op het recidiverisico. Jeugdigen die deelnemen aan MST, zijn overwegend jeugdigen met zwaardere problematiek. Deze jeugdigen hebben baat bij een langere behandeling. Interventies van drie tot negen maanden die 40 tot 70% van de tijd van de jeugdige in beslag nemen lijken hierbij het meest resultaat op te leveren (Andrews & Bonta, 2010; Van der Laan e.a., 2010).
Ten slotte is voor MST de effectiviteit afzonderlijk per construct bekeken. Voor het construct ‘delinquent gedrag’ komen er inconsistente resultaten naar voren. Dit kan mogelijk verklaard worden doordat het delinquente gedrag in veel effectstudies gemeten wordt aan de hand van de twee uitkomstmaten vermogensdelicten en agressiedelicten. In de meeste gevallen komt naar voren dat slechts één van deze twee uitkomstmaten significante verschillen aantoont (Asscher et al., 2013; Borduin et al., 2009; Butler, 201; Henggeler 2002; 1997). Dit resulteert in inconsistent resultaten, wat leidt tot ‘beperkt’ of ‘mogelijk’ bewijs. Het onderzoek van Henggeler (2002) toont bijvoorbeeld geen significante verschillen aan betreft vermogensdelicten, maar wel in delicten met agressie. Het delinquente gedrag in totaal gemeten, levert daarom in het
onderzoek van Henggeler (2002) inconsistente resultaten. In vervolgonderzoek is het gewenst om het construct ‘delinquent gedrag’ op te delen in twee constructen, zodat er een duidelijk beeld naar voren kan komen op welk domein de interventie positieve resultaten behaalt. Daarnaast zijn er op basis van de RPC-analyse inconsistente resultaten betreffende het secundaire construct
‘agressie’. In drie studies wordt ‘agressie’ gemeten waarbij de mate van bewijs voor verandering varieert van ‘geen bewijs’ tot ‘beperkt bewijs. De mate van bewijskracht volgens het RPC-model suggereert dat MST niet effectief is voor het behandelen van agressie.
Evenals MST worden de resultaten vanuit de RPC-analyse voor MDFT vergeleken met de classificatie van de Erkenningscommissie en de meta-analyse van Van der Pol et al., (2017). De conclusie betreffende MDFT vanuit de RPC-analyse loopt uiteen van een bewijskracht van ‘beperkt bewijs’ tot ‘beste bewijs’ voor verandering. Hierbij is sprake van een klein tot groot effect. De Erkenningscommissie beoordeelt MDFT als ‘effectief volgens sterke aanwijzingen’ ten aanzien van verminderen van drugsgebruik. Voor het primaire construct ‘delinquent gedrag’ classificeert de Erkenningscommissie MDFT als ‘effectief volgens eerste aanwijzingen’ aangezien er nog onvoldoende onderzoek in Nederland is gedaan. Hoewel MDFT als ‘effectief volgens eerste aanwijzingen’ wordt geclassificeerd kan er wel gesproken worden over consistente resultaten binnen het primaire construct ‘delinquent gedrag’. Naar aanleiding van de resultaten vanuit de RPC-analyse waar consistente resultaten naar voren komen, betreffende ‘delinquent gedrag’ is de classificatie van de Erkenningscommissie te laag ingeschat.
De inconsistetie in de mate van bewijskracht kan mogelijk verklaard worden door de grootte van de steekproef. Wanneer de resultaten opgesplitst worden, is te zien dat de twee effectstudies die ‘beste bewijs voor verandering’ aantonen een kleinere steekproefgrootte (N = 83 tot 112) hebben dan de effectstudie met de classificatie ‘beperkt bewijs’ (N = 136 tot 450). Wanneer de steekproef klein is, is de kans groter dat deze niet representatief is voor de doelpopulatie, aangezien er on der de jeugddelinquenten onderscheid wordt gemaakt in
verschillende ‘typen’ delinquenten (Muller, 1908; Hernandez, Graham, Master & Albert, 2009). Er is onder andere een verschil tussen vroege en late starters van delinquent gedrag (Van der Heiden-Attema & Bol, 2000). Vroege starters hebben vaak een langere criminele
voorgeschiedenis die intensiever van aard is dan late starters. Een kleine steekproef leidt tot resultaten die minder robuust zijn en waarbij de kans groter is op een toevalfout (Van Loon, Van der Meule & Minnart, 2011). De kleine steekproef met bewijs voor ‘beste bewijs’ zijn daarom minder betrouwbaar dan een grote steekproef met ‘beperkt bewijs’.
Een tweede mogelijke verklaring voor de uiteenlopende resultaten is de leeftijd van de jeugdigen. Bij de effectstudies die ‘beste bewijs voor verandering’ aantonen is te zien dat de gemiddelde leeftijd ligt tussen de 13.7 en 16 jaar. Effectstudies met ‘beperkt bewijs voor
verandering’ hebben een iets hogere gemiddelde leeftijd van 16.3 jaar. Wellicht heeft MDFT meer effect bij jong adolescenten tot 16 jaar dan bij oudere adolescenten. Dit komt overeen met de resultaten vanuit de gebruikte meta-analyse van der Stouwe et al. (2014), waarin naar voren komt dat grotere effecten te vinden zijn bij jeugdigen onder de 15 jaar. De resultaten van het onderzoek van Van der Put (2010; 2011) ondersteunen dit. Van der Put (2010) geeft aan dat na het 17e levensjaar systeemtherapie niet meer zinvol is. In het onderzoek komt naar voren dat gezinstherapie het meest effectief is wanneer het voor het 14e jaar ingezet wordt. Daarna zou het effectiever zijn om in te zetten op vrienden, school en vrije tijd. Op basis van de verschillende onderzoeken kan er gesuggereerd worden dat MDFT het meest effectief is voor de jongere jeugddelinquent tot 14 jaar.
Ten slotte is er bij MDFT gekeken naar het bewijs voor verandering per uitkomstmaat. Hierbij is te zien dat het primaire construct ‘delinquent gedrag’ consistente resultaten oplevert waarbij het bewijs aantoont voor ‘beste bewijs voor verandering’ met een effectgrootte variërend van klein tot groot. De secundaire uitkomstmaat ‘externaliserende problemen’ laat daarentegen inconsistente resultaten zien, variërend van ‘beste bewijs’ tot ‘beperkt bewijs’. Hierbij dient er rekening mee gehouden te worden dat het onderzoek van Dakof (2015), als enige geclassificeerd tot ‘beste bewijs’, de externaliserende problemen alleen middels zelfrapportage van de jeugdige in kaart bracht. Mogelijk zouden er bij het onderzoek van Dakof (2015) ook inconsistente resultaten naar voren komen wanneer meerdere informantenbronnen deel zouden nemen aan het onderzoek. Daarnaast komt er vanuit de resultaten naar voren dat het construct ‘agressie’ bij de effectstudies van MDFT niet gemeten wordt.
De interventies MST en MDFT zijn tot slot met elkaar vergeleken op basis van de RPC-analyse. Wanneer er gekeken wordt naar het bewijs voor verandering van alle constructen zijn er bij zowel MST als MDFT uiteenlopende resultaten te zien in de bewijskracht. Wanneer het gaat om het primaire construct, ‘delinquent gedrag’, is er echter wel een verschil te zien in bewijs voor verandering. Volgens de RPC-analyse lijkt MDFT beter aan te sluiten bij het verminderen van recidive aangezien het gemeten construct ‘delinquent gedrag’ binnen de categorie ‘beste bewijs voor verandering’ valt. Hierbij is een klein tot groot effect te zien. Binnen MST verschilt de bewijskracht op basis van consistentie van ‘geen bewijs’ tot ‘beste bewijs’. Er is daarom mogelijk minder zekerheid over de effectiviteit bij MST betreffende ‘delinquent gedrag’.
Zoals hierboven vermeld is er op basis van dit onderzoek te zien dat er geen eenduidig antwoord naar voren komt over de mate van bewijs voor zowel de interventies MST als MDFT. Voor beide interventies zijn er uiteenlopende resultaten te zien in het bewijs voor verandering en kan er op basis van de RPC-analyse gesproken worden over inconsistente resultaten. Dat de resultaten niet direct vergeleken kunnen worden met de Erkenningscommissie wil echter niet zeggen dat de resultaten niet waardevol zijn. Het RPC-model is gekozen om meer inzicht te krijgen op diverse gebieden.
Allereerst geeft dit onderzoek meer inzicht over effectiviteit van interventies op bepaalde constructen, waardoor deze gerichter ingezet kan worden. Uit de resultaten van alle effectstudies betreft MST komen er in 50 procent van de gevallen significante verschillen naar voren vanuit zelfrapportage van de jeugdigen voor delinquent gedrag. De politieregistraties laten echter een positiever beeld zien en geeft in 80 procent van de metingen een significant verschil aan. Hierbij is het mogelijk dat de jeugdige in de zelfrapportage aangeeft meer delinquent gedrag te vertonen waar geen officiële politie registraties van zijn. Daarnaast is te zien dat ouders een verandering zien in het construct ‘agressie’, maar de jeugdige hier zelf aangeeft geen verandering in te zien. Op basis van deze resultaten kan er voor gekozen worden om met deze interventie anders in te zetten op agressie. Er kan bijvoorbeeld meer ingezet worden op ouders, middels psycho-educatie, waardoor zij beter inzicht krijgen in het agressieve gedrag van de jeugdige. Daarnaast dient de interventie mogelijk op een andere manier in te gaan op het agressieve gedrag van de jeugdige, zodat de jeugdige zelf ook een verschil kan ontdekken in de symptomen van agressie voor en na behandeling.
Ten tweede geeft dit onderzoek inzicht in het effect en werkzaamheid van het gebruik van verschillende informanten. Allereerst is te zien dat in huidige effectonderzoeken weinig gebruik gemaakt wordt van meerder informanten, waardoor het niet altijd mogelijk is om de RPC-analyse toe te passen. Daarnaast komen er in de gebruikte meta-analyses effectstudies voor die meerdere informanten bevragen, maar waarbij resultaten verkregen van de verschillende informanten niet zichtbaar gemaakt worden (Henggeler 1993; Timmons-Mitchell, 2006). Slechts het gemiddelde van alle informanten bij elkaar wordt in deze gevallen weergeven. Dit betekent dat het niet nagegaan kan worden wat de resultaten per informant zijn en in hoeverre deze resultaten (in)consistent zijn met andere informanten. Ten slotte wordt met dit onderzoek zichtbaar dat veelal vanuit dezelfde informanten (jeugdige, ouders en politie) resultaten verkregen worden.
Andere familieleden, vrienden, docenten, behandelaar en/of jongerencoach worden niet tot nauwelijks gebruikt om informatie te verzamelen. Zij geven echter waardevolle informatie vanuit een ander perspectief.
Ten derde geeft het toepassen van de RPC-analyse inzicht in de beperkingen van effectstudies in het algemeen. Allereerst maken veel studies enkel gebruik van zelfrapportage (Borduin, 1995; Hendriks 2011, 2012; Little et al., 2011). Zelfrapportage kent als nadeel dat dit validiteitsproblemen kan opleveren. Bij zelfrapportage vergeten mensen vaak gebeurtenissen die in de bestudeerde periode valt (Lammers et al., 2006). Daarnaast rapporteren jeugdigen niet graag over hun criminele gedrag en zullen zij de vragen sociaal wenselijk invullen. Wanneer
zelfrapportage vergeleken wordt met officiële politiedata is te zien dat serieuze zaken leiden tot onderrapportage (Junger-Tas & Haen-Marshall, 1999).Bij minder serieuze zaken komt over-rapportage echter vaker voor. Dit betekent dat zelfover-rapportage zowel over- als onderover-rapportage kan laten zien en daarom een vertekend beeld kan opleveren (Junger-Tas & Haen-Marshall, 1999; Kirk, 2006).
Daarnaast geeft de RPC-analyse inzicht in de meetmethoden die toegepast worden bij effectstudies. Een beperking bij vele effectstudies is dat er enkel gekeken wordt naar de
gemiddelde verschillen bij een voor- en nameting. Er wordt nauwelijks onderzoek gedaan waarbij de klinische veranderingen in kaart worden gebracht. Men kan zich afvragen hoeveel waarde er gehecht dient te worden aan de gemiddelde significante verschillen ten opzichte van klinische veranderingen. Wanneer er bijvoorbeeld uit vragenlijsten van ouders en jeugdigen komt dat de jeugdige minder kenmerken laat zien van delinquent gedrag, blijft de vraag in hoeverre deze veranderingen ook voldoende zijn voor re-integratie. Uiteindelijk wordt de interventie ingezet, zodat de jeugdige minder kenmerken laat zien van delinquent gedrag en als ‘normale burger’ teruggaat in de samenleving. Wanneer er enkel gekeken wordt naar gemiddelde verschillen geeft dit de klinische verandering niet weer waar misschien de meeste waarde aan gehecht wordt vanuit de maatschappij.
Een derde beperking van effectstudies die middels dit onderzoek inzichtelijk wordt is dat in de effectstudies van de meta-analyses niet consequent wordt omgegaan met het
significantieniveau. Significante verschillen worden in dit onderzoek aangehouden bij een p-waarde van .05. In sommige effectstudies is echter terug te vinden dat er gesproken wordt van een significantieniveau van .08 (Henggeler, 1997). Het significantieniveau geeft de kans op een
type-I fout weer (Hoekstra, 2009). Bij een type-I fout wordt de nulhypothese verworpen terwijl deze in werkelijkheid wel gegrond is. Als het significantieniveau van .08 wordt aangehouden in plaats van het afgesproken significantieniveau van 0.05 is de kans groter dat er een type-I fout plaats vindt. Dit kan bijvoorbeeld leiden tot de conclusie dat de groepen met en zonder
behandeling van MST van elkaar verschillen terwijl ze dat in werkelijkheid niet doen. Voor dit onderzoek zijn de constructen die een significantieniveau hebben van .05 of hoger niet
meegenomen in de RPC-analyse. Dit kan resulteren in minder consistente resultaten binnen onderzoeken en dus tot een andere classificatie van bewijs voor verandering.
Ten slotte wordt vanuit de RPC-analyse duidelijk dat effectstudies het beoogde construct waarvoor de interventie is opgezet niet altijd meten (Borduin, 1995; Cunningham, 2002). Hoewel MST en MDFT beide zijn ontwikkeld om de recidive te verminderen, is te zien dat het construct ‘delinquent gedrag’ niet consequent meegenomen wordt in de effectstudies die de meta-analyses bezitten. Daarnaast is te zien dat wanneer het delinquente gedrag gemeten wordt, dit ook vaak enkel aan de hand van zelfrapportage wordt gedaan en niet middels politieregistraties. Bij de meta-analyse betreffende de interventie MDFT is bijvoorbeeld te zien dat veel effectstudies alleen het druggebruik meten en niet het ‘delinquente gedrag’ (Rigter, 2003; Phan 2011; Tossmann 2010; Verbanck, 2010; Henderson, 2010; Liddle, 2008). MDFT wordt door de Erkenningscommissie beschreven als Heen interventie die de recidive verminderd (NJI, zd). Wanneer de RPC-analyse wordt toegepast op de effectstudies naar MDFT is te zien dat het delinquente gedrag van jeugdige niet tot nauwelijks in kaart wordt gebracht (Van der Pol, 2017).
Naast de waardevolle bijdrage van dit onderzoek zijn er een aantal beperkingen. Een eerste beperking van dit onderzoek is dat bij het gebruik van het RPC-model van tevoren vastgesteld moet worden op welk construct de focus ligt (Los Reyes & Kazdin, 2009). De effectstudies die in de analyse worden meegenomen, benoemen echter de constructen op verschillende manieren. Zo wordt in het onderzoek van Butler et al. (2011) delinquentgedrag gemeten, terwijl in onderzoek van Henggeler et al. (2002) het delinquent gedrag wordt opgesplitst in twee constructen; vermogensdelicten en delicten met agressie. Het splitsen van deze constructen een verschil maken in significante verschillen en of er wel/geen meerdere informanten zijn die het construct meten. Dit kan uiteindelijk bepalend zijn voor de klasse van consistentie waar de effectstudie in valt (Los Reyes & Kazdin, 2006). Daarnaast kan het bepalen
van het construct tot verwarring leiden, waarbij besloten moet worden wat binnen het construct valt.
Hierop aansluitend geldt dat voor het huidige onderzoek de objectiviteit in twijfel getrokken kan worden. Er was slechts één codeur betrokken bij dit onderzoek die de doorslaggevende beslissing nam om deze nuances te maken; het opsplitsen en bepalen van
constructen. Aangezien vooraf aan het onderzoek duidelijk was dat er sprake was van één codeur, zijn beslissingen waarin twijfel was besproken met een professor van de Universiteit van
Amsterdam, tevens begeleider van het huidige onderzoek. Daarnaast zijn de stappen duidelijk omschreven in het codeboek, waardoor er zo min mogelijk afhankelijk is van ‘eigen
interpretatie’. In vervolgonderzoek kan de objectiviteit vergroot worden door de inzet van meerdere codeurs.
De derde en laatste beperking van dit onderzoek is het kleine aantal effectstudies wat geanalyseerd is. Er is te zien dat er uiteindelijk een klein aantal effectstudies voldoen aan de eisen voor een RPC-analyse. Dit wordt grotendeels veroorzaakt doordat effectstudies vaak niet gebruik maken van meerdere informanten en dat veel studies die zijn meegenomen in de meta analyse niet in het bezit zijn van een RCT (Henggeler, 1986; Mayfield, 2011; Mitchell-Hertzfeld, 2008 pilot; Mitchell-Hertzfeld, 2008 post-pilot; Painter, 2009; Stambaugh, 2007;
Timmons-Mitchell,2002). De studies die afgevallen zijn vanwege quasi-experimenteel onderzoek, zijn over het algemeen ook studies die significante verschillen aantonen. In de RPC-analyse worden deze significante verschillen niet meegenomen, wat mogelijk effect heeft op het bewijs voor
verandering. Resultaten van de meta-analyse en de RPC-analyse zijn onder andere door deze verschillen moeilijk vergelijkbaar. Beide classificatiesystemen hebben als gemeenschappelijk doel wel dat ze op zoek zijn naar het beste bewijs en daarom meer waarde zullen hechten aan een RCT-studie.
In vervolgonderzoek is het van belang om rekening te houden met bovenstaande
beperkingen. Daarnaast kan vervolgonderzoek zich richten op drie vraagstukken betreffende de interpretatie van het RPC-model die in deze studie naar boven zijn gekomen. Ten eerste kan men zich afvragen naar welk bewijs gezocht wordt vanuit de RPC-analyse; sterk bewijs met kleine effectgrootte of beperkt bewijs met een groot effect. Als tweede speelt de vraag of er onderscheid wordt gemaakt in de waarde van informanten. Hierbij moet gekeken worden of alle rapportages en gedragsbeoordelingen gelijkwaardig zijn of dat bepaalde informanten die door hun expertise,
frequente contact met de jongere of onafhankelijke positie serieuzer genomen zouden moeten worden. De derde vraag is of er onderscheid gemaakt dient te worden tussen de verschillende analyses die toegepast worden. In hoeverre kan men spreken van effectiviteit als een interventie succesvol lijkt op basis van significante verschillen tussen voor- en nameting, maar het geen kwalitatieve verbetering ondersteunt waarbij de jeugdige niet langer tot een probleemcategorie lijkt te behoren, maar weer ‘normaal’ functioneert. Het wordt aanbevolen om in
vervolgonderzoek te kijken of er nieuwe richtlijnen opgesteld kunnen worden betreffende bovenstaande vraagstukken.
Daarnaast kan men zich afvragen hoe werkzaam de RPC-analyse is voor
vervolgonderzoek in de forensische setting, gezien het gegeven dat er veel effectstudies niet voldoen aan de inclusiecriteria. In dit geval kan er voor gekozen worden om in vervolgonderzoek de RPC-analyse niet alleen toe te passen om enkel de effectiviteit te meten, maar de RPC-analyse ook te zien als toegevoegde waarde waarbij meer zicht en kennis verkregen wordt over de
kwaliteit van de effectstudies. De RPC-analyse kan richtlijnen geven voor wat er in
vervolgonderzoek nodig is om een meer betrouwbare uitspraak te doen over de effectiviteit van de interventie. De inclusiecriteria van de RPC-analyse zijn hierbij bruikbare richtlijnen voor effectonderzoek en voor de Erkenningscommissie. Op basis van dit onderzoek wordt er
geadviseerd om gebruik te maken van meerdere informanten in effectstudies in plaats van enkel zelfrapportage. Hiervoor zijn niet alleen ouders en docenten geschikt, maar andere familieleden en vrienden van de jeugdige geven waardevolle informatie. Daarnaast wordt het aangeraden om gedragsverandering niet alleen middels gemiddelde verschillen met een voor- en nameting vast te stellen, maar ook middels klinische verschillen.
Vervolgonderzoek kan zich daarnaast richten op een breder scala aan interventies om zo een beter beeld te krijgen van de effectiviteit van interventies. Dit onderzoek heeft zich slechts gericht op interventies binnen de forensische jeugdzorg. Effectstudies binnen de forensische jeugdzorg voldoen echter vaak niet aan de inclusiecriteria van de RPC-analyse. De
mogelijkheden van het meten bij verschillende informanten binnen de justitiële jeugdzorg en de onderzoeksdoelgroep maakt het lastig om aan deze voorwaarde te voldoen (Witvliet &
Timmermans, 2015). Effectiviteitsstudies binnen een andere onderzoeksdoelgroep kunnen hier mogelijk wel aan voldoen. Voor deze interventies is het waardevol om de (in)consistenties mee te nemen in het bepalen van de effectiviteit.
Wanneer de RPC-methode bij verschillende interventies toegepast wordt, geeft de kennis over (in)consistenties mogelijkheden voor het combineren van interventies, zodat elk construct consistente resultaten oplevert (De Los Reyes & Kazdin, 2008). Dit kan op twee manieren ingezet worden. Allereerst kunnen interventies die consistente effecten in verschillende construct laten zien, gecombineerd worden. Er kunnen bijvoorbeeld twee interventies gecombineerd worden waarbij de ene interventie consistente resultaten laat zien op recidiverisico en de andere interventie consistentie laat zien ten aanzien van externaliserende problemen. Een andere
methode is het combineren van twee of meer behandelingen die consistente effecten laten zien in verschillende contexten of omstandigheden. Een interventie die consistente resultaten laat zien in de thuissituatie, maar niet in de schoolsituatie kan bijvoorbeeld gecombineerd worden met een interventie die juist in de schoolcontext consistente resultaten laat zien. Dit kan leiden tot de ontwikkeling van kosteneffectieve methoden om behandelingen te combineren (Los Reyes & Kazdin, 2009).
Kortom, het toepassen van de RPC-analyse levert een waardevolle bijdrage aan
effectonderzoek. Dit onderzoek laat zien dat het toepassen van de RPC-analyse meer inzicht geeft in (in)consistenties. Voor de klinische praktijk betekent dit dat het de kans vergroot op integratie van effectonderzoek, waarbij het behandelaars laat zien onder welke omstandigheden de
interventie werkzaam is. Daarnaast biedt het RPC-model inzicht in de kwaliteit van het
effectonderzoek, wat in vervolgonderzoek toegepast kan worden. Bovendien is dit onderzoek de eerste studie waarbij het RPC-model toegepast wordt, onafhankelijk van de ontwikkelaars, en waarbij de RPC-classificatie al duidelijke waardevolle resultaten oplevert. Aldus is het van belang dat het RPC-model in de toekomst vaker toegepast wordt.
Referenties
Achenbach, T. M., Krukowski, R. A., Dumenci, L., & Ivanova, M. Y. (2005). Assessment of adult psychopathology: meta-analyses and implications of cross-informant correlations. Psychological bulletin, 131(3), 361. Verkregen via http://psycnet.apa.org/buy/2005-04167-003
Andrews, D. A., & Bonta, J. (2010). Rehabilitating criminal justice policy and practice. Psychology, Public Policy, and Law, 16(1), 39. doi:10.1037/a0018362
Andrews, D. A., Bonta, J., & Wormith, J. S. (2011). The risk-need-responsivity (RNR) model: Does adding the good lives model contribute to effective crime prevention? Criminal Justice and Behavior, 38(7), 735-755. doi: 10.1177/0093854811406356
Andrews, D. A., & Bonta, J. (2010). Rehabilitating criminal justice policy and practice. Psychology, Public Policy, and Law, 16(1), 39. doi: 10.1037/a0018362
Asscher, J. J., Deković, M., Manders, W. A., van der Laan, P. H., & Prins, P. J. (2013). A randomized controlled trial of the effectiveness of multisystemic therapy in the Netherlands: post-treatment changes and moderator effects. Journal of Experimental Criminology, 9(2), 169-187. doi:10.1007/s11292-012-9165-9
Borduin, C. M., Schaeffer, C. M., & Heiblum, N. (2009). A randomized clinical trial of
multisystemic therapy with juvenile sexual offenders: effects on youth social ecology and criminal activity. Journal of consulting and clinical psychology, 77(1), 26. doi:
10.1037/a0013035
Borduin, C. M., Mann, B. J., Cone, L. T., Henggeler, S. W., Fucci, B. R., Blaske, D. M., & Williams, R. A. (1995). Multisystemic treatment of serious juvenile offenders: long-term prevention of criminality and violence. Journal of consulting and clinical psychology, 63(4), 569. doi:10.1037/0022-006X.63.4.569
Butler, S., Baruch, G., Hickey, N., & Fonagy, P. (2011). A randomized controlled trial of multisystemic therapy and a statutory therapeutic intervention for young offenders. Journal of the American Academy of Child & Adolescent Psychiatry, 50(12), 1220-1235. doi:10.1016/j.jaac.2011.09.017
Deković, M. (2010). Effecten van interventies: baat het niet, dan schaadt het niet?. Kind en adolescent, 31(2), 98-101. doi:10.1007/BF03089706
De Los Reyes, A., & Kazdin, A. E. (2004). Measuring informant discrepancies in clinical child research. Psychological assessment, 16(3), 330. doi: 10.1037/1040-3590.16.3.330
De Los Reyes, A., & Kazdin, A. E. (2006a). Conceptualizing changes in behavior in intervention research: the range of possible changes model. Psychological review, 113(3), 554.
doi:10.1037/0033-295X.113.3.554
De Los Reyes, A., & Kazdin, A. E. (2006b). Informant discrepancies in assessing child
dysfunction relate to dysfunction within mother-child interactions. Journal of Child and Family Studies, 15(5), 643-661. doi: 10.1007/s10826-006-9031-3
De Los Reyes, A., & Kazdin, A. E. (2008). When the Evidence Says,“Yes, No, and Maybe So” Attending to and Interpreting Inconsistent Findings Among Evidence-Based
Interventions. Current Directions in Psychological Science, 17(1), 47-51. doi: 10.1111/j.1467-8721.2008.00546.x
De Los Reyes, A., Henry, D. B., Tolan, P. H., & Wakschlag, L. S. (2009). Linking informant discrepancies to observed variations in young children’s disruptive behavior. Journal of Abnormal Child Psychology, 37(5), 637-652. doi: 10.1007/s10802-009-9307-3
De Los Reyes, A., & Kazdin, A. E. (2009). Identifying evidence-based interventions for children and adolescents using the range of possible changes model: A meta-analytic illustration. Behavior Modification, 33(5), 583-617. doi:10.1177/0145445509343203
De Los Reyes, A. (2011). Introduction to the special section: More than measurement error: Discovering meaning behind informant discrepancies in clinical assessments of children and adolescents. Journal of Clinical Child & Adolescent Psychology, 40(1), 1-9. doi: 10.1080/15374416.2011.533405
Dishion, T. J., McCord, J., & Poulin, F. (1999). When interventions harm: Peer groups and problem behavior. American psychologist, 54(9), 755. doi: 10.1037/0003-066X.54.9.755 Hernandez, P. A., Graham, C. H., Master, L. L. and Albert, D. L. (2006). The effect of sample
size and species characteristics on performance of different species distribution modeling methods. Ecography, 29, 773–785. doi:10.1111/j.0906-7590.2006.04700.x
Henggeler, S. W., Schoenwald, S. K., Liao, J. G., Letourneau, E. J., & Edwards, D. L. (2002). Transporting efficacious treatments to field settings: The link between supervisory practices and therapist fidelity in MST programs. Journal of Clinical Child and Adolescent Psychology, 31(2), 155-167. doi:10.1207/S15374424JCCP3102_02
Henggeler, S. W. (1997). Treating Serious Anti-Social Behavior in Youth: The MST Approach. Henggeler, S. W., Melton, G. B., Smith, L. A., Schoenwald, S. K., & Hanley, J. H. (1993).
Family preservation using multisystemic treatment: Long-term follow-up to a clinical trial with serious juvenile offenders. Journal of Child and Family Studies, 2(4), 283-293. doi:10.1007/BF01321226
Hoeve, M., Stams, G. J. J., van der Put, C. E., Dubas, J. S., van der Laan, P. H., & Gerris, J. R. (2012). A meta-analysis of attachment to parents and delinquency. Journal of abnormal child psychology, 40(5), 771-785. doi:10.1007/s10802-011-9608-1
issn:0091-0627
Junger-Tas, J., & Marshall, I. H. (1999). The self-report methodology in crime research. Crime and justice, 25, 291-367. Verkregen via
http://heinonline.org/HOL/Page?public=false&handle=hein.journals/cjrr25&page=291&c ollection=journals
Kleemans, E., Haarhuis, C. K., Leeuw, F., & van Ooyen-Houben, M. (2007). Law enforcement interventions in the Netherlands: mapping interventions and'browsing'for evidence. Evidence & Policy: A Journal of Research, Debate and Practice, 3(4), 487-504. doi:10.1332/174426407782516466
Kirk, D. S. (2006). Examining the divergence across self-report and official data sources on inferences about the adolescent life-course of crime. Journal of Quantitative Criminology, 22(2), 107-129. doi:10.1007/s10940-006-9004-0
Lakens, D. (2013). Calculating and reporting effect sizes to facilitate cumulative science: A practical primer for t-tests and ANOVAs. Frontiers in Psychology, 4:863.
doi:10.3389/fpsyg.2013.00863
Lammers, S. M. M., Soe Agnie, S., De Haan, H. A., Bakkum, G. A. M., Pomp, E. R., & Nijman, H. L. I. (2014). Middelengebruik en criminaliteit: Een overzicht [Substance use and criminality: A review].
Leeuw, F. L., Trochim, W.M.K., Mark, M.M., & Cooksy, L.J. (2009). Evaluation policy in the Netherlands. New Directions for Evaluation, 123, pp. 87-103. doi:10.1002/ev.307 Loon, D. van, Meulen, B. van der., & Minnaert, A. (2011). Effectonderzoek in de
gedragswetenschappen: Methodologische moeilijkheden en mogelijkheden. Den Haag: Boom Lemma
