DE MEEST EFFECTIEVE MANIER OM GEDRAGSPROBLEMEN BIJ
KINDEREN TE VOORKOMEN: EEN META-ANALYSE
Masterscriptie Forensische Orthopedagogiek Graduate School of Child Development and Education Universiteit van Amsterdam Sarah Lynen – 11874414 Begeleiding: Dr. P. H. O. Leijten Dr. P. J. Hoffenaar Amsterdam (juni, 2018)
1 Abstract
Achtergrond: Gedragsproblemen komen veel voor bij kinderen en hebben
verschillende negatieve gevolgen voor het kind en de omgeving. Daarom is vroegtijdige preventie belangrijk. Tot op heden is echter onbekend op welke factoren preventie dient in te zetten om gedragsproblemen bij kinderen op de meest effectieve manier te voorkomen.
Methoden: Op basis van een systematisch literatuuronderzoek (PsycINFO en Medline)
zijn 54 gerandomiseerde studies (57 effectgroottes) gevonden naar de effectiviteit van preventieve programma’s om gedragsproblemen bij kinderen tussen 4 en 12 jaar te
voorkomen. In een meta-analyse is getoetst wat de differentiële effectiviteit is van interventies die inzetten op verschillende combinaties van kind-, ouder- en/of schoolfactoren.
Resultaten: Bij inzetten op factoren uit één domein bleek inzetten op ouderfactoren
niet meer of minder effectief in het voorkomen van gedragsproblemen dan inzetten op kind- of schoolfactoren. Inzetten op factoren uit meerdere domeinen was niet effectiever dan inzetten op factoren uit één domein. Inzetten op schoolfactoren had geen significante
meerwaarde bovenop inzetten op kind- en ouderfactoren. Wel had inzetten op factoren uit één domein een klein effect, en specifiek inzetten op ouderfactoren een middelgroot effect, terwijl inzetten op andere combinaties van factoren geen effect had.
Conclusie: Verschillende typen preventieprogramma’s verschillen doorgaans niet van
elkaar in effectiviteit. Wel ontstaat het beeld dat inzetten op ouderfactoren de grootste kans van slagen heeft. Deze interventies blijken namelijk als enige significant in staat om gedragsproblemen bij kinderen te voorkomen.
2 Inleiding
In Nederland vertoont 5 – 15% van de kinderen tot 12 jaar milde tot ernstige gedragsproblemen (Bartels, 2002). Onder gedragsproblemen vallen verschillende
gedragingen, zoals agressief gedrag (i.e. het toebrengen van een psychisch of lichamelijk letsel aan anderen), oppositioneel gedrag (i.e. het uiten van verzet tegen anderen en regels), en antisociaal gedrag (i.e. het schenden van maatschappelijke normen en fundamentele rechten van anderen) (Matthys, 2011; Scholte & van der Ploeg, 2009). Gedragsproblemen bij kinderen kunnen leiden tot ernstige problemen op verschillende levensdomeinen, die een bedreiging vormen voor het welzijn van het kind en zijn omgeving (Didden, 2004; Dodge, Coie, & Lynam, 2006). Bovendien zijn gedragsproblemen moeilijk te behandelen en worden ze vaak doorgegeven van generatie op generatie (Carr, 2006). Op deze manier brengen gedragsproblemen een zeer hoge maatschappelijke kost met zich mee, voornamelijk door de tussenkomst van geestelijke gezondheidszorg, speciaal onderwijs en jeugdrecht (Romeo, Knapp, & Scott, 2006; Scott, Knapp, Henderson, & Maughan, 2001). Het bieden van effectieve preventieve interventies om het ontstaan van gedragsproblemen bij kinderen te voorkomen, is dus van groot belang om de negatieve gevolgen tegen te gaan en de kosten te reduceren. Maar op welke factoren dienen preventieve interventies in te zetten? En zijn preventieve interventies effectiever wanneer deze inzetten op factoren uit meer dan één domein: kind-, ouder- en/of schoolfactoren? Het antwoord op deze vragen is niet alleen van maatschappelijk belang (i.e. verminderen van de negatieve gevolgen en kosten), maar ook van wetenschappelijk belang. In eerste instantie vergroot het antwoord namelijk onze inzichten in welke factoren, die een rol spelen bij het ontstaan van gedragsproblemen, beïnvloed kunnen worden door preventie. Vervolgens geeft het inzicht in de mate waarin deze, door preventie beïnvloede, factoren op hun beurt invloed uitoefenen op het ontstaan van gedragsproblemen bij kinderen.
3 Factoren binnen de ontwikkeling van gedragsproblemen
De afgelopen decennia werd al op verschillende manieren gekeken naar de
ontwikkeling van gedragsproblemen bij kinderen (e.g. de gehechtheidstheorie van Bowlby, 1969; het bio-ecologisch model van Bronfenbrenner, 1977; het goodness of fit-model van Thomas & Chess, 1977). Elk van deze modellen legt een andere klemtoon op het ontstaan van gedragsproblemen, maar de modellen dienen niet gezien te worden als elkaar tegensprekend, eerder als elkaar aanvullend.
Deze meta-analyse baseert zich op het transactioneel model van Sameroff (1975). Binnen dit model wordt het verloop van de ontwikkeling gezien als een functie van zowel het kind als van de omgeving waarin het kind opgroeit. Hierbij worden kindfactoren en
omgevingsfactoren niet bekeken in een zuivere, onafhankelijke vorm, maar als elementen die elkaar wederzijds beïnvloeden. Kwetsbaarheden of risicofactoren van kinderen kunnen
geactiveerd worden door de omgeving of door stressvolle gebeurtenissen, waarna deze op hun beurt de omgeving beïnvloeden en hierin andere kwetsbaarheden activeren. Op deze manier ontstaat er een vicieuze cirkel van interacties tussen elkaar voortdurend beïnvloedende factoren (Dodge & Rutter, 2011; Hinshaw, 2002). Daarnaast kunnen ook beschermende of protectieve factoren aanwezig zijn bij het kind of in de omgeving, die inwerken tegen de geactiveerde risicofactoren zodat, ondanks de aanwezigheid van kwetsbaarheden, een normale ontwikkeling doorlopen kan worden (Masten, 2011; Masten, Best, & Garmezy, 1991).
De belangrijkste factoren die bijdragen aan de ontwikkeling van gedragsproblemen bij kinderen kunnen onderscheiden worden op de volgende domeinen: het kind zelf, de ouders, de school en de bredere omgeving (Durlak, 1999). Binnen het transactioneel model
(Sameroff, 1975) is het dus niet zozeer de aanwezigheid van één risicofactor die het ontstaan van gedragsproblemen voorspelt, maar juist een combinatie van risicofactoren in elk van deze domeinen die het risico op het ontstaan van gedragsproblemen vergroot (Durlak,1999).
4
Kindfactoren
Kindfactoren die van invloed zijn op gedragsproblemen zijn erfelijke verhoogde gevoeligheid voor omgevingsfactoren en stressgevoeligheid, sekse (man), moeilijk
temperament, lage intelligentie, afwijkende sociale informatieverwerking, beperkte prosociale emoties (i.e. empathie), probleemoplossende- en zelfregulatievaardigheden (Beauchaine & McNulty, 2013; Dodge & Rutter, 2011; Dodge et al., 2006). Sommige van deze factoren zijn veranderbaar, zoals sociale informatieverwerking, probleemoplossende- en
zelfregulatievaardigheden. Deze factoren aanpakken binnen preventie kan dan ook een effectieve manier zijn om gedragsproblemen te voorkomen (Durlak & Wells, 1997; Farrington, Gaffney, Lösel, & Ttofi, 2017). Andere factoren zijn niet of moeilijk te
beïnvloeden, zoals intelligentie, gevoeligheid, temperament en empathie. De aanwezigheid van deze factoren vormt dus een blijvende risicofactor (Haberstick, Schmitz, Young, & Hewitt, 2005; Mervielde, De Clercq, De Fruyt, & Van Leeuwen, 2005). Preventieve
interventies die zich uitsluitend richten op kindfactoren zijn naar verwachting slechts beperkt effectief, omdat slechts een deel van de kindfactoren veranderbaar is.
Ouderfactoren
Een ouderfactor die vooral invloed heeft op gedragsproblemen is negatief opvoedgedrag, zoals het inconsistent hanteren van regels, hard en fysiek straffen en een gebrek aan warmte, sensitiviteit en monitoring (Frick, Christian, & Wootton, 1999; Shelton, Frick, & Wootton, 1996). Dit problematisch opvoedgedrag wordt deels vorm gegeven door indirecte risicofactoren binnen het gezin, namelijk conflicten tussen ouders, echtscheiding, laag inkomen en opleidingsniveau, psychosociale problemen en delinquentie van ouders (Beauchaine & McNulty, 2013; Dodge & Rutter, 2011; Dodge et al., 2006). Uit voorgaande onderzoeken kwam reeds naar voren dat het inzetten op ouderfactoren, en meer bepaald op ouderlijk opvoedgedrag, binnen de preventie van gedragsproblemen bij kinderen effectief is
5 (Farrington & Welsh, 2003; Farrington et al., 2017), maar er zijn eveneens onderzoeken die aangetoond hebben dat het inzetten op ouderfactoren niet effectief is (Durlak & Wells, 1997). De bevindingen van Farrington en collega’s (2003, 2017) worden ondersteund door het feit dat ouders de belangrijkste invloed uitoefenen op de ontwikkeling van kinderen, terwijl voor adolescenten de invloed van leeftijdsgenoten minstens even belangrijk wordt (Smetana, Campione-Barr, & Metzger, 2006). Bij behandeling van gedragsproblemen is reeds bekend dat bij kinderen ouderprogramma’s effectiever zijn dan kindgerichte programma’s; bij adolescenten bleek dit net omgekeerd (McCart, Priester, Davies, & Azen, 2006). Om deze redenen zou verwacht worden dat ook op het gebied van preventie inzetten op ouderfactoren effectiever is dan inzetten op kindfactoren om gedragsproblemen bij kinderen te voorkomen, maar dit is tot op heden niet aangetoond.
Schoolfactoren
Ook op het schooldomein kunnen belangrijke risicofactoren voor het ontwikkelen van gedragsproblemen onderscheiden worden, zoals negatieve relaties met leerkrachten, een negatief sociaal klimaat en de aanwezigheid van pestgedrag. Daarenboven is de school voor kinderen de belangrijkste context waarin contact is met leeftijdsgenoten. Dit contact kan eveneens een risicofactor zijn, als er enerzijds sprake is van afwijzing door goed
functionerende leeftijdsgenoten en er anderzijds sprake is van aantrekking tot problematische leeftijdsgenoten (Beauchaine & McNulty, 2013; Dodge & Rutter, 2011; Dodge et al., 2006). Uit eerdere effectonderzoeken bleek dat schoolse preventieprogramma’s overwegend effectief zijn in het voorkomen van gedragsproblemen bij kinderen (Dray et al., 2017; Durlak & Wells, 1997; Wilson, Gottfredson, & Najaka, 2001). Echter, niet elke meta-analyse bevestigt de effectiviteit van het inzetten op schoolfactoren in de preventie van gedragsproblemen (Farrington & Welsh, 2003). In deze meta-analyse zal nagegaan worden hoe effectief deze interventies zijn in vergelijking met ouderprogramma’s.
6
Factoren uit de bredere omgeving
Ten slotte kunnen er ook risicofactoren onderscheiden worden in de bredere sociale omgeving, namelijk de sociaal-economische status van het gezin, leven in een onveilige/arme buurt, frequent in aanraking komen met geweld, onderdeel uitmaken van een subcultuur waarin geweld positief gewaardeerd wordt en kinderopvang en scholen van een lage kwaliteit (Beauchaine & McNulty, 2013; Dodge & Rutter, 2011; Dodge et al., 2006). Deze factoren dragen ertoe bij dat kinderen een verhoogd risico lopen op het ontwikkelen van
gedragsproblemen, maar ze zijn moeilijk te beïnvloeden via preventie (Hartas, 2011). Vandaar zijn deze factoren niet opgenomen in de meta-analyse.
Is meer beter?
Dat de ontwikkeling van gedragsproblemen bij kinderen een samenspel is van factoren uit meerdere domeinen (Sameroff, 1975) roept de vraag op of preventieve interventies die inzetten op factoren uit meer dan één domein effectiever zijn dan interventies die inzetten op factoren uit slechts één domein. Hierover heerst nog onduidelijkheid. Aan de ene kant is het aannemelijk dat preventie in meerdere domeinen effectiever is, omdat de risicofactoren voor het ontstaan van gedragsproblemen zich ook op meerdere domeinen bevinden. De meta-analyse van Farrington en Welsh (2003) suggereert dat meer inderdaad beter is. De vraag blijft echter welke combinatie van factoren dan het meest effectief is om preventief op in te zetten. Aan de andere kant laat de meta-analyse van Durlak, Weissberg, Dymnicki, Taylor en Schellinger (2011) zien dat de effecten van preventieprogramma’s die zich richten op
meerdere domeinen niet effectiever zijn dan de effecten van preventieprogramma’s die zich richten op één domein. Deze meta-analyse hoopt daarom meer licht te schijnen op de vraag of inzetten op meerdere factoren effectiever is dan inzetten op één factor en welke combinatie van factoren het meest effectief is om op in te zetten.
7 Relevantie
Algemeen blijken preventieprogramma’s om gedragsproblemen bij kinderen te voorkomen effectief (e.g. Deković et al., 2011; Grove, Evans, Pastor, & Mack, 2008), maar het is onbekend op welke factoren preventieve interventies dienen in te zetten om effectief te zijn én of inzetten op factoren uit meer dan één domein effectiever is dan inzetten op factoren uit slechts één domein. Deze meta-analyse wil hieraan bijdragen.
Allereerst zorgt een antwoord op deze vragen voor meer kennis over welke factoren, die een rol spelen bij het ontstaan van gedragsproblemen, beïnvloed kunnen worden door vroegtijdige preventie en de mate waarin deze beïnvloede factoren vervolgens invloed uitoefenen op de ontwikkeling van gedragsproblemen. Op deze manier ontstaat eveneens inzicht in de manier waarop factoren die een rol spelen in het ontstaan van gedragsproblemen, mogelijk verschillen van de factoren die gedragsproblemen kunnen voorkomen.
Daarnaast geeft inzicht in de meest effectieve manier van preventie ook richting aan de (door)ontwikkeling van preventieve interventies om gedragsproblemen en de negatieve
gevolgen van deze problemen te voorkomen. Ook kunnen effectievere preventieprogramma’s de maatschappelijke kosten die verbonden zijn aan gedragsproblemen verminderen. Zo blijkt uit een Amerikaans onderzoek dat effectieve preventie van gedragsproblemen kan leiden tot een kostenreductie van twee miljoen dollar per kind (Cohen, 1998; Jones, Dodge, Foster, & Nix, 2002). Het bekomen van meer eenstemmigheid is dus zowel van wetenschappelijk als maatschappelijk belang.
Huidig onderzoek
Om deze redenen zullen binnen deze meta-analyse volgende onderzoeksvragen getracht beantwoord te worden: (1) Is het inzetten op ouderfactoren effectiever dan het inzetten op kindfactoren of schoolfactoren om gedragsproblemen bij kinderen te voorkomen? (2) Is het inzetten op factoren uit meer dan één domein (i.e. kind, ouder en/of school)
8 effectiever in het voorkomen van gedragsproblemen bij kinderen dan het inzetten op factoren uit slechts één domein? (3) Biedt het inzetten op schoolfactoren een toegevoegde waarde in de preventie van gedragsproblemen bij kinderen bovenop het inzetten op de combinatie van kind- en ouderfactoren?
Methoden
Selectie studies: systematisch literatuuronderzoek en inclusiecriteria
Het systematisch literatuuronderzoek en de selectie van de studies gebeurde samen met zestien medestudenten en onder begeleiding van onze scriptiebegeleiders. Op deze manier is er een algemene database aangelegd met studies over de effectiviteit van preventieve interventies om internaliserende en externaliserende gedragsproblemen bij kinderen en adolescenten te voorkomen. Hieruit zijn vervolgens de studies geselecteerd die relevant waren voor het beantwoorden van de onderzoeksvragen binnen deze meta-analyse.
Er is systematisch gezocht in twee digitale databases: PsycINFO en Medline. Hierbij werd gebruikgemaakt van een zoekprofiel gebaseerd op vier groepen van zoektermen, namelijk (1) kinderen [0-21 jaar] (e.g. preschool age, school age, adolescence), (2) kinderen met een verhoogd risico op probleemgedragingen/preventieve interventie (e.g. early
intervention, increased risk, disadvantaged), (3) uitkomst: internaliserende en externaliserende gedragsproblemen (e.g. hyperactivity, behavior problems, depression, anxiety) en (4)
onderzoeksdesign: randomised controlled trial [RCT] (e.g. control condition, effect size). De artikelen die voldeden aan minstens één zoekterm uit elk van de vier groepen zijn op mogelijke geschiktheid beoordeeld op basis van de titel en het abstract door twee
afzonderlijke beoordelaars. Dit gebeurde aan de hand van algemene inclusiecriteria; deze geleken sterk op de specifieke inclusiecriteria voor deze meta-analyse (zie hieronder), maar waren breder betreffende de leeftijd van de participanten en de te voorkomen problemen. Vervolgens zijn de artikelen die door minstens één beoordelaar waren geselecteerd als
9 mogelijk geschikt, beoordeeld op definitieve geschiktheid volgens dezelfde algemene criteria; indien nodig op basis van het volledige artikel. Uiteindelijk voldeden 1183 unieke studies aan de algemene inclusiecriteria (zie Figuur 1).
De specifieke inclusiecriteria van deze meta-analyse waren: (1) De studie toetst de effectiviteit van een interventie. (2) Binnen de studie zijn de participanten random toegewezen aan de condities (RCT). (3) De interventie richt zich op het voorkomen van
gedragsproblemen. (4) De interventie betreft een psychosociale interventie. (5) De gemiddelde leeftijd van de participanten binnen de studie is tussen 4 en 12 jaar. (6) Er is sprake van universele preventie (algemene bevolking) of selectieve preventie (aanwezigheid van risicofactoren). Studies waarbij sprake was van geïndiceerde preventie (beginnende klachten/problematiek) of behandeling werden niet opgenomen, omdat deze meta-analyse zich specifiek richt op het voorkomen van problemen en niet op terugdringen van problemen. In totaal voldeden 109 studies aan deze specifieke inclusiecriteria (zie Figuur 1).
Coderen van de studiekenmerken
Dezelfde groep studenten codeerde de studiekenmerken. Hierbij is 23% van de studies gecodeerd door twee verschillende beoordelaars. De intercoder-overeenkomst is voor
categorische variabelen bepaald op basis van de Cohen’s Kappa (k) en voor continue variabelen op basis van de Intraclass Correlation Coefficient (ICC); voor beiden drukken waarden kleiner dan .3 een slechte overeenstemming uit, tussen .3 en .5 een geringe, tussen .5 en .7 een gemiddelde en groter dan .7 een goede overeenstemming (Fleiss & Cohen, 1973).
Binnen deze meta-analyse is gecodeerd voor algemene studiekenmerken (i.e. auteur, publicatiejaar en -land), onderzoekskenmerken (i.e. controleconditie), interventiekenmerken (i.e. domein van factoren), participantkenmerken (i.e. steekproefgrootte, leeftijd, percentage meisjes en percentage etnische minderheidsgroep) en uitkomstkenmerken (i.e. meetmoment, informant, voor- en nameting van de interventie- en controlegroep: n, M en SD). Over het
10 algemeen was de intercoder-overeenkomst gemiddeld tot goed (k: .594 – .835 met M = .682 en ICC: .568 – .981 met M = .799).
Twee coderingen vragen echter verdere toelichting: (1) Voor het domein van factoren waarop de interventie inspeelt (i.e. kind-, ouder- en/of schoolfactoren) was het niet mogelijk om de intercoder-overeenkomst te berekenen, aangezien er verschillen waren in de gebruikte categorieën. Daarom heb ik, voor de studies binnen deze meta-analyse, deze variabele opnieuw gecodeerd en bij twijfel hierover overlegd met mijn scriptiebegeleider. (2) Voor de voormeting bleken de coderingen voor M en SD slecht (ICC = −.008 − .226). Dit was echter te wijten aan een groot aantal ontbrekende waarden. Wanneer hiervoor gecontroleerd werd, was de intercoder-overeenkomst eveneens gemiddeld tot goed (ICC = .545 − .782).
Na codering bleken 55 studies niet geschikt voor verdere analyse, omwille van het rapporteren van onvoldoende informatie voor het berekenen van de effectgrootte. Hierdoor zijn uiteindelijk 54 studies geïncludeerd in de huidige meta-analyse (zie Figuur 1).
Effectgrootte berekenen
De effectgrootte werd uitgedrukt in Cohen’s d. Om Cohen’s d te berekenen is allereerst het verschil berekend tussen de gemiddelde score voor gedragsproblemen op de nameting van kinderen in de interventieconditie (gecontroleerd voor de voormeting) en de gemiddelde score voor gedragsproblemen op de nameting van kinderen in de controleconditie (gecontroleerd voor de voormeting). Vervolgens is dit verschil gedeeld door de gepoolde standaarddeviatie van de scores op gedragsproblemen van kinderen in beide condities: √𝑆𝐷12(𝑛1−1)+𝑆𝐷22(𝑛2−1)
𝑛1+𝑛2−2 .
Omdat studies met een groter aantal deelnemers een kleiner betrouwbaarheidsinterval en een kleinere variantie hebben, kunnen zij het effect van een interventie nauwkeuriger bepalen. Deze studies kregen meer gewicht in de meta-analyse door de effectgrootte van de studie te corrigeren voor de variantie van deze effectgrootte. Er is gekozen voor een weging
11 op basis van de variantie, omdat deze (in tegenstelling tot de steekproefgrootte) ook de
spreiding van het effect binnen de studie meeneemt.
Wanneer een studie betrekking had op verschillende interventies die van elkaar verschilden in het domein van factoren waarop ze zich richten, zijn deze interventies meegenomen als afzonderlijke studies in de meta-analyse. Daarnaast is, wanneer een studie meerdere effectgroottes bevatte, het gemiddelde van deze effectgroottes en de daarbij horende varianties berekend. Op deze manier werden voor de 54 geïncludeerde studies 57 gemiddelde effectgroottes berekend (in het verdere verloop van de meta-analyse zal gesproken worden van 57 studies). Op basis van deze gemiddelden zijn de analyses uitgevoerd.
Analyseplan
Analyses zijn gedaan met behulp van het programma JASP – Statistics 0.8.6. Dit gebeurde aan de hand van een effectenanalyse analoog aan een univariate variantie-analyse (one-way ANOVA), waarbij de gewogen effectgrootte voor gedragsproblemen de
afhankelijke variabele was. De onafhankelijke variabele, de domeinen van factoren waarop de preventieve interventies inspelen (kind-, ouder- en/of schoolfactoren), is verschillend voor elke onderzoeksvraag. Om deze variabele op een correcte manier te kunnen meenemen, is deze voor elke onderzoeksvraag afzonderlijk omgezet in dummy-variabelen:
Voor het beantwoorden van de eerste onderzoeksvraag of het inzetten op
ouderfactoren effectiever is in het voorkomen van gedragsproblemen bij kinderen dan het inzetten op kindfactoren of schoolfactoren is één dummy-variabele aangemaakt: ‘kind- of schoolfactoren’, met ‘ouderfactoren’ als referentiegroep.
Voor het beantwoorden van de tweede onderzoeksvraag of het inzetten op factoren uit meer dan één domein (i.e. kind, ouder en/of school) effectiever is in het voorkomen van gedragsproblemen bij kinderen dan het inzetten op factoren uit slechts één domein is één dummy-variabele aangemaakt: ‘één domein’, met ‘meerdere domeinen’ als referentiegroep.
12 Voor het beantwoorden van de derde onderzoeksvraag of het inzetten op
schoolfactoren een toegevoegde waarde biedt in de preventie van gedragsproblemen bij kinderen bovenop het inzetten op de combinatie van kind- en ouderfactoren is één dummy-variabele aangemaakt: ‘kind-, ouder- en schoolfactoren’, met ‘kind- en ouderfactoren’ als referentiegroep.
Studiekwaliteit
De studies binnen deze meta-analyse zijn beoordeeld op studiekwaliteit aan de hand van de Cochrane’s Risk of Bias tool (Higgins, Altman, & Sterne, 2011), waarbij de volgende aspecten beoordeeld zijn: random sequence generation (i.e. voldoende gedetailleerde
beschrijving van de toewijzingsprocedure, om te beoordelen of de toewijzing effectief random gebeurde), allocation concealment (i.e. mate waarin de toewijzing onvoorspelbaar was voor onderzoekers en participanten), blinding of participants (i.e. mate waarin de participanten binnen het onderzoek blind waren voor de conditie waarin zij zaten), blinding of assessors (i.e. mate waarin degenen die rapporteerden over gedragsproblemen blind waren voor de conditie waarin het kind zat) en incomplete outcome data (i.e. voldoende gedetailleerde beschrijving van alle gegevens, inclusief het aantal uitsluitingen voor analyse en de uitval doorheen het onderzoek).
Resultaten Studiekenmerken
Tabel 1 geeft de kenmerken van de geïncludeerde studies weer. Van de 57 geïncludeerde studies onderzochten 30 studies het effect van inzetten op factoren uit één domein, doorgaans ouderfactoren (k = 18) of kindfactoren (k = 11). Studies die het effect van inzetten op factoren uit meerdere domeinen onderzochten (k = 27) keken voornamelijk naar de combinatie van kind- en ouderfactoren (k = 16).
13 In totaal zijn 14,916 participanten geïncludeerd in dit onderzoek, met een gemiddelde van 262 participanten per studie. De gemiddelde leeftijd van de participanten was 7.2 jaar met een range van 1 tot 16 jaar. Het gemiddeld percentage meisjes per studie was 45% en het gemiddeld percentage personen van een etnische minderheid per studie was 56%.
Voor de participanten in de controlegroep bleek dat 70% geen contact had met
hulpverlening tijdens het onderzoek. Deze participanten kregen geen interventie of stonden op een wachtlijst om de interventie later te ontvangen. Verder onderzochten 17 studies (33%) enkel het onmiddellijke effect van de preventieve interventie en 20 studies (39%) enkel het langetermijneffect. De overige studies (28%) onderzochten zowel het onmiddellijke effect als het langetermijneffect. Verder bleken 20 studies (35%) beroep te doen op de informatie van meer dan één informant (doorgaans ouders en leerkrachten) om het effect van de interventie na te gaan. Wanneer slechts beroep werd gedaan op de informatie van één informant (65%), was dit doorgaans een ouder.
Algemene effectiviteit
Het algemene effect van preventieve interventies op gedragsproblemen bij kinderen is significant maar klein (Cohen’s d = – 0.272, p = .026). Het inzetten van preventieve
interventies leidt dus tot een kleine afname in het ontstaan van gedragsproblemen bij kinderen. Deze effectgrootte komt overeen met een kans op superioriteit van 57.6% (i.e. de kans dat een random gekozen persoon uit de interventiegroep een beter resultaat heeft dan een random gekozen persoon uit de controlegroep). Figuur 2 toont een forest plot met de
effectgrootte per studie, gecategoriseerd volgens het domein van factoren waarop de interventie zich richt, met onderaan het algemene effect. Daarnaast geeft Tabel 2 een
overzicht van de gevonden effectgroottes voor de verschillende domeinen van factoren en de daarbij horende kans op superioriteit.
14 Interventies gericht op factoren uit één domein
Interventies die inzetten op ouderfactoren bleken niet significant effectiever in het voorkomen van gedragsproblemen bij kinderen dan interventies die inzetten op kind- of schoolfactoren (differentiële d = 0.774, p = .074). Wanneer echter gekeken werd naar de gevonden effecten per factor, bleek dat het inzetten op ouderfactoren een significant middelgroot effect heeft (Cohen’s d = – 0.781, p = .023), terwijl het inzetten op kind- of schoolfactoren niet significant effectief is (Cohen’s d = – 0.011, p = .938 en Cohen’s d = – 0.150, p = .899).
Interventies gericht op factoren uit één vs. meerdere domeinen
Interventies die inzetten op factoren uit meerdere domeinen bleken niet significant effectiever in het voorkomen van gedragsproblemen bij kinderen dan interventies die inzetten op factoren uit één domein (differentiële d = – 0.428, p = .074). Wanneer echter gekeken werd naar de afzonderlijk gevonden effecten, bleek dat het inzetten op factoren uit één domein een klein significant effect heeft (Cohen’s d = – 0.437, p = .032), terwijl het inzetten op factoren uit meerdere domeinen niet significant effectief is (Cohen’s d = – 0.032, p = .576).
Interventies gericht op factoren uit meerdere domeinen
Interventies die inzetten op kind-, ouder- en schoolfactoren bleken niet significant effectiever in het voorkomen van gedragsproblemen bij kinderen dan interventies die inzetten op kind- en ouderfactoren (differentiële d = 0.290, p = .259). Daarnaast bleek ook dat beide combinaties van factoren op zich geen significant effect vertonen (Cohen’s d = 0.030, p = .713 en Cohen’s d = – 0.473, p = .395). Wat echter opvalt, is dat het inzetten op kind- en schoolfactoren een klein significant effect heeft (Cohen’s d = – 0.254, p = .002). Het inzetten op ouder- en schoolfactoren had ook een significant effect, maar dit effect bleek zo klein dat het haast verwaarloosbaar is (Cohen’s d = 0.037, p = .026).
15 Homogeniteit
De homogeniteit van de geïncludeerde studies is nagegaan op twee manieren. Uit de Chi-kwadraat test voor heterogeniteit (Whitehead & Whitehaed, 1991) bleek dat de studies significant heterogene effectgroottes hebben (Q (df=50) = 13942.788, p < .001). Uit de I²-test (Higgins, Thompson, Deeks, & Altman, 2003) bleek dat de variantie tussen de studies in deze meta-analyse zeer sterk te wijten is aan de heterogeniteit in effectgroottes tussen studies (I² = 99.91%). Er is dus sprake van meer spreiding in effectgroottes dan verwacht zou worden op basis van toeval.
Publicatiebias
De aanwezigheid van een publicatiebias, waarbij studies die niet-significante of negatieve bevindingen rapporteren (controlegroep doet het evengoed als of beter dan de interventiegroep) waarschijnlijk minder gepubliceerd worden, is nagegaan op twee manieren. Uit de funnel plot (zie Figuur 3), waarbij de standaardfout uitgezet wordt op de verticale as in functie van de effectgrootte per studie op de horizontale as, blijkt geen sprake te zijn van een publicatiebias, aangezien de geïncludeerde studies zich ongeveer symmetrisch rond de
gemiddelde effectgrootte bevinden. Opvallend zijn de drie studies links buiten de omgekeerde trechter; deze studies rapporteren een duidelijk groter effect, waarbij de interventie zorgt voor een grotere afname in het ontwikkelen van gedragsproblemen dan de controlegroep.
De Rosenthal fail-safe N (1979): N = 12378 met target significance = .05 en observed significance < .001, geeft aan hoeveel bijkomende studies met niet-significante of negatieve bevindingen nodig zijn om de p-waarde van deze meta-analyse zodanig te verhogen dat het gevonden effect weerlegd zou worden. Hieruit blijkt dat pas als er meer dan twaalfduizend vergelijkbare, maar niet-gepubliceerde studies met negatieve of niet-significante resultaten zouden zijn, het gevonden kleine algemene effect van preventieve interventies op
16 Studiekwaliteit
Tabel 3 geeft de resultaten van de kwaliteitsbeoordeling van de studies weer,
geclusterd voor de domeinen van factoren waarop de interventies inzetten. Opvallend hierbij is de negatieve beoordeling van de aspecten blinding of participants en blinding of assessors. Het is echter binnen ons onderzoeksdomein bijna onmogelijk om participanten onwetend te laten omtrent de interventie die ze ontvangen, aangezien vaak gewerkt wordt met een
controlegroep zonder interventie of met een wachtlijst. Daarnaast zijn de informanten binnen de studies vaak de participanten zelf (kinderen, ouders en/of leerkrachten). Enkel wanneer er geopteerd wordt voor niet-betrokken informanten (bijvoorbeeld een observator), bleek er sprake te zijn van blinding voor de ontvangen interventie. Het slechter scoren op deze twee aspecten is dus inherent aan het onderzoeksdomein.
Verder blijken de aspecten random sequence generation en allocation concealment onduidelijk tot goed. Dit betekent dat in de studies niet steeds voldoende wordt toegelicht hoe de random toewijzing gebeurde en of kon worden ingeschat aan welke conditie participanten werden toegewezen. Deze matige score vormt echter niet direct een belemmering voor de onderzoeksvragen in dit onderzoek, omdat zij gaan over differentiële effectiviteit tussen interventies onderzocht in verschillende studies. Aangezien alle geïncludeerde studies
ongeveer gelijk scoren hiervoor, kunnen eventuele verschillen in effectiviteit tussen typen van interventies niet verklaard worden door een verschil in dit aspect van studiekwaliteit.
Ten slotte scoren de geïncludeerde studies overwegend positief voor het aspect
incomplete outcome data. Dit is grotendeels te wijten aan het feit dat in 70% van de studies de
data geanalyseerd zijn volgens intention to treat principes, waarbij de resultaten van alle participanten die random zijn toegewezen aan een conditie worden geanalyseerd. Dit zorgt voor een verhoging van de kwaliteit, aangezien het weglaten van de participanten die uitvallen tijdens een onderzoek, kan leiden tot een overschatting van het interventie-effect.
17 Discussie
Vroegtijdige preventie van gedragsproblemen bij kinderen is belangrijk om de
negatieve gevolgen voor het kind en de omgeving tegen te gaan. Tot op heden is onbekend op welke factoren preventie dient in te zetten om gedragsproblemen op de meest effectieve manier te voorkomen. Het doel van deze meta-analyse was om dit in kaart te brengen.
Interventies die inzetten op factoren uit meerdere domein blijken niet effectiever te zijn dan interventies die inzetten op factoren uit slechts één domein. Dit suggereert dat beide typen interventies even effectief zijn om gedragsproblemen bij kinderen te voorkomen. Dit is in lijn met de resultaten van een eerdere meta-analyse door Durlak en collega’s (2011). Wanneer afzonderlijk naar beide typen interventies wordt gekeken, blijkt echter wel dat het inzetten op één domein effectief is, terwijl dit niet het geval is voor het inzetten op meerdere domeinen. Dit lijkt in contrast te staan met wat verwacht wordt op basis van het transactioneel model (Sameroff, 1975). Op basis van dit model wordt verwacht dat inzetten op meerdere domeinen effectiever is om gedragsproblemen te voorkomen, aangezien het ontstaan van gedragsproblemen een samenspel is van factoren uit deze verschillende domeinen. De bevinding is echter in lijn met andere meta-analyses die suggereren dat ‘less is more’ (Bakermans-Kranenburg, van IJzendoorn, & Juffer, 2003), waarbij interventies met een specifieke focus effectiever zijn dan intensieve interventies die inzetten op verschillende aspecten. Interventies die slechts inzetten op één domein van factoren lijken dus effectief omdat ze op een zeer specifieke manier aan preventie doen.
Binnen het inzetten op factoren uit één domein blijkt dat interventies die inzetten op ouderfactoren niet effectiever zijn dan interventies die inzetten op kind- of schoolfactoren. Dit suggereert dus eveneens dat deze interventies, ongeacht het type factoren waarop ze inzetten, even effectief zijn in het voorkomen van gedragsproblemen bij kinderen. Dit is in lijn met de bevindingen van Farrington en collega’s (2017), waaruit naar voren kwam dat inzetten op elk
18 van deze domeinen effectief is. Het gevonden resultaat is echter niet volledig gelijklopend met deze studie, want wanneer opnieuw individueel gekeken wordt per type interventie blijkt dat enkel het inzetten op ouderfactoren (en dus niet het inzetten op kindfactoren of
schoolfactoren) effectief is. Op deze manier lijkt het resultaat ook aan te sluiten bij het idee van Smetana en collega’s (2006). Het feit dat alleen interventies die zich richten op ouders effectief zijn, suggereert inderdaad dat met name ouders de belangrijkste invloed uitoefenen op de ontwikkeling van kinderen.
Tot slot blijkt dat het inzetten op schoolfactoren geen toegevoegde waarde biedt bovenop het inzetten op kind- en ouderfactoren. Zowel het inzetten op kind- en ouderfactoren, als inzetten op kind-, ouder- en schoolfactoren blijkt niet effectief. Dit betekent dus dat het inzetten op beide combinaties van factoren in gelijke mate niet effectief is om
gedragsproblemen bij kinderen te voorkomen. Deze resultaten lijken dus eveneens in contrast met wat verwacht zou worden op basis van het transactioneel model (Sameroff, 1975),
namelijk dat inzetten op meerdere domeinen effectief is om gedragsproblemen te voorkomen, aangezien het ontstaan van gedragsproblemen een samenspel is van factoren uit deze
verschillende domeinen. Opvallend hierbij is dat het inzetten op kind- en ouderfactoren niet effectief blijkt, terwijl interventies die enkel inzetten op ouderfactoren wel effectief blijken. Deze bevinding sluit opnieuw aan bij het idee van ‘less is more’ (Bakermans-Kranenburg et al., 2003), namelijk dat specifieke interventies effectiever zijn dat interventies die inzetten op verschillende aspecten. Het werkt blijkbaar beter om specifiek in te zetten op ouderfactoren dan om in te zetten op zowel kindfactoren als ouderfactoren, wanneer men gedragsproblemen bij kinderen wil voorkomen.
Overkoepelende verklaringen
Een eerste mogelijke, overkoepelende verklaring voor het niet vinden van verschillen tusseninterventies die inzetten op kind-, ouder- en/of schoolfactoren binnen deze
meta-19 analyse, kan gevonden worden in het ‘Dodo-Bird verdict’. Deze visie op psychotherapie is gebaseerd op de uitspraak van het Dodo personage uit Alice in Wonderland: “Everybody has
won and all must have prizes” (Carroll, 1865) en werd voor het eerst toegepast binnen de
psychotherapie door Saul Rosenzweig (1936). Het Dodo-Bird verdict beweert dat alle therapieën in gelijke mate effectief zijn, ongeachte hun specifieke componenten. Hierbij wordt het positieve resultaat van het ontvangen van therapie gelinkt aan de effectiviteit van de algemene factoren, zoals de relatie met de therapeut die warm en respectvol is en de therapeut en de cliënt die overtuigd zijn van een succesvol resultaat (Ahn & Wampold, 2001; Asay & Lambert, 1999). Gelinkt aan de resultaten uit deze meta-analyse betekent dit dat het inzetten van preventieve interventies in het voorkomen van gedragsproblemen algemeen effectief is, ongeacht op welke factoren deze preventieve interventies inzetten.
Het Dodo-Bird verdict is echter tot op heden een controversieel onderwerp binnen de psychotherapie, met zowel veel voor- als tegenstanders (e.g. Budd & Hughes, 2009; Elliott, Barker, & Hunsley, 2015; Otte, 2011; Siev, Huppert, & Chambless, 2010). Uit de
bovenstaande bevindingen lijkt het inderdaad mogelijk dat de algemene elementen van therapie bijdragen aan de algemene effectiviteit van elke soort preventieve interventie om gedragsproblemen bij kinderen te komen (in lijn met de voorstanders van het Dodo-Bird verdict). Daartegenover lijken net de specifieke factoren waarop ingespeeld wordt in de preventieve interventies te zorgen voor een differentiatie in de mate van effectiviteit (in lijn met de tegenstanders van het Dodo-Bird verdict). Het lijkt namelijk zo dat specifiek het inzetten op ouderfactoren zorgt voor de meeste effectiviteit.
Een alternatieve, overkoepelende verklaring voor het niet vinden van verschillen doorheen deze meta-analyse, ligt in het feit dat er slechts weinig onderzoek gedaan is naar bepaalde subgroepen van interventies. Met name naar het inzetten op schoolfactoren in de preventie van gedragsproblemen bij kinderen, zowel individueel als in combinatie met andere
20 factoren. Slechts één onderzochte interventie zette enkel in op schoolfactoren en slechts twee studies onderzochten een interventie die inzette op kind-, ouder- en schoolfactoren. Verder bleek ook voor de andere combinaties, die niet specifiek onderzocht zijn binnen deze meta-analyse, slechts een klein aantal studies beschikbaar te zijn (vijf studies omtrent interventies gericht op kind- en schoolfactoren en vier studies omtrent interventies gericht op ouder- en schoolfactoren). Hierdoor was het, door een gebrek aan statistische power, niet mogelijk om een eventueel wel aanwezig verschil in effectiviteit tussen de verschillende typen van
preventieve interventies te bekomen op basis van de geïncludeerde studies binnen deze meta-analyse.
Sterktes van het huidige onderzoek
Deze meta-analyse heeft gebruikgemaakt van een grondig systematisch
literatuuronderzoek. Hierbij is enerzijds veel aandacht geweest voor het opstellen van zowel duidelijk omschreven als specifieke inclusiecriteria. Dit biedt als meerwaarde dat enkel de studies die een antwoord bieden op de gestelde onderzoeksvragen ook daadwerkelijk zijn geïncludeerd in deze meta-analyse. Vervolgens is elke studie die naar voren kwam uit het systematisch literatuuronderzoek beoordeeld op geschiktheid door twee afzonderlijke beoordelaars. Dit biedt nog een extra controle voor het includeren van enkel die studies die geschikt zijn voor het beantwoorden van de vragen binnen deze meta-analyse, naast de reeds duidelijke en specifieke inclusiecriteria.
Daarnaast is in deze meta-analyse bij het berekenen van de effectgroottes gecontroleerd voor de scores op de voormeting en gebruikgemaakt van de gepoolde
standaarddeviatie. Dit kan gezien worden als een sterkte, aangezien deze benadering leidt tot een verminderde kans op biases, preciezere effectgroottes met kleinere standaardfouten en effectgroottes die robuuster zijn voor het schenden van de assumptie van homogeniteit in varianties (Morris, 2008).
21 Beperkingen van het onderzoeksveld
Een eerste beperking van het onderzoeksveld, en daarom van de studies die zijn meegenomen in deze meta-analyse, is te vinden in de beperkte hoeveelheid onderzoek naar de effectiviteit van interventies die inzetten op schoolfactoren. Dit geldt zowel voor interventies die zich alleen richten op schoolfactoren, als voor interventies die zich zowel richten op schoolfactoren als kind- en/of ouderfactoren. Dit kleine aantal studies beperkt de statistische power van deze meta-analyse, waardoor verschillen in effectiviteit naar voren komen als niet significant, terwijl sommige verschillen er in werkelijkheid misschien wel zijn. Een
uitbreiding van het onderzoek naar preventieve interventies die inzetten op schoolfactoren in het voorkomen van gedragsproblemen bij kinderen, zou leiden tot een betere inschatting van de werkelijke effectiviteit.
Een tweede beperking van het onderzoeksveld is te vinden in de grote mate van heterogeniteit tussen de studies. Binnen deze meta-analyse bleek dat er sprake was van een grotere spreiding in effectgroottes tussen de studies dan verwacht zou worden op basis van toeval. Dit betekent dat er sprake is van verschillen tussen de studies die te wijten zijn aan kenmerken van de studies zelf. Meer eenduidig onderzoek waarbij steeds dezelfde
methodologie wordt toegepast (bijvoorbeeld: onderzoek waarbij telkens een RCT wordt uitgevoerd met hetzelfde type controlegroep, dezelfde meetmomenten en een eenduidige leeftijdscategorie), kan deze heterogeniteit verlagen en ervoor zorgen dat de effectiviteit van de verschillende interventies beter te vergelijken is.
Beperkingen van het huidige onderzoek
Een eerste mogelijke beperking van deze meta-analyse ligt in het feit dat de huidige analyses zijn uitgevoerd aan de hand van de gemiddelde effectgrootte per studie in plaats van gebruik te maken van multilevel analyses, waarbij gekeken wordt naar het verschil in de gerapporteerde effectgroottes zowel binnen als tussen de studies. Ondanks het feit dat werken
22 met de gemiddelde effectgroottes mogelijk zorgt voor een minder representatieve weergave van de resultaten, is hiervoor gekozen om de complexiteit van deze meta-analyse te beperken.
Om inzicht te krijgen in de binnen-studie variantie in effectgroottes is gekeken naar twee mogelijke variabelen. Een eerste binnen-studie variabele die een modererende rol zou kunnen spelen in de effectgroottes is het gebruikmaken van verschillende informanten (Wilson & Lipsey, 2001; Wolf, 1986). Uit een extra, post hoc analyse blijkt inderdaad dat de gemiddelde effectgroottes op basis van type informant van elkaar verschillen (F(3, 209) = 2.799, p = .041): wanneer effecten worden gerapporteerd door ouders zijn deze doorgaans sterker dan wanneer deze worden gerapporteerd door het kind zelf. Echter, wanneer gekeken wordt naar de studies waarin slechts beroep is gedaan op de informatie van één informant, blijkt de range tussen kleinste en grootste gevonden effectgrootte voor dezelfde informant nog steeds zeer groot (bijvoorbeeld ouder als informant: – 4.301 tot 0.462). De spreiding in de effectgroottes binnen een studie lijkt dus niet volledig verklaard te worden door de verschillen in informanten. Een tweede binnen-studie variabele die mogelijk van invloed zou kunnen zijn, is het meetmoment (i.e. korte- en langetermijneffecten van de preventieve interventie). Er was echter geen sprake van een samenhang tussen meetmoment, uitgedrukt in aantal maanden na afloop van de interventie, en effectgrootte (r = .094, p = .179).
Een tweede mogelijke beperking van het huidige onderzoek ligt in het feit dat enkel Engelstalig onderzoek is meegenomen binnen deze meta-analyse. Zo blijkt dat 75% van de studies binnen deze meta-analyse uitgevoerd zijn in Noord-Amerika of Europa. Dit heeft mogelijk gezorgd voor een vertekening van de resultaten, aangezien de Europese en Noord-Amerikaanse studies binnen deze meta-analyse grotere effectgroottes rapporteerden dan de Aziatische en Australische studies (F(4, 226) = 5.812, p < .001). Omwille van deze
bevindingen is het niet mogelijk om de resultaten van deze meta-analyse te generaliseren naar de effectiviteit van interventies buiten Europa en Noord-Amerika.
23 Implicaties voor de theorie
De resultaten van deze meta-analyse zijn niet in lijn met wat verwacht zou worden op basis van het transactioneel model (Sameroff, 1975), namelijk dat het veranderen van factoren uit meerdere levensdomeinen van het kind leidt tot effectievere veranderingen in het gedrag van het kind. Op basis van dit onderzoek lijkt het dus zo dat deze theorie over het ontstaan van gedragsproblemen bij kinderen niet te vertalen is naar de preventie ervan. Met andere woorden: het feit dat factoren uit meerdere domeinen bijdragen aan het ontstaan van gedragsproblemen betekent nog niet dat gedragsproblemen ook beter voorkomen kunnen worden door preventief in te zetten op factoren uit meerdere domeinen.
Een mogelijke verklaring hiervoor is dat slechts bepaalde factoren die bijdragen aan de ontwikkeling van gedragsproblemen bij kinderen voldoende beïnvloedbaar zijn, terwijl andere factoren mogelijk niet of nauwelijks beïnvloedbaar zijn (Offord & Chmura Kraemer, 2000; van Yperen, 2003). Hierbij is te verwachten dat in elk levensdomein van het kind zowel statische als dynamische factoren onderscheiden kunnen worden, terwijl binnen deze meta-analyse enkel overkoepelend is gekeken naar de verschillende domeinen van factoren. Dit zou betekenen dat het kijken naar preventie van gedragsproblemen bij kinderen gebaseerd dient te worden op een andere theoretische visie, namelijk een visie waarbij een onderscheid gemaakt wordt tussen statische of vaststaande factoren en dynamische of beïnvloedbare factoren in elk levensdomein, zoals dit reeds gebeurd binnen de behandeling van gedragsproblemen vanuit het Risk-Need-Responsivity model (Andrews, Bonta, & Hoge, 1990).
Implicaties voor de praktijk
Op basis van dit onderzoek kan geen sluitend antwoord geformuleerd worden op de vraag: ‘Op welke factor(en) dienen preventieve interventies in te zetten om gedragsproblemen bij kinderen op de meest effectieve manier te voorkomen?’. Desondanks kan op basis van de resultaten wel de aanbeveling gegeven worden aan het praktijkveld om eerder te kiezen voor
24 interventies die zich richten op factoren uit slechts één domein en dan liefst interventies die zich richten op ouderfactoren, aangezien enkel deze twee typen interventies effectief bleken in het voorkomen van gedragsproblemen bij kinderen.
Dit betekent niet dat het nodig is om interventies die zich richten op schoolfactoren, individueel of in combinatie met andere factoren, te schrappen in de praktijk. De hoeveelheid onderzoek naar deze types van preventie is momenteel simpelweg te klein om hierover een voldoende onderbouwde uitspraak te doen. Daarnaast is de school een relatief eenvoudige manier om veel kinderen te bereiken, wat eveneens van belang is om preventie op grote schaal te realiseren. De preventieparadox van Rose (1981) stelt namelijk dat breed ingezette, universele preventieprogramma’s zorgen voor een grote gezondheidswinst op het niveau van de bevolking, ondanks het feit dat er op individueel niveau relatief weinig (of zelfs zonder zekerheid) sprake is van een effect.
Suggesties voor verder onderzoek
Naast het uitbreiden van het onderzoeksveld omtrent de effectiviteit van preventieve interventies die zich richten op schoolfactoren en het uitvoeren van multilevel onderzoek naar mogelijke moderatoren in de effectiviteit van preventieve interventies om gedragsproblemen bij kinderen te voorkomen, zou toekomstig onderzoek zich moeten richten op de mate waarin de verschillende factoren die een rol spelen in het ontstaan van gedragsproblemen
beïnvloedbaar zijn door preventieve interventies. Binnen dit onderzoek is enkel op een overkoepelende manier gekeken naar de verschillende domeinen van factoren, zonder een onderscheid te maken op welke kind-, ouder- en/of schoolfactoren specifiek wordt ingezet binnen de verschillende interventies. Wanneer er meer zicht is op welke factoren binnen elk domein wel of niet beïnvloedbaar zijn door preventieve interventie, kan verdergaand
onderzoek plaatsvinden naar welke specifieke combinaties van beïnvloedbare factoren zorgen voor de meest effectieve interventies om gedragsproblemen bij kinderen te voorkomen.
25 Conclusie
Op basis van deze meta-analyse blijft onduidelijk op welke factoren preventieve interventies dienen in te zetten om gedragsproblemen bij kinderen op de meest effectieve manier te voorkomen: de verschillende benaderingen verschillen doorgaans niet van elkaar in
effectiviteit. Wel ontstaat het beeld dat inzetten op interventies die zich specifiek richten op ouderfactoren de grootste kans van slagen hebben. Deze interventies blijken namelijk als enige significant in staat om gedragsproblemen bij kinderen op een effectieve manier te voorkomen.
26 Literatuurlijst
Ahn, H. N., & Wampold, B. E. (2001). Where oh where are the specific ingredients? A meta-analysis of component studies in counseling and psychotherapy. Journal of
Counseling Psychology, 48, 251-257. doi: 10.1037//O022-OI67.48.3.251
Andrews, D. A., Bonta, J., & Hoge, R. D. (1990). Classification for effective rehabilitation: Rediscovering psychology. Criminal justice and Behavior, 17, 19-52. doi:
10.1177/0093854890017001004
Asay, T. P., & Lambert, M. J. (1999). The empirical case for the common factors in therapy: quantitative findings. In M. A. Huble, B. Duncan, & S. Miller (Reds.), The heart and
soul of change: what works in therapy (pp. 23-55). Washington D.C.: American
Psychological Association.
Bakermans-Kranenburg, M. J., van IJzendoorn, M. H., & Juffer, F. (2003). Less is more: Meta-analyses of sensitivity and attachment interventions in early childhood.
Psychological bulletin, 129, 195-215. doi: 10.1037/0033-2909.129.2.195
Bartels, M. (2002). Behavior problems, cognition, and hormones. A longitudinal-genetic
study in childhood. [dissertatie Amsterdam VU].
Beauchaine, T. P. & McNulty, T. (2013). Comorbidities and continuities as ontogenic processes: Toward a developmental spectrum model of externalizing
psychopathology. Development and Psychopathology, 25, 1505-1528. doi: 10.1017/S0954579413000746
Bowlby, J. (1969). Attachment and loss, Vol. 1. New York: Basic Books.
Bronfenbrenner, U. (1977). Toward an experimental ecology of human development.
27 Budd, R., & Hughes, I. (2009). The Dodo Bird Verdict – controversial, inevitable and
important: a commentary on 30 years of meta‐analyses. Clinical psychology &
psychotherapy, 16, 510-522. doi: 10.1002/cpp.648
Carr, A. (2006). The handbook of child and adolescent psychology: A contextual approach. London: Routledge.
Carroll, L. (1865). Alice's adventures in wonderland. Peterborough: Broadview Press.
Cohen, M. A. (1998). The monetary value of saving a high-risk youth. Journal of quantitative
criminology, 14, 5-33. doi: 10.1023/A:1023092324459
Deković, M., Slagt, M. I., Asscher, J. J., Boendermaker, L., Eichelsheim, V. I., & Prinzie, P. (2011). Effects of early prevention programs on adult criminal offending: A meta-analysis. Clinical psychology review, 31, 532-544. doi:10.1016/j.cpr.2010.12.003 Didden, R. (2004). Gedragsproblemen, psychiatrische stoornissen en lichte verstandelijke
beperking: een inleiding. In R. Didden (Red.), In perspectief: gedragsproblemen,
psychiatrische stoornissen en lichte verstandelijke beperking (pp. 3-20). Houten: Bohn
Stafleu van Loghum.
Dodge, K. A., & Rutter, M. (2011). Gene-environment interactions in developmental
psychopathology. New York: Guilford Press.
Dodge, K. A., Coie, J. D., & Lynam, D. (2006). Aggression and antisocial behavior in youth. In W. Damon, R. M. Lerner, & N. Eisenberg (Reds.), Handbook of Child Psychology:
Vol. 3. Social, Emotional, and Personality Development (6th ed.) (pp. 719–788). New
York: Wiley.
Dray, J., Campbell, E., Bowman, J., Freund, M., Wolfenden, L., Hodder, R. K., McElwaine, K., Tremain, D., Bartlem, K., Bailey, J., Small, T., Pallazi, K., Oldmeadow, C., & Wiggers, J. (2017). Systematic review of universal resilience-focused interventions targeting child and adolescent mental health in the school setting. Journal of the
28
American Academy of Child & Adolescent Psychiatry, 56, 813-824. doi:
10.1186/s13643-015-0172-6
Durlak, J. A. (1999). Veel voorkomende risico- en beschermende factoren in succesvolle preventieprogramma’s. Literatuurselectie Kinderen en Adolescenten, 6.
Durlak, J. A., & Wells, A. M. (1997). Primary prevention mental health programs for children and adolescents: A meta‐analytic review. American journal of community psychology,
25, 115-152. doi: 0091-0562/97/0400-0115$12.50
Durlak, J. A., Weissberg, R. P., Dymnicki, A. B., Taylor, R. D., & Schellinger, K. B. (2011). The impact of enhancing students’ social and emotional learning: A meta‐analysis of school‐based universal interventions. Child development, 82, 405-432. doi:
10.1111/j.1467-8624.2010.01564.x
Elliott, K., Barker, K. K., & Hunsley, J. (2015). Dodo Bird Verdict in Psychotherapy. The
Encyclopedia of Clinical Psychology, 1-5. doi: 10.1002/9781118625392.wbecp053
Farrington, D. P., & Welsh, B. C. (2003). Family-based prevention of offending: A meta-analysis. Australian & New Zealand Journal of Criminology, 36, 127-151. doi: 2443/10.1375/acri.36.2.127
Farrington, D. P., Gaffney, H., Lösel, F., & Ttofi, M. M. (2017). Systematic reviews of the effectiveness of developmental prevention programs in reducing delinquency, aggression, and bullying. Aggression and Violent Behavior, 33, 91-106. doi: 10.1016/j.avb.2016.11.003
Fleiss, J. L., & Cohen, J. (1973). The equivalence of weighted kappa and the intraclass correlation coefficient as measures of reliability. Educational and psychological
29 Frick, P. J., Christian, R. E., & Wootton, J. M. (1999). Age trends in the association between
parenting practices and conduct problems. Behavior Modification, 23, 106-128. doi: 10.1177/0145445599231005
Grove, A. B., Evans, S. W., Pastor, D. A., & Mack, S. D. (2008). A meta-analytic examination of follow-up studies of programs designed to prevent the primary symptoms of oppositional defiant and conduct disorders. Aggression and Violent
Behavior, 13, 169-184. doi:10.1016/j.avb.2008.03.001
Haberstick, B. C., Schmitz, S., Young, S. E., & Hewitt, J. K. (2005). Contributions of genes and environments to stability and change in externalizing and internalizing problems during elementary and middle school. Behavioral Genetics, 35, 381-396. doi:
10.1007/s10519-004-1747-5
Hartas, D. (2011). The ecology of young children’s behaviour and social competence: child characteristics, socio-economic factors and parenting. Oxford Review of Education, 37, 763-783. doi: 10.1080/03054985.2011.636226
Higgins, J. P., Altman, D. G., & Sterne, J. A. (2011). Assessing risk of bias in included studies. In J. P. Higgins & S. Green (Reds.), Cochrane Handbook for Systematic
Reviews of Interventions – Version 5.1.0 (pp. 187-241). Londen: The Cochrane
Collaboration.
Higgins, J. P., Thompson, S. G., Deeks, J. J., & Altman, D. G. (2003). Measuring inconsistency in meta-analysis. British Medical Journal, 327, 557-560. doi: 10.1136/bmj.327.7414.557
Hinshaw, S. P. (2002). Intervention research, theoretical mechanisms, and causal processes related to externalizing behaviour patterns. Development and Psychopathology, 14, 789-818. doi: 10.1017/S0954579402004078
30 Jones, D. F., Dodge, K. A., Foster, E. M., & Nix, R. (2002). Early identification of children at
risk for costly mental health service use. Prevention Science, 3, 247-256. doi: 1389-4986/02/1200-0247/1
Masten, A. S. (2011). Resilience in children threatened by extreme adversity: Frameworks for research practice, and translational synergy. Development and Psychopathology, 23, 493-506. doi: 10.1017/S0954579411000198
Masten, A. S., Best, K. M. & Garmezy, N. (1991). Resilience and development: contributions from the study of children who overcome adversity. Development and
Psychopathology, 2, 425-444. doi: 10.1017/S0954579400005812
Matthys, W. (2011). Gedragsstoornissen bij kinderen: Diagnostiek en behandeling voor de
professional. Amsterdam: Hogrefe.
McCart, M. R., Priester, P. E., Davies, W. H., & Azen, R. (2006). Differential effectiveness of behavioral parent-training and cognitive-behavioral therapy for antisocial youth: A meta-analysis. Journal of abnormal child psychology, 34, 525-541. doi:
10.1007/s10802-006-9031-1
Mervielde, I., De Clercq, B., De Fruyt, F., & Van Leeuwen, K. (2005). Temperament, personality and developmental psychopathology as childhood antecedents of personality disorders. Journal of Personality Disorders, 19, 171-201. doi: 10.1521/pedi.19.2.171.62627
Morris, S. B. (2008). Estimating effect sizes from pretest-posttest-control group designs.
Organizational Research Methods, 11, 364-386. doi: 10.1177%2F1094428106291059
Offord, D., & Chmura Kraemer, H. (2000). Risk factors and prevention. Evidence Based
Mental Health, 3, 70-71. doi: 10.1136/ebmh.3.3.70
Otte, C. (2011). Cognitive behavioral therapy in anxiety disorders: Current state of the evidence. Dialogues in Clinical Neuroscience, 13, 413-421.
31 Romeo, R., Knapp, M., & Scott, S. (2006). Economic cost of severe antisocial behaviour in
children – and who pays it. The British Journal of Psychiatry, 188, 547-553. doi: 10.1192/bjp.bp.104.007625
Rose, G. (1981). Strategy of prevention: lessons from cardiovascular disease. British medical
journal (Clinical research ed.), 282, 1847-1851. doi: 10.1136/bmj.282.6279.1847
Rosenthal, R. (1979). The ‘File drawer problem’ and tolerance for null results. Psychological
Bulletin, 86(3), 638-641.
Rosenzweig, S. (1936). Some implicit common factors in diverse methods of psychotherapy.
American Journal of Orthopsychiatry. 6, 412-415.
doi:10.1111/j.1939-0025.1936.tb05248.x.
Sameroff, A. J. (1975). Transactional models in early social relation. Human Development,
18, 65-79. doi: 10.1159/000271476
Scholte, E. M., & van der Ploeg, J. D. (2009). Handleiding Sociaal Emotionele Vragenlijst. Houten: Bohn Stafleu Van Loghum.
Scott, S., Knapp, M., Henderson, J., & Maughan, B. (2001). Financial cost of social exclusion: follow up study of antisocial children into adulthood. British Medical
Journal, 323, 191-195. doi: 10.1136/bmj.323.7306.191
Shelton, K. K., Frick, P. J., & Wootton, J. (1996). Assessment of parenting practices in families of elementary school-age children. Journal of Clinical Child Psychology, 25, 317-329. doi: 10.1207/s15374424jccp2503_8
Siev, J., Huppert, J. D., & Chambless, D. L. (2010). Treatment specificity for panic disorder: A reply to Wampold, Imel, and Miller (2009). The Behavior Therapist, 33(1), 12-14. Smetana, J. G., Campione-Barr, N., & Metzger, A. (2006). Adolescent development in
interpersonal and societal contexts. Annual Review of Psychology, 57, 255-284. doi: 10.1146/annurev.psych.57.102904.190124
32 Thomas, A., & Chess, S. (1977). Temperament and development. New York: Bmnner/Mazel. van Yperen, T. A. (2003). Resultaten in de jeugdzorg: begrippen, maatstaven en methoden.
Utrecht: NIZW Jeugd.
Whitehead, A., & Whitehead, J. (1991). A general parametric approach to the meta-analysis of randomized clinical trials. Statistics in Medicine, 10, 1665-1677. doi:
10.1002/sim.4780101105
Wilson, D. B., & Lipsey, M. W. (2001). The role of method in treatment effectiveness research: Evidence from meta-analysis. Psychological Methods, 6, 413–429. doi: 10.1037//1082-989X.6.4.413
Wilson, D. B., Gottfredson, D. C., & Najaka, S. S. (2001). School-based prevention of
problem behaviors: A meta-analysis. Journal of quantitative criminology, 17, 247-272. doi: 0748-4518/01/0900-0247$19.50/0
Wolf, F. M. (1986). Meta-analysis: Quantitative methods for research synthesis (Vol. 59). Beverly Hills: Sage.
33 Tabel 1
Kenmerken van de Geïncludeerde Studies
Auteur (jaar) Interventie N Leeftijd M (range) Geslacht (% meisjes) Etnische minderheid (%) Type controle Meetmoment (in maanden na interventie) Cohen’s d (standaardfout) Interventies gericht op kindfactoren
Roberts (2003) Penn Prevention Program 189 11.9 (11−13) 50% 26% CAU - − 0.205 (0.063) Gottfredson (2004) MASCGP 825 10.9 (-) 50% 70% GI 0 0.169 (0.024) Lobo (2006) Dance Program 40 4.2 (3−5) 49% 100% GI 0 0.663 (0.207) Ostrov (2008) Early Childhood Friendship Project 403 4.1 (3−5) - - GI 0 − 0.955 (0.021) Hong (2011) Cognitive-Behavioral Therapy (CBT) 417 9.2 (-) 46% 10% GI 0/6 − 0.372 (0.019) Maltia (2011) PATHS 360 7.5 (-) 48% 57% GI 12/32 0.221 (0.012) Santos (2011) Roots Of Empathy (ROE) 445 - (3−14) - - WL 12/24/36/48 0.122 (0.024) DiPerna (2015) SSIS-CIP 432 7.4 (-) 54% - CAU 0 − 0.254 (0.039) Fairweather-Schmidt (2015) Minding Young Minds 125 11.6 (10−14) 47% - CAU 0/1 0.574 (0.106)
34 Tabel 1 (vervolg) Auteur (jaar) Interventie N Leeftijd M (range) Geslacht (% meisjes) Etnische minderheid (%) Type controle Meetmoment (in maanden na interventie) Cohen’s d (standaardfout) Interventies gericht op kindfactoren
Hektner (2017)
Early Risers
‘Skills for Succes’ 110 (3−7) - 50% 26% GI - (0.073) 0.046
Tennant (2017)
Feelings and Friends 24 8.9 (-)
63% - WL 0/3 0.040
(0.379) Interventies gericht op ouderfactoren
Sanders (2000) Triple P Level 1 56 4.8 (2−8) 43% - WL 0 − 0.868 (0.161) Wolchikb (2002)
Mother plus Children Program (MPCP) 240 10.3 (9−12) 50% 11% GI 72 − 0.560 (0.056) Leung (2003) Triple P 91 4.2 (3−7) 36% - WL 0 0.462 (0.135) Sanders (2004) EBFI 98 4.4 (2−7) 50% - CAU 0/6 0.424 (0.124) Turner (2007) Group Triple P 38 5.6 (1−13) 35% 100% GI 6 − 0.752 (0.218) Matsumoto (2007) Group Triple P 50 - (2−10) 46% 100% WL 0 − 0.804 (0.164) Kim (2008) Incredible Years 29 5.7 (-) 38% 100% GI 0/12 0.329 (0.415)
35 Tabel 1 (vervolg) Auteur (jaar) Interventie N Leeftijd M (range) Geslacht (% meisjes) Etnische minderheid (%) Type controle Meetmoment (in maanden na interventie) Cohen’s d (standaardfout) Interventies gericht op ouderfactoren
Morawska (2009)
Gifted and Talented Group Triple P 75 7.8 (-) 40% 16% WL 0 − 0.857 (0.126) Hahlweg (2010) Triple P 280 4.5 (3−6) 49% - GI 0/12/24 0.416 (0.137) Havighurst (2010) Tuning in to Kids 216 4.7 (4−6) 48% - WL 0/6 − 3.920 (0.095) Maltia (2011) Triple P 339 7.5 (-) 48% 57% GI 12/32 0.305 (0.012) Haslam (2013) Triple P 107 7.4 (-) 48% - WL 4 − 0.560 (0.106) Menting (2014) Incredible Years 113 6.4 (2−10) 51% - GI 0/1/3 − 0.623 (0.076) Surmagi (2015) Triple P 143 6.3 (2−12) 50% - WL 0 − 4.301 (0.121) Sampaio (2015) Triple P Level 2 & 3 355 - (3−5) - - WL 0/6/12 −2.810 (0.047) Wansink (2015)
Preventive Basis Care Management (PBCM)
99 6.1 (2−11)
45% 67% MI - 0.228
36 Tabel 1 (vervolg) Auteur (jaar) Interventie N Leeftijd M (range) Geslacht (% meisjes) Etnische minderheid (%) Type controle Meetmoment (in maanden na interventie) Cohen’s d (standaardfout) Interventies gericht op ouderfactoren
Javier (2016) Incredible Years 28 8.5 (6−12) 54% 86% WL 3 − 0.020 (0.350) Lachman (2017)
Program for Young Children
68 5.4 (3−8)
49% 100% WL 0 − 0.017
(0.119) Interventies gericht op schoolfactoren
Driscoll (2010) Banking Time 116 - (3−5) 50% 87% WL 0 − 0.150 (0.104) Interventies gericht op kind- en ouderfactoren
Mason (2003)
The Drugs Free Years Program (PDFY) 429 11.4 (8−14) 52% 0% MI 0/12/24/42 0.081 (0.019) Tolan (2004) Safe Children 424 - (6−7) 49% 75% - 2/10/16 0.215 (0.020) August (2006) Early Risers ‘Skills for Succes’
295 6.3 (-) 36% 89% GI 0 0.222 (0.033) Schmiege (2006) Family Bereavement Program (FBP) 244 11.4 (8−16) 47% 33% MI 3/11 0.268 (0.071) Scott (2010)
The Primary Age Learning Skills (PALS)
174 5.7 (-)
54% 76% CAU 0 0.170
37 Tabel 1 (vervolg) Auteur (jaar) Interventie N Leeftijd M (range) Geslacht (% meisjes) Etnische minderheid (%) Type controle Meetmoment (in maanden na interventie) Cohen’s d (standaardfout) Interventies gericht op kind- en ouderfactoren
Solantaus (2010) Family Talk Intervention (FTI) 119 - (8−16) - - MI 4/10/18 (0.084) 0.091 Maltia (2011)
Triple P & PATHS 306 7.5 (-) 48% 57% GI 12/32 0.130 (0.012) Wolchikb (2013) MPCP & New Beginnings Program 240 10.3 (9−12) 50% 11% MI 72/180 − 0.616 (0.058) Skarstrand (2014) Strengthening Families Program (SFP) 587 12.0 (-) 1% - GI 36 0.390 (0.015) O’hare (2015) Mate-tricks 592 - (9−10) 45% - GI 6 0.315 (0.018) Compas (2015) Family Group CBT 242 11.5 (9−15) 50% 26% MI 2/6/12/18/24 − 0.508 (0.034) Reedtz (2016) Short Parent-Training Program 189 7.5 (6−12) 42% - GI 48 0.241 (0.060) Parra-Cardona (2017) Parent Management Training (PMT) 103 9.1 (-) 1% - WL 0/6 0.329 (0.120) Annan (2017) Strengthening (Happy) Families Program 479 10.4 (7−15) 51% - WL 1 − 0.226 (0.019)
38 Tabel 1 (vervolg) Auteur (jaar) Interventie N Leeftijd M (range) Geslacht (% meisjes) Etnische minderheid (%) Type controle Meetmoment (in maanden na interventie) Cohen’s d (standaardfout) Interventies gericht op kind- en ouderfactoren
Lochman (2017) Coping Power – Internet Enhanced 91 10.2 (9−12) 63% 85% GI 10 − 0.188 (0.088) Chacko (2017) Fathers Supporting Success in Pre-schoolers 126 4.6 (-) 33% - WL - − 0.435 (0.065) Interventies gericht op kind- en schoolfactoren
CPRG (1999) Fast Track 378 - (6−7) - 49% GI 0 − 0.058 (0.022) Roberts (2010)
The Aussie Optimism Program 496 12.0 (11−13) 54% - CAU - − 0.265 (0.035) Leflot (2013)
The Good Behavior Game (GBG) 529 7.4 (-) 51% 5% GI 20 − 0.137 (0.015) Menting (2015)
The Good Behavior Game (GBG) 759 6.0 (-) 50% 43% GI 0 − 0.543 (0.015) Muratori (2017) Coping Power 174 5.8 (-) 45% - GI 0/12 − 0.266 (0.049) Interventies gericht op ouder- en schoolfactoren
Webster-Stratton (1998) PARTNERS 394 4.7 (4−5) 47% 37% CAU 0 0.032 (0.023)
39 Tabel 1 (vervolg) Auteur (jaar) Interventie N Leeftijd M (range) Geslacht (% meisjes) Etnische minderheid (%) Type controle Meetmoment (in maanden na interventie) Cohen’s d (standaardfout) Interventies gericht op ouder- en schoolfactoren
Webster-Stratton (2001) Incredible Years 328 4.6 (-) 46% 63% CAU - 0.145 (0.042) Larmar (2006)
Early Impact Program 455 4.3 (4−5) - 45% WL 10/16 0.014 (0.018) O’Connor (2014) INSIGHTS 435 5.4 (4−7) 48% 100% MI 0 0.152 (0.018) Interventies gericht op kind-, ouder en schoolfactoren
Bierman (2014) REDI 356 4.6 (4−6) 54% 42% GI 0/12 0.009 (0.024) Celik (2016) FSS-PSV 61 4.8 (3−6) 9% - - 0/1 − 1.028 (0.390)
Noot: type controle: GI = geen interventie, WL = wachtlijst, MI = minimale interventie en CAU = care as usual; MASCGP = Maryland’s After School Community Grant
Program, SSIS-CIP = Social Skills Improvement System – Classwide Intervention Program, EBFI = Enhanced Behavioral Family Intervention, CPRG = Conduct Problem Research Group, FSS-PSV = First Step to Success– Preschool Version.
a De studie door Malti wordt driemaal vermeld omdat deze effectgroottes rapporteert m.b.t. interventies die inzetten op kindfactoren, ouderfactoren en kind- en ouderfactoren. b De studie door Wolchik wordt tweemaal vermeld omdat deze effectgroottes rapporteert m.b.t. interventies die inzetten op ouderfactoren en kind- en ouderfactoren.
40 Tabel 2
Aantal Effectgroottes (k), Gemiddelde Effectgrootte (Cohen’s d), Significantieniveau (p) en Kans op Superioriteit per Domein van Factoren
k Cohen’s d p Kans op Superioriteit
Kindfactoren 11 − 0.011 .938 50.3% Ouderfactoren 18 − 0.781* .023 70.9% Schoolfactoren 1 − 0.150 .899 54.2% Eén domein 30 − 0.437* .032 62.2% Kind- en ouderfactoren 16 0.030 .713 49.2% Kind- en schoolfactoren 5 − 0.254** .002 57.0% Ouder- en schoolfactoren 4 0.037* .026 48.9% Kind-, ouder- en schoolfactoren 2 − 0.437 .395 62.2% Meerdere domeinen 27 − 0.032 .576 50.8% Totaal 57 − 0.272* .026 57.6%
Noot: Kans op Superioriteit is de kans dat een at random gekozen persoon uit de interventiegroep een beter
resultaat heeft dan een at random gekozen persoon uit de controlegroep. * Significant op basis van p-waarde < .05
41 Tabel 3
Studiekwaliteit op basis van de Cochrane’s Risk of Bias Tool per (combinatie van) Factor(en)
Factor(en) k Random sequence generation? Allocation concealment? Blinding of participants? Blinding of assessors? Incomplete outcome data? K 11 +? +? − − + O 18 +? +? − − + S 1 ? ? − − ? K + O 16 +? +? − − + K + S 5 ? ? − − + O + S 4 +? +? − − +? K + O + S 2 ? ? − − +?
Noot: + = laag risico, ? = onduidelijk risico, − = hoog risico op bias
