Een meta-analyse naar de effectiviteit van alternatieve onderwijs zorgvoorzieningen voor jongeren met gedragsproblemen
Masterscriptie Forensische Orthopedagogiek Graduate School of Child Development and Education Universiteit van Amsterdam M. ten Haaf (0321141) H. Vergouwe (10365184) Begeleider: dhr. Prof. Dr. G. J. J. M. Stams
Tweede beoordelaar: Chris Kuiper Amsterdam, 27 juni, 2018
Abstract
Voor jongeren met gedragsproblemen die uitvallen binnen het regulier onderwijs zijn onderwijs zorgvoorzieningen ingericht. De huidige studie is een systematische review en multi-level meta-analyse naar de effectiviteit van onderwijs zorgvoorzieningen voor jongeren met gedragsproblemen. De hypothese van deze meta-analyse is dat alternatieve onderwijs zorgvoorzieningen een positief effect hebben op jongeren met gedragsproblemen. Daarnaast worden de programma’s inhoudelijk bekeken om de werkzame elementen te kunnen identificeren. Studies uit de periode 1995-2017 zijn meegenomen. Er waren tien studies met 87 effectgroottes overgebleven die voldeden aan de inclusiecriteria. Er is sprake van een klein positief, maar significant, overall effect voor alternatieve onderwijs zorgvoorzieningen voor jongeren met gedragsproblemen (d= 0.153, p = .025). Dit impliceert, hoewel met een klein effect, dat de inzet van alternatieve onderwijs zorgvoorzieningen van positieve invloed is op jongeren met gedragsproblemen. Studiekwaliteit blijkt een significante moderator te zijn, waarbij kwalitatief zwakke studies een hoger effect laten zien dan kwalitatief sterke studies. Ook de betrouwbaarheid van meetinstrumenten bleek van invloed, waarbij onbetrouwbare meetinstrumenten een hoger effect lieten zien dan betrouwbare meetinstrumenten. Voor de programma-elementen werd alleen een trend gevonden voor de lengte van het programma. Hoe langer het programma duurt, hoe minder effect er gevonden wordt. Uit de geïncludeerde studies komt naar voren dat de kwaliteit van het huidige onderzoek naar alternatieve onderwijs zorgvoorzieningen zwak tot middelmatig is. Aanbevelingen voor vervolgonderzoek zijn dan ook niet alleen meer, maar ook inhoudelijk beter vormgegeven onderzoek.
Abstract
For adolescents with behavioral problems who do not make it within the regular school system, alternative educational care facilities are available. This study is a systematic review and multi-level meta-analysis on the effects of alternative educational care facilities for adolescents with behavioral problems. The hypothesis of this meta-analysis is a positive effect of alternative educational care facilities on adolescents with behavioral problems. The programs of these facilities are reviewed to identify effective elements. Studies from the period of 1995-2017 are included. In total ten studies with 87 effect sizes met the inclusion criteria. An overall small, positive and significant effect has been found for alternative educational care facilities for adolescents with behavioral problems (d = 0.153, p = .025). Even though this is a small effect, it implies that the alternative educational care facilities have a positive effect on adolescents with behavioral problems. Study quality turned out to be a significant moderator. Studies of low quality showed a higher effect in comparison with high quality studies. The same goes for the reliability of measurements. A trend was found for the length of the programs. The longer the program, the less effect was found. The scientific quality of the included studies was low to moderate. Recommendations for further research include more studies of better quality.
Inleiding
Het regulier onderwijs biedt een passende plek aan het merendeel van de Nederlandse jeugd. Echter, niet alle jongeren vinden aansluiting binnen het regulier onderwijs. Voor jongeren met gedragsproblemen die uitvallen binnen het regulier onderwijs zijn onderwijs zorgvoorzieningen ingericht. Deze zorgen ervoor dat ook zij een ondersteunende leeromgeving hebben en hun schoolcarrière succesvol voort kunnen zetten (Cox, 1999; Spierings, Tudjman, Meeuwisse, & Onstenk, 2015). Uit het onderzoek dat is verricht in de afgelopen jaren komt geen eenduidig beeld naar voren (Aron, 2003; Cox, Davidson, & Bynum, 1995; Flower, McDaniel, & Jolivette, 2011). Deze overzichtsstudie brengt de huidige kennis over de alternatieve onderwijs zorgvoorzieningen in kaart en stelt de effectiviteit hiervan vast. De huidige studie is een systematische review en multi-level meta-analyse naar de effectiviteit van onderwijs zorgvoorzieningen voor jongeren met gedragsproblemen.
Jongeren doorstaan in de adolescentie een stormachtige periode. In deze periode vindt ontwikkeling plaats op veel gebieden, met name de psychosociale en cognitieve ontwikkeling (Westenberg, 2008). Deze stap richting volwassenheid brengt ook risico’s met zich mee (Ten Brink et al., 1998). Wanneer er een cumulatie van risicofactoren optreedt, neemt het risico toe op het ontwikkelen van gedragsproblemen, schooluitval en/of in aanraking komen met justitie (Hermanns, 2009; Wits, van de Mheen, Snoek, & van der Stel, 2012). Hierbij kan er een onderscheid gemaakt worden tussen tijdelijke gedragsproblematiek enerzijds en gedragsproblematiek van langdurige aard (Slot & Koops, 1998) anderzijds. Er is gebleken dat het vroegtijdig ingrijpen in het leven van een jongere verdere gedragsproblematiek kan tegengaan (van der Put et al., 2013).
Jongeren met meervoudige problematiek ondervinden problemen op meerdere leefgebieden, zoals op sociaal, academisch en financieel vlak (Dresen et al., 2017). Zij zijn in
het nadeel in vergelijking met de meerderheid van hun leeftijdsgenoten. Ruim dertien procent van de jongeren in Nederland in de leeftijd van elf tot zeventien jaar geeft aan gedragsproblemen te hebben. Daarbij laten jongens vaker externaliserende gedragsproblemen zien dan meisjes ( de Looze et al., 2014). In Nederland vielen er in 2002 nog 71.000 jongeren uit zonder startkwalificatie. Dat zijn jongeren die van school gaan zonder diploma havo, vwo, mbo (niveau 2) of hoger. In het schooljaar 2015/2016 waren dit nog 22.948 jongeren (Ministerie van Onderwijs, Cultuur en Wetenschap, 2017). Gedragsproblemen bestaan bijvoorbeeld uit grensoverschrijdend en risicovol gedrag, het niet accepteren van gezag of een gebrek aan sociale vaardigheden (Pronk, 2016). Problemen in de thuissituatie en/of in de omgeving kunnen ook van invloed zijn op het gedrag. Voorbeelden hiervan zijn overbelasting en gebrekkige opvoedvaardigheden van ouders (Guerin & Denti, 1999). Een gebrekkig sociaal netwerk, geen vaste dagbesteding en te veel vrije tijd kunnen leiden tot overlast gevend gedrag op straat (Holter, 2014).
Voor sommige jongeren leidt deze meervoudige problematiek tot stagnatie of uitval in zorg en onderwijs (Holter, 2014). Indien de problematiek dusdanig ernstig is dat reguliere scholen de jongeren (tijdelijk) niet meer binnen het regulier onderwijs kunnen houden, worden zij veelal verwezen naar onderwijs zorgvoorzieningen (Foley & Pang, 2006). De onderwijs zorgvoorzieningen proberen aansluiting te vinden bij deze groep jongeren door gebruik te maken van een integrale samenwerking tussen jongeren, ouders en professionals uit zowel onderwijs als ook jeugdhulp (Hofmans, Klijnjan, van Slagmaat, & Vrijhof, 2015). Onderwijs zorgvoorzieningen richten zich op leerlingen met een onderwijs- en ondersteuningsbehoefte waarin regulier onderwijs niet kan voorzien (Foley & Pang, 2006). Het doel van een alternatieve onderwijs zorgvoorziening is jongeren weer een positief toekomstperspectief te laten ervaren via een integrale aanpak op school, in de vrije tijd en thuis. Zo kan onder andere de schoolloopbaan van de leerling bevorderd worden. Centraal
binnen deze integrale aanpak staan cognitieve, psychische en emotionele vooruitgang (Radema & van Kessel, 2016).
Voor jongeren met gedragsproblematiek bestaat er een diversiteit aan onderwijs zorgvoorzieningen (Nichols & Utesch, 1998; Raywid, 1994). Deze diversiteit is gebaseerd op verschillende filosofische achtergronden, focus op verschillende doelen of het gebruik van verschillende methodieken. Naast de vormgeving van het onderwijs kan ook de doelgroep bepalend zijn voor de inhoud van de alternatieve onderwijs zorgvoorziening. Zo zijn sommige voorzieningen expliciet gericht op het bevorderen van het intellectuele vermogen van jongeren (onderwijs), waar andere de focus hebben op het verminderen van gedragsproblematiek of gericht zijn op specifieke problemen of tekorten. Hierbij kan gedacht worden aan autisme. Zo komen de programma’s tegemoet aan de individuele behoeften van leerlingen (Lehr & Lange, 2003). Het doel is altijd het bieden van kansen (Gold & Mann, 1982).
Er is een toenemend aanbod van alternatieve wegen om jongeren binnen het onderwijs te laten slagen. Dit is een trend die wereldwijd wordt teruggezien (Ahn & Simpson, 2013; Atkins & Bartuska, 2010). Alleen al in de Verenigde Staten werd in 2001 het aantal alternatieve programma’s op 20.000 geschat, dat was in 1973 nog een schatting van 464 programma’s (Quinn, Poirier, Faller, Gable, & Tonelson, 2006). Het toegenomen aanbod varieert van interventie en preventiestrategieën in de vroege leerjaren tot een scala aan alternatieve mogelijkheden binnen het reguliere basis- en middelbaar onderwijs. Binnen het regulier onderwijs kan extra ondersteuning geboden worden door middel van bijvoorbeeld remedial teaching (Klima, Miller, & Nunlist, 2009) of opvoedingsondersteuning (Aron, 2003). Voor leerlingen bij wie de extra ondersteuning op het regulier onderwijs onvoldoende mogelijkheden biedt om te ontwikkelen en te leren, zijn er alternatieve mogelijkheden in de settingen buiten het regulier onderwijs, zoals de alternatieve onderwijs zorgvoorzieningen
(Aron, 2006). Een voorbeeld hiervan in Nederland is School2Care, een alternatieve onderwijs zorgvoorziening die uitgaat van een integrale aanpak voor jongeren die thuis, in de vrije tijd en op school veel problemen hebben (Pronk, 2016).
Met de toename van het aantal alternatieve voorzieningen nam ook de uitdaging toe om alternatief onderwijs te definiëren (Aron, 2003; Atkins & Bartuska, 2010). Raywid (1999) heeft een drie-level classificatie ontwikkeld op basis van bestaande literatuur, waarmee alternatieve onderwijs zorgvoorzieningen gecategoriseerd kunnen worden. Tot op de dag van vandaag wordt deze classificatie wereldwijd aangehouden.
‘Restructured schools’ zijn scholen die vrijere vormen van onderwijs aanbieden. Denk hierbij bijvoorbeeld aan Dalton- en Montessorischolen. Deze scholen richten zich op alle jongeren, en niet per se op leerlingen die risicogedrag vertonen. Het curriculum is passend voor individuele verschillen tussen leerlingen in niveau en leerstrategieën, waarin de leeromgeving meer op interactie is gericht.
‘Disciplinary programs’ zijn programma’s gericht op jongeren die gedragsproblematiek vertonen. Deze programma’s worden aangeboden binnen een alternatieve onderwijs zorgvoorziening. Jongeren met gedragsproblemen worden naar deze scholen verwezen, aangezien zij het niet redden binnen het reguliere onderwijs. Deze scholen bieden een laatste kans om niet uit te vallen. Het curriculum richt zich op gedragsverandering en intensieve individuele begeleiding.
‘Problemsolving schools’ zijn onderwijs zorgvoorzieningen speciaal ontwikkeld voor jongeren met een cumulatie aan risicofactoren. Deze scholen richten zich minder op het afleren van negatief gedrag, maar bouwen voort op de krachten van de leerling. Het curriculum is een combinatie van academische en psychosociale begeleiding, waarbij het persoonlijke en professionele netwerk van de jongere betrokken wordt (Kochhar-Bryant, 2002).
Kijkend naar de classificatie van Raywid (1999) vallen alternatieve onderwijs zorgvoorzieningen onder een combinatie van ‘disciplinary programs’ en ‘problem-solving schools’. Justitieel ingrijpen en/of uithuisplaatsing wordt gepoogd te voorkomen door bepaalde maatregelen te nemen en het programma in te zetten op specifieke punten. Denk hierbij aan schooluitval, leerprestaties en gedragsverandering. Voor sommige leerlingen hoort sociale adaptatie ook tot de doelstellingen. Dit alles om jongeren weer op een positieve manier mee te laten doen in de maatschappij.
De classificatie van Raywid (1999) biedt structuur aan studies die verricht worden naar alternatieve onderwijs zorgvoorzieningen. Aangezien er nog maar weinig bekend is over de effectiviteit van alternatieve onderwijs zorgvoorzieningen (Wilson, Tanner-Smith, Lipsey, Steinka-Fry, & Morrison, 2011) richt deze meta-analyse zich op dit soort voorzieningen voor jongeren met gedragsproblemen, in de internationale literatuur aangeduid met de brede term ‘alternative education’. Deze meta richt zich specifiek op tijdelijke voorzieningen, waarbij de focus ligt op terugkeer naar het (regulier) onderwijs. Het gaat dus niet om bijvoorbeeld het speciaal onderwijs waar jongeren met een langdurige ondersteuningsbehoefte aangepast onderwijs krijgen.
Alternatieve onderwijs zorgvoorzieningen worden wereldwijd veelvuldig ingezet om te voorzien in de behoeftes van jongeren met gedragsproblemen en om hun kansen te vergroten (Quinn et al., 2006). Uit studies naar de effectiviteit van deze programma’s komt tot op heden geen eenduidig beeld van de effecten naar voren (Wilson et al., 2011). Het gevolg hiervan is dat het lastig is de uitkomsten te generaliseren en het effect van alternatieve onderwijs zorgvoorzieningen vast te stellen. Uit de meta-analyse van Cox et al. (1995) naar alternatieve onderwijs zorgvoorzieningen bleek dat deze voorzieningen een klein overall effect lieten zien op schoolprestaties, attitudes tegenover school en zelfvertrouwen. Er is in deze meta-analyse geen effect gevonden op delinquent gedrag. Door deze minimale effecten
en het toegenomen aanbod van alternatieve vormen van onderwijs zorgvoorzieningen in de laatste 23 jaar kan een recent overzicht van de bestaande literatuur en de resultaten hiervan dan ook niet uitblijven. Door middel van een multi-level meta-analyse wordt de effectiviteit van deze voorzieningen onderzocht.
De programma’s van deze alternatieve onderwijs zorgvoorzieningen lopen uiteen doordat zij verschillende doelen nastreven. Onderscheid kan worden gemaakt tussen academische doelen, gedragsdoelen en maatschappelijke doelen. Programma-elementen die aansluiten op academisch vlak zijn bijvoorbeeld kortere lesprogramma’s, kleinere klassen en een positief schoolklimaat (Husted & Cavalluzzo, 2001). Kleinere klassen kunnen leiden tot het verbeteren van cijfers, meer betrokkenheid tijdens de lessen en gedragsverbetering (Franklin, Streeter, Kim, & Tripodi, 2007; Kochhar-Bryant, 2002). Een positief schoolklimaat is gerelateerd aan betere schoolresultaten en een beter zelfbeeld van de leerling (Aron, 2003; Pennacchia & Thomson, 2016).
Programma-elementen die aansluiten op het domein gedrag zijn bijvoorbeeld het promoten van positief gedrag binnen en buiten de klas, individuele en groepsbegeleiding, betrokkenheid van het persoonlijke en professionele netwerk (Ahn & Simpson, 2013; Aron & Zweig, 2003). Uit onderzoek van Barr en Parrett (1995) en Husted en Cavalluzzo (2001) komt naar voren dat de mate van betrokkenheid van docenten van invloed is op de leerling. Het bepaalt in hoge mate de effectiviteit van alternatieve onderwijs zorgvoorzieningen (Cox, 1999; Edgar-Smith & Palmer, 2015; Husted & Cavalluzzo, 2001). De betrokkenheid van het sociale netwerk kan eveneens van invloed zijn op de ontwikkeling en het welzijn van adolescenten (Bowers, Johnson, Warren, Tirrell, & Lerner, 2015; Kesselring, de Winter, van Yperen, & Lecluijze, 2016).
Programma-elementen die aansluiten op het maatschappelijk domein zijn bijvoorbeeld voorbereiding op praktijk/vervolgopleiding, het aanbieden van nazorg en ook hier de nauwe
samenwerking met het professionele netwerk (Aron & Zweig, 2003). Te denken valt aan jeugdzorg, reclassering en/of een coach (Kochhar-Bryant, 2002). De intensieve samenwerking met alle betrokken hulpinstanties kan criminaliteit en schooluitval tegengaan en biedt jongeren betere kansen voor de toekomst (Aron, 2003).
In de meta-analyse wordt rekening gehouden met methodologische, studie- en publicatiekenmerken, aangezien bekend is dat deze verschillen in de mate van effectiviteit binnen en tussen studies kunnen verklaren (Klima et al., 2009; Quinn & Poirier, 2007). Te denken valt aan publicatiejaar en kwaliteit van de studie (Cheung & Slavin, 2016; Saha, Saint, & Christakis, 2003). Het studiedesign kan eveneens verschillen in gevonden effecten verklaren (Quinn et al., 2006), zoals (quasi-) experimenteel onderzoek en veranderingsonderzoek, zonder controlegroep. In de afgelopen 25 jaar is de methodologische kwaliteit van wetenschappelijk onderzoek toegenomen (Lane et al., 2013). Niet alleen wordt er onderzoek van hogere kwaliteit uitgevoerd, ook is er meer aandacht voor een zorgvuldige rapportage van de uitkomsten. In deze meta-analyse worden studies geïncludeerd van 1995 tot en met 2017. Aangezien dit een grote tijdsspanne is, kan dit van invloed zijn op de studiekwaliteit van geïncludeerde studies.
Deze Multi-level meta-analyse onderzoekt de effectiviteit van alternatieve onderwijs zorgvoorzieningen voor jongeren met gedragsproblemen. Hierbij wordt gekeken naar effecten op verschillende levensdomeinen; zorg en onderwijs (Carpenter- Aeby & Aeby, 2001; Carpenter- Aeby & Aeby, 2005; Kallio & Sanders, 1999). De effecten worden onderverdeeld in ‘sociaal emotioneel’, ‘academische vaardigheden’, ‘academische attitude’, ‘internaliserende’- en ‘externaliserende gedragsproblematiek’. De hypothese van deze meta- analyse is dat alternatieve onderwijs zorgvoorzieningen een positief effect hebben voor jongeren met gedragsproblemen. Daarnaast worden de programma’s inhoudelijk bekeken om de werkzame elementen te kunnen identificeren. Wanneer blijkt dat er programma-elementen
zijn die significant samenhangen met de effecten van alternatieve onderwijs zorgvoorzieningen, dan geeft dit aanknopingspunten bij het doorontwikkelen en vormgeven van deze alternatieve onderwijs zorgvoorzieningen.
Methode Geselecteerde studies
Alle gepubliceerde artikelen tussen 1995 en 2018 die de effectiviteit van alternatieve onderwijs zorgvoorzieningen hebben gemeten zijn geïncludeerd in de betreffende meta-analyse. Er is vanaf 1995 geïncludeerd, aangezien Cox et al. (1995) een meta-analyse over ditzelfde onderwerp hebben uitgevoerd. Gepubliceerde artikelen in tijdschriften en boeken zijn gevonden door gebruik te maken van de volgende databases: ERIC, PsychINFO en Google Scholar. De zoekstring is samengesteld door een combinatie van de volgende factoren: een element dat de setting beschrijft, een element dat de doelgroep betreft, een element dat de onderzoeksopzet weergeeft (studie design) en wanneer mogelijk zijn uitkomstmaten weergeven (zie Appendix1).
Om de setting van alternatieve onderwijs zorgvoorzieningen te omschrijven zijn de volgende zoektermen gebruikt: ‘alternative education*’, ‘alternative program*’, ‘alternative setting*’, ‘alternative school*’, ‘alternative high school*’, ‘alternative facilit*’, ‘alternative learning center*’. Om de doelgroep te beschrijven zijn de volgende zoektermen gebruikt: ‘high risk’, ‘at risk’, ‘vulnerable’, ‘disconnected’, ‘disengaged’, ‘behavior*’, delinquen*’, ‘drop out’, ‘emotion*’, ‘E/BD’, ‘behavioral’, ‘disciplin*’, ‘criminal’, ‘academic’, ‘participat*’, ‘graduat*’, ‘dropout’, ‘retention’, ‘truan*’, ‘substance*’, ‘attendance’, ‘expulsion’, ‘psychosocial’, ‘disruptive’. Om de onderzoekopzet te beschrijven zijn de volgende zoektermen gebruikt: ‘quantitative’, ‘program evaluation’, ‘summative evaluation’, ‘RCT’, ‘clinical trial’, ‘quasi-experiment*’, ‘treatment outcome*’, ‘program effect*’, treatment effect*’, ‘evaluation’, ‘experiment*’, ‘effective*’.
Daarnaast is er gebruik gemaakt van de zogenoemde sneeuwbalmethode; van alle bruikbare artikelen zijn de referentielijsten nagelopen om aanvullende relevante studies te kunnen includeren. Wanneer bij studies relevante datagegevens misten, is er contact opgenomen met auteurs om deze gegevens zo veel mogelijk aan te kunnen vullen/informatie op te kunnen helderen. Inclusiecriteria voor deze meta-analyse zijn terug te brengen tot verschillende elementen. De effectmaten moeten vertaald zijn binnen de volgende categorieën: Sociaal-emotioneel, Academische Vaardigheden, Academische Attitude, Internaliserende- en Externaliserende gedragsproblematiek. De beoogde doelgroep betreft leerlingen in de leeftijd van twaalf tot tweeëntwintig jaar. Tot slot worden alleen studies naar alternatieve onderwijs zorgvoorzieningen geïncludeerd die worden aangeboden binnen een externe setting en dus niet binnen het regulier onderwijs. Effectstudies binnen charterschools, residentiële settingen, binnen regulier onderwijs en specifieke interventies binnen alternatieve onderwijs zorgvoorzieningen werden geëxcludeerd.
Een veelvoorkomend probleem bij het uitvoeren van een meta-analyse is dat studies wellicht niet gepubliceerd zijn wegens niet significante of onwenselijke uitkomsten. Dit wordt ook wel de publication of file drawer bias (Rosenthal, 1995) genoemd. Hierdoor kan het zijn dat de geïncludeerde studies in de meta-analyse een incorrecte representatie zijn van de werkelijke effectiviteit van alternatieve onderwijs zorgvoorzieningen. Om de mogelijkheid van een dergelijke vertekening te onderzoeken wordt een zogenaamde funnel plot of trechteranalyse uitgevoerd, waarbij de effectgroottes van studies worden afgezet tegen de steekproefgroottes van deze studies. Onder het kopje berekening van effectgroottes en runnen van analyses worden deze analyses toegelicht.
Appendix 1 geeft een stroomschema van het zoekproces weer. Met de zoektermen zijn in eerste instantie 516 artikelen gevonden. Tussen deze 516 artikelen zaten kwalitatieve studies, beschrijvende artikelen en meta-analyses. Veel van deze settingen kwamen niet
overeen met de beschreven definitie van alternatieve onderwijs zorgvoorzieningen in deze studie. Door titels en abstracts te lezen hebben we 496 artikelen kunnen excluderen. Bij de overgebleven 20 studies is de sneeuwbalmethode toegepast. Om eventueel extra studies toe te voegen, zijn de literatuurlijsten van deze artikelen doorgenomen. Dit leverde geen nieuwe artikelen op die geïncludeerd konden worden. Veel artikelen waren te oud (voor 1995), kwamen dubbel voor of waren geen effectstudies. De 20 overgebleven studies zijn uitgebreid bestudeerd. Hieruit zijn tien studies met 87 effectgroottes overgebleven die voldeden aan de inclusiecriteria. Tabel 1 laat een overzicht zien van de geïncludeerde studies binnen de meta-analyse.
Coderen van de studies
De geïncludeerde studies zijn gecodeerd aan de hand van de richtlijnen van Lipsey en Wilson (2001). De uitkomstmaten in deze meta-analyse zijn leerlinguitkomsten binnen verschillende domeinen: Sociaal- emotioneel, Academische Vaardigheden, Academische Attitude, Internaliserende- en Externaliserende gedragsproblematiek. De studies zijn gecodeerd door vier verschillende codeurs. De eerste vijf studies zijn dubbel gecodeerd, hieruit is de interbeoordelaarsbetrouwbaarheid berekend. Van de continue variabelen hebben we een ICC berekend van 0,953. Van de categorische variabelen hebben we een KAPPA berekend van 0,615. Aangezien de KAPPA niet heel hoog lag zijn aanvullende afspraken gemaakt voor het codeerproces. Vanwege het kleine aantal geïncludeerde studies zijn uiteindelijk alle studies door twee personen gecodeerd en nabesproken. Bij een verschil van mening zijn alle vier codeurs betrokken om tot een consensus te komen over de juiste codering.
Elke studie is op verschillende elementen gecodeerd. De gecodeerde elementen kunnen verdeeld worden binnen vijf categorieën: publicatie informatie; methodologie; kenmerken van de onderzochte populatie; programma- elementen; de effectmaten per studie.
Bij publicatie- informatie is er allereest gekeken naar de impactfactor van het tijdschrift waarin het artikel gepubliceerd is. Hiermee wordt deels de kwaliteit van de studie bepaald. Het jaar van publicatie is benoemd (alles na 1995). De methodologie per studie is weergegeven. De studiekwaliteit is beoordeeld aan de hand van the Quality Assessment Tool for Quantitative Studies (Armijo‐Olivo, Stiles, Hagen, Biondo, & Cummings, 2012). Ook is er gekeken of de studie cross-sectioneel of longitudinaal van opzet is en of er een controlegroep is meegenomen. Hiermee kan men zien of het effect van alternatieve onderwijs zorgvoorzieningen op één moment of op meerdere momenten is gemeten en tegen welke groep de resultaten zijn afgezet. Longitudinaal onderzoek geeft niet alleen inzicht in het effect tijdens het traject, maar kan ook effecten op de langere termijn weergeven.
De kenmerken van de onderzochte populatie zijn onderverdeeld in demografische kenmerken. Zo zijn de percentages man/vrouw weergeven, etniciteit (percentage allochtoon/autochtoon), gemiddelde leeftijd en het gemiddelde leerjaar. Ook is er gekeken naar de uitval bij posttest ten opzichte van pretest in het geval van longitudinaal onderzoek. Daarnaast zijn zoveel mogelijk programma-elementen gecodeerd. Hierbij is er gekeken naar het type programma, de duur van de plaatsing, maar ook naar grootte van de klassen, het onderwijs- en zorgaanbod en contacten met het persoonlijke en professionele netwerk. Het doel hiervan is om te onderzoeken welke programma-elementen positieve en/of negatieve effecten kunnen hebben op alternatieve onderwijs zorgvoorzieningen.
Tot slot zijn de effectmaten per studie onderzocht. Allereerst is er per studie gekeken naar het aantal participanten (N). Wanneer van toepassing is er onderscheid gemaakt tussen de experimentele en controlegroep. De meetmomenten zijn weergegeven om vervolgens de effectgroottes per effectmaat te berekenen. De effectmaten zijn onderverdeeld in vijf domeinen; sociaal- emotioneel, academische vaardigheden, academische attitude, internaliserende- en externaliserende gedragsproblematiek. Bij academische uitkomstmaten
kunnen bijvoorbeeld gemiddelde cijfers en taakgerichtheid voorkomen. Een voorbeeld van internaliserend probleemgedrag is depressie. Naast de effectgroottes is ook gerapporteerd op welke manier deze effectmaten gemeten zijn (denk aan zelfrapportage of gebruikt van officiële data) en de betrouwbaarheid van de meetinstrumenten.
Berekening van effectgroottes en runnen van analyses
Effectgroottes uit de geïncludeerde studies zijn omgezet in de effectmaat Cohens d. Een positieve Cohens d betekent een positief effect op de academische en/ of gedragsuitkomsten van de leerlingen. Een negatieve Cohens d betekent een negatief effect op academische en/ of gedragsuitkomsten van de leerlingen. Het effect komt voort uit een vergelijking tussen alternatieve onderwijs zorgvoorzieningen en ‘treatment as usual’ (regulier onderwijs) of, indien er geen controlegroep gebruikt was, uit een vergelijking tussen nameting/follow up meting ten opzichte van de voormeting. De effectgroottes zijn berekend met behulp van de calculator van Wilson (2013) en de formules van Lipsey en Wilson (2001). Wanneer er in een studie vermeld werd dat effectgroottes niet significant waren, werd de effectgrootte gecodeerd als 0 (Lipsey & Wilson, 2001). Continue variabelen werden gecentreerd rondom het gemiddelde en categorische variabelen werden opnieuw gecodeerd naar dummy variabelen. Standaardfouten en sampling varianties van de effectgroottes werden geschat aan de hand van de formules van Lipsey & Wilson (2001).
Verschillende studies rapporteerden over meerdere uitkomstmaten, soms door gebruik te maken van zelfrapportage, maar ook door gebruik te maken van officiële data of de combinatie van beiden gegevens. Dit resulteerde in meerdere effectgroottes per studie. Het is mogelijk dat de effectgroottes binnen een studie meer op elkaar lijken dan effectgroottes van een andere studie. Er kan niet aangenomen worden dat de effectgroottes onafhankelijk zijn (Hox, Moerbeek, & van de Schoot, 2017; Lipsey & Wilson, 2001; Spruit, Schalkwijk, Van Vugt, & Stams, 2016). Een multi-level analyse is uitgevoerd om rekening te houden met de
afhankelijkheid tussen de effectgroottes (Cheung, 2014; Van den Noortgate & Onghena, 2003). Er is rekening gehouden met drie levels, namelijk op individueel effectniveau (level 1, random sampling error), variantie van effectgroottes binnen studies (level 2) en variantie van effectgroottes tussen studies (level 3) (Wibbelink & Assink, 2015). Deze meta-analyse werd uitgevoerd in R (versie 3.4.0) met het metafoor- pakket, waarbij er gebruik gemaakt werd van de syntaxen van Assink en Wibbelink (2016).
Wanneer modellen uitgebreid werden met categorische moderatoren werd de omnibustest toegepast. De omnibustoets schat de aannemelijkheidsratio van het model met een chi- kwadraattoets. Hierbij wordt er gekeken naar verschillende moderatoren, zoals vermeld in tabel 3 en 4.
Publicatie bias vormt een veel voorkomend probleem bij het verrichten van meta- analyses (de Vries, Hoeve, Assink, Stams, & Asscher, 2015). Studies waarin geen significante effecten gevonden zijn of geen wenselijke uitkomsten, worden minder snel gepubliceerd in vergelijking met studies waarin wel significante effecten gevonden worden. Deze neiging wordt de file drawer problem genoemd en kan leiden tot een overschatting van de werkelijke effectgroottes (Spruit et al., 2016). Met een funnel plot is er getoetst of er sprake was van publication bias (Egger, Smith, Schneider, & Minder, 1997). In een funnel plot worden de puntschattingen van de verschillende studies op de x-as uitgezet, samen met de gemiddelde waarde van de meta-analyse. De standaardfouten van de verschillende studies worden uitgezet op de y-as (Sterne & Harbord, 2004). In het geval van publicatie bias is er sprake van een asymmetrische verdeling en een significante Egger’s test. In dat geval wordt er overgegaan naar de trim- and- fill procedure (Bax, 2011; Duval & Tweedie, 2000). De trim- and fill procedure corrigeert voor de asymmetrische funnel plot door geschatte missende effectgroottes toe te voegen, deze worden berekend op basis van de reeds bestaande gevonden effectgroottes. Wanneer er ontbrekende effectgroottes uit de trim- and fill plot komen, worden
door middel van het programma R de ontbrekende waarden geschat en aangevuld. Hiermee wordt inzicht verkregen in de mogelijke aanwezigheid van vertekening door publicatie- of andere vormen (niet nader gespecificeerde) selectiebias (Spruit et al., 2016). Tenslotte is er een sensitiviteitsanalyse uitgevoerd om een te grote invloed van afzonderlijke studies uit te sluiten.
Resultaten
Overall relatie tussen alternatieve onderwijs zorgvoorzieningen en uitkomstdomeinen Tabel 2 laat de overall effecten van alternatieve onderwijs zorgvoorzieningen zien. De meta- analyse bestaat uit tien onafhankelijke studies (k), waarbij er 87 effectgroottes gevonden zijn (#ES). Overall is een klein positief en significant effect gevonden voor alternatieve onderwijs zorgvoorzieningen voor jongeren met gedragsproblemen (d= 0.153, p = .025; zie Tabel 2). Dit impliceert, hoewel met een klein effect, dat de inzet van alternatieve onderwijs zorgvoorzieningen van positieve invloed is op jongeren met gedragsproblemen.
Een visuele inspectie van de funnel plot liet zien dat er geen sprake was van publicatie bias, aangezien de scheefheid rechts in plaats van links in de trechter te zien was, wat duidt op een andere vorm van (niet nader gespecifieerde) selectiebias. Appendix 2 laat twaalf ontbrekende effectgroottes zien, aan de rechterkant van de funnel plot. Vervolgens is er een trim- and fill procedure uitgevoerd, waaruit bleek dat het overall effect van d= .153 naar d= .311 steeg. Aangezien de betrouwbaarheidsintervallen van deze effectgroottes overlappen, is er geen sprake van een significant hogere overall effectgrootte na de trim and fill procedure, wat aangeeft dat er weinig tot geen indicatie is voor selectie bias. Voor zover er wel sprake zou zijn van selectie bias is het effect marginaal.
Uit de sensitiviteitsanalyse blijkt dat de overall effectgrootte bij het excluderen van een enkele studie steeds valt tussen 0.099 en 0.183 (laagste en hoogste). De uiteindelijke ES
van 0.153 wijkt hier nauwelijks vanaf, waardoor er geen indicatie is dat er een enkele studie is die overmatige invloed heeft op de gemiddelde overall effectgrootte.
De resultaten van de likelihood- ratio tests laten zien dat er een significante variantie bestaat tussen de effectgroottes binnen eenzelfde studie (σ2
level 2= .101, p < .001) en dat er een
significante variantie is tussen de studies ( σ2
level 3=.027, p < .05). Aangezien de variantie
zowel op level 2 als op level 3 significant is, kan er geconcludeerd worden dat er heterogeniteit tussen de effectgroottes is. Dit kan verklaard worden door de variërende uitkomstmaten, studie- en populatiekenmerken en de kernmerken van de alternatieve onderwijs zorgvoorzieningen. Vanwege de heterogeniteit zijn er moderator analyses uitgevoerd.
Moderator analyses van het effect van onderwijs zorgvoorzieningen
Tabel 3 en 4 laten de resultaten van de moderatoren analyse zien wanneer er gekeken wordt naar het effect van alternatieve onderwijs zorgvoorzieningen op gedrag van jongeren binnen een studie en tussen studies. De verschillende uitkomstmaten bleken geen modererend effect te hebben. Er is een significante moderator gevonden voor de vorm van rapporteren. De manier waarop gemeten wordt is van invloed op het effect van onderwijs zorgvoorzieningen op het probleemgedrag van jongeren, waarbij zelfrapportage hogere effecten laat zien dan wanneer officiële gegevens worden gebruikt. Het meetmoment, het publicatiejaar en de impactfactor van het tijdschrift waarin de studie gepubliceerd was hadden geen invloed op het effect. Van de studie kenmerken is het design, het wel of niet hebben van een controlegroep en het percentage dropouts ook niet van invloed op het effect. Wel bleek studiekwaliteit een significante moderator te zijn, waarbij kwalitatief zwakke studies een hoger effect lieten zien dan studies van gemiddelde kwaliteit. Ook de betrouwbaarheid van meetinstrumenten bleek van invloed, waarbij onbetrouwbare meetinstrumenten een hoger effect lieten zien dan betrouwbare meetinstrumenten. Van de programma-elementen werd alleen een trend
gevonden voor de lengte van het programma. Hoe langer het programma duurt, hoe minder effect er gevonden wordt. Vanwege het ontbreken van duidelijke rapportage over de verschillende programma-elementen binnen de literatuur, is er alleen maar effect gevonden op de lengte van het programma.
Discussie
Het doel van deze meta-analyse was om de effectiviteit van alternatieve onderwijs zorgvoorzieningen te onderzoeken. Daarnaast zijn de voorzieningen inhoudelijk bekeken om de werkzame elementen te kunnen identificeren. Op basis van een review van tien studies (met 87 effectgroottes) gedurende de periode van 1995 tot en met 2017 werd een significant, klein overall effect gevonden. Hoewel het een klein effect betreft, bevestigen de resultaten de hypothese dat alternatieve onderwijs zorgvoorzieningen een positief effect hebben op jongeren met gedragsproblemen. Wanneer gekeken wordt naar de moderatoren zijn er relatief weinig significante effecten gevonden. Er zijn significante moderatoreffecten gevonden voor de kwaliteit en betrouwbaarheid van de studies. De manier van rapporteren bleek ook een significante moderator. Op de duur van het programma is een trend gevonden, met minder grote effecten bij een langere duur van het programma. Opvallend is dat de significante effecten alleen gevonden zijn voor methodologische kenmerken.
Tijdens het selecteren van wetenschappelijke artikelen bleken veel studies af te vallen door onvoldoende onderzoeksmethoden, onvolledige rapportage en ontbrekende informatie. De studies die wel uiteindelijk geïncludeerd werden, zijn op methodologische kenmerken gecodeerd. Van de tien geïncludeerde studies waren vier studies zwak van studiekwaliteit. Het was dan ook te verwachten dat op deze effectmaat een significante uitkomst gevonden zou worden. In de lijn van de studiekwaliteit werd ook een significant effect gevonden op betrouwbaarheid. Kwalitatief minder goede studies meten ook minder betrouwbaar, aangezien zij methodologisch minder sterk in elkaar zitten (Golafshani, 2003). Bij het gebruik van
zelfrapportage werden hogere effecten gevonden, wat zou kunnen betekenen dat wanneer zelf gerapporteerd wordt de daadwerkelijke effecten overschat worden.
Er is een trend gevonden voor de duur van het programma bij de alternatieve onderwijs zorgvoorziening. Hoe langer het programma duurt, hoe minder grote effecten er gevonden worden. Kortdurende programma’s behalen sterkere effecten op probleemgedrag van jongeren. Ondanks dat de duur van het programma geen significant effect is, is het een opvallende uitkomst die verder onderzoek vereist. Binnen de residentiele hulpverlening worden deze effecten ook teruggevonden (Hair, 2005). De verklaring die hiervoor gegeven wordt, is dat jongeren binnen een bepaalde tijdsspanne ontvankelijk zijn om te werken aan hun perspectief, ligt dit te ver in de toekomst, dan is de focus verdwenen (Van der Helm, 2011).
Uiteindelijk werden geen verschillen gevonden op de onderscheiden uitkomstmaten. De alternatieve onderwijs zorgvoorzieningen blijken een generiek effect te hebben. Mocht er binnen één domein winst behaald worden, dan heeft dit waarschijnlijk ook effect op de andere domeinen. Dit kan komen doordat de uitkomstmaten met elkaar samenhangen door de hoge mate van comorbiditeit in de betreffende doelgroep (Edgar- Smith & Palmer, 2015; Gold & Mann, 1982; Quinn et al., 2006). Wanneer er sprake is van een effect, is dit altijd terug te zien binnen meerdere domeinen dan één. Dit kan verklaard worden door de integrale aanpak van alternatieve onderwijs zorgvoorzieningen, die zich richten op meerdere problemen tegelijk.
Cox et al. (1995) vonden in hun meta-analyse naar de effectiviteit van alternatieve onderwijs zorgvoorzieningen ook een klein positief significant overall effect. Cox et al. (1995) hebben een hoger positief overall effect gevonden dan in de huidige meta-analyse, wat verklaard kan worden door een overrepresentatie van studies met relatief zwakke studiedesigns in de huidige meta-analyse. In beide meta-analyses kwam naar voren dat er slecht gerapporteerd wordt, de onderzoeksopzet niet voldoende was, methodologische
kenmerken onvoldoende waren en er simpelweg te weinig onderzoek is gedaan. In de afgelopen 25 jaar heeft er dus nog nauwelijks verbetering plaatsgevonden in de manier waarop er onderzoek vormgegeven en verricht wordt naar alternatieve onderwijs zorgvoorzieningen.
Er zijn verschillende beperkingen van de huidige studie. De eerste beperking van deze studie is dat er weinig wetenschappelijke artikelen gepubliceerd zijn in de afgelopen 25 jaar, waardoor slechts tien studies geïncludeerd konden worden in onze meta-analyse. Er dient meer wetenschappelijk gedegen onderzoek gedaan te worden op een internationale schaal. Op deze manier ontstaat een kader waarbinnen alternatieve onderwijs zorgvoorzieningen vormgegeven kunnen worden, gebaseerd op kennis over de meest effectieve programma-elementen.
De studiekwaliteit van de geïncludeerde artikelen was zwak tot middelmatig en dit betekent dan ook dat voorzichtigheid omtrent de interpretatie van de resultaten geboden is. Alternatieve verklaringen voor het positieve effect van alternatieve onderwijs zorgvoorzieningen zijn derhalve niet uit te sluiten. Bij een relatief groot deel van de studies gericht op onderwijs zorgvoorzieningen werd er onvolledig gerapporteerd. Het ontbrak binnen studies aan gedetailleerde beschrijvingen van programma-elementen, zoals bijvoorbeeld duur en intensiteit van het programma, maar ook format en setting van de onderwijs zorgvoorziening ontbraken. De mate van programma-integriteit is hierdoor niet te herleiden. Het ontbreken van een adequate beschrijving van wijze waarop de interventie werd uitgevoerd, maakt het lastig te onderzoeken of programma’s juist werden uitgevoerd. Programma-integriteit is een belangrijke factor, die van invloed is op de wijze waarop programma-elementen bijdragen aan de effectiviteit van een interventie (Goense, Assink, Stams, Boendermaker, & Hoeve, 2016).
Binnen de literatuur over alternatieve onderwijs zorgvoorzieningen is terug te zien dat veel jongeren uitvallen op onderwijs, maar deze cijfers worden nauwelijks gerapporteerd in de geïncludeerde studies. Schooluitval dient als uitkomstmaat meegenomen te worden in toekomstig onderzoek om effectieve programma-elementen vorm te identificeren.
Ook heeft het ontbreken van een algemeen geldende definitie van alternatieve onderwijs zorgvoorzieningen ertoe geleid dat er een grote diversiteit bestaat in beschrijvingen van deze voorzieningen. Deze diversiteit maakt het lastig gedegen onderzoek te verrichten. In deze meta-analyse zijn alternatieve onderwijs zorgvoorzieningen geselecteerd waarin zorg en onderwijs gecombineerd zijn, jongeren terugkeren naar de traditionele school en programma’s kortdurend zijn.
In deze meta-analyse hebben we alleen gepubliceerde artikelen meegenomen. De reden hiervoor was dat de manier van rapporteren in de gepubliceerde artikelen al veel beperkingen had, wat in het geval van ongepubliceerde rapporten helemaal het geval was. Het excluderen van ongepubliceerde studies kan het risico op publicatie bias hebben verhoogd. Vaak worden studies niet gepubliceerd vanwege het ontbreken van een effect of ongewenste uitkomsten. Om een volledig beeld te scheppen, zouden ook deze effecten meegenomen moeten worden in de resultaten van studies. We vonden in onze studie echter geen indicatie voor publicatiebias.
Er dient rekening gehouden te worden met het feit dat de huidige studie zich op westerse landen richtte, doordat alle gebruikte studies voornamelijk uit Amerika afkomstig waren. Aangezien landen verschillen in sociaal en politiek klimaat, de organisatie van psychische hulpverlening en etniciteit van jongeren is het nog maar de vraag of de resultaten ook representatief zijn voor niet westerse landen (Deković et al., 2011; de Vries et al., 2015).
De toename van het aanbod aan onderwijs zorgvoorzieningen is nauwelijks terug te zien in de wetenschappelijke literatuur. Het ontbreekt aan studies die de effectiviteit van
alternatieve onderwijs zorgvoorzieningen onderzoeken. Evidence-based werken is de standaard, maar in de implementatie van effectieve alternatieve onderwijs zorgvoorzieningen is dit nog niet terug te zien. Het is van belang gedegen onderzoek te doen naar deze voorzieningen om een kwetsbare groep jongeren zo effectief mogelijk zorg en onderwijs aan te kunnen bieden.
In de huidige meta-analyse is er naar voren gekomen dat er positief effect behaald kan worden voor jongeren met gedragsproblemen binnen alternatieve onderwijs zorgvoorzieningen. Uit de geïncludeerde studies komt echter naar voren dat veel van deze studies van onvoldoende wetenschappelijke kwaliteit zijn. Aanbeveling voor vervolgonderzoek is dan ook niet alleen meer, maar ook inhoudelijk beter vormgegeven onderzoek uit te voeren. Zo kan de effectiviteit van alternatieve onderwijs zorgvoorzieningen vergroot worden.
Ondanks dat er een klein overall effect gevonden is in deze meta-analyse, kan een dergelijk klein effect grote implicaties hebben voor de praktijk. Het aanbieden van een kortdurend programma met positieve effecten voor een doelgroep die uitvalt uit school en dreigt uit te vallen uit de maatschappij, betekent niet alleen het voorkomen van veel leed bij jongeren, ouders en maatschappij, maar ook dat mogelijk een jarenlang traject met bijkomende hoge kosten voorkomen kan worden.
Literatuurlijst
Ahn, S., & Simpson, R. (2013). Relationships between Risk Factors, Perceptions of School Membership and Academic and Behavioral Engagement of Students Who Attend an Alternative School for Behavioral and Emotional Challenges. The Journal of Special Education Apprenticeship, 2(1), 6.
Armijo‐Olivo, S., Stiles, C. R., Hagen, N. A., Biondo, P. D., & Cummings, G. G. (2012). Assessment of study quality for systematic reviews: a comparison of the Cochrane Collaboration Risk of Bias Tool and the Effective Public Health Practice Project Quality Assessment Tool: methodological research. Journal of evaluation in clinical practice, 18(1), 12-18.
Aron, L. Y. (2003). Towards a Typology of Alternative Education Programs: A Compilation of Elements from the Literature.
Aron, L. Y. (2006). An Overview of Alternative Education. Urban Institute (NJ1).
Aron, L. Y., & Zweig, J. M. (2003). Educational Alternatives for Vulnerable Youth: Student Needs, Program Types, and Research Directions. Urban Institute (NJ1).
Assink, M., & Wibbelink, C. J. (2016). Fitting three-level meta-analytic models in R: A step-by-step tutorial. The Quantitative Methods for Psychology, 12(3), 154-174.
Atkins, T., & Bartuska, J. (2010). Considerations for the Placement of Youth with EBD in Alternative Education Programs. Beyond Behavior, 19(2), 14-20.
Barr, R. D., & Parrett, W. (1995). Hope at last for at-risk youth. Boston: Allyn and Bacon. Bax, L. (2011). MIX 2.0. Professional software for meta-analysis in Excel. Version 2.0.1.4.
BiostatXL, 2011. Retrieved from http://www.meta-analysis-madeeasy.com Bowers, E. P., Johnson, S. K., Warren, D. J., Tirrell, J. M., & Lerner, J. V. (2015). Youth–
adult relationships and positive youth development. In Promoting positive youth development (pp. 97-120). Springer, Cham.
Ten Brink, L. T., Veerman, J. W., Bosch, J. D., Bosma, H. A., van der Gaag, R. J.,
Ruijssenaars, A. J. J. M., & Vyt, A. (1998). Risicofactoren en protectieve factoren in de ontwikkeling van kinderen en adolescenten. Jaarboek ontwikkelingspsychologie, orthopedagogiek en kinderpsychiatrie, 13-46.
Carpenter-Aeby, T., & Aeby, V. G. (2001). Family-school-community interventions for chronically disruptive students: An evaluation of outcomes in an alternative school. School Community Journal, 11(2), 75-92.
Carpenter-Aeby, T., & Aeby, V. G. (2005). Program evaluation and replications of school-based mental health services and family-community interventions with chronically disruptive students. School Community Journal, 15(2), 37.
Cheung, M. W. L. (2014). Modeling dependent effect sizes with three-level meta-analyses: a structural equation modeling approach. Psychological Methods, 19(2), 211.
Cheung, A. C., & Slavin, R. E. (2016). How methodological features affect effect sizes in education. Educational Researcher, 45(5), 283-292.
Cox, S. M. (1999). An assessment of an alternative education program for at-risk delinquent youth. Journal of Research in Crime and Delinquency, 36(3), 323-336.
Cox, S. M., Davidson, W. S., & Bynum, T. S. (1995). A meta-analytic assessment of delinquency-related outcomes of alternative education programs. Crime & Delinquency, 41(2), 219-234.
Deković, M., Slagt, M. I., Asscher, J. J., Boendermaker, L., Eichelsheim, V. I., & Prinzie, P. (2011). Effects of early prevention programs on adult criminal offending: A meta-analysis. Clinical psychology review, 31(4), 532-544.
Dresen, C., van Domburgh, L., Harder, A., Knorth, E., Kranenburg, M., Nijhof, K., Vermaes, I. (2017). Jeugdzorg met een plus: Wat we wel en nog niet weten over de meest intensieve vorm van jeugdhulp. Maklu.
Duval, S., & Tweedie, R. (2000). Trim and fill: A simple funnel‐plot–based method of testing and adjusting for publication bias in Meta‐Analysis. Biometrics, 56(2), 455-463. Edgar-Smith, S., & Palmer, R. B. (2015). Building supportive school environments for
alternative education youth. Preventing School Failure: Alternative Education for Children and Youth, 59(3), 134-141.
Egger, M., Smith, G. D., Schneider, M., & Minder, C. (1997). Bias in meta-analysis detected by a simple, graphical test. British Medical Journal, 315(7109), 629-634.
Flower, A., McDaniel, S. C., & Jolivette, K. (2011). A literature review of research quality and effective practices in alternative education settings. Education and Treatment of Children, 34(4), 489-510.
Foley, R. M., & Pang, L. S. (2006). Alternative education programs: Program and student characteristics. The High School Journal, 89(3), 10-21.
Franklin, C., Streeter, C. L., Kim, J. S., & Tripodi, S. J. (2007). The effectiveness of a solution-focused, public alternative school for dropout prevention and retrieval. Children & Schools, 29(3), 133-144.
Goense, P. B., Assink, M., Stams, G. J., Boendermaker, L., & Hoeve, M. (2016). Making ‘what works’ work: A meta-analytic study of the effect of treatment integrity on outcomes of evidence-based interventions for juveniles with antisocial behavior. Aggression and violent behavior, 31, 106-115.
Golafshani, N. (2003). Understanding reliability and validity in qualitative research. The qualitative report, 8(4), 597-606.
Gold, M., & Mann, D. W. (1982). Alternative schools for troublesome secondary students. The Urban Review, 14(4), 305-316.
Guerin, G., & Denti, L. (1999). Alternative education support for youth at-risk. The Clearing House, 73(2), 76-78.
Hair, H. J. (2005). Outcomes for children and adolescents after residential treatment: a review of research from 1993 to 2003. Journal of Child and Family Studies, 14, 551-575. Van der Helm, G. H. P. (2011). First do no harm. Living group climate in secure juvenile
correctional institutions.
Hermanns, J. (2009). Het opvoeden verleerd (Vol. 338). Amsterdam University Press.
Hofmans, R. A. E., Klijnjan, L. A., van Slagmaat, S. P., & Vrijhof, H. J. (2015). Van cluster 4 naar regulier: De overgang van leerlingen met emotionele of gedragsproblemen in navolging van de wet Passend Onderwijs (Bachelor's thesis).
Holter, N. (2014). Oorzaken van voortijdig schoolverlaten. Utrecht, Nederlands Jeugdinstituut. Last accessed, 11.
Hox, J. J., Moerbeek, M., & van de Schoot, R. (2017). Multilevel analysis: Techniques and applications. New York: Routledge.
Husted, T. A., & Cavalluzzo, L. C. (2001). Background Paper for New Collaborative Schools (NCS): An Overview of At-Risk High School Students and Education Programs Designed To Meet Their Needs.
Kallio, B. R., & Sanders, E. T. (1999). An alternative school collaboration model. American Secondary Education, 28(2), 27.
Kesselring, M. C., de Winter, M., van Yperen, T., & Lecluijze, S. (2016). Partners in Parenting: An Overview of the Literature on Parents' and Nonparental Adults' Perspectives on Shared Responsibilities in Childrearing. Issues in Social Science, 4(1), 69-97.
Klima, T., Miller, M. G., & Nunlist, C. (2009). What works?: Targeted truancy and dropout programs in middle and high school. Olympia, WA: Washington State Institute for Public Policy.
Kochhar-Bryant, C. (2002). Profiling Success in Alternative Education. Washington DC: Hamilton Fish Institute and The George Washington University.
Lane, P. W., Higgins, J. P. T., Anagnostellis, B., Anzures-Cabrera, J., Baker, N. F.,
Cappelleri, J. C., Haughie, S., Hollis, S., Lewis, S. C., Monseuse, P., & Whitehead, A. (2013). Methodological quality of meta‐analyses: matched‐pairs comparison over time and between industry‐sponsored and academic‐sponsored reports. Research synthesis methods, 4(4), 342-350.
Lehr, C. A., & Lange, C. M. (2003). Alternative schools serving students with and without disabilities: What are the current issues and challenges? Preventing School Failure: Alternative Education for Children and Youth, 47(2), 59-65.
Lipsey, M. W., & Wilson, D. B. (2001). Practical meta-analysis. Thousand Oaks, CA: Sage Publications, Inc.
de Looze, M., van Dorsselaer, S., de Roos, S., Verdurmen, J., Stevens, G., Gommans, R., van Bon- Martens, M. ter Bogt, T., & Vollebergh, W. (2014). Gezondheid, welzijn en opvoeding van jongeren in Nederland: HBSC- 2013: Health Behavior in School- Aged Children. Utrecht: Universiteit Utrecht.
Ministerie van Onderwijs, Cultuur en Wetenschap (2017). Feiten en cijfers schooluitval. Retrieved from meten/feiten-en-cijfers-schooluitval
Nichols, J. D., & Utesch, W. E. (1998). An alternative learning program: Effects on student motivation and self-esteem. The Journal of Educational Research, 91(5), 272-278. Van Den Noortgate, W., & Onghena, P. (2003). Multilevel meta-analysis: A comparison with
traditional meta-analytical procedures. Educational and psychological measurement, 63(5), 765-790.
Pennacchia, J., & Thomson, P. (2016). Complementing the mainstream: an exploration of partnership work between complementary alternative provisions and mainstream schools. Pastoral Care in Education, 34(2), 67-78.
Pronk, S. M. (2016). Methodiekhandleiding School2Care. Amsterdam: Altra.
Van der Put, C., Assink, M., Bindels, A., Stams, G. J., de Vries, S., & Orthopedagogiek, A. F. (2013). Effectief vroegtijdig ingrijpen. Een verkennend onderzoek naar effectief vroegtijdig ingrijpen ter voorkoming van ernstig delinquent gedrag. Amsterdam/Den Haag: Universiteit van Amsterdam, Faculteit Pedagogische Wetenschappen/WODC. Quinn, M. M., & Poirier, J. M. (2007). Study of Effective Alternative Education Programs:
Final Grant Report. American Institutes for Research.
Quinn, M. M., Poirier, J. M., Faller, S. E., Gable, R. A., & Tonelson, S. W. (2006). An examination of school climate in effective alternative programs. Preventing School Failure: Alternative Education for Children and Youth, 51(1), 11-17.
Radema, D., & van Kessel, B. (2016). In vijf stappen naar een onderwijs-zorgarrangement voor ZMOLK’ers. Retrieved from https://www.nji.nl/nl/Kennis/Dossier/Onderwijs zorgarrangementen/Definitie-van-een-onderwijs-zorgarrangement
Raywid, M.A. (1994) Alternative schools: The state of the art. Educational Leadership, 52(1), 26-31.
Raywid, M. A. (1999). History and issues of alternative schools. The Education Digest, 64(9), 47.
Rosenthal, R. (1995). Writing meta-analytic reviews. Psychological bulletin, 118(2), 183-192. Saha, S., Saint, S., & Christakis, D. A. (2003). Impact factor: a valid measure of journal
Slot, N. W., & Koops, W. (1998). Van lastig tot misdadig: Een ontwikkelingsbenadering van lastige en misdadige kinderen en adolescenten: diagnostiek, behandeling en beleid. Bohn Stafleu Van Loghum.
Spierings, F. C. P. P., Tudjman, T., Meeuwisse, M., & Onstenk, J. (2015). Literatuurstudie risicojongeren: onderwijs, arbeid, zorg en veiligheid.
Spruit, A., Schalkwijk, F., Van Vugt, E., & Stams, G. J. (2016). The relation between self-conscious emotions and delinquency: A meta-analysis. Aggression and violent behavior, 28, 12-20.
Sterne, J. A., Harbord, R. M. (2004). Funnel plots in meta-analysis. The Stata Journal, 4, 41.
de Vries, S. L., Hoeve, M., Assink, M., Stams, G. J. J., & Asscher, J. J. (2015). Practitioner review: effective ingredients of prevention programs for youth at risk of persistent juvenile delinquency–recommendations for clinical practice. Journal of Child Psychology and Psychiatry, 56(2), 108-121.
Westenberg, P. M. (2008). De Jeugd van Tegenwoordig! (Diesoratie 433). Universiteit Leiden, Leiden.
Wibbelink, C. J. M., & Assink, M. (2015). Handleiding voor het uitvoeren van een drie-level meta-analyse in R. (Manuscript in preparation).
Wilson, D. B. (2013). Practical meta-analysis effect size calculator. Retrieved from
http://www.campbellcollaboration.org/escalc/html/EffectSizeCalculator-Home.php Wilson, S. J., Tanner-Smith, E. E., Lipsey, M. W., Steinka-Fry, K., & Morrison, J. (2011).
Dropout Prevention and Intervention Programs: Effects on School Completion and Dropout among School-Aged Children and Youth. Campbell Systematic Reviews. 2011: 8. Campbell Collaboration.
Wits, E., van de Mheen, D., Snoek, A., & van der Stel, J. (2012). Kwetsbare groepen jeugdigen en problematisch middelengebruik: visie en
Appendix 1
Stroomschema literatuurstudie
Titels en abstracts gelezen (n =516)
Studies geëxcludeerd (n =496) Redenen voor exclusie:
- Aanbod binnen regulier onderwijs - Geen effectstudie - Specifieke aangeboden programma’s binnen aangeboden onderwijs zorgvoorzieningen - Primair onderwijs - Dubbele artikelen - Volwassenonderwijs - Gepubliceerde studies voor 1995 Hele studie nagelopen voor
bruikbaarheid (n= 20) Geïncludeerde studies in meta-analyse (n = 10) Id en tif ic at io n Screen in g Elig ib ilit y In cl usi on Studies geïncludeerd (n = 20)
Appendix 2 Funnel plot
Tabel 1
Overzicht geïncludeerde studies
Auteur Jaar Peer
Review IF Studie design n Informant Continent Aeby, Thyer, & Carpenter-
Aeby 1999 Ja 0 Quasi-Exp Cross 215 Mixed USA
Carpenter- Aeby & Aeby 2001 Ja 3.9 Pretest-
Posttest 100 Mixed USA
Long Carpenter- Aeby & Aeby 2005 Ja 3.9 Pretest-
posttest Long 599 Zelfrapportage USA Cox 1999 Ja 2.545 Pretest- posttest Long 83 Mixed USA
Dugger & Dugger 1998 Ja 0.45 Pretest- posttest Long
130 Mixed USA
Edgar- Smith & Palmer 2015 Ja 0.42 Repeated
Measure 148 Zelfrapportage USA Franklin, Streeter, Kim, &
Tripodi 2007 Ja 0.39
Long Pretest- Posttest Long
85 Official Data USA
Mirsky & Wachtel 2007 Ja 0 Pretest-
posttest 919 Zelfrapportage USA Nichols & Utesch 1998 Ja 1.85 Pretest-
Posttest 199 Zelfrapportage USA Wilkerson et al. 2016 Ja 0.972 Posttest 7551 Official Data USA
Cross
Note. Peer review = gepubliceerd in peer reviewed tijdschrift (Ja/ Nee); IF = impact factor van het tijdschrift;
Studie-design = quasi-experimenteel, pretest- posttest, repeated measure, posttest, cross = cross-sectioneel, long = longitudinal; n = aantal participanten; informant = zelfrapportage, official data, mixed = combinatie van zelfrapportage en official data; Continent = land van herkomst USA= Amerika.
Tabel 2
Overall Effect of Alternative Education on Youth Outcomes Outcome K #ES Mean d 95% CI p σ2
level 2 σ2level 3 % Var.
Level 1 Level 2 % Var. Level 3 % Var. Youth-
outcomes 10 87 0.153 0.019; 0.286 .025
* .101*** .027* 11.848 69.644 18.508
Note. Youth outcomes = academic achievement, academic attitude, social-emotional, externalizing problems,
internalizing problems; k = number of studies; #ES = number of effect sizes; mean d = mean effect size; CI = confidence interval; σ2
level 2 = variance between effect sizes extracted from the same study; σ2level 3 = variance
between studies; % Var = percentage of variance distributed.
*p ≤ .05. **p ≤ .01. ***p ≤ .001.
Tabel 3
Within-study Moderators of the Effectiveness of Alternative Education: Assessment of Outcomes
Moderator variable k #ES B0/ d t0 B1 t1 F(df1, df2)
Broad outcome domains F(4, 82) = 0.080
Social emotional (RC) 7 33 0.151 1.685+ Academic achievement 6 20 0.171 1.611 0.020 0.176 Academic attitude 8 27 0.154 1.636 0.003 0.031 Externalizing problems 2 4 0.064 0.308 -0.086 -0.393 Internalizing problems 2 3 0.217 1.006 0.066 0.302 Approaches to Outcome Measurement Type of Measure F(1, 85) = 10.955** Official data 6 27 0.047 0.549 Self report 8 60 0.369 3.572*** 0.322 3.310** Time F(2, 84) = 1.434 Post-test only (RC) 3 9 0.266 1.634 Pre-test - Post-test 9 68 0.160 2.153* -0.106 -0.639 Pre-test - Follow-up 2 10 -0.053 -0.365 -0.319 -1.512
Months after start program 10 77 0.176 2.387* -0.016 -0.959 F(1, 75) = 0.919
Months after finished
Tabel 4
Between-study Moderators of the Effectiveness of Alternative Education: Youth, Program, and Methodological Characteristics
Moderator variable k #ES B0/ d t0 B1 t1 F(df1, df2)
Publication characteristics Year of publication 10 87 0.180 2.743** -0.017 -1.589 F(1, 85) = 2.525 Impact factor 10 87 0.152 2.171* -0.014 -0.293 F(1, 85) = 0.086 Study characteristics Design F(1, 85) = 0.514 Crosssectional (RC) 3 9 0.258 1.578 Longitudinal 9 78 0.139 1.889+ -0.119 -0.717 Control group F(1, 85) = 0.000 Yes (RC) 4 43 0.151 1.369 No 6 44 0.153 1.649 0.002 0.014
Type of control group F(1, 41) = 0.038
Traditional school (TAU) (RC) 3 23 0.156 1.687+
Waiting list 1 20 0.183 1.768 0.027 0.194
Controlled for pretest F(1, 85) = 0.355
Yes (RC) 3 34 0.097 0.823 No 9 53 0.176 2.139 0.079 0.596 Study quality F(1, 85) = 4.573* Moderate (RC) 6 48 0.056 0.777 Weak 4 39 0.305 3.359** 0.249* 2.138* Reliability 4 22 0.238 1.569 -1.579 -2.462* F(1, 20) = 6.061* N total 10 87 0.161 2.384* -0.001 -0.667 F(1, 85) = 0.445 N experimental 10 87 0.154 2.180 -0.000 -0.100 F(1, 85) = 0.010 N control 4 43 0.176 2.600* -0.003 -1.528 F(1, 41) = 2.334
Percentage drop out 4 38 0.115 0.606 -0.581 -1.327 F(1, 36) = 1.760
Participant characteristics Percentage male 9 67 0.145 1.833+ -0.523 -0.888 F(1, 65) = 0.788 Mean age 8 73 0.110 1.920+ 0.003 0.071 F(1, 71) = 0.005 Mean grade 6 47 0.210 1.922+ -0.038 -0.557 F(1, 45) = 0.310 Percentage majority 8 55 0.135 1.493 0.235 0.611 F(1, 53) = 0.373 Program elements Length program 8 76 0.149 2.127* -0.030 -1.832+ F(1, 74) = 3.457+ Sample Type F(1, 85) = 0.147 Standard AE (RC) 10 80 0.149 2.117*
AE with family involvement 1 7 0.211 1.255 0.063 0.383
Family involvement F(1, 85) = 0.554 Yes (RC) 4 48 0.100 1.000 No 6 39 0.200 2.161* 0.101 0.744 Community involvement F(1, 85) = 1.933 Yes (RC) 4 44 0.250 2.641 No 6 43 0.072 0.836 -0.178 -1.390 Transition support F(1, 85) = 0.554 Yes (RC) 4 48 0.100 1.000 No 6 39 0.200 2.161* 0.101 0.744
Note. IV and DV characteristics = independent variable (IV) and/ or dependent variable (DV); k = number of
independent studies; #ES = number of effect sizes; B0/ d = intercept/ mean effect size; t0 =difference in mean d
with zero; B1 =estimated regression coefficient; t1 = difference in mean d with reference category; F(df1, df2) =
omnibus test; (RC) = reference category.
+ p < .10.
* p < .05.
** p < .01. *** p < .001.
