FACULTEIT DER MAATSCHAPPIJ- EN GEDRAGSWETENSCHAPPEN Graduate School of Childhood Development and Education
Het Effect van Sociale Vaardigheidstrainingen bij Kinderen met een Autismespectrumstoornis:
een Meta-analyse
Masterscriptie Orthopedagogiek Pedagogische en Onderwijskundige Wetenschappen
Universiteit van Amsterdam E.L. Schouten
1e beoordelaar: Prof. Dr. G.J. Overbeek
2e beoordelaar: L.S. de Mooij
Inhoudsopgave Abstract Samenvatting Inleiding 5 Methode 8 Onderzoeksontwerp 8
Selectie van studies 9
Inclusiecriteria 9
Coderen van de studies 9
Data-analyse 11 Publicatie bias 12 Resultaten 13 Algemene effectiviteit 13 Publicatie bias 15 Werkzame elementen 15 Moderatoren 16
Kenmerken van de studie 16
Kenmerken van de training 16
Kenmerken van het onderzoeksontwerp 17
Kenmerken van de steekproef 17
Kenmerken van de effectwaarden 17
Multivariate analyse 18
Discussie 19
Effectiviteit van sociale vaardigheidstrainingen 19
Werkzame elementen 19
Moderatoren 20
Beperkingen van het onderzoek 22
Aanbevelingen en conclusie 23
Referentielijst 25
“The Effect of Social Skills Interventions on Children with Autism Spectrum Disorder: a Meta-Analysis”
Abstract
Impairments in social interaction are characteristic for children with autism spectrum disorders. Social skills interventions have been found to reduce these impairments. The current meta-analysis of 38 studies, including 297 effect sizes and N = 1808 children with autism, was conducted to examine the effectiveness of these interventions. Secondly, this study examines practice elements used in the interventions whom are responsible for the effectiveness of the intervention. Finally, it identifies possible moderators that are of influence on the effectiveness of the interventions. The meta-analysis was conducted using
data-analysis program ‘R’. Results showed a medium positive effect of the social skills interventions. The practice element ‘generalizing of effects of the intervention’ showed a significant negative effect. Few of the moderators were found to be of significance: gender of the participants, the inclusion of technology in the intervention and the duration of the period in which measurements were conducted. Boys seem to benefit less from social skills
interventions than girls. Furthermore, interventions that included technology reported higher effectiveness than interventions who did not. Finally, moderator analysis showed that a lengthier period of measurement results in a negative effect on the effectiveness of the intervention.
Keywords: autism, social skills interventions, effectiveness, practical elements, moderators
“Het Effect van Sociale Vaardigheidstrainingen bij Kinderen met een Autismespectrumstoornis: een Meta-Analyse”
Samenvatting
Beperkingen op sociaal gebied zijn kenmerkend voor kinderen met een autismespectrumstoornis. Sociale vaardigheidstrainingen worden gegeven om deze
beperkingen te reduceren. Huidige meta-analyse van 38 studies, inclusief 297 effectwaarden en N = 1808 kinderen met autisme, is uitgevoerd om de effectiviteit van deze trainingen te onderzoeken. Daarnaast is onderzocht welke werkzame elementen in de training
verantwoordelijk zijn voor de effectiviteit van de training en welke moderatoren van invloed zijn op deze effectiviteit. De meta-analyse is uitgevoerd met het data-analyse programma ‘R’. Sociale vaardigheidstrainingen laten een gemiddeld positief effect zien bij kinderen met autisme. Trainingen die aandacht besteden aan het versterken van effecten van de training lijken minder effectief dan trainingen die dit niet opnemen. Daarnaast bleken enkele
moderatoren significant: het geslacht van de participanten, het betrekken van technologie in de training en de duur van de periode waarover metingen plaatsvinden. Jongens lijken minder te profiteren van sociale vaardigheidstrainingen dan meisjes. Trainingen die technologie betrekken rapporteren een grotere effectiviteit dan trainingen die dit niet doen. Tot slot wijst de analyse uit een langere meetperiode een negatief effect heeft op de effectiviteit van de training.
Kernwoorden: autisme, sociale vaardigheidstraining, effectiviteit, werkzame elementen, moderatoren.
Inleiding
Een autismespectrumstoornis (hierna aangeduid als ‘autisme’) wordt regelmatig geassocieerd met het hebben van beperkte sociale vaardigheden. Er bestaat een stereotype beeld: een kind met weinig vrienden, dat sociale interactie ontwijkt of afwijkend reageert en anders is dan de rest (Guli, Semrud-Clikeman, Lerner & Britton, 2013). Autisme is een neurobiologische ontwikkelingsstoornis, die gekenmerkt wordt door twee kerneigenschappen: (1) beperkingen in de sociale communicatie en de sociale interactie en (2) het hebben van beperkte, repetitieve gedragspatronen, rituelen of interesses. Symptomen van autisme zijn al op jonge leeftijd aanwezig en kunnen duidelijker manifesteren naarmate kinderen zich verder ontwikkelen. Dit wordt onder andere veroorzaakt door de toenemende (sociale) eisen waar kinderen mee te maken krijgen wanneer zij ouder worden (American Psychiatric Association, 2014).
Het omschreven stereotype beeld berust op waarheid: kinderen met autisme nemen minder vaak het initiatief tot sociale interactie dan kinderen zonder autisme. Op sociaal gebied zijn deze kinderen minder responsief, hebben ze meer moeite met het begrijpen van ‘sociale regels’ en vinden ze het lastig om zich te verplaatsen in anderen (Church, Alisanski & Amanullah, 2000; Rehfeldt, Dillen, Ziomek & Kowalchuk, 2007; Volkmar, 1987). Daarnaast hebben zij moeite met het interpreteren van emoties en hier adequaat op reageren (Koning, Magill-Evans, Volden & Dick, 2011; Orsmond, Krauss & Seltzer, 2004; Ozonoff, Pennington & Rogers, 1990). Als gevolg hiervan hebben kinderen met autisme vaak geen of weinig vriendschappen met leeftijdgenoten, wat kan resulteren in eenzaamheid en sociale isolatie (White & Roberson-Nay, 2009). Autisme kan niet genezen worden, daarom is het belangrijk om de sociale problemen die deze kinderen ervaren aan te pakken. Zo kan voorkomen worden dat zij in een sociaal isolement terechtkomen. Hiervoor zijn sociale vaardigheidstrainingen ontwikkeld (Spain & Blainey, 2015).
Zoals hierboven beschreven is een beperking van sociale vaardigheden kenmerkend voor kinderen met autisme (Guli, Semrud-Clikeman, Lerner & Britton, 2013). Spence (2003) beschrijft sociale vaardigheden als het vermogen van een individu om sociale gedragingen aan te passen aan de situatie die zich voordoet. Het correct toepassen van sociale
vaardigheden leidt tot een succesvolle sociale interactie, ook wel sociale competentie genoemd. Dit impliceert dat het sociale gedrag van kinderen wordt bepaald door sociaal cognitieve processen (Kaat & Lecavalier, 2014; Spence, 2003).
Een kernaspect van sociale cognitie is de sociale informatieverwerking. De sociale informatieverwerking theorie (Crick & Dodge, 1994) stelt dat een kind zes stappen doorloopt wanneer het geconfronteerd wordt met een sociale situatie: (1) het encoderen van de ‘cues’ die zich voordoen, (2) het interpreteren van deze ‘cues’, (3) het bepalen van het doel van de sociale interactie, (4) het bedenken van mogelijke reacties op de situatie die zich voordoet, (5) het kiezen van een reactie en (6) het uitvoeren in gedrag. De eerste stappen draaien om sociale perceptie (het lezen en interpreteren van relevante sociaal-emotionele ‘cues’ van de ander) en de laatste stappen om het genereren van een passende sociale respons (Crick & Dodge, 1994). Een beperking in het vermogen om sociaal-emotionele cues correct te interpreteren kan leiden tot een inadequate respons (Bauminger, 2007). Dit is vaak het geval bij kinderen met autisme. Zij interpreteren bijvoorbeeld de emoties van een ander verkeerd en geven daardoor een ongepaste reactie (Koning, Magill-Evans, Volden & Dick, 2011).
Sociale vaardigheidstrainingen kunnen ingezet worden om beperkingen in sociaal gedrag te verminderen (Reichow & Volkmar, 2010). Sociale vaardigheidstrainingen beogen de sociale competentie van kinderen te vergroten. Deze trainingen kunnen zich richten op algemene sociale vaardigheden of specifieke sociale vaardigheden, zoals het initiëren van een gesprek. Er kunnen ruwweg drie typen trainingen onderscheiden worden: individuele
trainingen, trainingen in een groep en trainingen waarbij de ouders en/of school betrokken wordt (Kaat & Lecavalier, 2014). Daarnaast is er een groeiende inzet van en onderzoek naar interventies die gebruik maken van leeftijdgenoten als bemiddelaar van de training (Reichow & Volkmar, 2010).
Sociale vaardigheidstrainingen hebben veelal dezelfde doelen. Deze zijn
voornamelijk: het verbeteren van verbale en non-verbale vaardigheden en daarmee de sociale communicatie, het verbeteren van de kwaliteit en kwantiteit van vriendschappen, het
verbeteren van het herkennen van emoties evenals emotieregulatie, het verbeteren van vaardigheden om problemen op te lossen en andere problemen die zich uiten als gevolg van autisme problematiek (Spain & Blainey, 2015). Ondanks de overkoepelende doelen, kunnen sociale vaardigheidstrainingen verschillen in het gebruik van methoden, structuur en
technieken. Voorbeelden van technieken zijn psycho-educatie, het geven van huiswerk, het bekrachtigen van gedrag, samenwerken en psychofysieke oefeningen. Deze technieken dragen bij aan de effectiviteit van een training. De effectiviteit van trainingen kan mogelijk verschillen, afhankelijk van welke technieken een training gebruik maakt.
Sinds het begin van de 21e eeuw is er in toenemende mate onderzoek verricht naar de
2014; Reichow & Volkmar, 2010); verschillende meta-analyses laten positieve effecten laten zien. Gates, Kang en Lerner (2017) voerden een meta-analyse uit naar de effectiviteit van sociale vaardigheidstrainingen bij kinderen met autisme en vonden een gemiddeld positief effect. De meta-analyse van Reichow, Volkmar en Steiner (2012) wees tevens uit dat de sociale vaardigheden verbeterden als gevolg van een groepstraining. Spain en Blainey (2015) voerden een meta-analyse uit naar de effectiviteit van groep gebaseerde sociale
vaardigheidstrainingen bij kinderen met autisme. Zij vonden positieve resultaten op vier domeinen: sociale kennis en cognitie, sociaal functioneren, angst en depressie en tevredenheid over de behandeling. De effectiviteit van individuele sociale vaardigheidstrainingen bij
kinderen met autisme is tevens middels een meta-analyse aangetoond. Van de 115
geïncludeerde onderzoeken lieten 103 een groot positief effect zien (Wang, Parrila & Cui, 2013). Op basis van de huidige wetenschappelijke literatuur wordt verwacht dat deze meta-analyse de positieve effecten van sociale vaardigheidstrainingen voor kinderen met autisme zal bevestigen.
Ondanks dat voorgaand onderzoek positieve effecten van sociale
vaardigheidstrainingen bij autistische kinderen heeft laten zien, is verdieping van de huidige kennis wenselijk. Deze meta-analyse includeert een breed aanbod van sociale
vaardigheidstrainingen en biedt daarmee beter generaliseerbare resultaten. Echter,
belangrijker is dat deze meta-analyse zich onderscheid door de aandacht die is besteed aan het identificeren van de technieken die in een training worden gebruikt, ook wel de werkzame elementen van de trainingen genoemd. Zoals eerder benoemd is, kunnen trainingen
verschillen in technieken die gebruikt worden. Door vast te stellen welke technieken verantwoordelijk zijn voor de effectiviteit van de training, kan er uitspraak worden gedaan over de werkzame elementen. Het identificeren van elementen in succesvolle trainingen vergroot begrip en inzicht in de training en de werkzame mechanismen hiervan. Daarnaast geeft het de grenzen aan van training types (Chorpita & Daleiden, 2009). De resultaten van deze meta-analyse kunnen een bijdrage leveren aan het verbeteren van het aanbod van sociale vaardigheidstrainingen voor kinderen met autisme. Zo kunnen er enkel elementen in de trainingen worden opgenomen die het meest effectief zijn gebleken.
Naast het vaststellen van werkzame elementen, richt deze meta-analyse zich op het identificeren van mogelijke moderatoren. Een moderator is een bepaalde eigenschap van de training of doelgroep die verantwoordelijk kan zijn voor het verschil in effectiviteit (Gates, Kang & Lerner, 2017). Het is belangrijk om moderatoren te identificeren, zodat vastgesteld kan worden voor wie een bepaalde training het beste werkt en welke aspecten van de training
bijdragen aan de resultaten (Kaat & Lecavalier, 2014). De meeste onderzoeken richten zich op een aantal, vaak dezelfde moderatoren, zoals sekse, leeftijd en IQ. In deze meta-analyse wordt een breed aantal moderatoren meegenomen, welke worden beschreven in de methode.
Het doel van het huidige onderzoek is het verder in kaart brengen van de effectiviteit van sociale vaardigheidstrainingen bij kinderen met autisme. Met behulp van een meta-analyse wordt een drietal onderzoeksvragen beantwoord: 1) In hoeverre hebben sociale vaardigheidstrainingen positieve effecten bij kinderen met autisme? 2) Welke werkzame elementen uit sociale vaardigheidstrainingen zijn verantwoordelijk voor de effectiviteit van de training? en 3) Welke moderatoren zijn van invloed op de effectiviteit van de training?
Methode Onderzoeksontwerp
Om een uitspraak te kunnen doen over de effectiviteit van sociale
vaardigheidstrainingen, de moderatoren die deze effectiviteit mogelijk beïnvloeden en de werkzame elementen die verantwoordelijk zijn voor de effecten, wordt een meta-analyse uitgevoerd. Een meta-analyse onderscheidt zich van andere analysetechnieken op een aantal punten. Ten eerste geeft het een kwantitatieve representatie van kernbevindingen van
meerdere studies. Daarnaast geeft het een statistische analyse van deze bevindingen in relatie tot een bepaald kenmerk van de studies. De richting en sterkte van effecten van zowel
individuele studies als van alle studies samen worden geanalyseerd. Op deze manier kan een meta-analyse uitspraak doen over de effectiviteit van een training, gesteund door een grote set aan data van eerder onderzoek (Durlak & Lipsey, 1991). Met behulp van meta-analytische technieken kan dit onderzoek een uitspraak doen over de algemene effectiviteit van sociale vaardigheidstrainingen bij kinderen met autisme.De sociale vaardigheidstrainingen zijn hierbij aan te wijzen als de afhankelijke variabele en de autisme problematiek als
onafhankelijke variabele.
Selectie van studies
Voor deze meta-analyse zijn 111 studies geselecteerd. De artikelen voor de huidige meta-analyse zijn verzameld met behulp van verschillende elektronische databases, namelijk Ovid, ERIC, PsychInfo, Medline, Scopus en Google Scholar.
Er is gezocht aan de hand van een aantal sleutelwoorden: ‘sociale vaardigheden’, ‘autisme’, ‘training’, ‘kinderen tussen de zes en 18 jaar’ en het ‘studie type’. Om zo volledig mogelijk te zoeken zijn er varianten toegevoegd aan de zoektermen. ‘Sociale vaardigheden’
is bijvoorbeeld uitgebreid met varianten als ‘sociale vaardigheidstraining’,
‘assertiviteit/assertiviteitstraining’, ‘prosociaal gedrag’ en ‘emotionele controle’. ‘Training’ is onder andere uitgebreid met ‘interventie’, ‘programma’ en ‘groepsinterventie’. Naast
‘kinderen tussen de 6 en 18 jaar’ is er tevens gezocht op ‘basisschool scholieren’, ‘tieners’, ‘middelbare school scholieren’ en zijn alle klassen opgenomen. Aan ‘studie type’ is
bijvoorbeeld ‘follow-up studie’, ‘behandel uitkomst’ en ‘behandel- en controle conditie’ toegevoegd.
Inclusiecriteria
Om geïncludeerd te worden in de meta-analyse moesten artikelen aan een aantal criteria voldoen: (1) de artikelen moesten peer-reviewed zijn, (2) de training moest gericht zijn op kinderen en op sociale vaardigheden (3) de training moest (deels) gericht zijn op kinderen met autisme, (4) het onderzoek moest minimaal een voor- en nameting bevatten, (5) er moesten genoeg statistische gegevens beschikbaar zijn en (6) er moest sprake zijn van een controlegroep. Er zijn daarnaast enkel artikelen meegenomen vanaf het jaar 1990. Van de 111 gevonden artikelen, voldeden er 38artikelen aan de inclusiecriteria. Deze zijn opgenomen in de huidige meta-analyse.
Coderen van de studies
Elk geselecteerd onderzoek is systematisch beoordeeld aan de hand van een
codeersysteem. Op deze manier is alle belangrijke informatie uit de artikelen gefilterd voor gebruik in de meta-analyse. Bij het coderen is er gebruik gemaakt van het data-analyse programma Statistical Package for the Social Sciences (SPSS).
Er is gecodeerd aan de hand van een aantal hoofdkenmerken: studie, training, design, steekproef en effectwaarden. Indien gegevens niet beschikbaar waren, zijn deze als ‘missing’ gecodeerd, in dat geval is er niets ingevuld. Per kenmerk werden er verschillende
subkenmerken gecodeerd:
(1) Studie kenmerken: jaar van publicatie, de auteurs, tijdschrift waarin het verschenen is, de impact factor van het tijdschrift, locatie van het onderzoek en de kwaliteit van het artikel (0 = zwak, 1 = gemiddeld, 2 = sterk).
(2) Kenmerken van de training: naam van de training, type training (0 = behandeling, 1 = preventie), betrekken van technologie (0 = nee, 1 = ja), doelvaardigheden van de training (0 = sociale vaardigheden, 1 = vaardigheden betreffend emoties, 2 = theory of mind, 3 = vrienden maken), doelgroep van de training, comorbiditeit van de
participanten, betrokkenheid van ouders bij de training (0 = nee, 1 = ja),
betrokkenheid van school bij de interventie (0 = nee, 1 = ja), of de training plaatsvond in een groep of individueel, percentage aanwezigheid bij de interventie, aantal trainers, beroep van de trainers (0 = studenten onder toezicht, 1 = leraar, 2 = professional die training heeft ontvangen, 3 = de onderzoekers, 4 = anderen, 5 = niet gespecificeerd), leeftijd van de trainer, geslacht van de trainer, of de trainer training heeft ontvangen (0 = nee, 1 = ja), duur van deze training, of de trainer onafhankelijk is (0 = nee, 1 = ja), aantal sessies en de duur van de sessies.
(3) Design eigenschappen: toewijzing aan de controle- of behandelgroep, ‘intent to treat’ (0 = nee, 1 = ja), aanwezigheid van verschillen tussen de groepen bij aanvang van de training (0 = nee, 1 = ja), of er gecontroleerd wordt voor deze verschillen, welke vragenlijsten er gebruikt zijn voor het kind, de ouder en leraar, welke overige instrumenten er gebruikt zijn, op welke constructen de training gericht is, van welke informanten het onderzoek gebruik heeft gemaakt (0 = kind, 1 = ouders, 2 = leraren, 3 = professional, 4 = onderzoekers), verwijzing naar het onderzoek, of er van het
standaard protocol afgeweken is (0 = nee, 1 = ja), of participatie aan het onderzoek beloond werd (0 = nee, 1 = ja) en waar de behandeling van de controlegroep uit bestond (0 = behandeling zoals gewoonlijk, 1 = geen behandeling, 2 = alternatieve behandeling).
(4) Kenmerken van de steekproef: hoeveel mogelijk geschikte participanten geselecteerd zijn, hoeveel er daadwerkelijk opgenomen zijn, hoeveel participanten er aan de behandelgroep zijn toegewezen, hoeveel participanten er aan de controlegroep zijn toegewezen, de gemiddelde leeftijd en standaarddeviatie hiervan, de range van de leeftijd van de participanten, het type groep (0 = klinisch, 1 = subklinisch, 2 = gemengde groep), het percentage jongens, het percentage personen met een niet-Westerse achtergrond, gemiddeld IQ, het percentage kinderen met een leerachterstand, het percentage alleenstaande ouders, het percentage uit een gezin met een lage SES, de duur van de periode waarover de metingen plaatsvonden en de duur van de training. (5) Effectwaarden: het construct waarover de effectwaarde gaat (0 = sociale
vaardigheden, 1 = emotie/cognitieve vaardigheden, 2 = interne gedragsproblemen, 3 = externe gedragsproblemen, 4 = theory of mind), hoe het construct gemeten is (0 = beoordeling van gedrag, 1 = observatie van gedrag, 2 = zelfrapportage, 3 = test scores), het instrument dat gebruikt is om het construct te meten, de informant op het betreffende construct (0 = kind, 1 = ouders, 2 = leraren, 3 = professional, 4 =
onderzoekers), de totale N van het construct, de grootte van de behandelgroep en controlegroep voor de betreffende effectgrootte, periode tussen de start van de training en het meetmoment, of de effectgrootte een follow-up meting betreft en tenslotte de effectwaarde.
Naast deze moderatoren, zijn tevens de mogelijk werkzame elementen aanwezig in de training gecodeerd (0 = niet aanwezig, 1 = aanwezig, 2 = niet genoemd in het artikel). De volgende elementen zijn gecodeerd:
(1) Elementen gericht op het uitvoeren van sociale vaardigheden. Deze elementen omvatten de volgende vaardigheden: sociale interactie, samenwerken, prosociaal gedrag, non-verbale communicatie, gespreksvaardigheden, probleem oplossen en vaardigheden gericht op het maken en onderhouden van vriendschappen.
(2) Elementen gericht op emoties of cognities. Dit zijn vaardigheden als: self-awareness, herkennen van emoties bij jezelf, herkennen van emoties bij anderen, emotieregulatie, impulsregulatie, cognitieve herstructurering en mindfulness.
(3) Elementen van de theory of mind. Hier vallen het verplaatsen in een ander, false-belief en het inschatten van intenties van de ander onder.
(4) Psychofysieke elementen. Deze elementen richten zich op: ontspanning, stressmanagement, houding en vertrouwen in jezelf/de ander.
(5) Elementen gericht op het versterken van het effect van de training. Deze elementen omvatten bekrachtiging van gewenst gedrag, psycho-educatie, het geven van feedback en generalisatie naar buiten de training, door bijvoorbeeld het geven van huiswerk.
Data-analyse
Voor elke training zijn de effectwaarden gecodeerd. Wanneer deze niet in het artikel gegeven waren, zijn deze berekend met behulp van een ‘effectwaarde calculator’
(www.psychometrica.de). Hiervoor werden de gemiddelden en standaarddeviaties of F-waarden gebruikt.
Alle effectwaarden zijn berekend als Cohen’s d. Deze kan geïnterpreteerd worden in drie maten: d = 0.2 is een klein effect, d = 0.5 is een gemiddeld effect en d = 0.8 is een groot effect (Cohen, 1992). Een positieve effectwaarde geeft aan dat de sociale vaardigheidstraining een positief effect heeft op het versterken van gewenste vaardigheden, of op de afname van probleemgedrag. De behandelgroep scoort in dit geval beter dan de controlegroep die niet de ‘hoofdtraining’ heeft ontvangen. Hoe sterk dit effect is, wordt aangegeven met d. Een
dat de training niet het gewenste effect heeft. Wanneer de resultaten enkel omschreven werden als ‘niet significant’ en er geen statistische gegevens beschikbaar waren, is de effectwaarde gecodeerd als ‘0’.
Om de effectiviteit van sociale vaardigheidstrainingen bij kinderen met autisme vast te stellen wordt een multilevel meta-analyse uitgevoerd. Een multilevel analyse is gewenst omdat op deze manier alle mogelijke moderatoren onderzocht kunnen worden. Daarnaast worden er meerdere effectwaarden per studie gecodeerd. Er is in dit geval sprake van drie typen varianties waar rekening mee gehouden moet worden (Wibbelink & Assink, 2015):
(1) Variantie van de effectwaarden rond de populatie-effectwaarden (2) Variantie tussen de effectwaarden van eenzelfde studie
(3) Variantie tussen de effectwaarden van studies
Om de multilevel meta-analyse uit te voeren wordt het ‘metafor package’ van programma R gebruikt (versie 3.3.3; ‘Another Canoe’). Voor het uitvoeren van de analyse is er
gecontroleerd op outliers, deze zijn teruggebracht naar de dichtstbijzijnde waarde binnen 3.29 keer de standaarddeviatie.
Publicatie bias
Studies die geen significante of positieve effecten vinden worden minder vaak gepubliceerd. Hierdoor zijn er vooral studies beschikbaar die significante resultaten presenteren. Dit staat beter bekend als het ‘file drawer problem’. Een veelvoorkomend probleem bij het uitvoeren van een meta-analyse is dat er vooral studies opgenomen worden met significante resultaten. Het ‘file drawer problem’ heeft in dat geval publicatie bias tot gevolg. Publicatie bias wil zeggen dat de meegenomen onderzoeken in de meta-analyse geen goede representatie vormen voor alle onderzoeken uitgevoerd naar dit onderwerp. De meta-analyse kan hierdoor sterkere, positievere uitkomsten constateren, dan wanneer de studies representatief zouden zijn voor het geheel aan uitgevoerd onderzoek (Duval & Tweedie, 2000; Rosenthal & Steinberg, 1995). Om te controleren op publicatie bias wordt gebruik gemaakt van Egger’s methode; de symmetrie van een funnelplot wordt getest. Als de funnelplot asymmetrisch is, is er sprake van publicatie bias. In een funnelplot worden de effectwaarden vergeleken met de precisie van de effectwaarden, dit verschijnt vervolgens in een scatterplot (Egger, Smith, Schneider & Minder, 1997).
Resultaten
De huidige meta-analyse omvat k = 38 studies en 297 effectwaarden. In totaal namen er N = 1808 participanten deel aan de onderzoeken, waarvan er n = 933 een training
ontvingen en n = 875 dienden als controlegroep.
Een overzicht van de geïncludeerde artikelen in de meta-analyse kan gevonden worden in de referentielijst, deze zijn gemarkeerd met een asterix. De trainingen die onderzocht zijn in deze onderzoeken staan vermeld in Bijlage 1, Tabel 1.
Algemene effectiviteit
Tabel 2 presenteert de significante resultaten van de multilevel meta-analyse. De richtlijnen van Cohen (Cohen, 1988) zijn gebruikt om de resultaten te interpreteren, waarbij d = 0.2 als klein effect beschouwd wordt, d = 0.5 als gemiddeld effect en d = 0.8 als groot effect. Er wordt een significant positief algemeen effect gevonden van d = 0.489 (95% BI = 0.401-0.576, t = 11.071, p = <.001). Dit wordt beschouwd als een klein tot gemiddeld effect. Dit resultaat wil zeggen dat de behandelgroep na het ontvangen van de training beter scoort op sociale vaardigheden dan de controlegroep, dit is een kleine tot gemiddelde verbetering.
Middels een log-likelihood-ratio-toets is de variantie van effectwaarden binnen studies en tussen studies bekeken. Uit deze toets bleek dat er zowel sprake is van significante
variantie binnen studies (χ2 (1) = 22.7779, p = <.0001), als significante variantie tussen studies (χ2 (1) = 38.9909, p = <.0001). Ongeveer 51 procent van de totale variantie is toe te schrijven aan variantie van de steekproeven en 22 procent van de totale variantie wordt verklaard door variantie binnen de studies. Tot slot is variantie tussen studies voor 27 procent verantwoordelijk van de totale variantie.
Tabel 2.
Totale effectiviteit, significante moderatoren en significante werkzame elementen
#studies #ES β0 t0 β1 t1 F(df1, df2)
Algemene effectiviteit 38 297 0.489 11.071***
sociale vaardigheidstrainingen Moderator variabelen
Het betrekken van technologie
bij de training 38 297 F(1, 294)=3.983*
Nee (RC) 32 235 0.451 9.663***
Ja 6 62 0.690 6.266*** 0.239 1.996*
Aanwezigheid van een verschil tussen controlegroep
en behandelgroep op de pretest 28 257 F(1, 254)=3.724
Nee (RC) 24 211 0.502 9.692***
Ja 4 46 0.273 2.559* -0.229 -1.930
Type controlegroep 38 297 F(1, 293)=2.931
Geen behandeling (RC) 30 246 0.521 9.868***
Behandeling als gewoonlijk 2 19 0.597 3.099** 0.076 0.379 Alternatieve behandeling 6 32 0.228 1.905 -0.293 -2.354* Duur van de periode waarover
gemeten is (in maanden) 31 274 -0.055 -2.251* F(1, 271)=5.068*
Geslacht 36 286 -1.054 -2.015* F(1, 283)=4.06*
(het percentage mannen onder de participanten)
Het type construct dat is gemeten 38 297 F(4, 291)=2.118
Sociale vaardigheden (RC) 170 0.534 10.801*** Emotie/cognitieve vaardigheden 83 0.437 6.761*** -0.097 -1.481 Interne gedragsproblemen 13 0.410 3.669*** -0.124 -1.146 Externe gedragsproblemen 5 0.568 3.591*** 0.034 0.220 Theory of Mind 26 0.296 3.159** -0.238 -2.582* Werkzame elementen
Aandacht voor het versterken van
effecten van de training 37 288 F(1, 294)=4.453*
Nee (RC) 12 102 0.608 8.342***
Ja 25 186 0.429 8.376*** -0.183 -2.033*
#studies = aantal meegenomen studies; #ES = aantal effectwaarden; β0 = gemiddelde effectwaarde; t0 = verschil
van gemiddelde d met nul; β1 = verschil met gemiddelde effectwaarde van de referentiecategorie; t1 = verschil in
gemiddelde d met referentiecategorie; F(df1, df2)= omnibus test; (RC) = referentiecategorie.
* p < .05. ** p < .01. *** p < .001.
Publicatie bias
Om te controleren op publicatie bias is gebruik gemaakt van Egger’s methode (Egger, Smith, Schneider & Minder, 1997). Er is sprake van een asymmetrische funnelplot (z = 18.4001, p = <.0001), wat publicatie bias indiceert (zie Figuur 1). Om te controleren voor missende studies is gebruik gemaakt van de ‘trim en fill’ procedure. Nadat met deze procedure effectwaarden van deze missende studies zijn gevuld, bleek er echter nog steeds sprake van publicatie bias.
Figuur 1. Funnelplot na ‘trim en fill’ procedure.
Werkzame elementen
De werkzame elementen van trainingen zijn meegenomen als moderatoren in de analyse. Er is onderscheid gemaakt tussen vijf categorieën: (1) elementen gericht op sociale vaardigheden, (2) elementen gericht op emotie en cognitie, (3) elementen gericht op theory of mind, (4) psychofysieke elementen en (5) elementen gericht op het versterken van effecten van de training.
Enkel elementen gericht op het versterken van effecten van de training blijkt
significant (F (1, 294) = 4.453, p = > .05). Wanneer een training zich richt op het versterken van het effect van de training blijkt de effectiviteit kleiner dan wanneer een training zich hier niet op richt. Elementen gericht op sociale vaardigheden blijkt niet significant (F (1, 294) = 1.983, p = 0.16), evenals elementen gericht op emotie en cognitie (F (1, 294) = 1.464, p =
0.227), elementen gericht op theory of mind (F (1, 294) = 0.531, p = 0.467) en psychofysieke elementen (F (1, 294) = 0.006, p = 0.938).
Moderatoren
Er zijn 31 mogelijke moderatoren meegenomen in de analyse, onderverdeeld in vijf categorieën: (1) kenmerken van de studie, (2) kenmerken van de training, (3) kenmerken van het onderzoeksontwerp, (4) kenmerken van de steekproef en (5) kenmerken van de
effectwaarden. In Tabel 2 zijn het aantal studies onder de variabele ‘constructtype’ niet gerapporteerd. Het constructtype verschilt per effectwaarde en één studie rapporteert
doorgaans de effecten van meerdere constructen. Hierdoor is het aantal studies per construct niet informatief.
Kenmerken van de studie
De impact factor van het tijdschrift waarin het artikel gepubliceerd is en de kwaliteit van het artikel zijn meegenomen in de analyse als mogelijke moderator. Deze bleken beide niet significant te zijn (F (1, 288) = 0.255, p = 0.614; F (2, 293) = 1.861, p = 0.157).
Kenmerken van de training
Het betrekken van technologie in de training bleek een significante moderator te zijn (F (1, 294) = 3.983, p = > .05). Dit houdt in dat het betrekken van technologie in een training leidt tot een grotere effectiviteit van een training, in vergelijking met trainingen waarin technologie niet wordt betrokken.
De overige kenmerken van de training bleken geen significante moderatoren te zijn: de doelvaardigheden waar de training zich op richt (F (3, 292) = 0.516, p = 0.672), al dan niet aanwezige comorbiditeit van participanten (F (1, 294) = 0.363, p = 0.547), het betrekken van ouders of school bij de training (F (1, 294) = 0.234, p = 0.629; F (1, 294) = 0.484, p = 0.487), of de training plaatsvindt in een groep, individueel of beide (F (2, 279) = 0.574, p = 0.564). Het beroep van de trainers (F (5, 184) = 0.872, p = 0.501), of de trainer een training heeft ontvangen (F (1, 151) = 0.11, p = 0.74) en of de trainer onafhankelijk is (F (1, 117) = 0.056, p = 0.814) bleken tevens de effectiviteit van de training niet te modereren. Tot slot zijn het aantal trainers (F (1, 183) = 0.171, p = 0.68), het aantal sessies van de training (F (1, 291) = 0.942, p = 0.333), de duur van de sessies (F (1, 270) = 1.593, p = 0.208) en de totale duur van de training (F (1, 270) = 0.068, p = 0.795) geen significante moderatoren.
Kenmerken van het onderzoeksontwerp
Twee van de onderzochte kenmerken van het ontwerp van het onderzoek bleken significantie te benaderen. De aanwezigheid van een significant verschil in de voormeting modereert het effect van sociale vaardigheidstrainingen (F (1, 254) = 3.724, p = 0.055). Een verschil in de voormeting wil zeggen dat er een verschil in testscores of demografische gegevens is tussen de behandelgroep en de controlegroep bij aanvang van het onderzoek. Als er sprake is van een verschil in de voormeting is de effectiviteit kleiner dan wanneer er geen verschil aanwezig is. Daarnaast benadert de moderator type controlegroep significantie (F (1, 293) = 2.931, p = 0.055). Trainingen waarbij de controlegroep geen behandeling ontving lijken effectiever dan trainingen waarbij de controlegroep een alternatieve behandeling ontving.
De manier van toewijzen aan de controlegroep bleek geen significante moderator (F (4, 291) = 0.920, p = 0.452). Het totale aantal participanten (F (1, 290) = 0.665, p = 0.415), of er sprake was van ‘intent to treat’ (F (1, 260) = 0.003, p = 0.955), wie de informanten waren (F (1, 161) = 1.774, p = 0.173), of er afgeweken is van het protocol (F (1, 294) = 0.004, p = 0.950) en of participatie aan het onderzoek beloond werd (F (1, 294) = 2.608, p = 0.107) bleken tevens geen modererend effect te hebben.
Kenmerken van de steekproef
De duur van de periode waarover metingen plaatsvinden heeft een modererend effect op de effectiviteit van de training (F (1, 271) = 5.068, p = > .05). Hoe langer deze periode duurt, hoe kleiner de effectiviteit uitvalt. Het geslacht van participanten is tevens een significante moderator. Hoe hoger het percentage mannen in de steekproef, hoe kleiner de waargenomen effectiviteit van de training (F (1, 283) = 4.06, p = > .05).
De gemiddelde leeftijd van participanten bleek geen significante moderator (F (1, 273) = 0.819, p = 0.366), evenals het gemiddelde IQ van participanten (F (1, 180) = 0.817, p = 0.367), het percentage participanten met een niet-Westerse achtergrond (F (1, 144) = 0.034, p = 0.853), de duur van de training (F (1, 286) = 0.491, p = 0.484) en het percentage
aanwezigheid bij de training (F (1, 46) = 1.985, p = 0.166).
Kenmerken van de effectwaarden
Het type construct dat gemeten is blijkt een significantie te benaderen (F (4, 291) = 2.118, p = 0.079). In vergelijking met sociale vaardigheden daalt de effectiviteit wanneer de effectwaarde zich richt op emotie en cognitieve vaardigheden, interne gedragsproblemen of
vaardigheden omtrent de theory of mind. Met andere woorden, trainingen die zich richten op het construct sociale vaardigheden rapporteren een grotere effectiviteit dan trainingen gericht op emotie en cognitieve vaardigheden, interne gedragsproblemen of vaardigheden omtrent de theory of mind. Trainingen die zich richten op externe gedragsproblemen laten echter een grotere effectiviteit zien dan trainingen gericht op sociale vaardigheden. Hoe het construct gemeten is (F (3, 292) = 1.779, p = 0.151), van welke informaten gebruik is gemaakt (F (3, 291) = 1.187, p = 0.315) en of de effectwaarde een follow-up betreft (F (1, 294) = 0.046, p = 0.83) blijken geen van allen een significante moderator.
Multivariate analyse
Alle significante moderatoren zijn toegevoegd aan een multivariaat model; hiermee is de unieke bijdrage van de significante moderatoren bepaald (Tabel 3). Na de multivariate analyse bleek geen van de moderatoren meer significant (F (5, 240) = 1.3444, p = 0.246). Dit betekent dat de moderatoren samengenomen geen significante unieke bijdrage leveren aan de algemene effectiviteit.
Middels een log-likelihood-ratio-toets is wederom de variantie van het multivariaat model vastgesteld. De totale variantie binnen studies wordt voor ongeveer 10 procent verklaard door het toevoegen van meerdere moderatoren aan één model. Bij de totale variantie tussen studies ligt dit rond de 2 procent.
Tabel 3.
Resultaten van de multivariate analyse met significante moderatoren.
#studies #ES β0 to F(df1, df2)
Algemene effectiviteit 38 297 0.491 1.325* F(4, 258)=2.658*
significante moderatoren Moderator variabelen
Het betrekken van technologie
bij de training 38 297 -0.062 -0.317
Duur van de periode waarover
gemeten is (in maanden) 32 274 -0.044 -1.671
Geslacht 36 286 -0.657 -1.113
(het percentage mannen onder de participanten)
effecten van de training 37 288 0.167 1.202
#studies = aantal meegenomen studies; #ES = aantal effectwaarden; β0 = gemiddelde effectwaarde; t0 =
significantie van moderator; F(df1, df2) = omnibus test. * p < .05.
Discussie Effectiviteit van sociale vaardigheidstrainingen
In dit onderzoek is met behulp van meta-analytische technieken vastgesteld in hoeverre sociale vaardigheidstrainingen een positief effect hebben bij kinderen met autisme. Op basis van 38 artikelen en 297 effectwaarden werd er een gemiddeld positief algemeen effect gevonden. Dit wil zeggen dat sociale vaardigheidstrainingen een gemiddelde bijdrage leveren aan het verbeteren van sociale vaardigheden van kinderen met autisme, in
vergelijking met kinderen die geen training ontvangen. Dit resultaat komt overeen met
eerdere onderzoeken die tevens een positief effect vonden (Gates, Kang & Lerner, 2017; Rao, Beidel & Murray, 2008; Reichow, Volkmar & Steiner, 2012; Spain & Blainey, 2015; Wang, Parrila & Cui, 2013).
Werkzame elementen
Een tweede doel van deze meta-analyse was het bekijken van de werkzame elementen in een training. Het versterken van de effecten van de training blijkt een significante invloed te hebben op de effectiviteit van de training. Onder het versterken van effect worden
activiteiten verstaan die bijdragen aan het vergroten van het gewenste behandeleffect en het generaliseren van de effecten van de training naar situaties buiten de training. Hieronder valt onder andere het geven van huiswerk en feedback, psycho-educatie en het bekrachtigen van gewenst gedrag. Uit de analyse bleek dat trainingen die deze activiteiten opnemen een kleinere effectiviteit hebben dan trainingen die dit niet doen. Dit resultaat is verrassend, aangezien men op basis van eerder onderzoek zou verwachten dat deze elementen resulteren in een grotere effectiviteit van de training. Een meta-analyse van Deci (1999) rapporteert bijvoorbeeld dat het ontvangen van feedback zorgt voor een hogere intrinsieke motivatie. Hetzelfde geldt voor verbale bekrachtiging, zoals het krijgen van een compliment.Het maken van huiswerkopdrachten zou bijdragen aan het verbeteren van zelfregulatie. Daarnaast zou het een positieve invloed hebben op het stellen van doelen, concentratievermogen en de motivatie verhogen. Dit heeft weer invloed op betere prestaties (Ramdass & Zimmerman, 2011).
Psycho-educatie wordt tevens geassocieerd met positieve uitkomsten van een training (Patra, Arun & Chavan, 2015). Opvallend is dat huidige meta-analyse een tegenstrijdig effect heeft gevonden, namelijk dat het opnemen van dit soort activiteiten in een training juist resulteert in een kleinere effectiviteit. Dit kan mogelijk verklaard worden door de manier waarop er
gecodeerd is.
De overige elementen gericht op sociale vaardigheden, op emotie en cognitie, theory of mind en psychofysieke elementen bleken geen van allen significante invloed te hebben op de effectiviteit van de training. Op basis van deze resultaten kan er geen duidelijk werkzaam element in een training aangewezen worden.
Moderatoren
Het laatste doel van dit onderzoek was om de mogelijke moderatoren te identificeren die invloed hebben op de effectiviteit van een training. Moderator analyses wezen uit dat het betrekken van technologie in de training leidt tot een grotere effectiviteit in vergelijking met trainingen waarin technologie niet wordt betrokken. Technologie omvat het gebruik van elektronische apparaten zoals computers, televisie, dvd’s, smartphones en tablets. Het gebruik van technologie in trainingen lijkt onvermijdelijk, gezien het toenemende wereldwijde
gebruik hiervan. Technologie is tegenwoordig verweven in bijna ieders leven. Uit onderzoek blijkt dat kinderen met autisme voorkeur geven aan op technologie gebaseerde activiteiten (tv kijken, computerspelletje, etc.) boven andere sociale en vrijetijdsactiviteiten. Zij spenderen ongeveer vijf uur per dag aan dit soort activiteiten. Gezien de affiniteit van kinderen met autisme voor technologie, is het verwerken van technologie in trainingen een logische stap (Kuo et al., 2014; Mazurek et al., 2012; Odom et al., 2015).
Kinderen met autisme hebben moeilijkheden op meerdere gebieden, zelfs binnen de sociale ontwikkeling. Het is belangrijk dat zij toegang hebben tot gevarieerde trainingen die al deze moeilijkheden adresseren. Trainingen via technologie, zoals dvd’s of
computerprogramma’s, richten zich op een breed spectrum aan vaardigheden. Het wordt hiermee vergemakkelijkt om een training te kiezen die aansluit op de individuele behoeften van een kind (Odom et al., 2015). Het ontwerp van een dergelijke training vormt tevens een mogelijke verklaring voor de positieve resultaten. Trainingen via de computer zijn
gestandaardiseerd, voorspelbaar en geven het kind de kans om in zijn eigen tempo te werken. Gezien de problematiek van kinderen met autisme rondom een onvoorspelbare omgeving en sociale interactie, sluit een gecomputeriseerde training hier goed bij aan. Daarnaast zijn deze trainingen vaak visueel, wat de training begrijpelijker maakt. Een bijkomend voordeel is dat
trainingen via bijvoorbeeld televisie, computer of applicatie kosteneffectief zijn: er zijn geen trainers, ruimte of materialen nodig (Wainer & Ingersoll, 2011).
Geslacht bleek tevens een modererend effect te hebben op de effectiviteit van de training. Hoe hoger het percentage mannelijke participanten, hoe kleiner de effectiviteit van de training is. Sociale vaardigheidstrainingen lijken minder goed te werken voor jongens dan voor meisjes. Mogelijk komt dit door het verschil in hoe de symptomen van autisme tot uiting komen tussen jongens en meisjes. De prevalentie van autisme onder jongens is een stuk hoger dan bij meisjes, met een ratio van ongeveer 4:1 (Kirkovski, Enticott & Fitzgerald, 2013). Autisme bij meisjes kan moeilijker te ontdekken en te diagnosticeren zijn, vanwege het feit dat meisjes vaker hun symptomen camoufleren en zich coping strategieën aanleren. Een voorbeeld van een coping strategie is dat meisjes zich aanleren hoe ze zich moeten gedragen in sociale situaties. Ze passen zich een bepaalde rol aan en gebruiken intelligentie in plaats van emotie om te bepalen wat ze zeggen of doen. Mede door deze vaardigheden zijn meisjes met autisme vaak wel in staat een vriendschappelijke band op te bouwen, vaak met iemand waar ze zich veilig en vertrouwd bij voelen (Attwood, 2007).
Een ander verschil tussen jongens en meisjes met autisme zit in samenspel en
spelgedrag. Meisjes laten adequater spelgedrag en fantasiespel zien dan jongens met autisme. Dit komt mogelijk doordat meisjes een grotere interesse tonen in sociale situaties en sociale interacties. Ze observeren gedragingen van anderen in sociale interacties en imiteren dit in hun eigen spel (Kirkovski, Enticott & Fitzgerald, 2013). Daarnaast bestaat het vermoeden dat meisjes beter in staat zijn om gedragingen als imitatie, echolalie (het herhalen van woorden of zinnen) en afhankelijkheid van anderen te laten zien, waardoor het lijkt alsof meisjes beter zijn in sociaal spelgedrag (Kopp & Gillberg, 1992).
Het resultaat dat sociale vaardigheidstrainingen voor jongens minder goed lijken te werken moet echter met voorzichtigheid geïnterpreteerd worden. De meerderheid van de geïncludeerde studies maakten gebruik van homogene groepen, waarin de participanten meestal volledig of bijna volledig uit jongens bestaan. Om met meer zekerheid een uitspraak te kunnen doen over of jongens daadwerkelijk minder profiteren van sociale
vaardigheidstrainingen, zouden er meer studies met een homogene groep vrouwelijke participanten geïncludeerd moeten worden.
Tenslotte bleek de periode waarover de metingen in een onderzoek plaatsvinden een significante moderator. Met elke maand die deze periode langer duurt, neemt de effectiviteit van de training af. In de periode na het einde van een training kan de omgeving van het kind contraproductief werken. Er kunnen zich bijvoorbeeld obstakels voordoen waardoor de
geboekte vooruitgang door de training teniet worden gedaan, of de omgeving kan simpelweg niet bieden wat het kind nodig heeft om de positieve resultaten vast te houden (Martin, 2010). De resultaten van de training kunnen hierdoor in de periode na de training uitdoven. Dit betekent dat de laatste metingen in dit onderzoek mogelijk plaatsvinden een lange tijd nadat de training is afgesloten. Dit kan verklaren waarom de effectiviteit van trainingen die langer duren kleiner wordt.
De overige kenmerken van de studie, de training, het ontwerp van het onderzoek, de steekproef en effectwaarden bleken geen significant modererend effect te hebben. Opvallend is dat huidige meta-analyse geen significant effect heeft gevonden voor het betrekken van ouders bij de training. Een literatuuroverzicht van Levy, Kim en Olive (2006) beschrijft dat het betrekken van ouders bij de training zorgt voor significant betere resultaten, dan wanneer ouders niet betrokken worden. Wanneer ouders betrokken worden bij de training, door bijvoorbeeld het ontvangen van psycho-educatie, ervaren zij minder stress in de opvoeding. Daarnaast krijgen zij handvatten aangereikt en zijn zo beter uitgerust om hun kind te
ondersteunen. Dit zorgt onder andere voor een betere generalisatie van de geleerde
vaardigheden in de training (Patra, Arun & Chavan, 2015). Huidige meta-analyse heeft echter geen significant effect gevonden voor het betrekken van ouders bij de training.
Beperkingen van het onderzoek
Er zijn een aantal beperkingen van dit onderzoek te noemen. Ten eerste is bij het interpreteren van de invloed van de moderator ‘technologie’ voorzichtigheid geboden. Er zit een groot verschil in de grootte van de vergeleken groepen. Bij de moderator ‘technologie’ zijn 32 studies meegenomen die geen technologie betrokken bij de training, tegenover zes studies die dit wel deden. Dit verschil geeft mogelijk een vertekend beeld van de resultaten. Dit is tevens het geval bij het werkzame element ‘versterken van de effecten’, waarbij 25 studies aandacht besteedden aan het versterken van de effecten van de training, tegen 12 studies die dit niet deden.
Ten tweede is er sprake van publicatie bias. Zelfs na het controleren door middel van een ‘trim en fill’ procedure blijft er sprake van deze bias. Dit betekent dat er vooral studies zijn opgenomen die een significant of positief resultaat beschrijven. De algemene
effectwaarde kan hierdoor hoger uitvallen dan het geval zou zijn wanneer alle relevante studies gepubliceerd zouden zijn. De werkelijke effectiviteit van sociale
meegenomen in dit onderzoek vormen daarnaast geen goede representatie van alle studies die over dit onderwerp zijn uitgevoerd (Rosenthal & Steinberg, 1995).
Een grote meerderheid van de geïncludeerde studies hebben daarnaast een
‘randomized controlled trial’ (RCT) onderzoeksontwerp. In een RCT wordt de werkzaamheid van een behandeling getest tussen een behandelgroep en een controlegroep in een
gecontroleerde omgeving. Een beperking van dit onderzoeksontwerp is dat het gebruik maakt van zorgvuldig geselecteerde participanten en clinici, en van een gecontroleerde labsetting. Hierdoor wordt de ecologische validiteit van het onderzoek aangetast. De resultaten zijn mogelijk moeilijk te vertalen naar de praktijk, waar andere omstandigheden gelden dan in een gecontroleerde labsetting (Smith et al., 2007).
Ten slotte zijn de werkzame elementen in deze studie breed en oppervlakkig gecodeerd in vijf elementen. Deze elementen vormen vooral een overkoepeling aan
categorieën waar specifieke technieken op zijn gericht. Het element ‘versterken van effecten van de training’ bestaat bijvoorbeeld onder andere uit psycho-educatie, bekrachtiging van gewenst gedrag en het geven van feedback en huiswerk. Als een van deze technieken in een training aanwezig was, is het element ‘versterken van effecten’ als ‘aanwezig’ gecodeerd. De invloed van de concrete technieken worden hiermee op één stapel gegooid, waardoor er weinig gezegd kan worden over de individuele invloed en werkzaamheid van de technieken apart. Daarnaast is het mogelijk dat technieken elkaar opheffen. Het werkzame element dat zich richt op het uitvoeren van sociale vaardigheden omvat bijvoorbeeld zowel activiteiten gericht op samenwerken, non-verbale communicatie en gespreksvaardigheden, als activiteiten gericht op het maken en onderhouden van vriendschappen. Activiteiten gericht op
non-verbale communicatie zouden goed kunnen werken en bijdragen aan de effectiviteit, terwijl activiteiten gericht op het maken en onderhouden van vriendschappen juist contraproductief werken. De huidige resultaten suggereren dat het element geen significante invloed heeft, terwijl sommige technieken binnen het element mogelijk wel degelijk van invloed zijn op de effectiviteit van de training.
Aanbevelingen en conclusie
Uit huidige meta-analyse blijkt dat hoe langer de totale meetperiode duurt, hoe kleiner de effectiviteit van de training is. De effecten van de training verdwijnen vaak langzaam in de periode na de training, waardoor er bij een follow-up nog maar kleine effecten gemeten worden. Om dit te voorkomen adviseert Martin (2010) om gebruik te maken van ondersteuning die na de training nog doorloopt. Dit kan bijvoorbeeld in de vorm van
steungroepen, adviesgesprekken of een plan van aanpak. Deze activiteiten zouden moeten voorkomen dat de effecten uitdoven na afloop van de training. Om zich te verzekeren van lange termijneffecten, wordt geadviseerd dat trainingen dit soort activiteiten opnemen in het trainingsprogramma.
Daarnaast blijkt het betrekken van technologie positieve resultaten te hebben. Zoals eerder genoemd zijn het aantal onderzoeken in deze meta-analyse echter te ongelijk verdeeld om hier een goede vergelijking mee te maken. Om de daadwerkelijke invloed van technologie vast te kunnen stellen is het daarom raadzaam dit verder te onderzoeken met een evenredig aantal onderzoeken die al dan niet gebruik maken van technologie in de training. In huidige meta-analyse strekt technologie zich vooral uit naar computerprogramma’s en dvd’s. Met de huidige technische ontwikkelingen zou het interessant zijn om tevens de invloed van
bijvoorbeeld applicaties op een smartphone of tablet te onderzoeken.
Geslacht komt tevens naar voren als significante moderator. De rol van geslacht is echter nog weinig onderzocht als mogelijke moderator. Dit is onder andere te wijten aan de voornamelijk mannelijke participanten in onderzoeken naar trainingen voor kinderen met autisme. Dit is vermoedelijk een gevolg van het feit dat autisme meer voorkomt onder jongens dan meisjes. Hoe autisme tot uiting komt verschilt mogelijk tussen jongens en meisjes. Kirkovski (2013) suggereert dat meisjes een verschillend fenotype van autisme laten zien, dat mogelijk moeilijker te diagnosticeren is met huidige diagnostische instrumenten. Dit zou kunnen betekenen dat het aantal meisjes met autisme onder gediagnosticeerd is. Er zal meer onderzoek gedaan moeten worden naar hoe autisme zich uit bij meisjes. Attwood (2007) beschrijft dat meisjes vaker hun symptomen camoufleren en coping strategieën ontwikkelen om zich op sociaal gebied te redden. Mogelijk hebben meisjes hierdoor andere behoeften in een sociale vaardigheidstraining dan jongens. Om vast te stellen of de effectiviteit van een training verschilt voor jongens of meisjes zou onderzoek verricht moeten worden met een evenredig aantal mannelijke en vrouwelijke participanten. Het grote verschil tussen mannelijke en vrouwelijke participanten in huidige meta-analyse maakt het lastig een betrouwbare vergelijking te maken.
Een laatste aanbeveling betreft het coderen van de werkzame elementen. Zoals eerder al benoemd, zijn deze in een brede categorie gecodeerd. Voor vervolgonderzoek wordt geadviseerd de werkzame elementen meer los van elkaar en specifiek te coderen. Dit kan zorgen voor meer inzicht in welke specifieke technieken bijdragen aan de effectiviteit van een training.
Al met al bevestigt deze meta-analyse de positieve effecten van sociale vaardigheidstrainingen bij kinderen met autisme. Een klein aantal moderatoren bleek
significant: het geslacht van de participanten, het betrekken van technologie en de lengte van de meetperiode. De meta-analyse biedt belangrijke aanknopingspunten voor toekomstig onderzoek naar werkzame elementen.
Referenties
Referenties gemarkeerd met een asterix zijn gecodeerd en geanalyseerd in de meta-analyse. Attwood, T. (2007). The complete guide to asperger’s syndrome. London: Jessica Kingsley
Publishers.
* Abely Richard, D., More, W. & Joy, S. (2015). Recognizing Emotions: Testing an Intervention for Children With Autism Spectrum Disorders. Art Therapy, 32(1), 13-19.
* Adibsereshki, N., Nesayan, A., Asadi Gandomani, R. & Karimlou, M. (2015). The
Effectiveness of Theory of Mind Training on the Social Kkills of Children with High Functioning Autism Spectrum Disorders. Iranian Journal of Child Neurology, 9(3), 40-49.
American Psychiatric Association (2014). Beknopt overzicht van de criteria DSM-5. Amsterdam: Uitgeverij Boom.
* Baghdadli, Brisot, Henry, Michelon, Soussana, Rattaz, & Picot. (2013). Social Skills Improvement in Children with High-functioning Autism: A Pilot Randomized Controlled Trial. European Child & Adolescent Psychiatry, 22(7), 433-442. Bauminger & Nirit. (2007). Brief Report: Individual Social-Multi-Modal Intervention for
HFASD. Journal of Autism and Developmental Disorders, 37(8), 1593-1604. * Beaumont, R. & Sofronoff, K. (2008). A Multi-Component Social Skills Intervention for
Children with Asperger Syndrome: The Junior Detective Training Program. Journal of
Child Psychology and Psychiatry, 49(7), 743-753.
* Begeer, S., Gevers, C., Clifford, P., Verhoeve, M., Kat, K., Hoddenbach, E. & Boer, F. (2011). Theory of Mind Training in Children with Autism: A Randomized Controlled Trial. Journal of Autism and Developmental Disorders, 41(8), 997-1006.
* Begeer, S., Howlin, P., Hoddenbach, E., Clauser, C., Lindauer, R., Clifford, P., Gevers, C., Boer, F. & Koot, H. (2015). Effects and Moderators of a Short Theory of Mind Intervention for Children with Autism Spectrum Disorder: A Randomized Controlled Trial. Autism Research, 8(6), 738-748.
* Castorina, L. L., & Negri, L. M. (2011). The Inclusion of Siblings in Social Skills Training Groups for Boys with Asperger Syndrome. Journal of Autism and Developmental
Disorders, 41(1), 73-81.
Chorpita, B. F. & Daleiden, E. L. (2009). Mapping Evidence-Based Treatments for Children and Adolescents: Application of the Distillation and Matching Model to 615
Treatments from 322 Randomized Trials. Journal of Consulting and Clinical
Psychology, 77(3), 566-579.
Church, C., Alisanski, S. & Amanullah, S. (2000). The Social, Behavioral, and Academic Experiences of Children with Asperger Syndrome. Focus on Autism and Other
Developmental Disabilities, 15, 12-20.
Cohen, J. (1988). Statistical power analysis for the behavioural sciences. New York: Academic Press.
Cohen, J., & Steinberg, R. J. (1992). A Power Primer. Psychological Bulletin, 112(1), 155-159.
* Corbett, B. A., Key, A. P., Qualls, L., Fecteau, S., Newsom, C., Coke, C. & Yoder, P. (2016). Improvement in Social Competence Using a Randomized Trial of a Theatre Intervention for Children with Autism Spectrum Disorder. Journal of Autism and
Developmental Disorders, 46(2), 658-672.
Crick, N., Dodge, K. & Steinberg, R. J. (1994). A Review and Reformulation of Social Information-Processing Mechanisms in Children’s Social Adjustment. Psychological
Bulletin, 115(1), 74-101.
Deci, E., Koestner, R., Ryan, R. & Eisenberg, N. (1999). A Meta-Analytic Review of Experiments Examining the Effects of Extrinsic Rewards on Intrinsic
Motivation. Psychological Bulletin, 125(6), 627-668.
* DeRosier, M. E., Swick, D. C., Ornstein Davis, N., Sturtz McMillen, J. & Matthews, R. (2011). The Efficacy of a Social Skills Group Intervention for Improving Social Behaviors in Children with High Functioning Autism Spectrum Disorders. Journal of
Autism and Developmental Disorders, 41(8), 1033-1043.
* Dolan, B. K., van Hecke, A. V., Carson, A. M., Karst, J. S., Stevens, S., Schohl, K. A., Potts, S., Kahne, J., Linneman, L., Remmel, R. & Hummel, E. (2016). Brief Report: Assessment of Intervention Effects on in Vivo Peer Interactions in Adolescents with Autism Spectrum Disorder (ASD). Journal of Autism and Developmental Disorders,
46(6), 2251-2259.
Durlak, J. & Lipsey, M. (1991). A Practitioner's Guide to Meta‐analysis. American Journal of
Community Psychology, 19(3), 291-332.
Duval, S. & Tweedie, R. (2000). Trim and Fill: A Simple Funnel‐Plot–Based Method of Testing and Adjusting for Publication Bias in Meta‐Analysis. Biometrics, 56(2), 455-463.
Egger, M., Davey Smith, G., Schneider, M. & Minder, C. E. (1997). Bias in Meta-analysis Detected by a Simple, Graphical Test. British Medical Journal, 315(7129), 629–634. * Frankel, F., Myatt, R., Sugar, C., Whitham, C., Gorospe, C. M. & Laugeson, E. (2010). A
Randomized Controlled Study of Parent-Assisted Children's Friendship Training with Children Having Autism Spectrum Disorders. Journal of Autism and Developmental
Disorders, 40(7), 827-842.
Gates, Kang, & Lerner. (2017). Efficacy of Group Social Skills Interventions for Youth with Autism Spectrum Disorder: A Systematic Review and Meta-analysis. Clinical
Psychology Review, 52, 164-181
* Golan, O., Ashwin, E., Granader, Y., McClintock, S., Day, Ka., Leggett, V. & Baron-Cohen, S. (2010). Enhancing Emotion Recognition in Children with Autism Spectrum Conditions: An Intervention Using Animated Vehicles with Real Emotional Faces.
Journal of Autism and Developmental Disorders, 40(3), 269-279.
* Golzari, F., Hemati Alamdarloo, G. & Moradi, S. (2015). The Effect of a Social Stories Intervention on the Social Skills of Male Students With Autism Spectrum Disorder.
SAGE Open, 5(4), 1-8.
Grynszpan, O., Weiss, P. L., Perez-Diaz, F. & Gal, E. (2014). Innovative Technology-Based Interventions for Autism Spectrum Disorders: A Meta-Analysis. Autism: The
International Journal of Research and Practice, 18(4), 346-361.
* Guli, Semrud-Clikeman, Lerner, & Britton. (2013). Social Competence Intervention Program (SCIP): A pilot study of a creative drama program for youth with social difficulties. The Arts in Psychotherapy, 40(1), 37-44.
* Hopkins, I., Gower, M., Perez, M., Smith, W., Amthor, T., Casey Wimsatt, A. & Biasini, D. (2011). Avatar Assistant: Improving Social Skills in Students with an ASD Through a Computer-Based Intervention. Journal of Autism and Developmental Disorders,
41(11), 1543-1555.
Kaat, & Lecavalier. (2014). Group-based Social Skills Treatment: A Methodological Review.
Research in Autism Spectrum Disorders, 8(1), 15-24.
* Kasari, C., Rotheram-Fuller, E., Locke, J. & Gulsrud, A. (2012). Making the Connection: Randomized Controlled Trial of Social Skills at School for Children with Autism Spectrum Disorders. Journal of Child Psychology and Psychiatry, 53(4), 431-439. Kirkovski, M., Enticott, P.G. & Fitzgerald, P.B. (2013). A Review of the Role of Female
Gender in Autism Spectrum Disorders. Journal of Autism and Developmental
* Koning, Magill-Evans, Volden, & Dick. (2013). Efficacy of cognitive behavior therapy-based social skills intervention for school-aged boys with autism spectrum disorders.
Research in Autism Spectrum Disorders, 7(10), 1282-1290.
Kopp, S., & Gillberg, C. (1992). Girls with Social Deficits and Learning Problems: Autism, Atypical Asperger Syndrome or a Variant of these Conditions. European Child and
Adolescent Psychiatry, 1(2), 89–99.
Kuo, M., Orsmond, G., Coster, W. & Cohn, E. (2014). Media Use Among Adolescents with Autism Spectrum Disorder. Autism, 18(8), 914-923.
* Laugeson, E. A., Ellingsen, R., Sanderson, J., Tucci, L. & Bates, S. (2014). The ABC's of Teaching Social Skills to Adolescents with Autism Spectrum Disorder in the
Classroom: The UCLA "PEERS®" Program. Journal of Autism and Developmental
Disorders, 44(9), 2244-2256.
* Laugeson, E. A., Frankel, F., Mogil, C. & Dillon, A. R. (2009). Parent-Assisted Social Skills Training to Improve Friendships in Teens with Autism Spectrum Disorders.
Journal of Autism and Developmental Disorders, 39(4), 596-606.
* LeGoff, D. B. (2004). Use of LEGO(c) as a Therapeutic Medium for Improving Social Competence.(children focused on individual and group play). Journal of Autism and
Developmental Disorders, 34(5), 557.
* Legoff, D. B., & Sherman, M. (2006). Long-Term Outcome of Social Skills Intervention Based on Interactive LEGO[C] Play. Autism: The International Journal of Research &
Practice, 10(4), 317-329.
Levy, S., Kim, A. & Olive, M. L. (2006). Interventions for Young Children with Autism: A Synthesis of the Literature. Focus on Autism and Other Developmental
Disabilities, 21(1), 55-62.
* Lopata, C., Thomeer, M. L., Volker, M. A., Toomey, J. A., Nida, R. E., Lee, G. K.,
Smerbeck, A. M. & Rodgers, J. D. (2010). RCT of a Manualized Social Treatment for High-Functioning Autism Spectrum Disorders. Journal of Autism and Developmental
Disorders, 40(11), 1297-1310.
Martin, H. J. (2010). Improving Training Impact Trough Effective Follow-Up: Techniques and their Application. Journal of Management Development, 29(6), pp. 520-534. Mazurek, M. O., Shattuck, P. T., Wagner, M. & Cooper, B. P. (2012). Prevalence and
Correlates of Screen-Based Media Use among Youths with Autism Spectrum Disorders. Journal of Autism and Developmental Disorders, 42(8), 1757-1767.
Odom, S. L., Thompson, J. L., Hedges, S., Boyd, B. A., Dykstra, J. R., Duda, M. A., Szidon, K. L., Smith, L. E. & Bord, A. (2015). Technology-Aided Interventions and
Instruction for Adolescents with Autism Spectrum Disorder. Journal of Autism and
Developmental Disorders, 45(12), 3805-3819.
Orsmond, G.I., Krauss, M.W. & Seltzer, M.M. (2004). Peer Relationships and Social and Recreational Activities among Adolescents and Adults with Autism. Journal of Autism
and Developmental Disorders, 34, 245-256
* Owens, G., Granader, Y., Humphrey, A. & Baron-Cohen, S. (2008). LEGO[R] Therapy and the Social Use of Language Programme: An Evaluation of Two Social Skills
Interventions for Children with High Functioning Autism and Asperger Syndrome.
Journal of Autism and Developmental Disorders, 38(10), 1944-1957.
* Ozonoff, S. & Miller, J. (1995). Teaching Theory of Mind: A New Approach to Social Skills Training for Individuals with Autism. Journal of Autism and Developmental
Disorders, 25(4), 415-433.
Ozonoff, S., Pennington, B.F. & Rogers, S.J. (1990). Are there Emotion Perception Deficits in Young Autistic Children? Journal of Child Psychology and Psychiatry and Allies
Disciplines, 31, 343-361.
* Pahnke, J., Lundgren, T., Hursti, T. & Hirvikoski, T. (2014). Outcomes of an Acceptance and Commitment Therapy-Based Skills Training Group for Students with High-Functioning Autism Spectrum Disorder: A Quasi-Experimental Pilot Study. Autism:
The International Journal of Research and Practice, 18(8), 953-964.
Patra, S., Arun, P., & Chavan, B. S. (2015). Impact of Psychoeducation Intervention Module on Parents of Children with Autism Spectrum Disorders: A Preliminary
Study. Journal of Neurosciences in Rural Practice, 6(4), 529–535.
Ramdass, D., & Zimmerman, B. (2011). Developing Self-Regulation Skills: The Important Role of Homework. Journal of Advanced Academics, 22(2), 194-218.
Rao, P., Beidel, A., & Murray, D. (2008). Social Skills Interventions for Children with
Asperger’s Syndrome or High-Functioning Autism: A Review and Recommendations.
Journal of Autism and Developmental Disorders, 38(2), 353-361.
* Ratcliffe, Wong, Dossetor, & Hayes. (2014). Teaching Social–emotional Skills to School-aged Children with Autism Spectrum Disorder: A Treatment versus Control trial in 41 Mainstream Schools. Research in Autism Spectrum Disorders, 8(12), 1722-1733.
Rehfeldt, R.A., Dillen, J. E., Ziomek, M.M. & Kowalchuk, R.E. (2007). Assessing Relational Learning Deficits in Perspective-taking in Children with High Functioning Autism Spectrum Disorder. Psychological Record, 57, 23-47.
Reichow, B. & Volkmar, F. R. (2010). Social Skills Interventions for Individuals with Autism: Evaluation for Evidence-Based Practices within a Best Evidence Synthesis Framework. Journal of Autism and Developmental Disorders, 40(2), 149-166.
Reichow, B., Steiner, A., & Volkmar, F. (2012). Social Skills Groups for people aged 6 to 21 with Autism Spectrum Disorders (ASD). Cochrane Database Of Systematic Reviews, (7).
* Rice, L. M., Wall, C. A., Fogel, A. & Shic, F. (2015). Computer-Assisted Face Processing Instruction Improves Emotion Recognition, Mentalizing, and Social Skills in Students with ASD. Journal of Autism and Developmental Disorders, 45(7), 2176-2186. * Rodgers, J., Thomeer, D., Lopata, M., Volker, L., Lee, C., McDonald, M., Smith, R. A. &
Biscotto, A. A. (2015). RCT of a Psychosocial Treatment for Children with High-Functioning ASD: Supplemental Analyses of Treatment Effects on Facial Emotion Encoding. Journal of Developmental and Physical Disabilities, 27(2), 207-221. * Roeyers, H. (1996). The Influence of Nonhandicapped Peers on the Social Interactions of
Children with a Pervasive Developmental Disorder. Journal of Autism and
Developmental Disorders, 26(3), 303-320.
Rosenthal, R. & Steinberg, R. J. (1995). Writing Meta-Analytic Reviews. Psychological
Bulletin, 118(2), 183-192.
* Scarpa, A. & Reyes, N. (2011). Improving Emotion Regulation with CBT in Young Children with High Functioning Autism Spectrum Disorders: A Pilot Study.
Behavioural and Cognitive Psychotherapy, 39(4), 495-500.
* Schohl, K. A., van Hecke, A. V., Carson Meyer, A., Dolan, B., Karst, J. & Stevens, S. (2014). A Replication and Extension of the PEERS Intervention: Examining Effects on Social Skills and Social Anxiety in Adolescents with Autism Spectrum Disorders.
Journal of Autism and Developmental Disorders, 44(3), 532-545.
* Sheridan Mitchell, E., Mrug, S., Patterson, C. S., Bailey, K. J. & Hodgens, B. J. (2015). Summer Treatment Program Improves Behavior of Children with High-Functioning Autism Spectrum Disorder. Journal of Autism and Developmental Disorders, 45(8), 2295-2310.
Smith, T., Scahill, L., Dawson, G., Guthrie, D., Lord, C., Odom, S., Rogers, S. & Wagner, A. (2007). Designing Research Studies on Psychosocial Interventions in Autism. Journal
of Autism and Developmental Disorders, 37(2), 354-366.
* Soorya, Siper, Beck, Soffes, Halpern, Gorenstein, Kolevzon, Buxbaum & Wang. (2015). Randomized Comparative Trial of a Social Cognitive Skills Group for Children With Autism Spectrum Disorder. Journal of the American Academy of Child & Adolescent
Psychiatry, 54(3), 208-216.e1.
* Silver, M. & Oakes, P. (2001). Evaluation of a New Computer Intervention To Teach People with Autism or Asperger Syndrome To Recognize and Predict Emotions in Others. Autism: The International Journal of Research and Practice, 5(3), 299-316. Spain, D. & Blainey, S. H. (2015). Group Social Skills Interventions for Adults with
High-Functioning Autism Spectrum Disorders: A Systematic Review. Autism: The
International Journal of Research and Practice, 19(7), 874-886.
Spence, S. (2003). Social Skills Training with Children and Young People: Theory, Evidence and Practice. Child and Adolescent Mental Health, 8(2), 84-96.
* Thomeer, M. L., Lopata, C., Volker, M. A., Toomey, J. A., Lee, G. K., Smerbeck, A. M., Rodgers, J. D., McDonald, C. A. & Smith, R. A. (2012). Randomized Clinical Trial Replication of a Psychosocial Treatment for Children with High-Functioning Autism Spectrum Disorders. Psychology in the Schools, 49(10), 942-954.
Volkmar, F.R. (1987). Social development. In Cohen, D. J., Donnellan, A. M. & Paul, R. (Eds.), Handbook of autism and pervasive developmental disorder (41-60). New York: Wiley.
Wainer, A. L. & Ingersoll, B. R. (2011). The Use of Innovative Computer Technology for Teaching Social Communication to Individuals with Autism Spectrum
Disorders. Research in Autism Spectrum Disorders, 5(1), 96-107.
Wang, Shin-Yi, Parrila, Rauno & Cui, Ying. (2013). Meta-Analysis of Social Skills Interventions of Single-Case Research for Individuals with Autism Spectrum Disorders: Results from Three-Level HLM. Journal of Autism and Developmental Disorders, 43(7), 1701-1716.
* Waugh, C. & Peskin, J. (2015). Improving the Social Skills of Children with HFASD: An Intervention Study. Journal of Autism and Developmental Disorders, 45(9), 2961-2980.
White, S. W. & Roberson-Nay, R. (2009). Autism, Social Deficits, and Loneliness in Youth with Autism Spectrum Disorders. Journal of Autism and Developmental Disorders, 39, 1006-1013.
* White, S., Ollendick, W., Albano, T., Oswald, A., Johnson, M., Southam-Gerow, D., Inhyoung, K. & Scahill, M. (2013). Randomized Controlled Trial: Multimodal
Anxiety and Social Skill Intervention for Adolescents with Autism Spectrum Disorder. Journal of Autism and Developmental Disorders, 43(2), 382-394.
Wibbelink, C. & Assink, M. (2015). Handleiding voor het uitvoeren van een drie-level meta-analyse in R.
* Williams, B. T., Gray, K. M. & Tonge, B. J. (2012). Teaching Emotion Recognition Skills to Young Children with Autism: A Randomised Controlled Trial of an Emotion Training Programme. Journal of Child Psychology and Psychiatry, 53(12), 1268-1276.
* Yoo, H., Bahn, G., Cho, I., Kim, E., Kim, Joo‐Hyun, Min, J., Lee, W., Seo, J., Jun, S., Bong, G., Cho, S., Shin, M., Kim, B., Kim, J., Park, S. & Laugeson, E. A. (2014). A Randomized Controlled Trial of the Korean Version of the PEERS ® Parent‐Assisted Social Skills Training Program for Teens With ASD. Autism Research, 7(1), 145-161.
