Voorspellers van uitval en vooruitgang bij een computergame voor het trainen van executive functies

Voorspellers van Uitval en Vooruitgang bij een Computergame

voor het Trainen van Executive Functies

Sophia Kaatee

Studentnummer: 6064485

Begeleider: Marieke de Vries

Tweede beoordelaar: Annemie Ploeger

10 april 2014

140 woorden abstract

Abstract

In dit onderzoek worden executieve functies (cognitieve flexibiliteit of werkgeheugen) getraind door middel van een computergame bij kinderen tussen 8 en 12 jaar met een Autisme

Spectrum stoornis (ASS). Deze functies zijn bij kinderen met ASS minder goed ontwikkeld. Het doel van de training is dat deze zal zorgen voor verbetering van de getrainde executieve functies en zal generaliseren naar andere gebieden van EF zoals inhibitie. Uit verschillende onderzoeken blijkt dat uitval een groot probleem is binnen de psychologische interventies. In dit overzicht wordt onderzocht of intelligentie, de mate van gedragsproblemen en de mate van

ASS kenmerken, voorspellers zijn voor uitval en vooruitgang op de training. Zowel de deelnemers in de experimentele condities als de deelnemers in de controle conditie laten na de

training en verbetering zien op EF. Bovendien blijkt intelligentie de vooruitgang op de training in de werkgeheugen conditie te voorspellen.

Executieve functies (EF) zijn hogere hersenfuncties die ervoor zorgen dat kinderen doelgericht en planmatig gedrag kunnen laten zien. Dit systeem komt tijdens de kindertijd steeds meer tot ontwikkeling. Functies die onder dit systeem vallen, zijn onder andere het werkgeheugen. Hieronder verstaan we dat deel van het geheugen waarin informatie voor een korte tijd wordt verwerkt. Ook inhibitie, het vermogen om responsen te onderdrukken, en cognitieve flexibiliteit, het tijdig aanpassen van het gedrag aan een veranderende omgeving, zijn voorbeelden van executieve functies (Anderson, Northam, Hendy & Wrennall, 2001).

Beperkingen in executief functioneren lijkt samen te hangen met een scala aan stoornissen en problematiek. Onder andere gedragsproblemen, het veelvuldig vertonen van ongewenst gedrag, lijken samen te gaan met een verminderd niveau van EF (Barkley, 2006).

Dit is bijvoorbeeld het geval bij kinderen met Attention Deficit Hyperactivity Disorder (ADHD). Kinderen met ADHD hebben meer problemen in vergelijking met andere kinderen op het gebied van aandacht, hyperactiviteit en impulsiviteit. Volgens een recente opvatting wordt het probleemgedrag van kinderen met ADHD veroorzaakt door een verstoring in EF (Barkley, 2006). Ook kinderen met een autisme spectrum stoornis (ASS) blijken regelmatig problemen te ondervinden op het gebied van EF. ASS is een aangeboren ontwikkelingsstoornis die zich kenmerkt door een triade van tekorten: Een tekort in de sociale interactie, een tekort in de communicatie, en het vertonen van stereotype gedragspatronen. Tekorten in het executief functioneren werd zowel bij volwassenen als bij kinderen aangetoond (Prins & Braet, 2008).

Er is steeds meer onderzoek dat suggereert dat EF’s ook gerelateerd zijn aan intelligentie. Dit is het geheel van cognitieve vaardigheden die iemand in meer of mindere mate bezit. Het lijkt echter zo te zijn dat intelligentie niet op elke executieve functie dezelfde invloed uitoefent. Zo blijkt uit onderzoek naar de relatie tussen intelligentie en drie verschillende EF’s bijvoorbeeld dat het werkgeheugen hoog correleert met intelligentie niveau, terwijl cognitieve flexibiliteit en inhibitie niet correleren met intelligentie niveau (Friedman et al., 2006).

Steeds meer zaken in het dagelijks leven kunnen digitaal worden geregeld. Deze ontwikkeling zien we ook terug in de gezondheidszorg. Online contact tussen cliënt en professional en trainingen die cliënten thuis op de computer kunnen uitvoeren, nemen een steeds prominentere plaats in in het zorgaanbod. Ook voor kinderen lijkt therapie of training in de vorm van een computerprogramma effectief: Al eerder bleek dat het trainen van executieve functies door middel van computerprogramma´s een vermindering in probleemgedrag kan opleveren bij kinderen met ADHD. Na het volgen van deze digitale training, bleken de kinderen met ADHD niet alleen vooruitgang te vertonen op de getrainde executieve functie, maar generaliseerde de training ook naar andere gebieden van functioneren, namelijk inhibitie, aandacht en redeneren (Klingberg et al., 2005).

Deels gebaseerd op de resultaten van Klingberg en collega´s, is er een executieve functietraining ontwikkeld. Omdat dit soort trainingen voor kinderen vaak moeilijk vol te houden zijn, heeft deze training de vorm gekregen van een computerspel (Braingame Brian) (ten Brink, Ponsioen, van der Oord & Prins, 2011) waarin drie EF’s worden getraind: Het werkgeheugen, de cognitieve flexibiliteit en inhibitie. Vervolgens is deze training onder een groep kinderen met de diagnose ADHD getest op effectiviteit. Uit de resultaten bleek dat de prestatie op alle drie de executieve functie taken significant verbeterde. Ook rapporteerden ouders van kinderen minder probleemgedrag op verschillende vragenlijsten, nadat kinderen de training hadden gevolgd (ten Brink et al., 2011).

Braingame Brian is dus in eerste instantie ontwikkeld als EF training voor kinderen met ADHD. Omdat bij kinderen met ASS ook tekorten in het executief functioneren worden aangetoond, lijkt het aannemelijk dat Braingame Brian ook voor deze klinische populatie een effectieve interventie kan zijn. In het huidige onderzoek worden het werkgeheugen en de cognitieve flexibiliteit getraind, omdat blijkt dat dit de EF’s zijn waar kinderen met ASS problemen mee ervaren (Williams, Goldstem, Carpenter & Minshew, 2005; Kleinhans, Akshoomoff & Delis, 2005). Anders dan in het onderzoek van ten Brink en collega’s, wordt in deze studie inhibitie niet getraind.

In het onderzoek van ten Brink et al. (2011) naar de effectiviteit van Braingame Brian op de executieve functies van kinderen met ADHD, was slechts 25% van de deelnemende kinderen in staat om de training zelfstandig te voltooien. Bij veel psychologische interventies vormt uitval een groot probleem (Bados, Balaguer & Saldaña, 2007). Recente studies rapporteren uitval percentages van 35% tot 55% (Barkham et al., 2006; Berghofer, Schmidl, Rudas, Steiner & Schmitz, 2002).

voortijdig stoppen met therapie ook minder goed presteren op school en zowel op individueel niveau als in de thuissituatie, als in de maatschappij minder goed functioneren (Robbins, Liddle, Turner, Dakof & Alexander, 2006). In het huidige onderzoek zal daarom worden bekeken of het intelligentieniveau, de mate van gedragsproblemen en de mate van ASS kenmerken, het verloop van de training kunnen voorspellen.

Er is weinig onderzoek gedaan naar de effecten van intelligentieniveau op therapie uitkomst. De resultaten die er zijn, suggereren verschillende effecten van intelligentie op therapie uitkomst. In onderzoek van Haaga, Derubeis, Stewart & Beck (1991) naar de effecten van intelligentie op cognitieve therapie uitkomst, werd geen significant effect gevonden. Er is echter ook onderzoek waarvan de resultaten wel degelijk een effect van intelligentie op therapie uitkomst suggereren (Rizvi, Vogt & Resick, 2009). Uit dit onderzoek naar cognitieve en affectieve voorspellers van therapie uitkomst blijkt dat lagere intelligentie samenhangt met voortijdige therapie uitval.

Uiteraard zijn er meerdere maten die samenhangen met het voltooien van aangelegenheden zoals interventies en school. Zo blijkt uit prospectief en longitudinaal onderzoek de mate van gedragsproblemen samen te hangen met het vroegtijdig verlaten van school (Egeland, Sroufe & Carlson, 2000). Bovendien voorspellen gedragsproblemen niet alleen het afmaken van school, maar ook de prestaties: Kinderen met gedragsproblemen presteren minder goed op school (Ansary & Luthar, 2009).

Ook het hebben van een psychische stoornis hangt samen met prestaties op school. Het hebben van een DSM diagnose voorspelt vroegtijdig schoolverlaten (Breslau, Lane, Sampson & Kessler, 2008) en een verminderde prestatie op school (DeSocio & Hootman, 2004). Bovendien blijkt dat patiënten waar bij sprake is van een complexere diagnose, meer en ernstigere symptomen en meer comorbiditeit, een grotere kans hebben om voortijdig te stoppen met therapie (Barrett, Chua, Crits-Christoph, Gibbons & Thompson, 2008).

Om het aantal deelnemers dat tijdens de training uitvalt zo gering mogelijk te houden, lijkt het een belangrijke en relevante aanvulling op bovenstaande studies, om het proces van de training in kaart te brengen. In het huidige onderzoek zal worden bekeken of het intelligentieniveau, de mate van gedragsproblemen en de mate van ASS kenmerken, vooruitgang en uitval op de training kunnen voorspellen.

Om erachter te komen of Braingame Brian überhaupt een effectieve training is voor kinderen met autisme, is in eerste instantie onderzocht of kinderen die de training hebben gevolgd, een verbetering lieten zien in executief functioneren. Vervolgens werd onderzocht of de drie predictoren invloed hebben op vooruitgang en uitval op de training. Deelnemers zijn toegewezen aan een werkgeheugen conditie, waarin alleen het werkgeheugen werd getraind, een cognitieve flexibiliteit conditie, waarin alleen cognitieve flexibiliteit werd getraind, of een controle conditie, waarin geen enkele EF werd getraind. Tijdens de voormeting werden het niveau van executief functioneren, de mate van ASS kenmerken en de mate van gedragsproblemen van kinderen met ASS vastgesteld. Na deze voormeting volgde een trainingsfase van 6 weken waarin de kinderen Braingame Brian speelden. Vervolgens werd tijdens de nameting opnieuw het niveau van executief functioneren vastgesteld.

Omdat blijkt dat het werkgeheugen hoog correleert met intelligentie niveau, werd verwacht dat een hoger intelligentieniveau van de deelnemers meer vooruitgang voorspelt in de werkgeheugen conditie. Cognitieve flexibiliteit correleert niet met intelligentie niveau. Er werd dan ook verwacht dat intelligentie niveau de vooruitgang in de cognitieve flexibiliteit conditie niet voorspelt (Friedman et al., 2006). Omdat een lagere intelligentie samenhangt met therapie uitval, werd verwacht dat een lager intelligentie niveau, minder voltooide sessies van de training voorspelt (Rizvi et al., 2009). Omdat het hebben van gedragsproblemen samenhangt met minder goed presteren op school, werd verwacht dat een hogere mate van gedragsproblemen, minder vooruitgang voorspelt op de getrainde executieve functie (Ansary et al., 2009). Patiënten

waarbij sprake is van een complexere diagnose, hebben een grotere kans om voortijdig te stoppen met de therapie (Barrett et al., 2008), in het huidige onderzoek werd daarom verwacht dat deelnemers waar bij naast een ASS diagnose ook sprake is van gedragsproblemen, eerder zouden uitvallen op de training. Omdat het hebben van meer en ernstigere symptomen van een DSM stoornis samenhangt met minder goed presteren op school, verwachten we dat een hogere mate van ASS kenmerken, minder vooruitgang op de training voorspelt (DeSocio & Hootman, 2004). Tot slot werd verwacht dat deelnemers die meer ASS kenmerken vertonen, eerder zullen uitvallen op de training. Patiënten waarbij sprake is van een hogere en ernstigere mate van symptomen, hebben namelijk een grotere kans hebben om voortijdig te stoppen met de therapie (Barrett et al., 2008).

Methode

Proefpersonen

Deelnemers konden zich voor het onderzoek aanmelden via de site

www.trainingvoorautisme.nl. Ook zijn ze door middel van folders, posters en informatiepakketten benaderd via verschillende instellingen. Voordat deelnemers daadwerkelijk met het onderzoek konden starten, werden zij eerst gescreend. Voorwaarden voor deelname aan het onderzoek, waren dat de kinderen tussen de 8 en de 12 jaar oud zijn, dat zij een diagnose ASS hebben (vastgesteld door een gespecialiseerd team bij verschillende instellingen), een Social Responiveness Scale (SRS) score van minder dan 61 behaalden (Roeyers, Thys, Druart, De Schryver & Schittekate, 2011), en dat zij geen epilepsie hebben. Het hebben van epilepsie is een exclusiecriterium, omdat dit de data teveel zou kunnen vertekenen. De groep kinderen is in dat geval niet homogeen genoeg. Kinderen met een IQ lager dan 80, werden uitgesloten van deelname. Er is gekozen voor het exclusiecriterium van een intelligentie boven de 80, omdat de game is ontwikkeld voor kinderen met een IQ boven

de 80. Uiteindelijk hebben 166 deelnemers zich aangemeld om mee te doen aan het onderzoek. Hiervan zijn 27 deelnemers uitgevallen, omdat tijdens het inplannen van de meetmomenten bleek dat meedoen aan het onderzoek voor hen om verschillende redenen niet mogelijk was. 20 deelnemers zijn niet meegenomen in analyses, omdat zij niet alle vier de meetmomenten hebben doorlopen. 3 deelnemers bleken een SRS score van onder de 61 te hebben en 2 deelnemers hadden een intelligentieniveau dat lager ligt dan 80.

Materialen

Om de ASS diagnose te bevestigen, wordt de Autism Diagnostic Interview, Revised (ADI-R) (Rutter, Le Couteur & Lord, 2008) afgenomen. De ADI-R is een gestructureerd diagnostisch interview dat wordt gebruikt om ASS vast te stellen. Het interview wordt afgenomen bij (een van de) ouders. De ADI-R maakt onderscheid tussen 3 verschillende domeinen: Taal en communicatie, Wederkerige interacties en Beperkte, repetitieve en stereotiepe gedragspatronen. Het interview bestaat uit 93 vragen en is geschikt voor zowel kinderen als volwassenen. De ADI-R werkt met cut-off scores. De afname en scoring duurt 2 tot 3 uur. Aan de hand van een factor analyse kunnen drie factoren geëxtraheerd worden die erg lijken op de factoren die gebruikt worden in de algoritmes. Aan de hand van deze analyse kan dus gesteld worden dat de ADI-R een goede validiteit heeft. De interne consistentie van domeinscores hebben een Cronbach’s alfa van .59 tot .90. Als gekeken wordt naar de constructvaliditeit kan opgemerkt worden dat er gemiddelde correlaties bestaan met andere instrumenten. De Specificiteit van de ADI-R is 79%, de sensitiviteit 72%. (Lecavalier et al., 2006). De interbeoordelaarsbetrouwbaarheid is voldoende (de Bildt et al., 2004). Kinderen worden geschikt bevonden voor deelname aan de huidige studie, als zij op twee van de drie domeinen boven de cut-off score scoren en er voor het derde levensjaar sprake was van ASS kenmerken.

De Social Responiveness Scale (SRS) (Roeyers et al., 2011) is een vragenlijst die ernst van sociale beperkingen in kaart brengt die gepaard gaan met ASS. De SRS wordt voor dit onderzoek onder andere gebruikt als screeningsinstrument. De SRS is bestaat uit 65 vragen en is geschikt voor kinderen van 4-18 jaar. De items worden op een 4 puntschaal gescoord (0 = nooit, 4 = bijna altijd waar). Een hogere score betekent meer problematiek. Ouders vullen de vragenlijst in en de afnameduur bedraagt ongeveer 15-20 minuten. Er kan bepaald worden of er sprake is van ASS door het gebruik van populatienormen. Door te vergelijken met klinische normen kan de ernst van de stoornis in kaart worden gebracht. De SRS wordt vaak ook gebruikt om het effect van interventies te meten (Roeyers et al., 2011). De SRS bestaat uit 5 schalen: Sociaal bewustzijn, Sociale cognitie, Sociale communicatie, Sociale motivatie en Autistische preoccupaties. De SRS heeft een groot voordeel ten opzichte van andere instrumenten om ASS vast te stellen. In plaats van een ‘wel’ of ‘niet’ aanwezig zijn van een symptoom of stoornis, wordt er gebruik gemaakt van een kwantitatieve schaal waarop de ernst van de symptoom of stoornis kan worden aangegeven. De Cronbach’s alpha varieert van .92 tot .95. De correlatie tussen de SRS en de ADI-R is .63. De SRS is een instrument die op betrouwbare wijze de ernst van sociale problematiek te meten (Constantino & Gruber, 2005). In het huidige onderzoek wordt de SRS op twee manieren gebruikt. Ten eerste als inclusiecriterium voor deelname aan het onderzoek en ten tweede wordt de score op de SRS gebruikt als voorspeller voor vooruitgang en uitval op de training. Hiervoor wordt gebruik gemaakt van de totale SRS score.

De Weschler Intelligence Scale for Childeren III (De WISC III) (Wechsler, 1991) is een test om de cognitieve capaciteiten van kinderen van 6-16 jaar te meten.In het huidige onderzoek is ervoor gekozen om alleen de subtesten woordkennis en blokpatronen af te nemen. De totaalscore van deze twee subtest blijken een redelijk betrouwbare representatie voor het meten van intelligentie (Sattler & Saklofske, 2001). De afname gebeurt individueel en de duur van de twee subtests samen is ongeveer 15 minuten. De scores op de subtests resulteren in een drietal

IQ scores (verbaal IQ, performaal IQ en het totaal IQ) en een drietal factorscores (verbaal begrip, perceptuele organisatie en verwerkingssnelheid) (Kaldenbach, 2011). In het huidige onderzoek wordt gebruik gemaakt van het totaal IQ.

De Vragenlijst voor Gedragsproblemen bij Kinderen (VvGK) (Oosterlaan et al., 2008) is geschikt om symptomen van ADHD, Oppositional Defiant Disorder (ODD) en Conduct Disorder (CD) te meten bij kinderen en jongeren van 6 tot en met 16 jaar. De vragenlijst wordt ingevuld door ouders en de afname duurt ongeveer 10 minuten. De VvGK bestaat uit 42 vragen met een 4 puntschaal (0 = helemaal niet, 1 = een beetje, 2 = tamelijk veel, 3 = heel veel). De vragen zijn onder te verdelen in 4 subschalen: Aandachtstekort, Hyperactiviteit / Impulsiviteit, ODD, CD. Wat betreft de interne inconsistentie zijn de alpha’s goed: voor de subschaal Aandachtstekort 0,92, voor Hyperactiviteit 0,90, voor ODD 0,90 en voor CD 0,72. De test-hertestbetrouwbaarheid is voor de schalen Aandachtstekort en Hyperactiviteit/Impulsiviteit ligt boven de 0,80. Ook de ODD-schaal komt boven de 0,80 uit. De stabiliteit van de CD-schaal is laag, namelijk 0,50. De ontwikkelaars noemen de afwezigheid van variantie op deze schaal als oorzaak voor de slechte stabiliteit (slechts 3 van de 147 leerlingen haalden een andere score dan 0 op deze schaal) (Oosterlaan et al., 2008). In het huidige onderzoek wordt de VvGK totaal scores gebruikt.

Met de vragenlijst executieve functies (BRIEF; Smidts & Huizinga, 2009) kunnen de executieve functies van kinderen van 5 tot en met 18 jaar in kaart worden gebracht. De BRIEF wordt ingevuld door ouders of de leerkracht en neemt ongeveer 15 minuten in beslag. De vragenlijst bestaat uit 75 items. Bij elk item geeft de ouder of leerkracht aan of het gedrag 'nooit', 'soms' of 'vaak' voorkwam in de laatste zes maanden. De BRIEF geeft scores op 8 schalen: Inhibitie, Flexibiliteit, Emotieregulatie, Initiatief nemen, Werkgeheugen, Plannen en organiseren, Ordelijkheid en netheid, Gedragsevaluatie en Taken afmaken. De behaalde score wordt samengevat in twee algemene indexen en een totaalscore. Ook worden er twee schalen

voor de validiteit berekend (negativiteit en inconsistentie). De test is in Nederland genormeerd op een representatieve steekproef uit het regulier onderwijs. De betrouwbaarheid en de begripsvaliditeit zijn basis van onderzoek met de normeringssteekproef als 'goed' te beoordelen (Smidts & Huizinga, 2009).

De executieve functietraining die de kinderen doen in de huidige studie, heeft de vorm gekregen van een computergame (Braingame Brian). In deze game loopt Brian rond in een virtuele wereld. Brian helpt graag andere mensen door uitvindingen te doen. Om de uitvindingen tot een goed einde te brengen, moeten er taakjes worden uitgevoerd: een werkgeheugentaak, en een cognitieve flexibiliteittaak. Deze taakjes vormen de training. De training wordt thuis op de computer door het kind zelf uitgevoerd. De training bestaat uit 25 sessies, die allen ongeveer 40 minuten tijd in beslag nemen. De deelnemer krijgt 6 weken de tijd om de training te voltooien.

In de cognitieve flexibiliteittrainingstaak, die in dit onderzoek bestaat uit een switchtaak (Dibbets & Jolles, 2006), sorteren kinderen geometrische vormen, namelijk cirkels en driehoeken, op kleur of op vorm. Tijdens de taak verschijnen één voor één cirkels of driehoeken in beeld. De vormen zijn blauw of rood. Boven in het scherm kunnen deelnemers zien of ze moeten sorteren op vorm (alle cirkels bij elkaar en alle driehoeken bij elkaar) of op kleur (alle rode vormen bij elkaar en alle blauwe vormen bij elkaar). De deelnemers kunnen de vormen sorteren door de knoppen ‘Q’ of ‘P’ op het toetsenbord in te drukken en zo de vormen naar links of rechts te laten ‘glijden’. Deze taak is adaptief. Het niveau van de taak wordt dus aangepast naar aanleiding van het aantal goed en fout gemaakte items. Er wordt na winst of verlies eerst een punt opgeteld/afgetrokken van een variabele die bijhoudt hoe vaak de

deelnemer achter elkaar heeft gewonnen of verloren. Speelt de deelnemer

deelnemer win/verlies/verlies of win/win, dan worden twee keer achtereen dezelfde resultaten behaald en wordt de moeilijkheidsgraad aangepast, waarbij het limiet vaststaat tussen 1 en 14.

Kort samengevat:

 Als de 2 taken in één sessie in 1 keer worden gedaan gaat het niveau 1 stap omhoog (range 1-14).

 Van de 14 switchtrials moeten 10 goed worden beantwoord en mogen 4 fouten worden gemaakt. Van de 38 non-switchtrials moeten 27 goed worden beantwoord en mogen 11 fouten worden gemaakt. Wordt dit overschreden, dan wordt de taak overgedaan.

 Voor iedere keer dat een taak moet worden overgedaan gaat het niveau 1 stap omlaag.

 Als een taak meerdere keren wordt overgedaan kan het moeilijkheidsniveau aan het eind van de sessie (als de resultaten worden weggeschreven) een aantal punten zijn gedaald (minimum blijft 1).

De switchtaak telt 14 switches op 52 trials, dus 1 op de 4 is een switch. Van deze 14 switchtrials zouden 14*0,75 = 10,5 switchtrials goed beantwoord moeten zijn om door te mogen. Dit is afgerond naar 10; er mogen nu dus 4 fouten worden gemaakt op switchtrials (dus eigenlijk 10/14 = 71,4% goed). Op niet-switchtrials mogen 11 fouten worden gemaakt en moeten 27 trials goed worden gedaan op (52 trials - 14 switches) op 38 trials. (dus eigenlijk 27/38 = 71,1% goed). Als de totale waarde onder de 2 of boven de 14 uitkomt, dan wordt het vast gezet op 2.0 of 14.0. Er zijn In het huidige onderzoek start de deelnemer op niveau 3. De deelnemer heeft op dit niveau 1,3 seconden de tijd om te reageren. De niveaus lopen van 1 tot en met 14. Per niveau gaan de items 0,05 seconde sneller.

Tot slot wordt er gebruik gemaakt van een werkgeheugentrainingstaak. Tijdens deze taak zien deelnemers 16 (4x4) vierkanten in een raster. Eén voor één lichten er vierkanten (stenen) in een bepaalde volgorde op. De deelnemers moeten de stenen vervolgens in de juiste

volgorde na klikken met de muis. Afhankelijk van het percentage correct aangetikte stenen van het totaal aangevraagde stenen gaat:

- bij minder dan 50% goed (>20) gaat het niveau 0.2 omlaag (maar nooit onder 2.0), - bij 50-70% (20<28) goed blijft het niveau gelijk,

- bij 70-85% (28<34) goed gaat het niveau 0.2 omhoog (maar nooit boven 7.0) - en bij 85% (>34) of meer goed gaat het niveau 0.4 omhoog (maar nooit boven 7.0) Van deze taak bestaan 5 verschillende versies:

Versie 1: De stenen in het vierkant lichten in een bepaalde volgorde op. Het is de bedoeling dat deze stenen in dezelfde volgorde met de muis worden nageklikt.

Versie 2: Aan de zijkant van het vierkant zijn nu 4 balken toegevoegd. Weer zullen een aantal stenen oplichten. Tegelijk licht één van de balken aan de zijkant op. De deelnemer moet onthouden welke balk dat is. Het is de bedoeling dat de stenen weer in dezelfde volgorde worden nageklikt. Na twee rondes moeten de balken die tijdens deze twee rondes zijn opgelicht, ook in de juiste volgorde worden nageklikt.

Versie 3: De stenen in het vierkant zijn in deze ronde 2 verschillende kleuren. Oranje en paars. De stenen lichten door elkaar op. Vervolgens is het de bedoeling dat eerst de oranje stenen en daarna de paarse stenen in de juiste volgorde worden nageklikt.

Versie 4: In deze versie lichten eerst 2 balken aan de zijkant op. Daarna lichten een aantal stenen op. Het is de bedoeling dat eerst de knoppen in de juiste volgorde worden nageklikt, en vervolgens de balken.

Versie 5: De stenen hebben in deze versie weer 2 kleuren. Ook in hier lichten eerst de balken op en daarna een aantal stenen. Het is de bedoeling dat eerst de oranje stenen worden nageklikt in de juiste volgorde, daarna de paarse stenen en tot slot de twee balken.

Tijdens de meetmomenten wordt gebruik gemaakt van een laptop waarop de deelnemers taken uitvoeren. Na de voormeting krijgen de deelnemers een laptop mee naar huis, waarop zij de game uitvoeren.

Procedure

Het eerste meetmoment is een uitgebreide screening. Bij ouders wordt de “Autism Diagnostic Interview Revised (ADI-R) afgenomen (Lecavalier & Aman, 2006), een uitgebreid interview met betrekking tot autismekenmerken, om de diagnose van het kind te bevestigen. Bij de kinderen worden in de tussentijd in een andere ruimte twee subtests van de WISC-III afgenomen (Blokpatronen en Woordkennis) om het intelligentieniveau te bepalen (Kaldenbach, 2011). Als het IQ lager is dan 80, wordt het kind uitgesloten van deelname aan het onderzoek. Vooraf hebben ouders de Social Responsiveness Scale ingevuld (SRS). Voor de kinderen duurt meetmoment 1 ongeveer 1,5 uur. Totdat ouders klaar zijn met de ADI-R, kijken de kinderen een DVD.

De deelnemende kinderen worden random toegewezen aan één van drie training condities: De conditie waarin werkgeheugen wordt getraind en cognitieve flexibiliteit niet wordt getraind. In deze conditie wordt de werkgeheugentaak steeds moeilijker, adaptief aan de prestatie van het kind. De cognitieve flexibiliteitstaak blijft op laag niveau. In de tweede conditie wordt cognitieve flexibiliteit wél getraind en werkgeheugen niet getraind. In deze conditie wordt de cognitieve flexibiliteitstaak steeds moeilijker, adaptief aan de prestatie van het kind. De werkgeheugentaak blijft op laag niveau. In de derde conditie worden zowel wekgeheugen als cognitieve flexibiliteit niet getraind. Alle taken blijven op laag niveau. Er zijn verschillende meetmomenten waarop kinderen en (een van) hun ouders worden getest.

Tussen de screening en de voormeting zit ongeveer een week tijd. Tijdens het eerste meetmoment worden de computergame Braingame Brian uitgelegd aan de kinderen.

Ondertussen vullen ouders de VvGK en de BRIEF in. De voormeting duurt ongeveer 2 uur. Tussen de voormeting en de nameting vindt de training plaats. Tijdens de nameting leveren de deelnemers de laptop weer in. Ondertussen vullen ouders de volgende VvGK en de BRIEF in. De nameting duurt ongeveer 2 uur. Tijdens de voormeting en de nameting worden verschillende computertaken afgenomen bij het kind om het niveau van EF te bepalen. Deze computertaken zijn voor het huidige onderzoek niet van belang, maar worden afgenomen in verband met het overkoepelende onderzoek.

Data analyse

Om te onderzoeken of de deelnemers in de experimentele condities meer vooruitgang laten zien op EF in vergelijking tot deelnemers in de controle conditie, is er een repeated measures ANOVA uitgevoerd over de gemiddelden van de totale BRIEF scores op de voor en de nameting. Vervolgens zijn er 6 regressie analyses uitgevoerd om de effecten van de drie predictoren op vooruitgang en uitval op de training te onderzoeken.

Resultaten

4 deelnemers hebben een ADI-R score behaald, waarmee zij geen ASS classificatie krijgen. Er is gecontroleerd of het opnemen van deze deelnemers in de data de resultaten zou veranderen. Dit bleek niet het geval bleek te zijn. Er is er voor gekozen om de 4 deelnemers mee te nemen in de analyses, omdat dit de power ten goede komt. Uiteindelijk bleken 114 deelnemers geschikt om mee te nemen in de uiteindelijke analyses.

Tabel 1.

Gemiddelden en standaardafwijkingen (SD) van de steekproefeigenschappen per conditie

Werkgeheugen (40) Cognitieve flexibiliteit (37) Controle (37)

Leeftijd 9.80 (1.31) 9.81 (1.43) 9.92 (1.26)

IQ 114.15 (21.89) 111.65 (20.90) 109.00 (18.50)

SRS score 100.76 (23.57) 99.65 (21.41) 93.73 (21.00)

Er is een repeated measures ANOVA uitgevoerd over de gemiddelden van de totale BRIEF scores van de controle conditie en de experimentele condities (werkgeheugen conditie en de cognitieve flexibiliteit conditie) op de voor- en nameting. Door middel van Mauchly’s test, is onderzocht of aan de assumptie voor sphericiteit werd voldaan. Dit bleek het geval. De resultaten laten een effect zien voor tijd, maar niet voor conditie. Zowel in de werkgeheugen conditie als in de cognitieve flexibiliteit conditie én de controle conditie, zien we een verbeterde score op de BRIEF op de nameting dan op de voormeting F (1, 111) = 146.39, p >.05. Er werd geen verschil gevonden in de score op de BRIEF tussen de controle conditie en de werkgeheugen conditie en ook niet tussen de controle conditie en de cognitieve flexibiliteit conditie F(2, 111) = .039, p = .961. De deelnemers in de experimentele conditie laten niet meer verbetering zien op executieve functies na de training dan de deelnemers in de controle conditie

Tabel 2.

Gemiddelden en standaardafwijkingen (SD) van de totale BRIEF score

Hoofdeffect Interactie effect

Gemiddelde (SD) F p partial eta squared F p partial eta squared Werkgeheugenconditie

Voormeting 174.11 (21.93) 146.39 .00 .57 0.04 0.96 .00 Nameting 160.19 (21.80)

Cognitieve flexibiliteit conditie

Voormeting 169.35 (18.85) 146.39 .00 .57 0.04 0.96 .00 Nameting 156.14 (19.00)

Controle conditie

Voormeting 169.635 (17.77) 146.39 .00 .57 0.04 0.96 .00 Nameting 155.784 (19.36)

Aan de hand van negen regressie analyses is onderzocht of intelligentieniveau, de mate van ASS kenmerken en de mate van gedragsproblemen, van invloed zijn op de vooruitgang in de training, en het aantal voltooide sessies. Er werd voldaan aan de assumpties voor het uitvoeren van een regressieanalyse. Dit is onderzocht aan de hand van een Kolmogorov Smirnov test en een Durbin Watson test. Intelligentieniveau bleek geen significante voorspeller voor het aantal voltooide sessies in de training F(1) =.010, p>.05. Dit was niet in lijn met de verwachting dat intelligentieniveau een positief effect zou hebben op het aantal voltooide sessies. Ook bleek intelligentieniveau geen significante voorspeller voor het behaalde niveau in de cognitieve flexibiliteitconditie F(1) =1.847, p>.05. Voor het behaalde niveau in de werkgeheugenconditie was intelligentieniveau wél een significante voorspeller F(1)= 5.815,

werkgeheugenconditie. Deze resultaten komen overeen met de hypotheses. Er werd verwacht dat intelligentie geen significante voorspeller zou zijn voor het behaalde niveau in de cognitieve flexibiliteit conditie, maar wél voor het behaalde niveau in de werkgeheugen conditie. De verklaarde varianties en regressie coëfficiënten van deze regressieanalyses staan in tabel 3.

De score op de SRS bleek het aantal voltooide sessies in de training niet te voorspellen

F(1) =0.239, p>.05. Ook wat betreft het behaalde niveau in de cognitieve flexibiliteitconditie F(1) = 2.092, p>.05, en de werkgeheugenconditie F(1) =0.005, p>.05, was de score op de SRS

geen significante voorspeller. Deze resultaten komen niet overeen met de verwachtingen dat ASS kenmerken een significante voorspeller zouden zijn voor zowel het aantal voltooide sessies in de training, als het behaalde niveau in de werkgeheugen conditie en de cognitieve flexibiliteit conditie. De verklaarde varianties en regressie coëfficiënten van deze regressieanalyses staan in tabel 3.

Tot slot is gekeken naar de invloed van gedragsproblemen. De score op de VvGK bleek het aantal voltooide sessies in de training niet te voorspellen F(1) =0.627, p>.05. Bovendien bleek de score op de VvGK geen significante voorspeller voor het behaalde niveau in de training voor zowel de cognitieve flexibiliteitconditie F(1) =2.092, p>.05 en de werkgeheugenconditie

F(1) =0.827, p>.05. Deze resultaten komen niet overeen met de verwachtingen dat

gedragsproblemen een significante voorspeller zouden zijn voor zowel het aantal voltooide sessies in de training, als het behaalde niveau in de werkgeheugen conditie en de cognitieve flexibiliteit conditie. De verklaarde varianties en regressie coëfficiënten van deze regressieanalyses staan in tabel 3.

Tabel 3.

De verklaarde variantie en regressie coëfficiënten van de voorspellers

R Square β F p

Aantal voltooide sessies

Intelligentieniveau 0 -.012 .010 >.05

SRS score .003 -.056 0.239 >.05

VvGK score .008 -.090 0.627 >.05

Niveau cognitieve flexibiliteit conditie

Intelligentieniveau .049 .221 1.847 >.05 SRS score .055 -.234 2.092 >.05 VvGK score .029 -.17 2.092 >.05 Niveau werkgeheugenconditie Intelligentieniveau .13 .36 5.815 .021 SRS score 0 .011 0.005 >.05 VvGK score 0.21 -.146 0.827 >.05

Tot slot is exploratief onderzocht of de betrokkenheid van de ouders mogelijk van invloed is geweest op het verloop van de training. Aan de hand van enkele vragen, die de ouders aan het begin van ieder meetmoment in vullen, is gekeken of ouders gebruik hebben gemaakt van een beloningssysteem om de kinderen te motiveren om de game te spelen. Vervolgens is er een independent t-test uitgevoerd over de gemiddelde vooruitgang in de game en het gemiddeld aantal afgeronde sessies in beide groepen (het wel of niet gebruik maken van een beloningssysteem). Zowel voor de werkgeheugenconditie als voor de cognitieve flexibiliteit conditie, heeft het wel of niet gebruik maken van een beloningssysteem geen invloed op de vooruitgang in de training (t = 0.33, p >.05, t =.57, p = >.05). Dit bleek ook niet het geval voor

het aantal voltooide sessies in de training (t = .06, p >.05, t = .07, p >.05). De gemiddelden en standaardafwijkingen zijn te vinden in tabel 4.

Conclusie en discussie

In de huidige studie werd onderzocht of Braingame Brian een effectieve training is om executieve functies bij kinderen met ASS te verbeteren en of intelligentie, de mate van gedragsproblemen en de mate van ASS kenmerken, voorspellers zijn voor uitval en vooruitgang op deze training. Verwacht werd dat intelligentie een positieve invloed zou hebben op de uitvoering van de werkgeheugentraining en voortijdig uitval op de training zou kunnen voorspellen. Daarnaast werd verwacht dat zowel gedragsproblemen als ASS kenmerken een negatief effect zouden hebben op de mate van vooruitgang in de beide experimentele condities en voortijdig uitval op de training zouden kunnen voorspellen.

Uit de resultaten is gebleken dat zowel de deelnemers in de experimentele condities als de deelnemers in de controle conditie na het spelen van Braingame Brian, een verbetering laten zien in de executieve functies, zoals gerapporteerd door ouders op de BRIEF. Daarnaast kan aan de hand van de resultaten geconcludeerd worden dat intelligentieniveau, de mate van gedragsproblemen en de mate van ASS kenmerken, geen significante voorspellers zijn voor de uitval en vooruitgang op de training. Enkel voor werkgeheugenconditie blijkt intelligentieniveau een significante voorspeller te zijn. Intelligentieniveau heeft een positief effect op de vooruitgang in de werkgeheugen conditie.

Opvallend aan de beschreven resultaten, is dat niet alleen de deelnemers in de experimentele condities een verbetering laten zien op de executieve functies, maar dat de deelnemers in de controle conditie ook een verbetering laten zien, ondanks dat in deze conditie zowel de werkgeheugen taak als de cognitieve flexibiliteit taak op laag niveau worden gehouden. Het gebruik van de BRIEF als operationalisatie om het niveau van executief

functioneren vast te stellen, zou hiervoor een mogelijke verklaring kunnen zijn. Omdat de kinderen in de controle conditie dezelfde game spelen als de kinderen in de experimentele condities, is het voor ouders niet duidelijk of hun kind zijn executieve functies traint, of dat de taken op laag niveau worden gehouden. Het lijkt plausibel dat ouders, in de hoop dat hun kind baat heeft bij het volgen van de training, en dus is ingedeeld in een experimentele conditie, op de nameting de BRIEF rooskleuriger hebben ingevuld dan daadwerkelijk het geval is. Vervolgonderzoek zou hier rekening mee kunnen houden door in plaats van de BRIEF een objectieve maat te nemen om het niveau van executief functioneren te bepalen. Hiervoor zouden bijvoorbeeld computertaken kunnen worden gebruikt tijdens de voor en nameting, die het niveau van het werkgeheugen en de cognitieve flexibiliteit meten vóór en na het deelnemen aan de training.

Tijdens de trainingsfase is er wekelijks telefonisch contact geweest met de ouders van de deelnemers. Aan de hand van deze gesprekken bleek dat een aantal deelnemers de taken in de game moeilijk en/of frustrerend vonden. Wat de resultaten zou kunnen hebben vertekend, is de betrokkenheid van de ouders bij het spelen van Braingame Brian. In principe is het de bedoeling dat de kinderen zelf, zonder hulp de 25 sessies van de training voltooien. Aan de hand van de wekelijkse telefoongesprekken is gebleken dat sommige ouders hun kind hebben geholpen met het uitvoeren van de taken tijdens het spel, om frustraties bij hun kind tegen te gaan. Hierop is echter weinig controle mogelijk door de onderzoekers. Behalve het wekelijks telefonisch contact, valt niet te controleren hoe vaak en op welke manier ouders hun kinderen hebben geholpen tijdens de game.

Aan de hand van exploratief onderzoek is gebleken dat het gebruik van een beloningssysteem niet van invloed is op de vooruitgang in de training of het aantal voltooide sessies. Een verklaring hiervoor zou kunnen zijn dat ouders alleen gebruik maken van een beloningssysteem als zij weten dat hun kind daar in andere situaties ook gevoelig voor is.

Ouders die weten dat bij hun kind het gebruik van een beloningssysteem niet werkt, of dat hun kind dit niet nodig hebben om zaken af te ronden, zullen waarschijnlijk ook tijdens deze training hiervan geen gebruik hebben gemaakt. Mogelijk is er daarom geen verschil te vinden in het verloop van de training tussen het al dan niet gebruik maken van een beloningssysteem.

Zoals werd verwacht en in de inleiding is beschreven, heeft intelligentieniveau een positief effect op de vooruitgang in de werkgeheugenconditie. Het feit dat er geen effect is gevonden van intelligentie op cognitieve flexibiliteit, is een extra controle die de bevinding ondersteunt dat intelligentie niet een eenduidig effect heeft op executieve functies, maar dat het effect per executieve functie kan verschillen. De resultaten van het huidige onderzoek laten zien dat werkgeheugen te trainen is en dat kinderen met een hoger intelligentieniveau, een beter trainbaar werkgeheugen hebben. In het huidige onderzoek werden kinderen met een intelligentieniveau lager dan 80, uitgesloten van deelname. Door dit exclusiecriterium is de spreiding op deze predictor minder groot. Als er sprake zou zijn van een grotere spreiding wat betreft intelligentieniveau, zou het gevonden effect groter zijn.

De mate van gedragsproblemen en de mate van ASS kenmerken blijken, tegen de verwachtingen in, geen invloed te hebben op de vooruitgang op de training en het aantal voltooide sessies. Het is mogelijk dat er geen verband bestaat tussen gedragsproblemen en de vooruitgang op de training en het aantal afgemaakte sessies. Ook is het mogelijk dat in dit onderzoek de vragenlijsten (de VvGK en de SRS) niet voldoende zijn om een mogelijk bestaande relatie aan te tonen. In dat geval zou vervolgonderzoek, die meerdere diagnostische instrumenten gebruikt, een interessante aanvulling zijn op het huidige onderzoek.

Er zijn uiteraard nog veel meer factoren van invloed op het verloop van therapieën en trainingen dan de kenmerken die in het huidige onderzoek worden onderzocht. Zo zij er aanwijzingen dat vrouwen meer geneigd zijn om voortijdig te stoppen met therapie dan mannen

gedacht kunnen worden aan omgevingsfactoren. Mensen die zich tijdens hun therapie omgeven met mensen die hen ondersteunen en supporten, hebben een minder grote kans om vroegtijdig met therapie te stoppen (Kelly & Moos, 2003). Het onderzoeken van de effecten van deze factoren zou een interessante optie kunnen zijn voor vervolgonderzoek.

Met het huidige onderzoek is een begin gemaakt met het specificeren voor welke doelgroep Braingame Brian het meest geschikt is. Door in de toekomst meer van dit soort onderzoek te verrichten, kunnen de mate van uitval, teleurstelling van ouders en kind omdat de training niet het gewenste resultaat heeft, ed. zo klein mogelijk worden gehouden.

Literatuurlijst

Anderson, V., Northam, E., Hendy, J., & Wrennall, J. (2001). Developmental neuropsychology.

A clinical approach. Hove, New York: Psychology Press.

Ansary, N. S. & Luthar, S. S. (2009). Distress and academic achievement among adolescents of affluence: A study of externalizing and internalizing problem behaviors and school performance. Development and Psychopathology, 21, 319–341.

Bados, A., Balaguer, G. & Saldaña, C. (2007). The efficacy of cognitive–behavioral therapy and the problem of drop-out. Journal of Clinical Psychology, 63, 585-592.

Barkham, M., Connell, J., Stiles, W. B., Miles, J. N. V., Margison, F., Evans, C., et al. (2006). Dose-effect relations and responsive regulation of treatment duration: The good enough level. Journal of Consulting and Clinical Psychology, 74, 160–167.

Barkley, R.A. (2006). Attention-Deficit Hyperactivity Disorder. A Handbook for diagnosis and

Barret, M. S., Chua, W., Crits-Christoph, P., Gibbons, M. B. & Thompson, D. (2008). Early withdrawal from mental health treatment: implications for psychotherapy practice.

Psychotherapy Theory, Research, Practice, Training, 45, 247-267.

Berghofer, G., Schmidl, F., Rudas, S., Steiner, E., & Schmitz, M. (2002) Predictors of treatment discontinuity in outpatient mental health care. Social Psychiatry and Psychiatric Epidemiology,

37, 276–282.

Breslau, J., Lane, M., Sampson, N. & Kessler, R. C. (2008). Mental disorders and subsequent educational attainment in a US national sample. Journal of Psychiatric Research, 42, 708–716.

Constantino, J. N., & Gruber, C. P. (2005). Social Responsiveness Scale (SRS). Los Angeles, CA: Western Psychological Services.

De Bildt, A., Sytema, A., Ketelaars, C., Kraijer, D., Mulder, E., Volkmar, F. & Minderaa, R. (2004). Interrelationship between Autism Diagnostic Observation Schedule-Generic (ADOS-G), Autism Diagnostic Interview-Revised (ADI-R), and the Diagnostic and Statistical Manual of Mental Disorders (DSM-IV-TR) classification in children and adolescents with mental retardation. Journal of Autism and Developmental Disorders,

34, 129-137.

DeSocio, J. & Hootman, J. (2004). Children's mental health and school success. The Journal of

School Nursing, 20, 189-196.

Dibbet, P. & Jolles, J. (2006). The Switch Task for children: Measuring mental flexibility in young children. Cognitive Development, 21, 60–71.

Egeland, B., L. Sroufe, A. & Carlson, B. (2000). A prospective longitudinal study of high school dropouts examining multiple predictors across development. Journal of School

Psychology, 38, 525-549.

Field, A. (2009). Discovering Statistics Using SPSS (3rd ed.). London: SAGE Publications Ltd.

Friedman, N. P., Miyake, A., Corley, R. P., Young, S. E., De Fries, J. C. & Hewitt, J. K. (2006). Not all executive functions are related to intelligence. Psychological Science,

17, 172-179.

Haaga, D. A., Derubeis, R. J., Stewart, B. L. & Beck, A. T. (1991). Relationship of intelligence with cognitive therapy outcome. Behaviour Research and Therapy, 29, 277-281.

Hartman, C.A. et al. (2007). Vragenlijst voor Inventarisatie van Sociaal gedrag van Kinderen.

Herziene handleiding. Amsterdam: Harcourt.

Kaldenbach, Y. (2011). WISC-III Profielhypothesen, Apollo Praktijk.

Kelly, J. F. & Moos, R. (2003). Dropout from 12-step self-help group: Prevelence, predictors, and counteracting treatment influences. Journal of Substance Abuse Treatment, 24, 241-250.

Kleinhans, N., Akshoomoff, N. & Delis, D. C., (2005). Executive functions in autism and asperger's disorder: Flexibility, fluency, and inhibition. Developmental Neuropsychology, 27, 379-401.

Klingberg, T., Fernell, E., Olesen, P.J., Johnson, M., Gustafsson, P., Dahlström, K., Gillberg, C.G., Forssberg, H., & Westerberg, H. (2005). Computerized training of working memory in children with ADHD – A randomized, controlled trial. Journal of the

Lecavalier, L. & Aman, M. G. (2006). Validity of the Autism Diagnostic Interview-Revised.

American Journal of Mental Retardation, 111, 115-215.

Oosterlaan, J., Baeyens, D., Scheres, A., Antrop, I., Roeyers, H. & Sergeant, J.A. (2008).

Vragenlijst voor gedragsproblemen bij kinderen 6-16 jaar. Handleiding. Amsterdam:

Harcourt Publishers.

Prins, P & Braet, C. (2008). Handboek klinische ontwikkelingspsychologie. Houten: Bohn Stafleu van Loghum.

Sattler, J. M., & Saklofske, D. H. (2001). Interpreting the WISCIII. Assessment of children: Cognitive applications (4th ed.). San Diego, CA: Jerome M. Sattler Publisher Inc.

Ten Brink, E., Ponsioen, A., van der Oord, S., & en Prins, P. (2011). Braingame Brain: achtergrond, evaluatie en implementatie van een executieve functietraining met game-elementen voor kinderen met cognitieve controleproblemen. Kind en Adolescent

Praktijk, 4, 166-174.

Rizvi, S. L., Vogt, D. S. & Resick, P. A. (2009). Cognitive and affective predictors of treatment outcome in cognitive processing therapy and prolonged exposure for posttraumatic stress disorder. Behaviour Research and Therapy 47, 737–743.

Robbins, M. S., Liddle, A. H., Turner, C. W., Dakof, G. A. & Alexander, J. F. (2006). Adolescent and parent therapeutic alliances as predictors of dropout in multidimensional family therapy. Journal of Family Psychology, 20, 108-116.

Roeyers, H., Thys, M., Druart, C., De Schryver, M. & Schittekate, M. (2011). SRS

Screeningslijst voor Autismespectrumstoornissen, handleiding. Amsterdam: Hogrefe

Rutter, M, Le Couteur, A. & Lord, C. (2008). Autism Diagnostic Interview, Revised (ADI-R)

WPS Edition manual. Los Angeles, Western Psychological Services.

Wang, P. S., Gilman, S. E., Guardino, M., Christiana, J. M., Morselli, P. L., Mickelson, K. & Kessler, R. C. (2000). Initiation of and adherence to treatment for mental disorders.

Medical Care, 38, 926-936.

Wechsler, D. (1991). Manual for the Wechsler Intelligence Scale for Children - Third Edition

(WISC-III). San Antonio, TX: The Psychological Corporation.

Williains, D. L., Goldstem, G., Carpenter, P. A., & Minshew, N. ]. (2005). Verbal and spatial

working memory in autism. Journal of Autism and Developmental Disorders, 35, 747-756.