Faculteit der Maatschappij en Gedragswetenschappen College Pedagogiek, Onderwijskunde en Lerarenopleiding
Cogmed Werkgeheugen Training: een beschrijvend onderzoek naar de
effecten op de aandacht, concentratie en het werkgeheugen bij
kinderen
Cogmed Workingmemory Training: a descriptive study on the effects on attention,
concentration and workingmemory in children
Masterscriptie Orthopedagogiek Pedagogische en Onderwijskundige Wetenschappen Universiteit van Amsterdam Laurie Broekhuizen 6131034 Begeleiding: dr. Mariëlle Beckers dr. Roos Rodenburg Amsterdam, Januari 2013
Inhoudsopgave
Abstract ... 3
Inleiding ... 4
Methode ... 9
Participanten ... 9
Instrumenten ... 11
Aandacht en concentratie: TEA-Ch
... 11
Werkgeheugen: WISC-III, cijferspantaak
... 11
Procedure ... 11
Statistische analyse ... 12
Resultaten ... 14
Discussie ... 20
Referenties ... 24
Bijlagen ... 27
Bijlage 1: Voorbeeld scoreformulier participant S. ... 27
Abstract
Doel: Het doel van dit onderzoek was om te kijken naar de effecten van Cogmed Werkgeheugen Training (CWT) op een aantal aandacht, concentratie- en werkgeheugentaken. Daarnaast werd de ernst van de problematiek op deze gebieden per participant in kaart gebracht. Methode: De participanten bestonden uit 18 kinderen tussen de 6 en 12 jaar: een onderzoeksgroep (N=9) die deelnam aan CWT en een controlegroep (N=9). Resultaten: Uit de resultaten is gebleken dat er bij de meerderheid van de participanten uit de onderzoeksgroep sprake is van een significante vooruitgang op één of meerdere aandacht, concentratie en/of werkgeheugentaken. De meeste vooruitgang is te zien op de subtests behorende bij de selectieve aandacht, de minste vooruitgang bij de subtests behorende bij de volgehouden aandacht. Ten tweede blijkt dat er slechts bij één participant sprake is van een negatieve probleemstatus op één van de subtests. Dit kan betekenen dat de ernst van de problematiek is overschat. Conclusie: De bevindingen suggereren dat CWT positieve effecten kan hebben op het werkgeheugen en werkgeheugengerelateerde gebieden zoals aandacht en concentratie.. Vervolgonderzoek zou zich moeten richten op een grotere steekproef en op grondig vooronderzoek om de ernst van de problematiek meer nauwkeurig vast te stellen. Daarnaast dienen er naast de testresultaten van het kind ook gedragsrapportages van ouders en/of leerkracht over het kind in beschouwing genomen te worden.
Key-words: werkgeheugentraining, aandacht, concentratie
Purpose: The purpose of this study was to investigate the effects of Cogmed Working-memory Training on several attention, concentration and working memory tasks. In addition, the severity of the working-memory, attention and concentration problems were individually studied. Method: The participants consisted of 18 children aged 6 to12 years: a research group (N=9) who participated in CWT and controls (N=9). Results: The results showed that the majority of the participants of the research group has made a significant progress in one or more attention, concentration and/or working-memory tasks. Most progress is shown on subtests associated with selective attention, the least progress in the subtests associated with sustained attention. Secondly, it appears that there is only one participant with a negative problem status. This suggests that the severity of the problem is
overestimated. Conclusion: The results suggest that CWT can have positive effects on working memory and related areas such as attention and concentration. Future research should be conducted with larger sample sizes and should focus more on research concerning the severity of the problems. In addition, parents and/or teacher reports of the childs behavior should be taken into consideration. Key-words: working memory training, attention, concentration
Inleiding
In de wetenschap wordt er sinds een aantal jaar veel aandacht besteed aan het werkgeheugen als zeer belangrijk onderdeel van de algemene cognitie (Shipstead, Redick & Engle, 2012). Daarnaast wordt het gezien als één van de belangrijkste voorspellers van academisch succes bij kinderen. Een slecht functionerend werkgeheugen hangt samen met een trage academische ontwikkeling gedurende de schooljaren (Gray et al., 2012; Holmes, Gathercole & Dunning, 2009). Het werkgeheugen is een belangrijk onderdeel van de executieve functies van het brein. Het dient als een tijdelijke opslagplaats voor sensorische informatie en zorgt ervoor dat we deze informatie kunnen vasthouden, manipuleren en reproduceren zowel op de lange- als op de korte termijn (Gullick, Sprute & Temple, 2011). Binnen het werkgeheugen zijn vier componenten te onderscheiden; de fonologische lus, het visuospatieel kladblok, de centrale executieve functie en de episodische buffer (Baddely, 2003). De fonologische lus wordt beschreven als een reeks klanken waarvan men in staat is deze gedurende een korte periode te onthouden en te reproduceren. Dit is onder andere essentieel bij het leren lezen, waarbij kinderen een bepaalde letter leren te koppelen aan de bijbehorende klank. Bij een succesvolle werking van de fonologische lus ontwikkelen kinderen het fonologisch bewustzijn: het besef van de gesproken of de geschreven klankstructuur van taal (Hecht, Torgesen, Wagner & Rashotte, 2001). Het visuospatieel kladblok zorgt voor het opslaan van visuele informatie (zoals beelden en gezichten van mensen) en heeft net als de fonologische lus de functie van een tijdelijke, kortdurende opslagplaats. De centrale executieve functie stuurt de aandachts- en informatiestroom in de fonologische lus en het visuospatieel kladblok aan en zorgt voor het reguleren en automatiseren van gedrag bij frequent voorkomende handelingen. Tot slot zorgt de episodische buffer voor het integreren van de informatie, verkregen via de verschillende gebieden van het werkgeheugen, tot een begrijpelijk geheel (Baddely, 2003).
In de wetenschap zijn er verschillende benaderingen over de functie van het werkgeheugen. Klingberg et al. (2004) zien het werkgeheugen als een belangrijk onderliggend mechanisme voor andere executieve functies van het brein zoals het probleemoplossend- en redeneervermogen. Anderen benadrukken dat het werkgeheugen vooral van belang is bij het kunnen controleren en reguleren van de aandacht of dat het dient als belangrijke basis voor het lange termijn geheugen (Baddely, 2003). In meer recente theorieën wordt de capaciteit van het werkgeheugen omschreven als een reflectie van de mogelijkheid tot het behouden van de concentratie en aandacht en het kunnen weerstaan van afleidende en irrelevante informatie (Jarosz & Wiley, 2012). Ook is gebleken dat het werkgeheugen dient als een essentieel basiscomponent voor de cognitieve ontwikkeling. Een goed functionerend werkgeheugen ondersteunt kinderen bij het verwerven van nieuwe kennis en vaardigheden (Loosli, Buschkuel, Perrig & Jaeggi, 2012). Zo blijkt dat het werkgeheugen een significante voorspeller is voor rekenvaardigheid bij kinderen. Het werkgeheugen dient bijvoorbeeld als tijdelijke opslagplaats bij het oplossen van moeilijke sommen, waarbij verschillende delen van de som eerst los van elkaar uitgerekend moeten worden (Gullick et al., 2011). Onderzoek naar de samenhang tussen het werkgeheugen en taalbegrip laat zien dat taalbegrip bij adolescenten een sterke samenhang vertoont 4
met de executieve- en aandachtsfuncties van het werkgeheugen maar ook met het verwerken en vasthouden van fonologische input (Loosli et al., 2012; Poole & Kane, 2009).
Naast de problemen met rekenen en lezen hebben kinderen met een lage werkgeheugen-capaciteit vaak een korte aandachtsspan, zijn eerder afgeleid en neigen eerder instructies te vergeten dan kinderen met een normale werkgeheugencapaciteit (Holmes et al., 2009; Loosli et al., 2012). Deze problemen worden ook vaak gezien bij kinderen met een aandachtstekortstoornis met hyperactiviteit (ADHD) (Klingberg et al., 2002). ADHD is één van de meest gediagnosticeerde stoornissen bij kinderen tot 16 jaar en heeft een wereldwijde prevalentie van ongeveer 5% bij kinderen en 3% bij volwassenen (Lofthouse, Arnold, Hersch, Hurt & DeBeus, 2012; Graham et al. 2011; Heaton, et al. 2011). Het is een stoornis die zich laat kenmerken door beperkingen op het gebied van aandachtstekort, hyperactiviteit en/of impulsiviteit (APA, 1994). Daarnaast heeft 80% van de kinderen met ADHD tevens leerproblemen en moeite om mee te komen met het niveau van zijn of haar leeftijdsgenootjes (Wenar & Kerig, 2005). Één van de meest grote verschillen tussen kinderen met en kinderen zonder ADHD is de werking van het werkgeheugen. Uit onderzoek is gebleken dat ADHD is geassocieerd met een zwak vermogen om informatie te kunnen onthouden, manipuleren en filteren, wat valt toe te schrijven aan het werkgeheugen (Gibson et al., 2011; Klingberg et al. 2002).
De meest gebruikte en volgens vele de meest succesvolle behandeling voor ADHD is het geven van medicatie (Lofthouse et al. 2012; Graham et al. 2011). Hierbij zijn methylfenidaat, dexamfetamine en atomoxetine de meest voorgeschreven middelen in Europa en Noord-Amerika (Graham et al. 2011). Deze pscyhostimulanten remmen de heropname van dopamine en noradrenaline in de hersenen en zorgen daardoor dat de informatieprocessen tussen verschillen de neurologische verbindingen soepeler verlopen (Bedard, Jain, Hogg-Johnson & Tannock, 2007). Bij het gebruik van psychostimulanten zijn echter een aantal kanttekeningen te plaatsen. Zo is er sprake van een aantal neurologische (hoofdpijn, duizeligheid, slapeloosheid ), psychiatrische (angsten, tics, psychotische symptomen) en lichamelijke (afname van eetlust, groeiremmingen) bijwerkingen. Daarnaast zijn er, nog steeds zorgen over de veiligheid en gezondheidsrisico’s die de middelen op de lange termijn met zich meebrengen (Graham et al. 2011). Door de kritiek op het voorschrijven van medicatie als behandeling voor ADHD komen er steeds meer alternatieven behandelmethoden op de markt. Een voorbeeld hiervan is werkgeheugentraining. Recente studies hebben aangetoond dat de capaciteit van het werkgeheugen flexibel is en daarom getraind kan worden (Klingberg et al. 2002; Li et al. 2008; Løhaugen et al; 2011).
Er zijn verschillende onderzoeken gedaan naar het effect van werkgeheugentraining. Ondanks het feit dat deze studies erg uiteenlopend zijn in onder andere de grootte van de steekproef en de gebruikte trainingsmethoden, blijkt uit veel resultaten dat het trainen van het werkgeheugen positieve invloed heeft op verschillende (schoolse) vaardigheden zoals aandacht- en concentratiecapaciteit, begrijpend lezen en abstract redeneren (Loosli et al., 2012). Daarnaast lijkt het trainen van het werkgeheugen bij kinderen met ADHD gedeeltelijk dezelfde effecten te bereiken als het gebruik van 5
psychostimulanten. Zo blijkt dat de effecten van de werkgeheugentraining zich generaliseren naar verschillende prefrontale hersenfuncties en motorische functies bij kinderen met ADHD (Klingberg et al., 2002). Aan de hand van deze gegevens kan gesteld worden dat werkgeheugentraining een klinische betekenis kan krijgen op het gebied van symptoombestrijding van ADHD. Deze bewering wordt ondersteund door de bevindingen van Gray et al. (2012) die concludeerden dat werkgeheugentraining leidt tot groei in het auditief-verbale en visuospatiële deel van het werkgeheugen bij jongeren gediagnosticeerd met een leerstoornis (LD) en/of ADHD die eerder niet voldoende reageerden op andere vormen van behandeling. Zij gebruikten voor dit onderzoek verschillende meetinstrumenten om de capaciteit van het werkgeheugen in kaart te brengen, zoals de cijferspantaak voor- en achterwaarts uit de Wechsler Intelligence Scale for Children – 4e editie (WISC-IV; Wechsler, 2003), en de Aandachts en Concentratietest D2 (Brickenkamp & Zillmer, 1998).
Er zijn in loop der jaren verschillende trainingsprogramma’s voor de hersenen ontwikkeld. Een voorbeeld hiervan is Neurofeedback, ook vaak neurotherapie genoemd. Deze training focust zich op het eigenhandig kunnen reguleren en controleren van de elektrische activiteit in de hersenen. Dit wordt gerealiseerd aan de hand van het principe van operante conditionering, wat betekent dat er een gewenste respons op een bepaalde prikkel wordt aangeleerd door deze te bekrachtigen of belonen. Aan de hand van ‘real-time’ videobeelden van de hersenactiviteit afkomstig van elektroden geplaatst op het hoofd, kan de cliënt zijn eigen hersenactiviteit aanschouwen en aansturen (Fuchs, Birbaumaer, Lutzenberger, Gruzelier & Kaiser, 2003). Uit verschillende onderzoeken naar de effectiviteit van Neurofeedback zijn veelbelovende resultaten naar voren gekomen op het gebied van het reduceren van symptomen van ADHD. Tevens is gebleken dat Neurofeedback een positief effect kan hebben op het intelligentieniveau. Dit komt onder andere doordat Neurofeedback zorgt voor een toename in de verwerkingssnelheid, wat bij een intelligentietest zoals de WISC-III leidt tot een hogere score binnen een bepaald tijdbestek (Lofthouse et al., 2012). Dit laatstgenoemde effect is ook gevonden na het trainen van het werkgeheugen (Jaušovec & Jaušovec, 2012). Meer specifiek gericht op het trainen van het werkgeheugen is het computergestuurde trainingsprogramma Cogmed Werkgeheugen Training (CWT) ontwikkeld door Klingberg et al. (2005). CWT is een computergestuurd trainingsprogramma wat aan de hand van verschillende taken het werkgeheugen traint en is van oorsprong ontwikkeld voor kinderen met ADHD (Klingberg, 2010). Het programma bevat visuospatiële werkgeheugentaken (het onthouden van patronen die visueel weergegeven worden) en verbale werkgeheugentaken (het onthouden van klanken of uitgesproken letters of cijfers). Hierbij wordt de moeilijkheidsgraad van de taak bepaald door de werkgeheugencapaciteit van het kind. Naarmate het kind op een bepaalde taak beter gaat presteren gaat het niveau van de betreffende taak omhoog. Als de scores gaan dalen past het niveau van de taak zich hier wederom op aan. Dit zorgt ervoor dat het kind uitgedaagd blijft en zich kan blijven verbeteren maar niet boven zijn kunnen hoeft te presteren (Klingberg et al. 2005). Uit verschillende onderzoeken is gebleken dat CWT een positieve invloed heeft op schoolresultaten, aandachtsspan en impulsbeheersing. Daarnaast blijkt uit onderzoek van Gray et al. (2012) dat er na de 6
training een positieve verandering is te zien in zowel het auditief-verbale als het visuospatiële deel van het werkgeheugen: de participanten uit de onderzoeksgroep (gediagnosticeerd met ADHD en/of LD) laten in vergelijking met de controlegroep een significante vooruitgang zien op de resultaten van de cijferspantaken. Zij vinden echter geen significante verschillen op de andere werkgeheugentaken en aandacht- en concentratietaken na CWT. Klingberg et al. (2005) deden onderzoek naar de effecten van CWT op het werkgeheugen, andere executieve functies en symptomen van ADHD. De groep kinderen die deelnam aan de CWT scoorden na de training significant hoger op de taken die beroep doen op het werkgeheugen dan de controlegroep die niet had deelgenomen aan de CWT. Daarnaast bleek uit de gedragsvragenlijst die ouders over het kind moesten invullen een significante afname op de scores van onoplettendheid en impulsiviteit/hyperactiviteit.
Hoewel Klingberg (2005) onderschrijft dat er op de korte termijn na het beëindigen van CWT positieve resultaten worden geboekt, blijkt dat de effecten het beste zichtbaar zijn zes maanden na het beëindigen van de training. Dit is met name te zien aan de resultaten van schoolse vaardigheden die uit verschillende onderzoeken direct na de training weinig tot geen verschil laten zien ten opzichte van de resultaten voorafgaand aan de training. Dit valt te verklaren door het feit dat er bij een dergelijke cognitieve training wordt verwacht dat het wat tijd kost om de nieuwe patronen te implementeren in gestandaardiseerde tests die op school worden afgenomen. Daarnaast heeft het kind wat tijd nodig om de effecten van Cogmed te beklijven (Holmes et al., 2009). Anderzijds komt uit een vervolgonderzoek van Klingberg (2010) naar voren dat er na 5 weken training met CWT een toename is in de hoeveelheid dopamine in de hersenen. Deze resultaten zijn interessant omdat dit een indicatie geeft van de plasticiteit van de hersenen. Daarnaast heeft de hoeveelheid dopamine in de hersenen een grote invloed op het werkgeheugen. Ook zijn er positieve effecten van CWT gevonden in het onderzoek van Løhaugen et al. (2011) bij adolescenten die door een extreem laag geboortegewicht een verhoogd risico hebben op leerproblemen, internaliserende gedragsproblemen, aandachtsproblemen en een zwak werkgeheugen. Zo blijken de adolescenten na de training beter in staat om een kort verhaaltje te onthouden en te reproduceren in vergelijking met hun leeftijdsgenoten die de training niet hadden gevolgd. Na 6 maanden follow-up blijken dezelfde effecten nog steeds zichtbaar te zijn.
Om de prevalentie van werkgeheugen(-gerelateerde) problemen bij kinderen in kaart te brengen deden Holmes et al. (2009) een steekproef bij een groep basisschoolkinderen in Engeland. Hieruit kwam naar voren dat in een klas van 30 kinderen gemiddeld vier tot vijf kinderen problemen hebben met het werkgeheugen. Zij zullen ten gevolge hiervan hoogstwaarschijnlijk problemen ondervinden met verschillende academische en schoolse vaardigheden (Loosli et al. 2012). Volgens Holmes et al. (2009) kunnen de werkgeheugenproblemen bij deze kinderen verbeterd dan wel niet voorkomen worden door hen te laten deelnemen aan een intensieve doch kortdurende werkgeheugentraining. Het is daarom van wetenschappelijk en maatschappelijk belang dat er onderzoek gedaan wordt naar de mogelijkheden om het werkgeheugen te trainen en te verbeteren. Een ander argument dat het belang van de werkgeheugentraining onderstreept is de noodzaak voor een 7
alternatieve, werkzame behandeling voor kinderen met ADHD. Medicatie is, ondanks de publicaties over de negatieve bijwerkingen en onduidelijkheid over de werkzaamheid bij kinderen, de meest voorkomende behandeling voor ADHD (Graham et al., 2011). Er is echter uit een aantal studies gebleken dat werkgeheugentraining een positief effect kan hebben op dezelfde symptomen van ADHD die vaak worden behandeld met medicatie, zoals aandacht en concentratie, focus en schoolse vaardigheden als begrijpend lezen en wiskundig redeneren (Söderqvist, Bergman Nutley, Peyrard-Janvid, Matsson, Humphreys, Kere & Klingberg, 2012). Omdat de studies en publicaties over de effecten van werkgeheugentraining echter in de minderheid zijn is het van belang dat er daarom meer onderzoek gedaan wordt om zo de effectiviteit en werkzaamheid in kaart te brengen en de bekendheid van de behandelmethode te vergroten, specifiek voor een nieuw trainingsprogramma als Cogmed (Klingberg, 2010). In eerder genoemde onderzoeken zijn met name de lange-termijn effecten van CWT onderzocht (vanaf 6 maanden na het beëindigen van de training), omdat is gebleken dat de groei van het werkgeheugen vooral met betrekking tot de schoolse vaardigheden tijd nodig heeft om te implementeren naar gestandaardiseerde testen op school (Homes et al. 2009). Desalniettemin is gebleken uit het eerder genoemde onderzoek van Klingberg (2010) dat er na 5 weken trainen met CWT er een positief verschil is waar te nemen in de hoeveelheid dopamine in de hersenen. Dit gegeven roept de vraag op in hoeverre er direct na het beëindigen van CWT niet alleen neurologische maar ook cognitieve en/of gedragsmatige verschillen zijn waar te nemen. Deze huidige studie richt zich dan ook op de korte termijn effecten van CWT op het werkgeheugen en verschillende gebieden van de aandacht en concentratie. In de sociale wetenschappen en in klinische studies wordt voor onderzoek naar de werkzaamheid van interventies veelal gebruikt gemaakt van Randomized
Controlled Trials (RCT’s). In dit onderzoek is echter gekozen voor een case series design (N=9). Case
series of single case studies zijn bij uitstek geschikt voor het onderzoeken van de voorlopige werkbaarheid en uitvoerbaarheid van een nieuw interventiemodel. Het biedt een waardevolle beschrijving van gegevens en ervaringen over de haalbaarheid en effectiviteit van interventies die uiteindelijk worden getest in klinische studies (Drotar, 2009). Er zijn nog een aantal andere voordelen bij het verkiezen van single case studies boven een RCT. Zo bieden zij bijvoorbeeld ruimte voor een kleinere steekproef en brengen ze individuele effectgroottes beter in kaart, wat voor een clinicus een informatiever beeld geeft over de patiënt als individu (Rapoff & Stark, 2008).
Het doel van dit onderzoek is om te kijken of er sprake is van een positief verschil op de verschillende aandacht, concentratie- en werkgeheugentaken voor en vlak na het beëindigen van CWT. Hierbij wordt er tevens gekeken naar de al dan niet aanwezige positieve verschillen bij de controlegroep. Daarnaast wordt aan de hand van de normatieve deviatiescore de ernst van de problematiek van zowel de controlegroep als de onderzoeksgroep in kaart gebracht. Hiertoe zijn de volgende hypothesen geformuleerd;
1. Er is bij de voormeting sprake van een negatieve probleemstatus op de aandacht, concentratie- en werkgeheugentaken bij de onderzoeksgroep
2. Er is bij de nameting geen sprake van een negatieve probleemstatus op de aandacht, concentratie- en werkgeheugentaken bij de onderzoeksgroep.
3. Er is zowel bij de voor- als nameting geen sprake van een negatieve probleemstatus op de aandacht, concentratie- en werkgeheugentaken bij de controlegroep.
4. Er is sprake van een significant positief verschil op de aandacht, concentratie- en werkgeheugentaken tussen de voor- en nameting bij de onderzoeksgroep
5. Er is geen sprake van een significant positief verschil op de aandacht, concentratie- en werkgeheugentaken tussen de voor- en nameting bij de onderzoeksgroep
Verwacht wordt dat dit onderzoek zal aantonen dat er sprake is van een negatieve probleemstatus bij de voormeting op de aandacht, concentratie- en werkgeheugentaken bij de onderzoeksgroep. Tevens wordt er verwacht dat er bij de nameting bij de controlegroep geen sprake meer is van een negatieve probleemstatus. Daarnaast wordt er verwacht dat er een positief verschil wordt waargenomen tussen de voor- en nameting op de aandacht, concentratie- en werkgeheugentaken bij de onderzoeksgroep. Tot slot wordt verwacht dat er geen sprake zal zijn van een negatieve probleemstatus bij de controlegroep en dat er geen significant positieve verschillen zullen worden waargenomen tussen de voor- en nameting.
Methode
ParticipantenDe participanten van dit onderzoek bestonden uit twee groepen kinderen tussen de 6 en 12 jaar (zie tabel 1). De ene groep kinderen (de onderzoeksgroep) deed de Cogmed Werkgeheugen Traning, de andere groep (de controlegroep) niet. Bij beide groepen kinderen werden aan de hand van een voor- en nameting een aantal aandacht, concentratie- en werkgeheugen taken afgenomen, om zo het verwachte verschil tussen beide groepen in kaart te kunnen brengen. Omdat er sprake was van twee populaties en twee meetmomenten (voor- en na) is er gekozen voor twee afhankelijke steekproeven, wat betekent dat de participanten voor de nameting dezelfde participanten waren als bij de voormeting (Van Peet, Van den Wittenboer & Hox, 2005). De onderzoeksgroep bestond uit negen kinderen waarbij sprake was van problemen in de aandacht en concentratie en/of met het werkgeheugen. Deze kinderen zijn doorverwezen of aangemeld bij een orthopedagogische/psychologische praktijk door de leerkracht, IB’er, hun ouders, of een andere hulpverleningsinstantie in verband met de werkgeheugen en/of aandacht- en concentratieproblemen en komen met die reden in aanmerking voor CWT. Deze kinderen waren echter (nog) niet gediagnosticeerd met ADHD. De kinderen zijn geworven vanuit twee orthopedagogische/psychologische praktijken in Nederland. De praktijken die deelnamen aan het
onderzoek waren Praktijk voor Orthopedagogiek Teylingen in Sassenheim en Adviesbureau Comenius in Utrecht.
De controlegroep bestond in eerste instantie uit 30 kinderen tussen de 6 en 12 jaar waarvan 14 jongens en 16 meisjes (gemiddelde leeftijd: 9.1 jaar). Deze kinderen zijn op een willekeurige wijze geworven via basisschool Wakersduin uit Noordwijk en de Rembrandtschool uit Lisse. Wel is er invloed geweest op het aantal kinderen (vijf) dat per groep en leeftijd willekeurig is gekozen en werden kinderen die gediagnosticeerd waren met ADHD of een andere ontwikkelingsstoornis uitgesloten. Omdat er in eerste instantie vanuit werd gegaan dat de onderzoeksgroep minimaal 20 participanten zou omvatten is er gekozen voor een controlegroep van 30 kinderen. Nadat het uiteindelijke aantal van de onderzoeksgroep op negen participanten is uitgekomen, is er gekozen voor een matching met de controlegroep. Bij een gematchte steekproef wordt bij elke participant uit de eerste steekproef (de onderzoeksgroep) een participant uit de tweede steekproef (de controlegroep) geselecteerd die overeenkomstige eigenschappen heeft met een participant uit de eerste steekproef (Van Peet et al., 2005). De gematchte eigenschappen zijn leeftijd, geslacht en groepsniveau op school. De kinderen uit de controlegroep deden niet de Cogmed Werkgeheugen Training maar namen wel deel aan een voor- en nameting door middel van dezelfde testbatterij als de kinderen van de onderzoeksgroep. Tussen de voor- en nameting werd, net als bij de onderzoeksgroep, een periode van minimaal 5, maximaal 6 weken gehanteerd. Ook bij deze kinderen werden de ouders middels een brief geïnformeerd over het onderzoek. Tevens werd aan de ouders gemeld dat de resultaten volledig anoniem verwerkt zouden worden. De testresultaten zijn niet aan de ouders of leerkracht verstrekt. Indien de ouders bezwaar maakten tegen de deelname van hun kind aan de controlegroep werd hen vriendelijk verzocht een strookje, onderaan de informatiebrief, in te vullen en af te geven bij de leerkracht. Deze kinderen werden uitgesloten van de steekproef. De ouders van de geselecteerde kinderen kregen een week van tevoren via de leerkracht een brief uitgereikt waarin stond dat hun kind was geselecteerd voor de steekproef met daarbij de dag en het tijdstip dat hun kind getest zou worden. Op deze manier konden de ouders hun kind voorbereiden op het testmoment.
Tabel 1: Karakteristieken van de participanten (N=18)
Variabelen Onderzoeksgroep (N=9) Controlegroep (N=9) Jongens 7 7 Meisjes 2 2 M (leeftijd) 10,2 10,3 Min (leeftijd) 8,1 8,1 Max (leeftijd) 11,7 11,8 M (groepsniveau) 6,6 6,6 Min (groepsniveau) 4 4 Max (groepsniveau) 8 8 10
Instrumenten
De verschillende componenten van het werkgeheugen en de aandachts- en concentratie capaciteit zijn gemeten aan de hand van een voor- en nameting met behulp van de TEA-Ch en het onderdeel cijferreeksen van de WISC.
Aandacht en concentratie: TEA-Ch
De TEA-Ch (test of everyday attention for children) is een testbatterij bestaande uit 9 subtests waarmee aandachtsproblemen bij kinderen tussen de 6 en 16 jaar in kaart gebracht kunnen worden. Met de TEA-Ch worden drie verschillende aandachtsgebieden gemeten; selectieve aandacht,
volgehouden aandacht en aandachtscontrole/switching. Bij de selectieve aandacht wordt gekeken
naar de capaciteit van het kind om uit een hoeveelheid aan informatie alleen de relevante informatie te kunnen filteren en de irrelevante of afleidende prikkels te kunnen onderdrukken. De volgehouden
aandacht doet een beroep op het kunnen focussen en concentreren bij een relatief saaie taak. De aandachtscontrole/switching richt zich op de vaardigheid om de aandacht tussen meerdere belangrijke
taken te kunnen switchen. De TEA-Ch onderscheidt zich ten voordele ten opzichte van andere meetinstrumenten voor aandacht en concentratie, omdat het de mogelijkheid biedt om meerdere componenten van aandacht in kaart te brengen (Heaton et al., 2001). In dit onderzoek is gebruik gemaakt van de verkorte versie van de TEA-Ch bestaande uit de eerste vier subtests. Deze verkorte versie kan gebruikt worden als screeningsinstrument en geeft een globaal beeld over de verschillende aandachtsfactoren en bijbehorende prestaties van het kind. Daarnaast zal gebruik worden gemaakt van twee parallelvormen van de TEA-Ch wat de mogelijkheid biedt tot hertesten (Heaton et al., 2001). De vier subtests behorende bij de verkorte versie zijn; Ruimteschepen (RS), Tel Mee! (TM), Trollen Tellen (TT) en Ruimteschepen Dubbeltaak (RS dt). Met het onderdeel Ruimteschepen wordt de
selectieve aandacht in kaart gebracht, met de onderdelen Tel Mee! en Ruimteschepen Dubbeltaak de volgehouden aandacht en met het onderdeel Trollen Tellen de aandachtscontrole/switching.
Werkgeheugen: WISC-III, cijferspantaak
De cijferspantaak voorwaarts en achterwaarts is afkomstig uit de Wechsler Intelligence Scale for Childeren- III (2002) en werd gebruikt om het auditieve – en verbale korte termijn geheugen en het werkgeheugen te meten (Gray et al. 2012). De cijferspantaak van de WISC-III wordt gezien als een zeer valide meetinstrument om de capaciteit van het werkgeheugen in kaart te brengen. De resultaten van een cijferspantaak geven zowel de werkzaamheid van de executieve als wel de fonologische functies van het werkgeheugen weer (Gullick et al., 2011).
Procedure
De ouders van de deelnemende kinderen uit de onderzoeksgroep werden middels een brief geïnformeerd over het onderzoek en gevraagd om een toestemmingsverklaring voor deelname te 11
tekenen. Daarnaast kregen de ouders, indien gewenst, een exemplaar van de uitgewerkte testresultaten toegestuurd via de orthopedagoog. De inclusiecriteria voor deelname aan het onderzoek waren als volgt: het kind was tussen de 6 en 12 jaar, gebruikte geen psychostimulanten of andere medicijnen die een eventuele invloed op de resultaten zouden kunnen uitoefenen, was aangemeld bij de orthopedagoog wegens problemen met de aandacht en concentratie en/of het werkgeheugen en ging hiervoor in behandeling middels CWT.
De tests zijn afgenomen in een één op één situatie in een rustige kamer, allen door dezelfde testleidster. Er hebben twee meetmomenten plaatsgevonden met minimaal vijf, maximaal zes weken tussen het eerste en het tweede meetmoment. Dit in verband met de Cogmed Werkgeheugen Training die 5 weken in beslag neemt. Er is rekening gehouden met het tijdstip waarop de metingen hebben plaatsgevonden. Zo zijn de kinderen die bij het eerste meetmoment in de ochtend zijn getest ook bij het tweede meetmoment in de ochtend getest (met een maximaal verschil van een uur). Tevens is er rekening gehouden met de volgorde van de afgenomen testen, die bij het eerste en tweede meetmoment hetzelfde waren. Er werd begonnen met het afnemen van de cijferspantaken voorwaarts- en achterwaarts. Dit omdat deze taken veel concentratie van het kind vereisten. Daaropvolgend zijn de vier onderdelen van de TEA-Ch in chronologische volgorde afgenomen. De testgegevens na voor- en nameting van de kinderen uit de onderzoeksgroep zijn teruggekoppeld naar de ouders en Cogmedcoach. De testgegevens van de kinderen uit de controlegroep zijn volledig anoniem verwerkt en niet aan derden verstrekt.
Statistische analyse
Voor het analyseren van de testgegevens zijn eerst de ruwe scores van de TEA-Ch per kind omgezet in normscores volgens de Nederlandse/Vlaamse normering per subtest uit het supplement van de handleiding van de TEA-Ch (Schittekatte, Groenvynck, Fontaine & Dekker, 2007). Bij de cijferreeksen van de WISC-III is de score voorwaarts en achterwaarts bij elkaar opgeteld en de totaalscore vergeleken met de normgroep behorende bij de leeftijd van het kind. Vervolgens is de normatieve deviatiescore (NDS) berekend om informatie te geven over de ernst van de problematiek bij aanvang en bij afsluiting. De NDS bepaald hoeveel standaarddeviaties een bepaalde score afwijkt van de norm en wordt per individu berekend door de score op de test af te trekken van de normscore en te delen door de standaarddeviatie van de norm (Veerman et al. 2006). In het geval van dit onderzoek zegt de NDS iets over de ernst van de aandachts- en concentratieproblematiek en de problemen met het werkgeheugen. De grensscores die hierbij worden gehanteerd worden weergegeven in tabel 2.
Tabel 2: interpretatiekader van de deviatiescores voor problemen
Deviatiescore (NDS) Percentielscore (P) Label Betekenis
> 1.00 < 0.84 Geen problemen Geen zorgen van
betekenis
-1.00 – -1.28 0.84 – 0.89 Matige problemen Problematiek verdient aandacht
-1.29 – -1.64 0.90 – 0.94 Aanzienlijke problemen
Problematiek verdient aandacht
-1.65 – -1.96 0.95- 0.97 Ernstige problemen Problematiek verdient behandeling < -1.96 > 0.97 Zeer ernstige problemen Problematiek verdient behandeling (Veerman et al., 2006)
Omdat er in dit onderzoek geen probleemscores maar competentie of vaardigheidsscores worden gemeten zijn de waarden gespiegeld van de originele tabel. Nu geldt: hoge scores wijzen op veel competenties, lage scores op afwezigheid van competenties. Er is dus in dit geval sprake van een significante NDS bij NDS > -1.29 (Veerman et al., 2006) Vervolgens is van alle subtests het verschil tussen de scores van de voor- en de nameting uitgerekend en aan de hand van deze gegevens is per kind per subtest de Reliable Change Index (RCI) berekend. De RCI geeft een weergave van een individuele effectgrootte dus een individuele maat voor een al dan niet betekenisvol effect (Jacobson & Truax, 1991). Omdat dit onderzoek zich alleen richt op vooruitgang zijn positieve verschillen tussen de voor- en nameting in beschouwing genomen. Er is hierbij gebruik gemaakt van eenzijdig toetsen. Bij de interpretatie van de RCI werden bepaalde grenswaarden gehanteerd die zijn afgeleid uit statistische waarden die over het algemeen worden gebruikt bij het toetsen van hypothesen. Hierbij is de grenswaarde van RCI > 1.65 gehanteerd, wat bij eenzijdig toetsen betekent dat een vooruitgang met 95% zekerheid niet op toeval berust is. Dit wil zeggen dat een RCI > 1.65 een betekenisvolle of significante vooruitgang weergeeft (Veerman, Van Yperen, Bijl, Ooms & Roosma, 2006). Voor het berekenen van de RCI geldt de formule zijn eerst de standaardmeetfout (Se) en de standaardfout van het verschil (Sdif) per test uitgerekend aan de hand van de betrouwbaarheidsparameters en standaarddeviaties van de test. Bij de TEA-Ch is per subtests een Se en een Sdif berekend (zie tabel 3) Bij de cijferreeksen van de WISC geldt per leeftijdsgroep een andere standaarddeviatie en er is daarom per leeftijdsgroep een Se en een Sdif berekend (zie tabel 4).
Tabel 3: Beschrijvende statistieken TEA-Ch
Subtests Aandachtsgebied M Sd Rxx Se Sdif
RS score Selectieve aandacht 9.40 2.77 0.57 1.82 2.57
RS tijd Selectieve aandacht 9.80 2.62 0.79 1.20 1.70
RS aandacht Selectieve aandacht 10.00 2.64 0.69 1.47 2.08
Tel Mee! Volgehouden aandacht 9.20 3.00 0.72 1.59 2.25
TT score Aandachtscontrole/switching 9.60 2.89 0.53 1.98 2.80 TT tijd Aandachtscontrole/switching 10.10 2.76 0.86 1.03 1.46 RS dubbeltaak Volgehouden aandacht 9.80 3.28 0.53 2.25 3.18
Tabel 4: Beschrijvende statistieken WISC-Cijferreeksen
Leeftijdsgroepen M Sd Rxx Se Sdif 7.5 9.80 2.20 0.42 1.68 2.37 8.5 10.90 2.30 0.42 1.75 2.48 9.5 11.50 2.00 0.42 1.52 2.15 10.5 12.50 2.40 0.42 1.83 2.58 11.5 12.80 2.80 0.42 2.13 3.02 12.5 13.30 2.60 0.42 1.98 2.80
Bij alle subtests is per kind aan de hand van de score van de voor –en nameting de verschilscore uitgerekend. Aan de hand van deze verschilscores is per kind per subtest de RCI uitgerekend door de verschilscore te delen door de Sdif. Hierbij zijn de controlegroep en de onderzoeksgroep los van elkaar in verschillende tabellen weergegeven.
Resultaten
De resultaten worden per participant in volgorde van de opgestelde hypotheses beschreven. Hierbij worden eerst de resultaten van de participanten uit de onderzoeksgroep beschreven. Daarna worden de resultaten van de participanten uit de controlegroep beschreven.
Hypothese 1: Er is bij de voormeting sprake van een negatieve probleemstatus op de aandacht, concentratie- en werkgeheugentaken bij de onderzoeksgroep.
Tabel 5 geeft de NDS van de voormeting bij de onderzoeksgroep per participant per subtest met daaronder in tabel 6 de bijbehorende status. In deze tabel is te zien dat er bij drie van de negen participanten sprake is van een negatieve probleemstatus. Hierbij is er bij één participant sprake van een negatieve probleemstatus op meer dan één subtest. Participant 1 heeft een negatieve probleemstatus op de totaalscore van de cijferreeksen, wat betekent dat hij problemen ervaart met het werkgeheugen. Participant 3 heeft een negatieve probleemstatus op de tijdscore van het onderdeel Ruimteschepen, wat problemen met de selectieve aandacht kan betekenen. Tot slot heeft participant 7 14
een negatieve probleemstatus op de tijdscore van het onderdeel Trollen Tellen en op de dubbeltaak van het onderdeel Ruimteschepen. Dit kan betekenen dat hij problemen ervaart met de
aandachtscontrole/switching en de volgehouden aandacht.
Tabel 5: Onderzoeksgroep: Normatieve Deviatiescores (NDS) voormeting
TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score 0,22 0,22 0,94 -0,51 0,94 0,94 -0,51 0,22 0,94 RS tijd 0,84 -0,68 -1,45* 0,08 0,46 0,84 -0,69 0,08 0,83 RS aandacht 0,00 -0,76 -1,13 0,00 0,38 0,38 -1,14 -0,38 0,76 TM -0,73 0,60 0,60 0,27 0,93 -1,07 -0,40 0,93 -0,40 TT score -0,21 -0,20 1,17 0,14 0,14 -0,56 -0,55 0,14 -0,90 TT tijd 0,69 -0,76 -1,12 -1,12 -0,76 -0,76 -1,85* 0,33 -0,04 RS dt 0,06 -0,24 0,67 0,37 0,37 -0,24 -1,46* 0,98 0,06 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal -1,72* 0,09 0,04 0,25 -0,25 0,201 0,21 -0,64 -0,63
* = NDS> -1.29 significant resultaat met zekerheidsmarge van 95%
Tabel 6: Onderzoeksgroep: Status voormeting
TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score S+ S+ S+ S+ S+ S+ S+ S+ S+ RS tijd S+ S+ S- S+ S+ S+ S+ S+ S+ RS aandacht S+ S+ S+ S+ S+ S+ S+ S+ S+ TM S+ S+ S+ S+ S+ S+ S+ S+ S+ TT score S+ S+ S+ S+ S+ S+ S+ S+ S+ TT tijd S+ S+ S+ S+ S+ S+ S- S+ S+ RS dt S+ S+ S+ S+ S+ S+ S- S+ S+ Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal S- S+ S+ S+ S+ S+ S+ S+ S+
S = Status = positief: niet problematisch (+); negatief: problematisch (-)
Hypothese 2: Er is bij de nameting geen sprake van een negatieve probleemstatus op de aandacht, concentratie- en werkgeheugentaken bij de onderzoeksgroep.
In tabel 7 wordt de NDS van de nameting per subtest per participant van de onderzoeksgroep weergegeven met daaronder in tabel 8 de status en de verandering. Er is bij één participant sprake is 15
van een negatieve probleemstatus. Participant 3 heeft een negatieve probleemstatus op de
aandachtcontrole/switching te zien aan de significant lage score op de tijdscore van de subtest Trollen
Tellen. Deze negatieve probleemstatus was bij het eerste meetmoment niet aanwezig. Wel had participant 3 bij de voormeting een negatieve probleemstatus op de tijdscore bij de subtest Ruimteschepen, die nu veranderd is in een positieve probleemstatus. De overige participanten die bij het eerste meetmoment een negatieve probleemstatus hadden hebben dit bij het tweede meetmoment niet meer.
Tabel 7: Onderzoeksgroep: Normatieve Deviatiescores (NDS) nameting
TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score -0,87 -0,87 -0,87 -1,22 -0,51 0,94 0,94 -0,51 0,94 RS tijd 1,98 0,08 0,08 1,98 1,6 0,84 -0,31 2,37 1,60 RS aandacht 1,52 0,00 0,00 1,52 0,76 0,38 -0,38 1,89 1,14 TM 1,27 -0,07 -0,73 0,27 0,27 -1,07 -0,40 0,93 0,60 TT score 0,48 0,48 -0,21 1,18 1,18 1,18 -0,55 -0,55 0,14 TT tijd 0,69 -0,04 -1,49* -1,12 -0,04 -0,04 -0,76 -0,40 -0,04 RS dt 0,37 0,37 0,06 0,06 0,67 0,37 -0,55 0,37 0,37 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal 0,55 0,09 0,91 1,25 2,75 1,88 -0,63 0,79 -0,21
* = NDS> -1.29 significant resultaat met zekerheidsmarge van 95%
Tabel 8: Onderzoeksgroep: Status en verandering nameting
TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 RS tijd S+ V+ S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 RS aandacht S+ V+ S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 TM S+ V+ S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 TT score S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 TT tijd S+ V0 S+ V0 S- V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 RS dt S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal S+ V+ S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0
V = Verandering = positief (+); of negatief (-); onveranderd (0) S = Status = positief: niet problematisch (+); negatief: problematisch (-)
Hypothese 3: Er is zowel bij de voor- als nameting geen sprake van een negatieve probleemstatus op de aandacht, concentratie- en werkgeheugentaken bij de controlegroep.
De volgende tabel (tabel 9) geeft de NDS van de voormeting bij de controlegroep per participant per subtest met daaronder in tabel 10 het symbool voor de bijbehorende status. Hieruit valt af te lezen dat geen van de participanten uit de controlegroep een negatieve probleemstatus heeft bij de voormeting. In tabel 11 is te zien dat er bij het tweede meetmoment, de nameting, wederom bij geen van de negen participanten sprake is van een negatieve probleemstatus. In tabel 12 wordt de bijbehorende status en de verandering weergegeven.
Tabel 9: Controlegroep: Normatieve Deviatiescores (NDS) voormeting
TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score 0,5776 0,9386 0,9386 -0,5054 0,2166 -0,5054 0,9386 0,9386 -0,5054 RS tijd 0,0763 0,4580 -0,3053 0,0763 0,4580 0,0763 0,0763 -0,3053 0,0763 RS aandacht -0,3788 0,3788 -0,7576 -0,3788 0,0000 0,3788 0,0000 -0,7576 -0,3788 TM 0,9333 1,2667 1,2667 -1,0667 0,2667 0,9333 -0,7333 -0,7333 -0,0667 TT score 0,4844 1,1765 0,1384 -0,5536 -0,8997 1,1765 1,1765 -0,5536 -1,2457 TT tijd 2,2101 -0,3986 -0,3986 0,3261 -0,3986 0,3261 -0,3986 -0,0362 -0,7609 RS dt 0,6494 0,3445 0,0396 -0,8750 0,6494 -0,2652 2,0945 0,6494 -0,2652 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal 0,5455 0,0435 0,0435 -0,7500 -0,7500 -0,2083 1,0385 0,4286 -0,1154
* = NDS> -1.29 significant resultaat met zekerheidsmarge van 95%
Tabel 10: Controlegroep: Status voormeting
TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score S+ S+ S+ S+ S+ S+ S+ S+ S+ RS tijd S+ S+ S+ S+ S+ S+ S+ S+ S+ RS aandacht S+ S+ S+ S+ S+ S+ S+ S+ S+ TM S+ S+ S+ S+ S+ S+ S+ S+ S+ TT score S+ S+ S+ S+ S+ S+ S+ S+ S+ TT tijd S+ S+ S+ S+ S+ S+ S+ S+ S+ RS dt S+ S+ S+ S+ S+ S+ S+ S+ S+ Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal S+ S+ S+ S+ S+ S+ S+ S+ S+
S = Status = positief: niet problematisch (+); negatief: problematisch (-)
Tabel 11: Controlegroep: Normatieve Deviatiescores (NDS) nameting TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score 1,2996 0,9386 0,9386 0,2166 0,9386 -0,8664 0,9386 0,9386 -0,5054 RS tijd 0,4580 0,4580 -0,3053 1,2214 1,6031 0,0763 0,8397 1,2214 0,8397 RS aandacht 0,0000 0,7576 -0,3788 0,7576 1,1364 0,0000 0,3788 0,7576 0,3788 TM 0,9333 1,2667 1,2667 -0,4000 0,2667 0,2667 -0,0667 -0,7333 0,6000 TT score 0,4844 1,1765 -0,5536 0,1384 0,1384 1,1765 1,1765 0,1384 0,1384 TT tijd -1,1232 -0,7609 -0,0362 0,3261 0,3261 -0,0362 -0,3986 -0,0362 -0,3986 RS dt 0,0610 0,3659 -0,5488 -0,2439 0,3659 0,3659 -0,8537 0,0610 0,3659 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal -0,3636 -0,8261 0,0435 0,2500 -1,2500 -0,2083 1,5000 1,0417 -0,2857
* = NDS> -1.29 significant resultaat met zekerheidsmarge van 95%
Tabel 12: Controlegroep: Status en verandering nameting
TEA-Ch subtests Participant 1 2 3 4 5 6 7 8 9 RS score S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 RS tijd S+ V0 S+ V0 S+ V0 S+ V+ S+ V+ S+ V0 S+ V0 S+ V+ S+ V0 RS aandacht S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 TM S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 TT score S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 TT tijd S+ V+ S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 RS dt S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR totaal S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0 S+ V0
V = Verandering = positief (+); of negatief (-); onveranderd (0) S = Status = positief: niet problematisch (+); negatief: problematisch (-)
Hypothese 4: Er is sprake van een significant positief verschil op de aandacht- en concentratietaken tussen de meting voor- en vlak na het beëindigen van CWT bij de onderzoeksgroep.
In tabel 13, de RCI van de participanten uit de onderzoeksgroep, is te zien dat er bij zeven van de negen participanten sprake is van een significante vooruitgang op de aandacht- en concentratietaken (zie voor status en verandering tabel 8). Daarbij is er bij drie participanten sprake van een significante vooruitgang op meer dan één subtest. Bij de eerste participant is er sprake van een significante vooruitgang op de aandachtsscore en tijdscore van het onderdeel Ruimteschepen en op de totaalscore 18
van Tel Mee!. Dit betekent dat er bij deze participant op de aandachtsgebieden selectieve aandacht en volgehouden aandacht sprake is van een significante vooruitgang. De derde participant heeft een significante vooruitgang geboekt op de tijdscore van het onderdeel Ruimteschepen; de selectieve aandacht. Bij participant nummer 4 is er tevens sprake van een significante vooruitgang op de selectieve aandacht. Zowel de tijdsscore als de aandachtsscore van het onderdeel Ruimteschepen zijn significant toegenomen. De vijfde participant heeft zowel een significante vooruitgang geboekt op de tijdscore van Ruimteschepen, de selectieve aandacht, als op de cijferreeksen; het werkgeheugen. Bij participant 6 is er sprake van een significante vooruitgang op het totale aantal correct beantwoorde items bij het onderdeel Trollen Tellen, wat een vooruitgang op de aandachtscontrole/switching weergeeft. Bij participant 7 is er tevens sprake van een significante vooruitgang op de aandachtcontrole/switching bij de tijdscore op het onderdeel Trollen Tellen. Tot slot is er bij de achtste participant sprake van een significante vooruitgang op de aandachts- en tijdscore van het onderdeel Ruimteschepen wat een vooruitgang in de selectieve aandacht weergeeft.
Tabel 13: Onderzoeksgroep: Reliable Change Index per participant per subtest
* = RCI > 1.64 significante vooruitgang met zekerheidsmarge van 95%
In tabel 13 is tevens te zien dat er bij twee van de negen participanten sprake is van een significante vooruitgang op de werkgeheugentaken. Dit betreft participant 1 en participant 5. Participant 1 boekte naast een significante vooruitgang op het werkgeheugen ook een significante vooruitgang op de aandachtsgebieden selectieve aandacht en volgehouden aandacht. Participant 5 boekte naast een significante vooruitgang op het werkgeheugen ook een significante vooruitgang op de selectieve
aandacht. Subtests TEA-Ch Participant 1 2 3 4 5 6 7 8 9 RS score -1.17 -1.17 -1.95 -0.78 -1.56 0.00 1.56 -0.78 0.00 RS tijd 1.77* 1.18 2.36* 2.94* 1.77* 0.00 0.59 3.53* 0.00 RS aandacht 1.92* 0.96 1.44 1.92* 0.48 0.00 0.96 2.89* 0.48 TM 2.67* -0.89 -1.78 0.00 -0.89 0.00 0.00 0.00 1.34 TT score 0.71 0.71 -1.43 1.07 1.07 1.78* 0.00 -0.71 1.07 TT tijd 0.00 1.37 -0.68 0.00 1.37 1.37 2.05* -1.37 0.00 RS dt 0.31 0.63 -0.63 -0.31 0.31 0.63 0.94 -0.62 0.31 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR voor 1.21 -0.40 -0.46 0.00 1.55 0.33 0.00 0.66 0.00 CR achter 0.81 0.40 1.39 0.77 0.77 0.99 0.33 0.66 0.33 CR totaal 2.02* 0.00 0.93 0.78 2.32* 1.32 0.33 1.33 0.33 19
Hypothese 5: Er is geen sprake van een significant positief verschil op de aandacht- en concentratietaken tussen de voor- en nameting bij de controlegroep.
In tabel 14, de RCI van de participanten uit de controlegroep, is te zien dat er bij vier van de negen participanten sprake is van een significante vooruitgang op de aandacht- en concentratietaken (zie voor status en verandering tabel 12). Bij geen van de participanten is er sprake van een significante vooruitgang op meer dan één subtest. De eerste participant heeft een significante vooruitgang geboekt op de tijdscore van het onderdeel Trollen Tellen, wat betekent dat er een vooruitgang is in de aandachtscontrole/switching. Participant 4, 5 en 8 hebben allen een significante vooruitgang geboekt op de tijdscore van het onderdeel Ruimteschepen wat een vooruitgang in de selectieve aandacht betekent. Bij de andere participanten is er bij geen van de aandachtsgebieden sprake van een significante vooruitgang.
Tabel 14: Controlegroep: Reliable Change Index per participant per subtest
Subtests Participant 1 2 3 4 5 6 7 8 9 RS score 0,78 0,00 0,00 0,79 0,78 -0,39 0,00 0,0000 0,00 RS tijd 0,59 0,00 0,00 1,77* 1,77* 1,18 1,18 2,36* 1,18 RS aandacht 0,59 0,48 0,48 1,44 1,44 -0,96 0,48 1,92 0,96 TM 0,00 0,00 0,00 0,89 0,00 -0,89 0,89 0,00 0,89 TT score 0,00 0,00 -0,71 0,71 1,07 0,00 0,00 0,71 1,42 TT tijd 2,05* -0,68 0,68 0,00 1,37 -0,68 0,00 0,00 0,68 RS dt -0,63 0,00 -0,63 0,63 -0,31 0,63 1,26 -0,63 0,63 Cijferreeksen WISC Participant 1 2 3 4 5 6 7 8 9 CR voor -0,40 -0,40 0,00 0,77 0,00 0,39 0,00 0,33 0,00 CR achter -1,21 -0,40 0,00 0,00 -0,39 -0,39 0,33 0,00 -0,33 CR totaal -0,81 -0,81 0,00 0,77 -0,39 0,00 0,33 0,33 -0,33
* = RCI > 1.64 significante vooruitgang met zekerheidsmarge van 95%
In tabel 5 is tevens te zien dat er bij geen van de participanten sprake is van een significante vooruitgang op de werkgeheugentaken.
Discussie
Het doel van dit onderzoek was om te kijken of er sprake was van significant positieve verschillen voor en vlak na het beëindigen van CWT op verschillende aandacht, concentratie- en werkgeheugentaken bij de onderzoeksgroep. Er werd ter vergelijking tevens gekeken naar deze verschillen bij de controlegroep. Daarnaast werd de ernst van de problematiek op de aandacht, concentratie en het werkgeheugen in kaart gebracht.
Er is gebleken uit dat er na vijf weken werkgeheugentraining met CWT bij de meerderheid van de participanten uit de onderzoeksgroep sprake is van een significante vooruitgang op één of meerdere aandacht- en concentratietaken. Dit komt overeen met het onderzoek van Klingberg (2010) waaruit blijkt dat werkgeheugentraining een positieve invloed heeft op de hersengebieden die de aandacht en concentratie aansturen. Deze bevindingen ondersteunen in zekere mate de hypothesen van dit onderzoek; er zijn immers significante positieve verschillen gevonden tussen de voor- en nameting bij de participanten uit de onderzoeksgroep. Deze positieve verschillen gelden echter maar voor een aantal subtests en niet voor elke participant. Desalniettemin blijkt dat zelfs een kleine vooruitgang in de werkzaamheid van het werkgeheugen leidt tot een significante verbetering in prestaties op school en in het dagelijks leven bij kinderen (Loosli et al., 2012). Het merendeel van de participanten die na CWT een significante vooruitgang boekten deden dit op de taken die beroep doen op de selectieve
aandacht. De minste effecten waren te zien op de taken waarbij er beroep wordt gedaan op de volgehouden aandacht. Deze gegevens worden ondersteund door het onderzoek van Heaton et
al.(2001) naar de verschillen tussen de resultaten op de TEA-Ch bij kinderen met- en zonder ADHD. Uit het onderzoek blijkt dat er door de kinderen met ADHD in vergelijking met de controlegroep de laagste score werd behaald op de onderdelen behorende tot de volgehouden aandacht. De resultaten op de onderdelen behorende tot de selectieve aandacht verschilde echter nauwelijks van de controlegroep. Deze bevindingen zijn enigszins in tegenspraak met de resultaten uit onderzoek van Poole & Kane (2009) naar de individuele verschillen in aandacht en concentratie bij kinderen met een hoge en met een lage werkgeheugencapaciteit. De score op de selectieve aandacht bleek bij deze twee groepen ook nauwelijks te verschillen. De onderzoekers verklaren dit echter door het feit dat voor selectief richten van de aandacht gebruik wordt gemaakt van een strategie die niet afhankelijk is van de capaciteit van het werkgeheugen. Echter, naarmate het aanbod aan afleidende stimuli groter werd, de taak langer duurde en er dus meer beroep wordt gedaan op de volgehouden aandacht bleken de kinderen met een lagere werkgeheugencapaciteit ook een lagere score te behalen.
Uit deze gegevens zou met enige voorzichtigheid gesteld kunnen worden dat van de verschillende aandachtsgebieden uit de TEA-Ch de selectieve aandacht bij kinderen met aandacht, concentratie- en/of werkgeheugenproblemen het minst afwijkt van kinderen zonder problemen op dit gebied. De resultaten geven tevens een aanwijzing voor de werkzaamheid van CWT op de korte termijn. Het zou kunnen betekenen dat CWT, binnen de verschillende subtests van de TEA-Ch, de meeste effecten heeft op het kunnen sorteren en onderscheiden van belangrijke informatie uit een veelheid aan prikkels en op het weerstand kunnen bieden aan afleidende elementen (Heaton et al. 2001). Hierbij moet echter in acht genomen worden dat er sprake is van een kleine steekproef en dat de beoogde effecten niet kunnen worden gegeneraliseerd naar een grotere populatie (Rapoff & Stark, 2008). Op de aandacht- en concentratietaken waren er, in vergelijking met de controlegroep waar geen van de participanten met een negatieve probleemstatus begon, in de onderzoeksgroep meer
participanten die bij de voormeting een negatieve probleemstatus hadden. Bij de nameting hadden alle participanten van de onderzoeksgroep op één na een positieve probleemstatus bij alle subtests bereikt.
Op de werkgeheugentaak, de cijferreeksen voor- en achterwaarts, zijn er relatief weinig participanten uit de onderzoeksgroep (twee van de negen) significant vooruit gegaan, wat opvallend is omdat het werkgeheugen hetgeen is wat door Cogmed het meest intensief getraind wordt (Klingberg, 2005). Dit kan echter verklaart worden doordat uit de berekeningen van de NDS blijkt dat er maar één van de negen kinderen uit de onderzoeksgroep voor het starten met Cogmed een negatieve probleemstatus op het werkgeheugen had. Bij de andere acht kinderen lag het niveau op de werkgeheugentaak voor het starten met Cogmed al binnen het ‘normale gebied’ (Veerman, 2006). Dit is opvallend omdat alle participanten uit de onderzoeksgroep zijn doorverwezen naar een orthopedagoog met o.a. (vermoedelijk) problemen in het werkgeheugen. Het zou daarom kunnen dat de gebruikte meetinstrumenten een te beknopt beeld van de capaciteit van het werkgeheugen in kaart hebben gebracht. Anderzijds is het mogelijk dat bij de participanten de ‘ernst’ van de werkgeheugenproblematiek is overschat omdat acht van de negen participanten op een ‘normaal’ niveau hebben gescoord op de werkgeheugentaak voordat zij met CWT begonnen. Het is dus van belang om voor het starten met een dergelijke behandeling altijd eerst een grondig implicatieonderzoek te doen naar de ernst van het probleem. Bij de controlegroep was er zowel bij de voor- als de nameting sprake van een positieve probleemstatus bij alle participanten op alle subtests. Ook bleven de resultaten op de werkgeheugentaak bij alle participanten onveranderd. Daarentegen zijn er wel drie participanten die net als in de onderzoeksgroep een significante vooruitgang boekten op een subtest behorende bij de selectieve aandacht. Er dient daarom rekening gehouden te worden, ook bij de onderzoeksgroep, met ruis rond het meetmoment. Het kind kan bijvoorbeeld bij het eerste meetmoment een slechte dag hebben gehad of slecht hebben geslapen waardoor het in eerste instantie onder de maat presteerde.
Ondanks dat de resultaten van dit onderzoek in zekere mate de bevindingen van eerder onderzoek ondersteunen zijn er een aantal beperkingen die moeten worden beschouwd. Ten eerste zijn in dit onderzoek alleen de bevindingen uit de testresultaten van de participant gebruikt om de hypothesen te ondersteunen. Hierbij is de mening van de ouders over de al dan niet aanwezige gedragsverandering bij het kind niet meegenomen. Uit onderzoek van Klingberg (2005) blijkt echter uit een vragenlijst ingevuld door ouders over hun kind dat er een significante afname van hyperactief/impulsief gedrag en concentratieproblemen wordt gerapporteerd. Het zou dus kunnen dat de testuitslagen van de TEA-Ch geen goede weergave geven van de implementatie van CWT in dagelijks leven. Verder is het mogelijk dat niet alle effecten van Cogmed direct na de training al zichtbaar zijn. Zo blijkt uit verschillende onderzoeken dat schoolse vaardigheden zoals begrijpend lezen en rekenen vanaf zes maanden na het beëindigen van de training een significante vooruitgang lieten zien. Deze vaardigheden zijn niet meegenomen in dit onderzoek (Holmes et al., 2009; Klingberg, 2010). Vervolgonderzoek zou zich meer kunnen richten op de effecten van CWT op de 22
langere termijn en op de verbetering in schoolse- en academische vaardigheden bij het kind en op gedragsrapportages over het kind van de ouders en/of de leerkracht. Opvallend was dat de meerderheid (zeven van de negen) participanten jongens waren. Ook blijkt uit onderzoek van Klingberg et al. (2005) naar de effectiviteit van CWT en van Gray et al. (2012) naar werkgeheugentraining bij kinderen met ADHD de grote meerderheid uit jongens te bestaan. Dit valt te verklaren doordat uit de literatuur blijkt dat er significant meer jongens dan meisjes last hebben van aandacht- en concentratieproblemen en zij tevens vaker worden gediagnosticeerd met de diagnose ADHD (Heaton et al. 2001). In een vervolgstudie kan aandacht worden besteed aan de verschillen tussen de werkzaamheid van CWT bij jongens en bij meisjes.
Een andere kanttekening bij dit onderzoek is dat er is gekozen voor een case series design. Een voordeel van een case study of case series is dat ze bij uitstek geschikt zijn om de voorlopige werkbaarheid van een nieuw interventiemodel in kaart te brengen. Daarnaast brengen ze, in tegenstelling tot een RCT, individuele effectgroottes in kaart (Drotar, 2009; Rapoff & Stark, 2008). Er zijn echter ook nadelen met betrekking tot dit onderzoeksdesign. Dit onderzoek bestaat uit een kleine steekproef waardoor er niet gesproken kan worden over (causale) verbanden en oorzaak-gevolg relaties. Daarnaast is het niet mogelijk om uitspraken over de resultaten te generaliseren naar een grotere populatie (Van Peet et al., 2005). Er zijn echter voorstanders van case studies die beweren dat het niet kunnen generaliseren van onderzoeksbevindingen niet betekent dat deze kennis ondergeschikt is aan andere kennisbronnen binnen een bepaald onderzoeksveld (Flyvbjerg, 2006).
Naast de resultaten uit verschillende onderzoeken waaruit blijkt dat werkgeheugentrainingen de capaciteit en het vermogen hiervan kan doen toenemen, zijn er ook tegenhangers die problemen in het werkgeheugen toeschrijven aan neurologische defecten die door middel van medicatie verholpen moeten worden. Zo onderzochten Söderqvist et al. (2012) de effecten van werkgeheugentraining op het dopamine niveau in de hersenen. Vervolgonderzoek zou zich kunnen richten op de vergelijking tussen medicatie ter verbetering van het werkgeheugen en werkgeheugentraining en de invloed van beiden op de hersenen.
Ondanks de beperkingen van dit onderzoek ondersteunen de resultaten de bevindingen van eerder onderzoek dat CWT kan leiden tot een significante vooruitgang in het werkgeheugen en/of in werkgeheugengerelateerde gebieden zoals de aandacht en concentratie (Klingberg et al., 2005). De positieve verschillen blijken echter in dit onderzoek het meest zichtbaar in de selectieve aandacht en het minst in de volgehouden aandacht, wat verklaart kan worden doordat er bij de selectieve aandacht minder beroep op het werkgeheugen wordt gedaan. Een andere bevinding uit dit onderzoek is dat het van belang is om voorafgaand aan CWT grondig implicatieonderzoek te doen naar de ernst van de problematiek om vast te stellen CWT de juiste interventie is. Een belangrijke aanvulling van dit onderzoek zou zijn om niet alleen naar testresultaten van het kind te kijken maar ook rapportages van ouders en/of leerkracht over het gedrag en de schoolse vaardigheden van het kind.
Referenties
American Psychiatric Association (1994). Diagnostic and statistical manual of mental disorders (4th
Edition). Washington, DC: Author.
Baddely, A. (2003). Working memory: looking back and looking forward. Neuroscience, 4, 829-239 Bedard, A., Jain, U., Hogg-Johnson, S. & Tannock, R. (2007). Effects of methylphenidate on working
memory components: influence of measurement. Journal of Child Psychology and Psychiatry
48:9, 872–880
Drotar, D. (2009). Editorial: Case Studies and Series: A Call for Action and Invitation for Submissions. Journal of Pediatric Psychology, 34: 8, 795-802
Flyvbjerg, B. (2006). Five Misunderstandings About Case-Study Research. Qualitative Inquiry, 12:2, 219-245
Fuchs, T., Birbaumer, N., Lutzenberger, W., Gruzelier, J.H. & Kaiser, J. (2003). Neurofeedback Treatment for Attention-Deficit/Hyperactivity Disorder in Children: A Comparison With Methylphenidate. Applied psychophysiology and biofeedback, 28:1, 1-12
Graham, J., Banaschewski, T., Buitelaar, J., Coghill, D., Danckaerts, M., Dittmann, R.W., Döpfner, M., Hamilton, R., Hollis, C., Holtmann, M., Hulpke-Wette, M., Lecendreux, M., Rosenthal, E., Rothenberger, A., Santosh, P., Sergeant, J., Simonoff, E., Sonuga-Barke, E., Wong, I.C.K., Zuddas, A., Steinhausen H.C. & Taylor, E. (2011). European guidelines on managing adverse effects of medication for ADHD. European Child & Adolescent Psychiatry, 20, 17-37
Gibson, B.S., Gondoli, D.M., Johnson, A.C., Steeger, C.M., Dobrzenski, B.A. & Morrissey, R.A. (2011). Component analysis of verbal versus spatial working memory training in adolescents with ADHD: A randomized, controlled trial. Child Neuropsychology, 17:6, 546-563
Gray, S.A., Chaban, P., Martinussen, R., Goldberg, R., Gotlieb, H., Kronitz, R., Hockenberry, M. & Tannock, R. (2012). Effects of a computerized working memory training program on working memory, attention, and academics in adolescents with severe LD and comorbid ADHD; a randomized controlled trial. Journal of Child Psychology and Psychiatry,*(*) , 1-8
Gullick, M.M., Sprute, L.A. & Temple, E. (2011). Individual differences in working memory,
nonverbal IQ, and mathematics achievement and brain mechanisms associated with symbolic and nonsymbolic number processing. Learning and Individual Differences, 21, 644-654 Heaton, S.C., Reader, S.K., Preston, A.S., Fennel, E.B., Puyana, O.E., Gill, N. & Johnson, J.H. (2001).
The Test of Everyday Attention for Children (TEA-Ch): Patterns of Performance in Children With ADHD and Clinical Controls. Child Neuropsychology, 7:4, 251-264
Hecht, S.A., Torgesen, J.K., Wagner, R.K., & Rashotte, C.A. (2001). The relations between
phonological processing abilities and emerging individual differences in mathematical computation skills: a longitudinal study from second to fifth grades. Journal of Experimental
Child Psychology, 79, 192-227
Holmes, J., Gathercole, S.E. & Dunning, D.L. (2009). Adaptive training leads to sustained 24
enhancement of poor working memory in children. Developmental Science, 12:4, 9-15 Jacobson, N. S. & Truax, E. (1991). Clinical significance: A statistical approach to defining
meaningful change in psychotherapy research. Journal of Consulting and Clinical Psychology,
59, 12-19.
Jaušovec, N. & Jaušovec, K. (2012). Working memory training: Improving intelligence – Changing brain activity. Brain and Cognition, 79, 96-106
Klingberg, T. (2010). Traning and Plasticity of Working Memory. Trends in Cognitive Sciences, 14, 317-324
Klingberg, T., Fernell, E., Olesen, P.J., Johnson, M., Gustafsson, P., Dahlström, K., Gillberg, C.G., Forssberg, H. & Westerberg, H. (2005). Computerized Training of Working Memory in Children With ADHD – A Randomized Controlled Trial. American Academy of Child and
Adolescent Psychiatry, 44:2, 177-186
Klingberg, T., Forssberg, H. & Westerberg, H. (2002). Training of Working Memory in Children With ADHD. Journal of Clinical and Experimental Neuropsychology, 24:6, 781-791
Li, S., Schmiedek, F., Huxhold, O., Röcke, C., Smith. J. & Lindenberger, U. (2008). Working Memory Plasticity in Old Age: Practice Gain, Transfer, and Maintenance. Psychology and Aging, 23:4, 731, 742
Lofthouse, N., Arnold, L.E., Hersch, S., Hurt, E. & DeBeus, R. (2012). A Review of Neurofeedback Treatment for Pediatric ADHD. Journal of Attention Disorders, 16(5), 351-372
Løhaugen, G.C.C., Atonsen, I., Haberg, A., Gramstad, A., Vik, T., Brubakk, A. & Skranes, J. (2011). Computerized Working Memory Training Improves Function in Adolescents Born at
Extremely Low Birth Weight. The Journal of Pediatrics, 158:4, 555-561
Loosli, S.V., Buschkuehl, M., Perrig, W.J. & Jaeggi, S.M. (2011). Working memory training improves reading processes in typically developing children. Child Neuropsychology, 18:1, 62-78 Peet, A.A.J. van, Wittenboer, G.L.H. van den & Hox, J.J. (2005). Toegepaste statistiek: inductieve
technieken. Groningen: Wolters-Noordhoff
Poole, B.J. & Kane, M.J. (2009). Working-memory capacity predicts the executive control of visual search among distractors: The influences of sustained and selective attention. The quarterly
journal of experimental psychology, 62(7), 1430-1454
Rapoff, M. A., & Stark, L. (2008). Journal of pediatric psychology statement of purpose: section on single-subject studies. Journal of Pediatric Psychology, 33, 16-21.
Schittekatte, M., Groenvynck, H., Fontaine, J.R.J. & Dekker, P.H. (2007). Aanvullend psychometrisch
onderzoek met de Test of Everyday Attention for Children (TEA-CH): In Nederland en Vlaanderen aangepaste normen en nieuwe validiteits- en betrouwbaarheidsgegevens.
Amsterdam: Harcourt
Shipstead, Z., Redick, T.S. & Engle, R.W. (2012). Is Working Memory Training Effective?
Psychological Bulletin, 138:4, 628-654
Söderqvist, S., Bergman Nutley, S., Peyrard-Janvid, M., Matsson, H., Humphreys, K., Kere, J. & Klingberg, T. (2012). Dopamine, Working Memory and Training Induced Plasticity: Implications for Developmental Research. Developmental Psychology, 48:3, 836-843
Stievano, P. & Valerie, G. (2011). Executive functions assessment and treatment at preschool age: a case report of a child at risk of ADHD. (2011). Neuropsychological trends, 9, 41-51
Veerman, J.W., Yperen, T. van, Bijl, B., Ooms, H. & Roosma, D. (2006). Zicht op effectiviteit;
Bronnenboek voor praktijkgestuurd effectonderzoek in de jeugdzorg. Delft: Eburon
Wenar, C.& Kerig, P. (2005). Developmental Psychopatology. From Infancy through Adolescence. New York: McGraw-Hill.
Bijlagen
Bijlage 1: Voorbeeld scoreformulier participant S.
