MASTERTHESE
PROGRAMMAGROEP BREIN EN COGNITIE
KLINISCHE NEUROPSYCHOLOGIE UNIVERSITEIT VAN AMSTERDAM
Voorspellen Cognitieve
Vaardigheden Schoolprestaties?
Birnie, L
Studentnummer: 6042821 Aantal woorden: 9823
Aantal woorden abstract: 209 Begeleider: Dhr. Dr. I.G. Sligte
2e Beoordelaar: Mw. Prof. Dr. H. M. Geurts Augustus 2015
Abstract
Eerder onderzoek laat zien dat cognitieve vaardigheden belangrijke voorspellers zijn voor schoolprestaties (Alloway & Alloway, 2010; Bulls et al., 2008; Van der Sluis et al., 2007). De resultaten zijn echter niet eenduidig te interpreteren door onvolkomenheden in de analysemethoden en het gebruik van arbitrair gekozen testen, die sterk leunen op taal- en rekenkundige aspecten. In de huidige studie werd onderzocht hoe goed cognitieve vaardigheden schoolprestaties voorspellen door een groot scala aan cognitieve vaardigheden (werkgeheugencapaciteit, mentale flexibiliteit, aandacht, inhibitievermogen en anticipatievermogen) te meten bij Nederlandse kinderen tussen de 10 en 13 jaar. De resultaten lieten zien dat cognitieve vaardigheden schoolprestaties goed voorspelden (verklaarde variantie van 42-53%). Mentale flexibiliteit, inhibitievermogen, selectieve en volgehouden aandacht voorspelden schoolprestaties het best. Schoolprestaties werden geoperationaliseerd door de Cito-scores en het middelbare schooladvies van de leraar op te vragen. De Cito-scores en het advies van de leraar corresponderen niet noodzakelijkerwijs met elkaar. Daarom werd exploratief gekeken of specifieke cognitieve vaardigheden het verschil tussen deze twee maten voor schoolprestaties kon voorspellen en individuele verschillen in selectieve en ruimtelijke aandacht lijken dit verschil het best te verklaren. In de toekomst zouden de cognitieve iPad-games als signaleringsmiddel gebruikt kunnen worden voor kinderen die volgens de iPad-games cognitief meer in hun mars hebben dan uit hun schoolprestaties naar voren komt.
Inleiding
Cognitieve vaardigheden zijn belangrijke voorspellers van prestaties op school. Zo bleek uit onderzoek van Alloway en Alloway (2010) dat de capaciteit van het werkgeheugen de reken- en taalprestaties van kinderen kan voorspellen. In het onderzoek voerden vijfjarige kinderen twee verbale werkgeheugentaken uit, waarbij ze woorden van één lettergreep of cijfers in de correcte volgorde herhaalden.. De resultaten lieten zien dat werkgeheugencapaciteit redelijk goed het taal- en rekenvermogen zes jaar later kon voorspellen. Zo verklaarde werkgeheugencapaciteit 10-16% van de variantie in het taal- en 10-21% in het rekenvermogen. Andere cognitieve functies die nodig zijn voor complexe/niet-geautomatiseerde acties, ofwel executieve functies (EFs; Diamond, 2013), blijken ook schoolprestaties te kunnen voorspellen. Zo onderzochten Bulls, Epsy en Wiebe (2008) of de EFs inhibitievermogen (het onderdrukken van een respons), mentale flexibiliteit (wisselen tussen regels), werkgeheugencapaciteit en planvermogen de lees- en rekenprestaties van kinderen drie jaar later konden voorspellen. De onderzoekers ontwikkelden een model met de EFs en het werkgeheugen waaruit de schoolprestaties werden voorspeld. Hieruit bleek dat EFs een grote bijdrage leverden aan het verklaren van de variantie in de reken- en leesprestaties. Uit de verklaarde variantie (36-53%) bleek dat werkgeheugencapaciteit samen met EFs de lees- en rekenprestaties opvallend beter konden voorspellen in vergelijking met voorgaand onderzoek.
Uit een recenter onderzoek van Van der Sluis, De Jong en Van der Leij (2010) kwam een specifieker verband tussen EFs en schoolprestaties naar voren. Het onderzoek toonde aan dat inhibitievermogen, mentale flexibiliteit en het updaten van het werkgeheugen de prestaties op verschillende schoolse vaardigheden (verbaal en non-verbaal redeneren, lezen en rekenen) voorspelden. Leerlingen uit groep zes en zeven voerden tijdens het experiment 11 EF-taken uit. Updaten van het werkgeheugen bleek prestaties op alle schoolse vaardigheden te voorspellen. Zo verklaarde updaten van het werkgeheugen 15,1% van de variantie in non-verbaal redeneren
en minder dan 7% van de variantie in zowel lezen, verbaal-redeneren als rekenen. Mentale flexibiliteit bleek specifiek lees- en non-verbale redeneerprestaties te voorspellen. Zo verklaarde deze EF 4,6% van de variantie in lezen en 2,7% in non-verbaal redeneren.Al lijkt er een duidelijk verband te zijn tussen cognitieve vaardigheden en schoolprestaties, de analysemethodes van bovengenoemde onderzoeken (Alloway & Alloway, 2010; Bulls et al., 2008; Van der Sluis et al., 2007) hebben hun tekortkomingen en laten derhalve geen eenduidige resultaten zien. Daarnaast zijn de keuzes voor de cognitieve testen arbitrair en bevatten ze talige en rekenkundige aspecten. Kortom, het is nog niet helemaal duidelijk hoe goed cognitieve vaardigheden schoolprestaties zouden kunnen voorspellen en welke cognitieve vaardigheden de belangrijkste voorspellers van schoolprestaties zouden zijn.
In het huidige onderzoek werd bekeken of cognitieve vaardigheden schoolprestaties kunnen voorspellen. De schoolprestatiematen werden geoperationaliseerd als de behaalde score op een toets van het Centraal instituut voor toetsontwikkeling (Cito-toets) en het middelbare schooladvies van de leraar. De Cito-toets is een uniforme testbatterij, die in groep acht wordt afgenomen. De Cito-toets bepaalt het taal- en rekenniveau op een objectieve manier. Zo zijn de opgaven op grond van wetenschappelijk onderzoek ontwikkeld en worden de testscores gestandaardiseerd op basis van analyses na de toets afname (Hollenberg & Van der Lubbe, 2011). De testscores representeren daardoor elk jaar hetzelfde niveau ongeacht de moeilijkheidsgraad van de toets. Op basis van de gestandaardiseerde testscores wordt aan de leerling een advies gegeven over zijn hoogst haalbare middelbaar schoolniveau. De Cito-toets wordt één keer per jaar afgenomen en is dus een momentopname. Naast de Cito-score is ook het advies van de leraar meegenomen als maat voor schoolprestaties. Dit advies wordt aan de leerling gegeven aan het einde van groep acht. De leraar overweegt in zijn advies de motivatie, de sociale ontwikkeling en de interesses van de leerling over de gehele schoolperiode. Verder neemt de leraar de Cito-scores uit groep zes en zeven mee in het advies (De Wijs & Hollenberg,
2014). Het advies van de leraar bestaat dus uit objectieve en subjectieve factoren. De schoolprestatiematen meten dus op verschillende manieren schoolprestatie; met subjectieve en/of objectieve factoren en op één moment of over een langere periode. Door deze verschillen tussen de schoolprestatiematen komen de adviezen van het Cito en van de leraar voor een leerling niet altijd overeen. Beide maten zijn desalniettemin representatieve weergaves voor de behaalde schoolprestaties op de basisschool en belangrijk voor de operationalisatie van schoolprestaties in dit onderzoek.
Een brede testbatterij met cognitieve testen werd afgenomen. De testbatterij werd afgenomen op een iPad met speciaal ontwikkelde games. Met de games werd onderzocht (a) hoe goed schoolprestaties te voorspellen zijn op basis van cognitieve vaardigheden en (b) welke cognitieve vaardigheden schoolprestaties het best voorspelden. Verder werd exploratief gekeken of (c) het verschil tussen het advies van de leraar en Cito-scores voorspeld kon worden op basis van specifieke cognitieve vaardigheden. Dit laatste is interessant, omdat de geoperationaliseerde maten voor schoolprestaties voor een leerling kunnen verschillen in hun uitkomstmaten. Sommige leerlingen krijgen een lager advies van de leraar dan hun Cito-score aangeeft. Mogelijk kan dit verschil verklaard worden door cognitieve vaardigheden. In het geval van de cognitieve vaardigheid aandacht zou een leerling met bijvoorbeeld een korte aandachtspanne een lager advies van de leraar krijgen dan een leerling met een lange aandachtspanne. Kinderen zouden op deze manier niet beoordeeld worden op schoolprestaties, maar op zwakke of sterke punten in hun cognitieve vaardigheden.
Aan de hand van vier games werd werkgeheugengeheugencapaciteit, aandacht, inhibitievermogen, mentale flexibiliteit en anticipatievermogen van 229 kinderen tussen de 10 en 13 jaar onderzocht. De eerste game onderzocht de capaciteit van het werkgeheugen en is gebaseerd op een taak van McNab en Dolan (2014). De game bestond uit drie onderdelen: een simultane ruimtelijke geheugentaak, een seriële ruimtelijke geheugentaak en een “change
detection” taak. Bij al deze taken diende de deelnemer de plek of de oriëntatie van relevante objecten te onthouden. In alle taken verschenen ofwel alleen relevante objecten ofwel ook irrelevante objecten tijdens de encodeerfase (tegelijk met de relevante objecten) of tijdens de retentiefase (vlak na de relevante objecten). Zo werd de capaciteit van het werkgeheugen en afleidbaarheid door irrelevante informatie gemeten. De efficiëntie van de werkgeheugencapaciteit hangt namelijk samen met het vermogen irrelevante objecten te negeren (McNab et al., 2015).
De tweede game onderzocht aandacht en is gebaseerd op de “Attentional Network Task” (ANT; Fan, McCandliss, Sommer, Raz & Posner, 2002). In deze taak kreeg de deelnemer steeds vijf pijlen boven elkaar te zien, waarbij alleen de richting van de middelste pijl belangrijk was. Wees deze middelste pijl omhoog (omlaag), dan diende de deelnemer omhoog (omlaag) te antwoorden. De andere pijlen konden zowel dezelfde richting op wijzen als de middelste pijl (congruent) of de andere kant op (incongruent). De vijf pijlen verschenen telkens rechts of links in het scherm. Met ruimtelijke cues, die aankondigt waar de pijlen zullen verschijnen, werd de ruimtelijke aandacht gemeten in deze game. Wanneer een cue verschijnt op de plek waar de pijlen zullen verschijnen, reageert iemand sneller dan als de cue op de verkeerde plek wordt gegeven. Verder werd de volgehouden aandacht gemeten met een cue, die aankondigde dat de pijlen zouden verschijnen. Door het eentonige karakter van de game verslapte de aandacht van de deelnemer en door de aankondiging van de pijlen zou de reactietijd van de deelnemer sneller worden (Fan et al., 2002).
De derde game richtte zich op inhibitievermogen en mentale flexibiliteit en is gebaseerd op studies van Neubert, Mars, Buch, Olivier en Rushworth (2010) en Isoda en Hikosaka (2007). Op het scherm verschenen steeds drie boksers, met een groen of een blauw shirt aan. De deelnemer diende te letten op het shirt van de middelste bokser. Wanneer de middelste bokser
een blauw shirt aan had, diende de deelnemer de bokser aan de zijkant met hetzelfde kleur shirt zo snel mogelijk aan te tikken.
De vierde game onderzocht het visuele anticipatievermogen van de deelnemer. Deze game is onlangs ontwikkeld. In de game renden “American football” spelers over het iPad scherm van boven naar beneden. De deelnemers dienden de spelers zo snel mogelijk met “footballen” uit kanonnen neer te schieten. De kanonnen konden niet van richting veranderen en waren even geblokkeerd na het afvuren van een bal. De game bestond uit verschillende levels. In deze levels varieerde de snelheid, de grootte of looptraject van de “American football” spelers.
Dit onderzoek onderscheidt zich van voorgaand onderzoek door het gebruik van deze games, waardoor ze zich niet beperken tot taal- en rekenkundige aspecten om cognitieve vaardigheden van kinderen te onderzoeken. Tevens richtten de games zich op een groter scala aan cognitieve vaardigheden waardoor dit onderzoek een completer beeld geeft van de voorspellers van schoolprestaties.
In dit onderzoek werd met een speciale multipele regressie analyse (een lasso-analyse) onderzocht hoe goed de schoolprestaties te voorspellen zijn op basis van cognitieve vaardigheden. Eerst werd op grond van de cognitieve testresultaten en de schoolprestaties van een deel van de deelnemers een regressiemodel gemaakt. Vervolgens werd gekeken of dit regressiemodel de schoolprestaties van de rest van de deelnemers kon voorspellen. Dit proces werd 1000 keer herhaald (permutaties). Om te bekijken welke cognitieve vaardigheden schoolprestaties het best voorspelden, werd nagegaan welke vaardigheden in 95% van de permutaties voorkwamen. Ook werd gekeken welke cognitieve vaardigheden het grootste gewicht hadden in het regressiemodel, zodat bepaald kon worden welke factoren de hoogst voorspellende waarde hadden. Het onderzoek was exploratief en naast de verwachting dat de capaciteit van het werkgeheugen de schoolprestaties zou voorspellen, waren er geen specifieke
verwachtingen. Ten slotte werd exploratief onderzocht welke cognitieve vaardigheden het verschil tussen de adviezen van de leraar en het Cito kon verklaren.
Methode
DeelnemersAan dit onderzoek deden 229 kinderen (100 jongens, 129 meisjes; leeftijd range 10-13, gemiddelde leeftijd 11,54) uit groep acht van de basisschool mee. De kinderen zaten op acht Nederlandse scholen uit Amsterdam, Leiden en Weert. De scholen zijn op twee manieren geworven. Ten eerste werden op http://schoolwijzer.amsterdam.nl/po alle scholen uit Amsterdam met minstens één groep acht via de e-mail benaderd. Daarnaast werden de scholen via het persoonlijke netwerk van de onderzoekers geworven. De leerkrachten die werkzaam waren op een basisschool werden benaderd en brachten de onderzoekers via de directeur in contact met de leerkracht van groep acht. Voordat de kinderen deelnamen aan het onderzoek werd via de leerkracht van groep acht een "informed consent" verkregen van de ouders/voogden. Met het informed consent gaven de ouders/voogden toestemming dat de school het advies van de leraar en de Cito-scores met de onderzoekers deelden. Verder werd ook ingestemd dat de onderzoekers de data en informatie van de kinderen geanonimiseerd gebruikten voor het onderzoek. De kinderen konden niet deelnemen aan het onderzoek zonder toestemming van de ouders.
Materialen: De Cognitieve Games
Met de vier iPad games werd het anticipatievermogen, het inhibitievermogen, de mentale flexibiliteit, de werkgeheugencapaciteit en verschillende aspecten van aandacht onderzocht. De test-hertest betrouwbaarheid van de iPad games is gemiddeld 0.80, wat aangeeft dat de games
betrouwbare meetinstrumenten zijn. De specifieke games zijn gebaseerd op bestaande taken en zijn hieronder in detail beschreven.
De Anticipatie-Game
Het anticipatievermogen werd gemeten met een nieuw ontwikkelde game. Anticipatievermogen is de mate waarin een deelnemer het traject van een bewegend object kan voorspellen. Op een iPad scherm verscheen een “American football” speler kort in een van de zes deuren, zoals in Figuur 1 is te zien. Daarna rende de “football” speler van boven naar beneden. De deelnemer schoot op de “American football” speler met een van de vier kanonnen. De richting waarin het kanon schoot, kon niet worden aangepast. Het kanon werd ook kort geblokkeerd (drie seconden), wanneer het kanon was afgevuurd (Figuur 1). Zo diende de deelnemer echt te anticiperen op de speler, doordat het kanon niet aanhoudend afgeschoten kon worden. Aan elke afgeschoten “football” speler werden punten toegekend. De deelnemer kreeg meer punten wanneer de “football” speler boven in het scherm werd afgeschoten dan als de deelnemer de “football” speler beneden afschoot. Wanneer de speler over de achterlijn rende, kreeg de deelnemer geen punten. Snelheid en accuratesse waren belangrijke factoren in deze game.
Deze game bestond uit drie levels: het grootte level, het snelheidslevel en het trajectlevel. Wanneer alle levels doorlopen waren, startte de game opnieuw met anderhalf keer de snelheid. Na 10 minuten was de game afgelopen. In het grootte level begonnen de “American football” spelers met een grootte van 200%. Wanneer de deelnemer 2000 punten haalde, nam de grootte van de “football” speler af naar 150%. Op 4000 punten werd de grootte van de speler verkleind tot 100%. Het snelheidslevel startte wanneer de deelnemer 6000 punten had behaald. In het snelheidslevel verschilde alleen de snelheid van de spelers. In het begin van het level renden alleen blauwe spelers met 100% snelheid en oranje speler met 150% snelheid over het scherm. Vanaf 2000 punten verschenen ook rode spelers met 200% snelheid op het veld. Vanaf 4000
punten startte de “challenge mode”. In de “challenge mode“ werd het inter-trial interval (ITI), het interval tussen de spelers, steeds korter. De spelers renden nu sneller achter elkaar over het veld, zoals Figuur 1 laat zien. Wanneer vijf spelers over de achterlijn waren gerend, stopte de “challenge mode” en startte de deelnemer met het trajectlevel. In het trajectlevel verschilden alleen de trajecten die de football spelers aflegden. Het level startte met een blauw-wit gestreepte en oranje-wit gestreepte football spelers. De blauwe football speler liep in een rechte lijn over het scherm en de oranje speler zigzagde. Vanaf 2000 punten verschenen ook rode “football” spelers met een witte pijl op het scherm. De rode football spelers versnelden vanaf het midden van het veld van 100% naar 200%. De “challenge mode” startte op 4000 punten en verliep hetzelfde als de “challenge mode” in het snelheidslevel.
Uit de anticipatie-game kwamen vier afhankelijke variabelen: het aantal doorlopen levels in tien minuten, het totaal aantal punten, het anticipatie vermogen (de score per seconde) en de stressbestendigheid (de score per seconde in de “challenge mode”).
Figuur 1. De Anticiperen-game. A. De “Amercian Football”
speler verscheen, voordat hij over het veld van boven naar beneden rende, in een van de zes deuren. B. De deelnemer schoot de spelers af met een van de vier kanonnen. Het kanon werd kort geblokkeerd wanneer de deelnemer op een speler had geschoten.
C. In de “challenge mode” renden de spelers
sneller achter elkaar over het veld. A
B
De Controleren-game
Met de Controleren-game werden het inhibitievermogen, de mentale flexibiliteit en de automatische reactiesnelheid (versnelling in reactietijd bij herhaalde respons) gemeten. De game is gebaseerd op een taak van Neubert et al. (2010). Op het iPadscherm verschenen drie boksers: één in het midden en één aan elke zijkant. De deelnemer diende te letten op de kleur van het shirt (blauw of groen) van de middelste bokser. Wanneer de middelste bokser een blauw shirt aan had, was het de bedoeling dat de bokser aan de zijkant (de relevante bokser) met hetzelfde kleur shirt als de middelste bokser, zo snel mogelijk werd aangetikt. De kant waar de relevante bokser verscheen, bleef een aantal keer hetzelfde (herhalingen van twee tot vijf keer; geen-switch conditie) waarna de relevante bokser van kant (motor-switch conditie) of van kleur (regel-switch conditie) wisselde. De herhalingen in de geen-switch conditie automatiseerde de respons van de deelnemer, waardoor de respons op de relevante bokser sneller werd. In de motor-switch en de regel-switch condities dienden de deelnemers hun automatische respons te inhiberen en zo snel mogelijk te switchen naar de nieuwe relevante bokser. In Figuur 2 is een voorbeeld gegeven van de game. De boksers verschenen 1000 ms op het scherm. De deelnemer kreeg meer punten toegekend als hij snel reageerde. De boksers verschenen na elkaar met een gevarieerd ITI van 350 tot 750 ms, zodat de deelnemer niet precies wist wanneer hij de bokser kon verwachten. Na vijf minuten was de game afgelopen.
Uit de controle-game kwamen 28 verschillende afhankelijk variabelen. Eerst werden voor alle herhalingen, de geen-switch, de motor-switch en de regel-switch condities de accuratesse, de mediaan van de reactietijd van de goede en fout responsen en de mediaan van de reactietijd van alleen de goede responsen gemeten. Voor alle switch-condities werd de efficiëntie berekend door de accuratesse te delen door de mediaan van de reactietijd van alleen de goede responsen. Zo werd met de efficiëntie van de motor-switch conditie het inhibitievermogen bepaald. De efficiëntie van de regel-switch conditie gaf de mate van mentale flexibiliteit aan en
met de efficiëntie van de geen-switch conditie werd de maat van automatisch reageren bepaald. Verder werden de minimale, de maximale, de gemiddelde en de mediaan reactietijden van alle responsen berekend. Al deze afhankelijke variabelen werden meegenomen in de berekening van het regressiemodel.
De Concentreren-game
Met de Concentreren-game werd het concentratievermogen, de selectieve aandacht, de ruimtelijke aandacht en de volgehouden aandacht gemeten. De game is vergelijkbaar met de “Attention Network Task”, een “flanker” taak (ANT; Fan, McCandliss, Sommer, Raz, & Posner, 2002). In deze “flanker” taak diende de deelnemer te reageren op de richting van de middelste dartpijl (naar boven of naar beneden). De middelste dartpijl werd omgeven door vier andere dartpijlen (“flankers”). De middelste dartpijl wees in dezelfde richting als de andere dartpijlen (de congruente conditie) of in de tegenovergestelde richting (de incongruente conditie). In Figuur 3 staan de verschillende condities weergegeven. In de game was in het midden van het scherm een Bull’s eye weergegeven. De vijf pijlen konden links of rechts van
Figuur 2. De Controleren-games
De deelnemer diende de bokser, die hetzelfde kleur shirt als de middelste bokser aanhad, aan te tikken. A. De deel-nemer tikte de bokser aan de linkerkant aan. Deze had net als de middelste bokser een groen shirt aan. B. De bokser met hetzelfde blauwe shirt als de middelste bokser stond aan de rechterkant van de middelste bokser . De bokser, die de deelnemer moest aantikken kon van en van kleur wisselen.
de Bull’s eye verschijnen. De deelnemer diende aan te geven in welke richting de middelste dartpijl wees. Zo veegde de deelnemer met zijn linkerhand op het iPadscherm naar beneden, wanneer de pijlen aan de linkerkant van de Bull’s eye verschenen en de middelste pijl naar beneden wees. Als de deelnemer snel reageerde, kreeg hij meer punten toegekend. De deelnemer kreeg 500 punten aftrek als hij te langzaam reageerde. Naast de dartpijlen verschenen cues in het scherm: een centrale cue (de Bull’s eye) en een ruimtelijk cue. De Bull’s eye knipperde om aan te geven dat de dartpijlen zouden verschijnen. De ruimtelijke cue gaf aan de correcte kant (correcte cue) of aan de incorrecte kant (incorrecte cue) aan waar de dartpijlen zouden verschijnen. Wanneer een ruimtelijk correcte cue verscheen, was de aandacht van de deelnemer al op de goede kant gericht en zou de deelnemer sneller reageren. De deelnemer diende bij een ruimtelijk incorrecte cue eerst zijn aandacht los te maken en te verplaatsten naar de correcte kant, waardoor de deelnemer langzamer zou reageren. De cues verschenen voor 100 ms. Tussen de cues en de dartpijlen was een pauze van 400 ms. De game bestond uit 156 trials; 26 condities werden zes keer herhaald.
B
Figuur 3. De Concentreren-game
De deelnemers dienden met hun vinger te vegen in de richting van de middelste dartpijl. De pijlen konden links of rechts van de Bull’s eye verschijnen.
A. De Incongruente Conditie: de middelste dartpijl wijst
de andere kant op dan de andere vier pijlen. B. De
Congruente Conditie: de middelste pijl wijst in dezelfde
richting als de andere vier pijlen. C. De Ruimtelijke Cue: De cue verscheen op het scherm voordat de dartpijlen op het scherm verschenen. De cue verscheen aan de kant waar de dartpijlen verschenen (de ruimtelijke correcte cue) of aan de andere kant (de ruimtelijke cue).
C A
Uit de Concentreren-game kwamen 30 afhankelijke variabelen. Voor alle condities (geen-cue, de centrale (geen-cue, de ruimtelijk (in)correcte cues en de incongruent/ congruent) werd de reactiesnelheid en de accuratesse berekend. Daarnaast werden voor de condities ook de minimale, de maximale, de gemiddelde reactietijd en de mediaan van de reactietijd berekend. Uit deze maten werd de selectieve aandacht bepaald uit de “flanker” taak. In de “flanker” taak diende de deelnemer de aandacht te richten op de middelste pijl en de andere pijlen te negeren. De selectieve aandacht werd berekend door het verschil in reactietijd in de congruente en incongruente conditie. De ruimtelijke aandacht werd gemeten op twee manieren: door de reactietijd van de geen cue conditie van de reactietijd van de ruimtelijke incorrecte cue af te halen en door de reactietijd van de centrale-cue conditie van de reactietijd van de ruimtelijke correcte cue af te halen. Het concentratievermogen werd berekend door de reactietijd van de geen-cue conditie van de centrale cue conditie af te halen. De efficiëntie van het concentratievermogen, de ruimtelijke aandacht en de volgehouden aandacht werd berekenden door de invloed van reactietijd in de ruimtelijke cues, de centrale cue en de “flankers”. Al deze afhankelijke variabelen werden meegenomen in de berekening van het regressiemodel.
De Werkgeheugen-Game
De Werkgeheugen-game onderzocht de werkgeheugencapaciteit en hoe afleidbaar proefpersonen waren. Afleidbaarheid werd bepaald door het vermogen irrelevante objecten te negeren. Een persoon die snel afleidbaar is, kan irrelevante objecten niet buiten het werkgeheugen houden, waardoor minder relevante objecten onthouden worden (McNab et al., 2015). De game is gebaseerd op de taak uit het onderzoek van McNab en Dolan (2014). De game bevatte drie taken: een simultane ruimtelijke geheugentaak, een seriële ruimtelijke geheugentaak en een “change detection” taak. In alle taken werd de capaciteit van het ruimtelijk werkgeheugen gemeten doordat de deelnemer de plek van relevante objecten (rode)
diende te onthouden, die verschenen in een raster van vijf bij vijf. Na een korte pauze van 500 ms diende de deelnemer in een tweede raster de plek van de relevante objecten aan te geven. De hoeveelheid relevante objecten werd groter wanneer de deelnemer een correcte respons gaf. De afleidbaarheid van het werkgeheugen werd voor beide taken onderzocht door irrelevante objecten (gele) die verschenen tijdens de encodeerfase (tegelijk met de relevante objecten) of tijdens de retentiefase (vlak na de relevante objecten). De deelnemer diende te allen tijde alleen de relevante objecten te onthouden en de irrelevante objecten te negeren. De irrelevante objecten verschenen eveneens 500 ms.
De simultane ruimtelijke taak bevatte drie condities. In de normale conditie verschenen alleen relevante objecten (rode voetballen) in het eerste raster. De relevante objecten verschenen in deze taak altijd tegelijk. Verder bevatte de taak de encodeer- en retentieconditie waarin ook gele voetballen (de irrelevante objecten) verschenen. In de seriële geheugentaak verschenen de rode voetballen altijd na elkaar in het eerste raster. De volgorde waarin de rode voetballen in het tweede raster werden aangetikt was niet belangrijk. Deze taak bevatte twee condities: de normale conditie en de retentieconditie. In Figuur 4 wordt een voorbeeld weergegeven van de simultane en seriële geheugentaak. De “change detection” taak bevatte drie condities. In de normale conditie diende de deelnemer de oriëntatie van de relevante objecten (rode tennisrackets) te onthouden. De rode tennisrackets verschenen in het eerste raster en in het tweede raster diende de deelnemer aan te geven welk tennisracket van oriëntatie was veranderd. In deze taak verschenen naast de rode tennisrackets ook de irrelevante objecten (gele tennisrackets) In de encodeerconditie verschenen de gele tennisrackets tegelijk met de rode tennisrackets. In de retentieconditie verschenen de gele tennisrackets vlak na de rode tennisrackets. In Figuur 5 wordt een voorbeeld van de taak weergegeven.
Eerst werden bovenstaande acht condities gepresenteerd in vaste volgorde. Na twee fouten achter elkaar werd de conditie gedropt. Zo werd een initieel gemiddelde berekend voor de
capaciteit van het werkgeheugen voor alle acht condities. Nadat alle condities gedropt waren, startte het bonuslevel. Het initiële gemiddelde van elke conditie bepaalde het startpunt van het bonuslevel voor dezelfde condities. Het startpunt is het gemiddelde plus (het moeilijke level) of min twee objecten (makkelijke level). Als de deelnemer een fout maakt in het moeilijke level, verscheen er een object minder op het scherm. Zo werd de moeilijkheidsgraad lager. Wanneer de respons goed was, bleef de moeilijkheidsgraad hetzelfde. In het makkelijke level verscheen er een object extra in het scherm wanneer de deelnemer een goede respons gaf. Zo werd de moeilijkheidsgraad hoger. Bij een foute respons bleef de moeilijkheidsgraad hetzelfde. Als het makkelijke en het moeilijke level dezelfde moeilijkheidsgraad hadden bereikt en er dus in beide levels evenveel objecten op het scherm verschenen, eindigde de conditie en startte de deelnemer met de volgende conditie. Het bonus level stopte als alle condities waren doorlopen.
Uit de werkgeheugen-game werden 11 afhankelijke variabelen berekend. Voor de acht condities werd het initiële gemiddelde berekend door het gemiddelde van de onthouden objecten per conditie. Daarnaast werd de “normale” werkgeheugencapaciteit bepaald door het gemiddeld aantal onthouden objecten te berekenen voor alle normale condities (zonder afleiding). De afleidbaarheid werd berekend door het gemiddeld aantal onthouden objecten van alle encodeer- en retentiecondities. Alle afhankelijke variabelen werden meegenomen in de berekening van het regressiemodel.
Uitkomstmaten: De Schoolprestaties De Cito-toets
De Cito-toets uit groep acht stelt het reken- en taalniveau van een leerling aan het einde van de basisschool vast. De toets omvat in totaal 220 opgaven (135 taal & 85 rekenen; College van Toetsen en Examen, 2014). Het taalniveau werd vast gesteld op vier onderdelen: lezen (65), schrijven (20) en grammatica- en taalverzorging (50). De leerling las voor de leesopgaven verschillende teksten waarover vragen werden gesteld. De opgaven vroegen naar het begrip van
A B
C D
E
Figuur 5. De werkgeheugen-game: “Change Detection”
In deze taak dienden de deelnemers het rode tennisracket aan te tikken, dat van richting veranderde. De rode pijl geeft telkens aan welk tennisracket dat was.
A. De Normale conditie: In deze conditie verschenen
eerst rode tennisrackets. In het tweede raster (B) diende de deelnemer het tennisracket aan te tikken dat van richting was veranderd. C. Retentieconditie: In deze conditie verschenen eerst rode (A) en daarna gele tennisrackets (C). In het laatste scherm tikte de deelnemer het rode tennisracket aan dat van richting was veranderd. D. De Encodeerconditie: In deze conditie verschenen gele tennisrackets tegelijk met de rode tennisrackets. Vervolgens diende de deelnemer in een tweede raster (E) aan te geven welk rode tennisracket van richting was veranderd.
de tekst, de betekenis van woorden of naar samenvattingen van de tekst. Verder diende de deelnemer voor de leesopgaven ook vragen te beantwoorden over het opzoeken van informatie in schriftelijke en elektronische informatiebronnen. Voor de schrijfopgaven diende de deelnemer vragen te beantwoorden over geschreven teksten met fouten erin. De fouten in de teksten bevatten bijvoorbeeld informeel taalgebruik in een zakelijke tekst of incorrecte uitspraken en gezegden. De grammatica- en taalverzorgingsopgaven bevatten vragen met zinsontleding, het benoemen van woordsoorten, spelling en interpunctie.
Het rekendeel bestond uit vier onderdelen: getallen (30), verhoudingen (20), meten en meetkunde (20) en verbanden (15). De getallenopgaven bevatten sommen met breuken en kommarelaties (¾ = 0.75), het uitspreken van hele getallen (45 = vijfenveertig), het afronden van getallen (2,98 = 3,0), op- en aftrekken ( 7-/+ 3 = 10/4) en vermenigvuldigen (3x3). De opgaven over verhoudingen bevatten sommen met verhoudingen (is 1/3 meer of minder dan de helft). De opgaven over meten en meetkunde bevatten sommen met lengte- , omtrek- , oppervlakte- en inhoudsmaten. De opgaven over verbanden bevatten sommen met het aflezen en interpreteren van tabellen, grafieken en legenda’s. Uit de resultaten werd een standaardscore berekend: de Cito-score. Op basis van de Cito-score werd een advies gegeven over het hoogst haalbare middelbare schoolniveau van de leerling. Zo corresponderen bepaalde intervallen van de standaardscores met een schooladvies. De waardes van de Cito-scores bevinden zich tussen de 501 en 550. Een Cito-score tussen de 501 en 523 komt overeen met het middelbare schooladvies “Basisberoepsgerichte Leerweg”, het laagste schoolniveau. De Cito-scores tussen de 545 en 550 corresponderen met het “Voorbereidend Wetenschappelijk Onderwijs”, het hoogste schoolniveau. Alle schoolniveaus tussen deze twee niveaus lopen op in moeilijkheidsgraad. Sommige intervallen van de intervalschaal van het Cito overlappen. Om een uniform advies te kunnen geven aan de Cito-scores is voor dit onderzoek de intervalschaal daarom aangepast, zodat de intervalschalen niet overlappen. In Tabel 1 staan de originele en de
aangepaste intervalschaal van het Cito met het corresponderende advies. De psychometrische kwaliteiten van de toets uit 2015 zijn nog niet onderzocht door Cotan. Cotan heeft de Cito-toets uit 2010 onderzocht. De betrouwbaarheid en de criteriumvaliditeit waren beide goed. De constructvaliditeit van de Cito-toets was voldoende (Cotan).
Tabel 1: De Intervalschaal van het Cito en de Aangepaste met het corresponderende advies van het Cito en de leraar
Het Advies van de Leraar
Het advies van de leraar is een weergave van de schoolprestaties van de leerling. Het advies is naast de Cito-scores uit groep zes en zeven ook gebaseerd op subjectieve factoren. Zo
overweegt de leraar de motivatie, de sociale ontwikkeling en de interesses van de leerling over de gehele schoolperiode. De schooladviezen van de leraar staan weergegeven in Tabel 1 (De
Groep Intervalschalen Advies
Cito Aangepast Cito Leraar
1 501-520 501-522 Basisberoepsgerichte leerweg (Basis) Basis 519-525 N.V.T Basis-en Kaderberoepsgerichte leerweg N.V.T. 2 523-528 523-528 Kaderberoepsgerichte leerweg (Kader) Kader 3 529-533 529-533 Gemengde/ theoretische leerweg (Gtl) Gtl 4 533-536 534-536 Gtl en Hoger algemeen voorgezet
onderwijs (Havo)
Gtl/Havo
5 537-540 537-540 Havo Havo
6 540-545 541-545 Havo/ Voorbereidend wetenschappelijk onderwijs (Vwo)
Havo/Vwo
Procedure
Basisscholen werden via e-mail of via het netwerk van de onderzoekers benaderd voor deelname. De basisscholen die positief instemden met deelname aan het onderzoek kregen de “informed consent” toegestuurd, die ze voor de start van het onderzoek aan de ouders dienden mee te geven. De kinderen gaven de “informed consent” op de dag van het onderzoek aan de proefleiders of het “informed consent” werd per post/e-mail achteraf opgestuurd. De kinderen met ouderlijke toestemming speelden vier iPad games. Sommige kinderen bleken achteraf geen toestemming te hebben gekregen. De data van deze kinderen is achteraf vernietigd. In een lokaal op hun eigen basisschool konden acht kinderen tegelijk getest worden. Voor de start van de games dienden de deelnemers zelf ook toestemming te geven voor het gebruik van de data. De deelnemers speelden de games altijd in dezelfde volgorde: anticipatie, controleren, concentreren en werkgeheugen. Voor elke game legde de proefleider de regels en doelen van de taak uit. De deelnemers konden de instructies ook teruglezen op de iPad. Op de iPad waren ook voorbeelden van de games te zien. De deelnemer kon de game altijd op pauze zetten en vragen stellen aan de proefleider. Na elke game werd de deelnemer ingelicht over het doel van de taak. Hierin was te lezen welke delen van de hersenen werden geactiveerd tijdens het spelen van de game en wat iemand goed zou kunnen in het dagelijks leven als deze persoon goed zou zijn in de game. Het experiment eindigde wanneer de deelnemer klaar was met alle vier de games. De totale duur van het onderzoek was 45 minuten. De middelbare-schooladviezen gaf de leraar aan de proefleider mee of stuurde de leraar achteraf op. De Cito-scores werden na de uitslag van de Cito-toets per mail opgestuurd of aan de proefleiders meegegeven. Wanneer alle gegevens van de deelnemers binnen waren, werden de Cito-scores en het advies van de leraar gekoppeld aan de resultaten van de games. Vervolgens werden de namen van de kinderen verwijderd, zodat de deelnemer niet meer naar de data te herleiden waren. Zo bleef de anonimiteit van de deelnemers gewaarborgd. De resultaten van de games werden nooit aan de
kinderen, ouders of de scholen teruggekoppeld. Wel werden de algemene conclusies van het onderzoek aan de scholen teruggekoppeld.
Data-analyse
Om te bekijken hoe goed cognitieve vaardigheden de Cito-score en het advies van de leraar konden voorspellen werd gebruik gemaakt van een lasso-analyse. De lasso-analyse is een speciale multipele regressie analyse (Tibshirani, 1996). In een multiple regressie analyse wordt uit meerdere predictoren een uitkomstvariabele voorspeld (Field, 2009). Voordat de uitkomstvariabele voorspeld kan worden, wordt eerst met de predictoren een regressiemodel ontwikkeld. Dit model wordt ontwikkeld door in meerdere observaties waarbij de predictoren en de uitkomstmaten gemeten zijn, te bekijken welke specifieke waarden van de predictoren het beste passen bij bepaalde uitkomstmaten (Mason & Perreault, 1991). In dit onderzoek werd gekeken of cognitieve vaardigheden (predictoren) de Cito-score of het advies van de leraar (uitkomstmaten) voorspellen. Het regressiemodel werd berekend door te kijken welke specifieke waarden van de cognitieve vaardigheden het beste paste met specifieke Cito-scores of adviezen van de leraar. Zo zou bijvoorbeeld kunnen blijken dat als cognitieve vaardigheid A hoger is dan zeven, de Cito-score meestal 546 is. Dit werd voor alle cognitieve vaardigheden berekend en hieruit werd een regressiemodel berekend. Ook werd bekeken welke cognitieve vaardigheden de uitkomstmaten het beste voorspellen. De predictoren die de uitkomstmaat het beste voorspellen, wegen zwaarder in het regressiemodel dan de predictoren die de uitkomstmaten minder goed voorspellen. De predictoren die zwaarder wegen in het regressiemodel, krijgen een hoger regressiegewicht toegekend dan de predictoren die de uitkomstmaat minder zwaar wegen. Met het ontwikkelde regressiemodel werden de uitkomstmaten geschat. Vervolgens werd de correlatie tussen de geschatte uitkomstmaten en de echte uitkomstmaten berekend. Zo kan uiteindelijk gekeken worden hoe goed de cognitieve
vaardigheden de schoolprestatie kunnen voorspellen. Wanneer de correlatie tussen de echte uitkomstmaten en de voorspelde uitkomstmaten hoog is, betekent dit dat het regressiemodel de uitkomstmaten goed kan schatten en de predictoren de uitkomstmaten dus goed kunnen voorspellen. In deze studie werd dus de correlatie tussen de voorspelde Cito-scores en de adviezen van de leraar en de echte Cito-scores en adviezen van de leraar berekend
Een multipele regressie analyse heeft echter twee nadelen. Ten eerste is het regressiemodel door “overfitting” niet goed generaliseerbaar, omdat de voorspellingen en het regressiemodel niet onafhankelijk van elkaar zijn. Wanneer een groot aantal predictoren in een model wordt gebruikt om iets te voorspellen, zal bijna altijd een goed passend model naar voren komen. Het ontwikkelde regressiemodel zou de dataset daarom bijna perfect kunnen voorspellen en een nieuwe dataset veel minder goed. In deze studie wordt dit probleem opgelost op drie manieren: door de lasso-analye, door cross-validatie van het model en door permutaties. De lasso-analyse straft “overfitting” af door gecorreleerde predictoren, predictoren die dezelfde variantie verklaren, naar nul te drukken (Tibshirani, 1996). Zo worden alleen de predictoren, die unieke variantie verklaren meegenomen in het model. In het regressiemodel worden in een lasso-analyse niet alle predictoren vanaf het begin meegenomen. Cross-validatie straft “overfitting” af door een regressiemodel te ontwikkelen met een deel van de deelnemers, die willekeurig geselecteerd worden. Het regressiemodel wordt vervolgens getoetst door de uitkomstmaten te voorspellen van de overige deelnemers. Zo worden het ontwikkelde regressiemodel en de voorspellingen nooit op dezelfde deelnemers getoetst. Door de lasso-analyse en de cross-validatie 1000 keer te herhalen (1000 permutaties), wordt telkens een ander deel van de deelnemers geselecteerd om de uitkomstmaten van de overige deelnemers te voorspellen. Zo wordt met de permutaties “overfitting” afgestraft, doordat het regressiemodel telkens op een ander deel van de deelnemers wordt berekend. In deze studie werden cross-validatie toegepast doordat de cognitieve data van 75% van de deelnemers willekeurig werd geselecteerd om een
regressiemodel te maken. Vervolgens werden de Cito-scores en de schooladviezen van de overige deelnemers met dit regressiemodel voorspeld. Het tweede nadeel van een multiple regressie analyse is dat de predictoren altijd in een bepaalde volgorde worden meegenomen tijdens het maken van het regressiemodel. Wanneer de volgorde van de predictoren veranderd, komt er een ander model uit de regressie analyse. In een lasso-analyse kunnen de predictoren parallel in het model worden meegenomen. Een nadeel van de lasso-analyse is echer dat er geen unieke oplossing van het regressiemodel naar voren komt. De 1000 permutaties ondervingen in dit onderzoek dit probleem. Door de permutaties kwam er 1000 keer een correlatie tussen de voorspelde en de echte uitkomstmaten. Uiteindelijk werd uit de 10000 permutaties een gemiddelde correlatie berekend. Met de gemiddelde correlatie werd de eerste deelvraag (a) beantwoord. Met de gemiddelde correlatie werd dus aangegeven hoe goed de cognitieve vaardigheden de schoolprestaties kunnen voorspellen.
Om de tweede deelvraag te kunnen beantwoorden (b) werden de cognitieve vaardigheden die 95% van de permutaties voorkwamen eruit gefilterd. Met deze cognitieve vaardigheden kunnen de schoolprestaties het beste worden voorspeld. Met een derde lasso-analyse werd de derde deelvraag beantwoord (c). Om te onderzoeken of de cognitieve vaardigheden de verschilscore kunnen voorspellen, werd eerst de verschilscore van de Cito-score en het advies berekend. De Cito-score werd omgezet naar het corresponderende schooladvies en vervolgens werd het schooladvies van deze score afgehaald. De correlatie tussen de voorspelde verschilscore en de echte verschilscore gaf aan hoe goed de verschilscore voorspeld kan worden door cognitieve vaardigheden.
RESULTATEN
Van de 231 deelnemers zijn de data van twee deelnemers niet meegenomen in de analyses. Deze twee deelnemers hadden een schooladvies gekregen dat niet correspondeerde met een van
de normale schooladviezen uit de methode, in dit geval “kopklas”. In Tabel 2 is het aantal deelnemers voor de intervalschalen en de adviezen van de leraar weergegeven. De Cito-intervalschalen en de adviezen van de leraar kregen voor de analyses een groepsnummer toegewezen.
Tabel 2. Het aantal deelnemers (N) en het Groepsnummer van de Cito-intervalschalen en de Adviezen van de Leraar
Groep Advies van de Leraar N Cito-Intervalschaal N
1 Basis 8 501 -522 14 2 Kader 18 523 -528 14 3 Gtl 35 529 -533 28 4 Gtl/Havo 15 534 -536 20 5 Havo 42 537 -540 34 6 Havo/Vwo 23 541 -545 49 7 Vwo 88 546 -550 70
De Cito-scores en het advies van de leraar zijn links-scheef verdeeld (Cito-scores =
-1.1738; Advies= -0.5616). Door de links-scheef verdeelde data zouden in de lasso-analyse weinig of geen deelnemers met een laag schooladvies of lage Cito-scores in de groep deelnemers komen (75% van de deelnemers) waarmee het model gemaakt wordt. Een Cito-score van 501 zou niet voorspeld kunnen worden wanneer deze Cito-score bij de deelnemers niet voorkomt. Deze Cito-score zou niet worden meegenomen tijdens het berekenen van het regressiemodel. Het regressiemodel zou door te weinig lage Cito-scores in de groep deelnemers waarmee het regressiemodel wordt berekend de Cito-scores van de overige groep deelnemers
voorspelde Cito-score van 524 kunnen krijgen. In onderstaande Figuur 6 en Figuur 7 staan de verdelingen van de Cito-scores en het advies van de leraar.
500 510 520 530 540 550 0 5 10 15 20 25 Cito-scores F re q u en ti e
Figuur 6. De Verdeling van de Cito-scores
1 2 3 4 5 6 7 0 10 20 30 40 50 60 70 80 90 Schooladvies F re q u en ti e
Om dit probleem minder groot te maken werden de deelnemers geselecteerd uit groepen van gelijke grootte. In de lasso-analyse werden op deze manier uit alle niveaus evenveel deelnemers meegenomen tijdens het berekenen van het regressiemodel. De nieuwe groepen van de Cito-scores bestonden uit drie groepen: de lage groep (Cito-score 501 t/m 536), de gemiddelde groep (Cito-score 537 t/m 545) en de hoge groep (Cito-score 546 t/m 550). De nieuwe groepen van het advies van de leraar waren: de lage groep (advies Basis t/m Gtl/Havo), de gemiddelde groep (advies Havo of Havo/Vwo) en de hoge groep (advies Vwo). Wanneer de Cito-scores voorspeld werden, zijn de deelnemers op de Cito-scores gegroepeerd. De deelnemers werden op het advies van de leraar gegroepeerd wanneer het advies werd voorspeld. In Figuur 8 en Figuur 9 worden het aantal deelnemers van de nieuwe groepen weergegeven.
0 10 20 30 40 50 60 70 80 90 F re q u en ti e
Laag Gemiddeld Hoog
De analysemethoden van onderzoeken, die het verband tussen cognitieve vaardigheden en schoolprestaties hebben onderzocht (Alloway & Alloway, 2010; Bulls et al., 2008; Van der Sluis et al. 2007), waren beperkt. Er kwamen geen eenduidige resultaten naar voren. Daarom werd met een lasso-analyse, een data-gedreven analysemethode, onderzocht hoe goed de cognitieve vaardigheden de Cito-scores konden voorspellen. De Cito-scores waren scheef verdeeld en daarom werden rang-correlaties (Spearman) gebruikt.
Tussen de voorspelde Cito-scores en de echte Cito-scores werd een significant gemiddelde correlatie gevonden, r=0.72, p<0.001. De verklaarde variantie was R²= 0.53 en de standaard deviatie= 0.090. In Figuur 10 is de correlatie tussen de echte Cito-scores (horizontale as) en de voorspelde Cito-scores (verticale as) weergegeven. De rode lijn geeft de maximale Cito-score weer. Uit het figuur 10 blijkt dat door het regressiemodel de Cito-scores hoger werden voorspeld dan de echte Cito-scores.
80 0 10 20 30 40 50 60 70 90
Figuur 9. De verdeling van het Schooladvies met Gr oepering
Tabel 3. De Regressiegewichten (β) van de Cognitieve Vaardigheden die 95% in de Permutaties voorkomen bij het Voorspellen van de Cito-scores
Figuur 10. Correlatie tussen de Echte Cito-scores en de Voorspelde Cito-scores Echte Cito-scores V o o rs p el d e C it o -s co re s
Game Cognitieve Vaardigheden β Cito
Controleren Efficiëntie Regel Switch Conditie
16.85
Concentreren Gemiddelde reactietijd (RT) 16.32
Concentreren Mediaan RT 16.18
Controleren Mediaan RT van de Regel
Switch Conditie (alleen goede responsen)
15.27
Concentreren Accuratesse van de ruimtelijk incorrecte cue
14.08
Concentreren RT van de Congruente Conditie
13.29
Controleren Accuratesse van de Regel Switch conditie
8.99
Om te bepalen welke cognitieve vaardigheden de Cito-scores goed kunnen voorspellen, werden de cognitieve vaardigheden, die in meer dan 95% van de permutaties voorkwamen, berekend. In Tabel 3 zijn de regressiegewichten van die cognitieve vaardigheden weergegeven. De regressiegewichten geven de voorspellende waarde van de cognitieve vaardigheden aan.
Switch Conditie (goede en foute responsen)
Controleren Accuratesse van Normale conditie
5.84
Concentreren RT spatiele aandacht -4.72
Concentreren Efficiëntie van Centrale Cue
4.06
Controleren Accuratesse van 3 keer herhalingen
-3.84
Anticipatie Aantal rondes 3.30
Concentreren Maximale RT -3.00 Werkgeheugen Gemiddelde werkgeheugencapaciteit van de Sequentiële Retentieconditie 2.94 Werkgeheugen Gemiddelde werkgeheugencapaciteit Simultane Retentieconditie 2.33 Werkgeheugen Gemiddelde werkgeheugencapaciteit van de Retentieconditie in de “Change Detection” taak
1.99
Controleren Mediaan RT van 3
herhalingen (goed+ fout responsen)
-1.49
Controleren Mediaan RT van 2
herhalingen (goed+ fout responsen)
-1.43
Controleren Accuratesse van 4
herhalingen
Een hoog regressiegewicht betekent dat de cognitieve vaardigheid een hoge voorspellende waarde heeft. De cognitieve vaardigheden die de Cito-score het beste voorspelden, waren de vaardigheden met het hoogste regressiegewicht. De vijf beste voorspellers voor Cito-score zijn: de effectiviteit van de regel switch conditie (controleren-game); de gemiddelde reactietijd van de responsen in de concentreren-game; de mediaan reactietijd van de responsen in de concentreren-game; de mediaan van de reactietijd in de regel switch conditie van alleen de goede responsen (controleren-game) en de accuratesse van de responsen op de ruimtelijke incorrecte cue (concentreren-game).
Naar verwachting bleek werkgeheugencapaciteit een significante voorspeller van de Cito-score te zijn. De Cito-Cito-score werd door de werkgeheugencapaciteit in de retentiecondities voorspeld. Dit betekent dat wanneer een deelnemer minder afleidbaar is door irrelevante objecten in de retentiefase de deelnemer een hogere Cito-score heeft dan iemand die meer afleidbaar is in de retentiefase. Verder hebben de vaardigheden van het werkgeheugen een laag regressiegewicht. In het regressiemodel heeft de werkgeheugencapaciteit in de retentieconditie dus een lage voorspellende waarde.
Een tweede lasso-analyse werd uitgevoerd om te bekijken hoe goed de cognitieve vaardigheden het advies van de leraar konden voorspellen. Een significante correlatie werd gevonden tussen het voorspelde advies van de leraar en het echte advies, r= 0.65, p<0.001. De proportie verklaarde variantie was R²= 0.42 en de standaard deviatie= 0.042. In Figuur 11 is de correlatie tussen de het voorspelde advies (verticale as) en het echte advies van de leraar (horizontale as) weergegeven. De rode lijn geeft het maximale advies van de leraar weer. Uit het figuur 11 blijkt dat door het regressiemodel de schooladviezen hoger werden voorspeld dan de echte schooladviezen.
Ook voor deze lasso-analyse werden de cognitieve vaardigheden, die meer dan 95% voorkwamen in de permutaties, berekend om te bepalen welke cognitieve vaardigheden het
advies van de leraar goed kunnen voorspellen. In Tabel 4 zijn de regressiegewichten van de cognitieve vaardigheden, die meer dan 95% voorkomen in de permutaties, weergegeven. De cognitieve vaardigheden staan in de tabel op aflopende voorspellende waarde in Tabel 4. De cognitieve vaardigheden die het advies van de leraar het beste voorspellen, zijn de vaardigheden met het hoogste regressiegewicht. De vijf beste voorspellers voor de Cito-scores zijn: de effectiviteit van de motor switch conditie (controleren-game); de efficiëntie van de centrale cue (controleren-game); de mediaan van de reactietijd van de goede en de foute responsen van 3 herhalingen (controleren-game); de minimale reactietijd van de responsen in de controleren game; de accuratesse van de regel switch conditie (controleren- game)
Figuur 11. De cooreleatie tussen het Echte Advies en het Voorspelde Advies Het Echte Advies van de Leraar
H et V o o rs p el d e A d v ie s v an d e L er aa r 1 2 3 4 5 6 7 1 2 7 6 5 4 3 10 8 9
Tabel 4. De Regressiegewichten (β) van de Cognitieve Vaardigheden die in 95% van de Permutaties voorkomen bij het Voorspellen van het Advies van de Leraar
Naar verwachting bleek dat de werkgeheugencapaciteit ook een significante voorspeller is van het advies van de leraar. Het advies van de leraar werd echter alleen door de werkgeheugencapaciteit van de sequentiële retentieconditie voorspeld. Dit betekent dat
Game Cognitieve Vaardigheden β Controleren Efficiëntie van de Motor
Switch conditie;
1.96
Concentreren Efficiëntie van de Centrale Cue
1.62
Controleren Mediaan RT van 3 herhalingen (goed +fout bij elkaar)
-1.52
Controleren Minimale RT 0.77
Controleren Accuratesse in de Regel Switch conditie
0.75
Controleren Mediaan RT in de Motor Switch conditie (goede+ foute responsen)
0.75
Concentreren Accuratesse in de Motor Switch conditie -0.72 Werkgeheugen Gemiddelde werkgeheugencapaciteit van de Sequentiële Retentieconditie 0.58 Concentreren Mediaan RT 0.45
Controleren Accuratesse van 4 herhalingen
0.40
Controleren Maximale RT 0.20
wanneer een deelnemer minder afleidbaar is door irrelevante objecten in de retentiefase als deze vlak op elkaar volgen, de deelnemer een hoger advies heeft dan iemand die meer afleidbaar is door irrelevante objecten in de retentiefase als sequentieel op elkaar volgen. Verder heeft dit onderdeel van het werkgeheugen een laag voorspellende waarde bij het advies van de leraar.
Het advies van de leraar en van het Cito kunnen per leerling verschillen. Het advies is op meer factoren dan de Cito-scores gebaseerd. Zo kijkt de leraar behalve naar de Cito-scores van groep zes en groep zeven, tevens naar de interesses, de motivatie en de ontwikkeling van een leerling. Om te bekijken of het verschil tussen het advies van de leraar en het Cito-advies ook voorspeld kon worden door cognitieve vaardigheden werd een lasso-analyse uitgevoerd. Voor deze analyse werden de Cito-scores eerst omgezet naar de ordinale-schaal van het advies van de leraar, zodat het verschil tussen de schoolprestaties berekend kon worden. De aangepaste Cito-intervalschaal uit de methode werd aangehouden en vervolgens omgezet naar het corresponderende advies van de leraar (Basis t/m Vwo),. Daarna werd de data geselecteerd op deelnemers waarvan de score hoger was dan het advies van de leraar (groep 1), de Cito-scores gelijk waren aan het advies (groep 2) en het advies hoger was dan de Cito-score (groep 3). Een negatieve verschilscore betekende dat de deelnemer een hoger advies van de leraar had gekregen dan zijn Cito-score. Een positieve verschilscore betekende dat de deelnemer een lager advies van de leraar had gekregen dan zijn Cito-score. Een significante correlatie werd gevonden tussen de voorspelde verschilscore en de echte verschilscore, r= 0.63, p<0.001. De proportie verklaarde variantie was R²= 0.40 en de standaard deviatie= 0.14. In Figuur 12 is de correlatie tussen de voorspelde verschilscore (verticale as) en de echte verschilscore (horizontale as) weergegeven.
De cognitieve vaardigheden die 95% van de permutaties voorkwamen, werden berekend om te bekijken door welke cognitieve vaardigheden de verschilscore werd voorspeld. In Tabel 5 staan deze cognitieve vaardigheden met regressiegewichten weergegeven. De vijf beste voorspellers voor de verschilscores zijn: efficiëntie van de congruente conditie, efficiëntie van de regel-switch conditie, de gemiddelde reactietijd in de Concentreren-game, de efficiëntie van de incorrecte ruimtelijke cue en de mediaan van de reactietijd van de motor-switch conditie (van alleen de goede responsen). Uit Tabel 5 blijkt tevens dat deelnemers met een hoge stressbestendigheid een lage verschilscore hadden. De schooladviezen waren hoger dan de Cito-scores voor de deelnemers met een hoge stressbestendigheid.
5
Figuur 12. De Correlatie tussen de Echte Verschilscore en de Voorspelde Verschilscore
De Echte Verschilscore −2. 5 5 5 0. −2 −1.5 −1 −0.5 0 0.5 1 1.5 2 −2. −2 −1. −1 −0. 0 5 1 1.5 2 2.5 D e V o o rs p el d e V er sc h il sc o re
Tabel 5. De Regressiegewichten (β) van de Cognitieve Vaardigheden die in 95% van de Permutaties voorkomen bij het Voorspellen van de Verschilscore
Game Cognitieve Vaardigheden β Concentreren Efficiëntie van de
Congruente Conditie
3.42
Controleren Efficiëntie van de Regel Switch conditie
-1.44
Concentreren Gemiddelde RT -1.07 Concentreren Efficiëntie van de
ruimtelijke incorrecte cue
-1.05
Controleren Mediaan RT van de Motor Switch Conditie (alleen goede responsen)
-0.86
Controleren Accuratesse van de geen Switch Conditie
0.74
Controleren Mediaan RT van de Regel Switch Conditie (goed + foute responsen)
-0.65
Controleren Mediaan RT regel switch conditie (alleen goede responsen)
-0.61
Controleren Accuratesse van de Geen Switch Conditie
0.47
Anticipatie Aantal rondes gespeeld 0.47 Concentreren Performance Flankertaak -0.46
Controleren Minimale RT -0.45 Concentreren
Maximale RT 0.45
Anticipatie
Discussie en Conclusie
In het huidige onderzoek werd bekeken hoe goed schoolprestaties van kinderen in groep acht te voorspellen zijn op basis van cognitieve vaardigheden (werkgeheugencapaciteit, mentale flexibiliteit, aandacht, inhibitievermogen en anticipatievermogen). Het is van belang dat er in onderzoek onderscheid wordt gemaakt tussen schoolprestaties en cognitieve vaardigheden, zodat een discrepantie tussen deze twee vroegtijdig gesignaleerd kan worden. Hierdoor kan eerder worden ingegrepen wanneer de schoolprestaties van een leerling niet stroken met de verwachtingen die de cognitieve potentie uitwijst. Daarnaast werd onderzocht welke van de cognitieve vaardigheden schoolprestaties het best voorspellen, zodat een model ontwikkeld kon worden dat deze schoolprestaties optimaal voorspelt. Eerdere onderzoeken lieten al een duidelijke relatie tussen cognitieve vaardigheden en schoolprestaties zien (Alloway & Alloway, 2010; Bulls et al., 2008; Van der Sluis et al., 2007). De resultaten waren echter niet eenduidig door beperkte analysemethoden. Verder werd in de onderzoeken maar een klein spectrum van cognitieve vaardigheden bekeken met arbitrair gekozen cognitieve testen, die taal- en rekenkundige aspecten bevatten. Het huidige onderzoek onderscheidt zich van het eerdere onderzoek, omdat een brede cognitieve testbatterij op een iPad werd afgenomen. Daarbij werden in analyses rekening gehouden met “overfitting” van het regressiemodel, de volgorde van de predictoren en de generaliseerbaarheid van de resultaten. De lasso-analyse is een
Werkgeheugen Gemiddelde werkgeheugencapaciteit van de Simultane Encodeerconditie 0.13
Controleren Accuratesse van 3 herhalingen
-0.10 Controleren Accuratesse van 5
herhalingen
regressiemodel kunnen worden meegenomen. Zo maakt de volgorde van de predictoren in het regressiemodel niet uit en wordt “overfitting” afgestraft doordat alleen predictoren worden meegenomen die unieke variantie verklaren. Tevens zorgden cross-validatie en de permutaties voor generalisatie van de resultaten doordat de voorspellingen en het regressiemodel nooit op dezelfde groep deelnemers werden gebaseerd. De schoolprestaties in het huidige onderzoek werden op twee manieren geoperationaliseerd. In het Nederlandse schoolsysteem wordt bij leerlingen in groep acht een Cito-toets afgenomen om hun reken- en taalvaardigheid te testen. Op basis van deze scores geeft het Cito een advies over het middelbare schoolniveau. Dit in combinatie met het advies van de leraar zou een compleet beeld moeten schetsen van het niveau van de leerling. Het advies van het Cito en van de leraar kunnen voor een leerling echter verschillen. Daarom werd ook exploratief onderzocht of het verschil tussen de schoolprestaties voorspeld kon worden door cognitieve vaardigheden.
Uit de resultaten kwam naar voren dat cognitieve vaardigheden (werkgeheugencapaciteit, mentale flexibiliteit, aandacht, inhibitievermogen en anticipatievermogen) schoolprestaties goed konden voorspellen (Cito: r=0.72; advies van de leraar r=0.65). Zo verklaarden de cognitieve vaardigheden aldus 53% van de variantie in de Cito-scores en 42% in het advies van de leraar. De verklaarde variantie is hoger dan uit vorige onderzoeken naar voren kwam waar nooit meer dan 53% van de variantie in schoolprestaties door cognitieve vaardigheden werd verklaard (Bulls, Epsy & Wiebe, 2008). Ook bleken cognitieve vaardigheden de verschilscores tussen de schoolprestaties goed te voorspellen (r=0.63, R²= 0.40).
Een verklaring voor de hogere verklaarde variantie van dit onderzoek zou kunnen zijn dat de lasso-analyse te krachtig is met overgeneralisatie als gevolg. Overgeneralisatie betekent dat de regressiemodellen heel precies werden berekend op grond van de schoolprestaties en cognitieve vaardigheden van de kinderen uit dit onderzoek waardoor de modellen niet goed bruikbaar zouden zijn voor andere kinderen in dezelfde leeftijdsgroep. De crossvalidatie, die
ook gebruikt werd in dit onderzoek, heeft echter tegen overgeneralisatie beschermd. Door telkens regressiemodellen te maken op grond van de data van 75% van de deelnemers en vervolgens de schoolprestaties van de overige deelnemers te voorspellen, werden de modellen niet herhaaldelijk op grond van dezelfde schoolprestaties en cognitieve vaardigheden berekend. De regressiemodellen en de voorspellingen die met de modellen gedaan werden zijn dus onafhankelijk van elkaar.
Een belangrijke bevinding van deze studie was dat de regressiemodellen beide schoolprestaties bleken te overschatten. De overschatting van de schoolprestaties werd veroorzaakt, doordat de schoolprestaties links-scheef verdeeld waren door een lager aantal deelnemers met lage schoolprestaties dan met hoge schoolprestaties. Door de deelnemers op te delen in drie groepen met lage, middelmatige en hoge schoolprestaties werd de overschatting van de schoolprestaties door de regressiemodellen minder. Volledige overschatting van de regressiemodellen kan in de toekomst voorkomen worden, door de deelnemers in het begin van de brugklas te onderzoeken. De leerlingen zijn in de brugklas op hun schooladvies ingedeeld en op deze manier kan gerichter bepaald worden hoeveel deelnemers met lage en hoge schoolprestaties in het onderzoek worden meegenomen.
Uit dit onderzoek bleek dat de EFs aandacht (ruimtelijke en volgehouden), mentale flexibiliteit, en inhibitievermogen schoolprestaties het best voorspelden. Volgehouden aandacht voorspelde het advies van de leraar het best, terwijl ruimtelijke aandacht de Cito-score het best voorspelde. De verschilscore tussen het schooladvies en de Cito-score werd het best voorspeld door selectieve aandacht, ruimtelijke aandacht, mentale flexibiliteit en inhibitievermogen.
Op grond van eerder onderzoek (Alloway & Alloway, 2010) werd verwacht dat werkgeheugencapaciteit een voorspeller van schoolprestaties zou zijn. Uit de resultaten bleek dan ook dat zowel de Cito-scores als het advies van de leraar voorspeld werden aan de hand van werkgeheugencapaciteit tijdens de retentiefase. Werkgeheugencapaciteit had in beide
regressiemodellen echter een laag voorspellende waarde, terwijl in vorig onderzoek werkgeheugencapaciteit tot 21% van de variantie in schoolprestaties verklaarde (Alloway & Alloway, 2010). Er zijn twee verklaringen voor deze bevindingen.
De eerste verklaring is dat in dit onderzoek een andere analyse werd toegepast: de lasso-analyse. Alloway en Alloway (2010) gebruikten in hun onderzoek naar het voorspellen van schoolprestatie met werkgeheugencapaciteit een hiërarchische multipele regressie analyse. In deze analyse is de volgorde van de predictoren bepalend voor de resultaten die uit de analyse naar voren komen. Wanneer de predictoren in een andere volgorde in het model werden gebruikt, komen andere resultaten naar voren. Daarentegen kunnen in de lasso-analyse predictoren parallel in het regressiemodel worden meegenomen. Werkgeheugencapaciteit zou dus een lage voorspellende waarde kunnen hebben, doordat in andere (Alloway & Alloway, 2010) onderzoeken analyses werden gehanteerd waarin de volgorde van de predictoren de uitkomst van de resultaten beïnvloeden. De tweede verklaring is dat de cognitieve vaardigheden die schoolprestaties goed voorspelden, zoals mentale flexibiliteit, geen unieke variantie van de schoolprestaties verklaarden. Voor de mentale flexibiliteit wordt het werkgeheugen gebruikt om informatie vast te houden (Diamond, 2013). Zo wisselde de deelnemers in de Concentreren-game, die hun mentale flexibiliteit vaststelde, tussen vooraf vastgestelde regels. Om te kunnen wisselen tussen deze regels, diende de deelnemer de regels te onthouden. Deze regels werden in het werkgeheugen vastgehouden. Zo werd met de Concentreren-game niet alleen de mentale flexibiliteit van de deelnemers bepaald, maar ook werkgeheugencapaciteit. De verklaarde variantie van mentale flexibiliteit is dus niet uniek aangezien een deel van de variantie ook verklaard zou kunnen worden door werkgeheugencapaciteit.
De regressiemodellen in dit onderzoek bleken schoolprestaties goed te kunnen voorspellen. Met een goed werkend regressiemodel zouden de kinderen met een discrepantie tussen hun
cognitieve potentie en schoolprestaties in het vervolg vroegtijdig gesignaleerd kunnen worden. De cognitieve testen zouden als signaleringsmiddel gebruikt kunnen worden. Wanneer de discrepantie vroeg wordt gesignaleerd, kunnen de kinderen op tijd geholpen worden om op hun niveau te gaan presteren. Voordat deze testen daadwerkelijk in het onderwijs gebruikt kunnen worden, is het noodzakelijk om meer vervolgonderzoek te doen. Zo is het van belang de regressiemodellen te generaliseren. Eerst zou gekeken kunnen worden of schoolprestaties van andere kinderen uit dezelfde leeftijdsgroep met de vastgezette regressiemodellen uit dit onderzoek voorspeld kunnen worden. Wanneer ongeveer dezelfde correlatie tussen de voorspelde en de echte schoolprestaties uit het onderzoek naar voren komt, is het regressiemodel onafhankelijk van de voorspellingen, die met het regressiemodel gedaan worden. De volgende stap zou een longitudinaal onderzoek zijn. In dit onderzoek zou bekeken worden of de schoolprestatie van kinderen uit groep zes de schoolprestaties uit groep acht kunnen voorspellen op basis van cognitieve vaardigheden. In het eerste deel zouden de schoolprestaties van jonge kinderen worden voorspeld met de regressiemodellen. Daarna zou gekeken worden naar de correlatie tussen de schoolprestaties op jonge en oudere leeftijd. Schoolprestaties kunnen over een langere periode eenduidig gemeten worden, omdat kinderen in Nederland al in de kleutergroep door Cito op hun taal- en rekenniveau worden getest. In Figuur 13 is af te lezen voor welke kinderen de cognitieve testen als signaleringsmiddel kunnen worden gebruikt. Op de horizontale as staan de scores op de cognitieve testen en op de verticale as de schoolprestaties. De kinderen die in de grafiek onder lijn L uitkomen, zijn de kinderen die een hogere cognitieve potentie hebben dan hun schoolprestaties laten zien. Zo scoort een kind op punt A goed op de cognitieve testen en laag op school en laat zo een discrepantie tussen hun cognitieve potentie en hun schoolprestaties zien. Bij de kinderen die onder lijn L uitkomen, is het van belang om naar de oorzaak van de lage schoolprestaties te kijken. Oorzaken van een lage schoolprestaties zouden bijvoorbeeld een taalachterstand, dyslexie, dyscalculie of
