1 Masterthese Klinische Neuropsychologie
Een Vergelijking van de Test-hertestbetrouwbaarheid van
de Amsterdam Cognition Scan met de Test-hertestbetrouwbaarheid van
Equivalente Traditionele Neuropsychologische Tests.
P.D. van der Loo
Datum: 14 januari 2017 Studentnummer: 10383050 UvA begeleider: H. Feenstra Tweede beoordelaar: J. Buitenweg
Programmagroep Brein en Cognitie, specialisatie Klinische Neuropsychologie, Afdeling Psychologie, Universiteit van Amsterdam
2 Inhoud Abstract ...3 Introductie ...4 Methode ...16 Deelnemers ...16 Procedure ...17 Materiaal ...19 Analyseplan ...24 Resultaten ...27 Discussie ...36 Referentielijst ...43 Bijlagen ... Bijlage 1 - Flyer ...53 Bijlage 2 -Informatiebrief ...54 Bijlage 3 - Anamnese ...56
Bijlage 4 – Informed consent ...60
Bijlage 5 - Overzicht van de psychometrische kwaliteiten van de gebruikte traditionele neuropsychologische tests ...61
Bijlage 6 - Vragenlijst subjectieve computervaardigheid ...62
3 Abstract
De Amsterdam Cognition Scan (ACS) is een online neuropsychologische testbatterij die is ontwikkeld om cognitieve problemen waar te nemen bij kankerpatiënten. Hoewel de
tetsbatterij gebaseerd is op veel gebruikte traditionele neuropsychologische tests, moeten de psychometrische kwaliteiten van de ACS volledig worden onderzocht. In dit onderzoek werd de test-hertestbetrouwbaarheid van een traditionele neuropsychologische testbatterij berekend om deze te kunnen vergelijken met de test-hertestbetrouwbaarheid van de ACS. Daarnaast werd er gekeken naar de rol van computervaardigheid op de prestatie van traditionele tests in vergelijking met online tests.
De test-hertestbetrouwbaarheid werd berekend door 40 gezonde deelnemers tweemaal 10 traditionele neuropsychologische tests uit te laten voeren met een interval van ongeveer zes weken. Ook voerden zij een computervaardigheidstest uit. Uit de resultaten bleek dat de test-hertestbetrouwbaarheid voor een deel van de tests van elkaar verschilde. Daarnaast werd gevonden dat de computervaardigheid, op zowel de online als de traditionele tests, vooral samenhing met taken waar de score gebaseerd was op (reactie)snelheid.
Het huidige onderzoek brengt de ACS dichterbij om te worden ingezet in het
onderzoek naar de relatie tussen cognitieve problemen en de behandeling van kanker. Het is van belang dat het onderzoek naar de ACS wordt voortgezet om een volledig beeld te krijgen van de betrouwbaarheid van de testbatterij. Daarnaast is het noodzakelijk uitgebreider
onderzoek te verrichten naar de invloed van computervaardigheid op de prestaties van gecomputeriseerde en online neuropsychologische tests.
4 Introductie
Volgens cijfers van het Integraal Kankercentrum Nederland krijgt één op de drie mensen in Nederland ooit in zijn of haar leven kanker (KWF Kanker in cijfers, z.j.). Omdat kanker zo veel mensen treft, wordt er uitgebreid onderzoek naar gedaan. Mede dankzij dit onderzoek worden er nieuwe behandelingen ontwikkeld met succesvolle resultaten, wat leidt tot een grotere populatie patiënten die langer in leven blijft of de ziekte overleeft. Hierdoor kan er ook beter onderzoek gedaan worden naar de lange termijn gevolgen van de
behandelingen voor kanker (Robison, 2004).
Er zijn verschillende behandelingen beschikbaar voor kanker en mede door deze behandelingen zijn er meer mensen die kanker overleven. Dit is natuurlijk heel positief, maar er zit ook een keerzijde aan. Het is namelijk bekend geworden dat een deel van deze patiënten na behandeling last heeft van cognitieve problemen. Cognitieve problemen hebben een grote invloed op het welzijn van mensen en daarom is het noodzakelijk dat er aandacht wordt geschonken aan onderzoek naar de relatie tussen de behandeling van kanker en het ontstaan van cognitieve problemen. In het huidige onderzoek wordt de betrouwbaarheid van een online neuropsychologische testbatterij onderzocht. Deze testbatterij is speciaal ontwikkeld om cognitieve problemen bij kankerpatiënten te onderzoeken en kan op een efficiënte manier, grootschalig gegevens verzamelen om dit onderzoek te bevorderen.
De afgelopen jaren is er veel onderzoek gedaan naar mogelijke cognitieve problemen als gevolg van behandeling van kanker. Zo is het bekend geworden dat behandeling van kanker binnen het centrale zenuwstelsel (CZS) de cognitieve functies beïnvloedt (Taphoorn & Klein, 2004). Het blijkt echter dat ook behandelingen voor kanker buiten het CZS kunnen leiden tot cognitieve problemen bij patiënten (Ahles, Root & Ryan, 2012). Onderzoek hiernaar heeft onder andere uitgewezen dat bij een subgroep van kankerpatiënten, die zijn behandeld met chemotherapie, cognitieve problemen ontstaan (Schagen, Muller, Boogerd,
5 Mellenbergh & van Dam, 2006; Collins, MacKenzie, Tasca, Scherling & Smith, 2013;
Menning et al., 2016) en dat deze problemen langdurig kunnen zijn (de Ruiter et al., 2011; Koppelmans et al., 2012; Stouten-Kemperman et al., 2015). Ook is aangetoond dat
chemotherapie kan leiden tot structurele en functionele veranderingen in de hersenen (de Ruiter et al., 2011; Deprez et al., 2011; Deprez et al., 2012). Deze negatieve effecten van chemotherapie op de hersenen en cognitie zijn ook terug te zien in dieronderzoek (Seigers & Fardell, 2011). Tot slot blijkt dat niet alleen behandelingen met chemotherapie kunnen leiden tot cognitieve problemen, maar dat ook hormonale behandelingen bij een subgroep van patiënten een negatieve invloed op de cognitieve functies lijken te hebben (Shilling, Jenkins, Fallowfield & Howell, 2003; Schilder et al., 2010; Schagen et al., 2014).
De cognitieve problemen die optreden na de behandeling zijn vooral te vinden op het gebied van geheugen, informatieverwerkingssnelheid en executief functioneren (Koppelmans, Breteler, Boogerd, Seynaeve & Schagen, 2013) en hebben grote invloed op het dagelijks functioneren van (oud) patiënten (Boykoff, Moieni & Subramanian, 2009). De meerderheid van het onderzoek naar cognitieve problemen na behandeling van kanker heeft
plaatsgevonden bij patiënten met borstkanker, maar het is gebleken dat ook patiënten met andere vormen van kanker cognitieve problemen ervaren (Harrington, Hansen, Moskowitz, Todd & Feuerstein, 2010).
Ondanks dat cognitieve problemen na de behandeling van kanker in veel onderzoeken worden gevonden, is er nog veel onduidelijk over de precieze relatie tussen de behandeling van kanker en cognitieve problemen. Het is dus van belang deze relatie grondig te
onderzoeken, zodat duidelijk wordt hoe de behandeling van kanker en cognitieve problemen precies met elkaar samenhangen. Zo kunnen patiënten onder andere beter geïnformeerd worden over mogelijke cognitieve gevolgen van behandelingen en kunnen cognitieve
6 gevolgen tijdig worden vastgesteld en worden behandeld. Wellicht leidt het onderzoek er uiteindelijk toe dat deze cognitieve problemen voorkomen kunnen worden.
Om een duidelijk beeld te krijgen van cognitieve problemen na behandeling van kanker, is het belangrijk om de cognitieve functies van patiënten zo goed mogelijk in kaart te brengen. Op dit moment wordt daarvoor vooral gebruik gemaakt van traditionele
neuropsychologische tests die door een onderzoeker één op één bij de patiënt worden afgenomen. Hoewel deze manier van testen goed in staat is cognitieve disfuncties waar te nemen, kleven er verschillende nadelen aan. De afname van traditionele neuropsychologische tests neemt namelijk veel tijd in beslag. Daarnaast is de afname, het scoren en het
interpreteren van de tests ingewikkeld en moet dit door een speciaal getraind persoon worden uitgevoerd. Tevens moeten de data achteraf handmatig worden ingevoerd, wat de kans op onnodige fouten vergroot (Gur et al., 2001; Schweiger, Doniger, Dwolatzky, Jaffe & Simon, 2003). Samenvattend toont dit dus aan dat het afnemen van klassieke neuropsychologische tests veel tijd en inspanning kost.
Een alternatief voor traditionele neuropsychologische tests is het uitvoeren van gecomputeriseerde neuropsychologische tests. Deze manier van testen heeft een aantal belangrijke voordelen ten opzichte van de traditionele manier van testen; waaronder het zeer precieze meten van reactietijden, een meer gestandaardiseerde afname, besparing van tijd en kosten, automatische verwerking van data in een database, het kunnen verzamelen van veel informatie in een relatief korte tijd, de mogelijkheid om meerdere versies te hebben en het kunnen analyseren van scores via de computer (Bauer et al., 2012; Schatz & Browndyke, 2002; Iverson, Brooks, Ashton, Johnson & Gualtieri, 2009; Wild et al., 2008).
Hoewel dit allemaal erg veelbelovend klinkt, zijn er echter ook een aantal punten waar rekening mee moet worden gehouden bij gecomputeriseerd testen. Het is namelijk moeilijk om het verbale functioneren in kaart te brengen en de tests zijn niet geschikt voor mensen met
7 problemen in de (fijne) motoriek (Schatz,Browndyke, 2002). Daarnaast is er minder
interactie tussen de clinicus en patiënt (Bauer et al., 2012), waardoor waardevolle informatie over de patiënt, die de computer niet waarneemt, verloren gaat. Bovendien is het van invloed hoe het gesteld is met de computervaardigheden van de deelnemer (Iverson et al., 2009). Tot slot blijkt ook dat een groot deel van de gecomputeriseerde tests (nog) niet volledig
zelfstandig af te nemen is (Wild et al., 2008).
Wanneer een test is ontwikkeld voor zelfstandige afname, kan deze ook online worden afgenomen. Deze vorm van gecomputeriseerd testen heeft extra voordelen. De tests kunnen namelijk zelfstandig bij de deelnemers thuis worden afgenomen en computers hoeven vaak niet aan bepaalde software eisen te voldoen om de tests uit te kunnen voeren (Hansen, Haferstrom, Brunner, Lehn & Håberg, 2015). Bovendien zijn de tests op elk moment van de dag beschikbaar, kunnen specifieke populaties aangeschreven worden en kan er een groter publiek worden bereikt (Reips, 2002; Dandurand, Schulz & Onishi, 2008). Al deze punten samen maken online testen een nog efficiëntere manier dan gecomputeriseerd testen om gegevens over de cognitieve functies van mensen te verzamelen.
Vanwege de vele voordelen van het gecomputeriseerd en met name online testen, lijkt deze methode ook geschikt om te worden ingezet binnen het onderzoek naar cognitieve problemen na behandeling van kanker. Met online tests kan bijvoorbeeld gemakkelijk worden bijgehouden of er veranderingen hebben plaatsgevonden in het cognitief functioneren van patiënten, doordat zij de tests thuis zelfstandig kunnen uitvoeren op afgesproken data. Mede vanwege deze reden heeft het Antoni van Leeuwenhoek (AVL) recent een online
neuropsychologische testbatterij ontwikkeld, genaamd de Amsterdam Cognition Scan (ACS), die onder andere kan worden ingezet om cognitieve problemen bij kankerpatiënten te
onderzoeken. Deze testbatterij bestaat uit zeven gecomputeriseerde neuropsychologische tests, die online zonder supervisie kunnen worden afgenomen en zijn bedoeld om cognitieve
8 disfuncties in kaart te brengen (Feenstra, Murre, Vermeulen, Kieffer & Schagen, 2017). De neuropsychologische tests waaruit de ACS bestaat, zijn: Spoorzoeken I & II, Woorden Leren, Herinneren en Herkennen, Reactietijden, Kralenpuzzel, Blokken Reeksen, Vlakken Vullen en Cijferreeksen I & II. De tests uit de batterij zijn gebaseerd op traditionele
neuropsychologische tests en er is geprobeerd deze zo gelijk mogelijk te houden aan de traditionele tests. Zo beogen ze dezelfde cognitieve domeinen te meten. In Bijlage 7 is een overzicht van de tests van de ACS te zien. Een uitgebreide beschrijving van de online tests kan worden gevonden in het artikel van Feenstra et al. (2017).
Voordat nieuw ontwikkelde traditionele, gecomputeriseerde en online tests in gebruik genomen kunnen worden, moet uitvoerig worden onderzocht of ze geschikt zijn als
meetinstrument. Ook traditionele tests die worden vertaald naar een (online) computerversie, zoals de ACS, moeten gezien worden als een volledig nieuwe test (Bauer et al., 2012). De psychometrische eigenschappen moeten dus opnieuw worden berekend en bovendien moeten er nieuwe normatieve data verkregen worden. Helaas is er over het algemeen echter een gebrek aan onderzoek naar de psychometrische kwaliteiten van gecomputeriseerde tests (Schlegel & Gilliland, 2007; Fazeli, Ross, Vance & Ball, 2013) en ook bij online tests is er weinig onderzoek verricht (Germine et al., 2012). Onderzoek naar de psychometrische
kwaliteiten van dit type tests is dus van groot belang, mede omdat op basis van de uitkomsten van deze tests klinische beslissingen worden genomen.
Een belangrijk onderdeel waarmee de psychometrische kwaliteit van een test wordt bepaald, is de validiteit van een test, oftewel; meet een test wat het beoogt te meten (Caine, Mehta, Laack & Gondi, 2012)? Zo is het bij gecomputeriseerde en online tests bijvoorbeeld van belang om te weten of deze hetzelfde construct meten als de traditionele tests waar ze op gebaseerd zijn. Dit wordt concurrente validiteit genoemd.
9 Eerder onderzoek naar de concurrente validiteit van gecomputeriseerde tests wijst uit dat deze erg wisselend is (Gualtieri & Johnson, 2006; Fazeli et al., 2013). Gecomputeriseerde tests zijn in zekere mate in staat dezelfde constructen te meten als traditionele tests, maar dit geldt niet voor elke test. Het ontwikkelen van een gecomputeriseerde test blijkt dus niet simpelweg een kwestie van het vertalen van een traditionele test naar een gecomputeriseerde test te zijn.
Aangezien de ACS een recent ontwikkelde online test is, die gebaseerd is op traditionele tests, is het van belang dat ook voor deze testbatterij de psychometrische kwaliteiten uitvoerig worden onderzocht voordat deze in gebruik genomen wordt. In het onderzoek van Feenstra et al. (2017) werd de concurrente validiteit voor de ACS berekend. Tweehonderdéén
kankerpatiënten voerden zowel de ACS als de traditionele equivalente neuropsychologische tests uit. De scores op beide tests werden vervolgens met elkaar vergeleken om de concurrente validiteit te berekenen. Het onderzoek wees uit dat de concurrente validiteit van de ACS gemiddeld tot hoog was, met correlaties die varieerden van .36 tot .78.
Een ander belangrijk onderdeel waarmee de psychometrische kwaliteit van een test wordt beoordeeld, is de betrouwbaarheid. Hiermee wordt bedoeld of een test accuraat is (Caine et al., 2012). Een goede maat om dit te onderzoeken is de test-hertestbetrouwbaarheid van een test. Dit houdt in dat de uitkomsten van een test hetzelfde dienen te zijn over twee
verschillende meetmomenten wanneer het prestatievermogen van de persoon die getest wordt in de tussentijd niet veranderd is (Hendriks, Kessels, Gorissen, Schmand & Duits, 2014).
Uit eerder onderzoek naar de test-hertestbetrouwbaarheid van gecomputeriseerde
neuropsychologische tests valt op te maken dat de betrouwbaarheden per test zeer uiteenlopen (Cole et al., 2013; Gualtieri & Johnson, 2006; Campbell et al., 1999; Lowe & Rabbitt, 1998; Tornatore, Hill, Laboff & McGann, 2005; Schweiger et al., 2003). Zo werd in het onderzoek van Cole et al. (2013) de test-hertestbetrouwbaarheid van vier verschillende
10 gecomputeriseerde testbatterijen onderzocht bij een groep militairen over een interval van 30 dagen. De test-hertestbetrouwbaarheden van de vier testbatterijen lagen voor de Automated Neuropsychological Assessment Metrics 4 tussen de .40 en de .79, voor de CNS-Vital Signs tussen de .29 en de .79, voor de CogState tussen de .22 en de .79 en voor de Immediate Post Concussion Assessment and Cognitive Testing (ImPACT) tussen de .50 en de .83. Eerder onderzoek naar de test-hertestbetrouwbaarheid van online neuropsychologische tests toont aan dat ook hier de test-hertestbetrouwbaarheden uiteen lopen. Een onderzoek van Elbin, Schatz en Covassin (2011) naar de online versie van de ImPACT, waarbij de testbatterij tweemaal werd afgenomen met een interval van een jaar, vond test-hertestbetrouwbaarheden tussen de .57 en .85. In een ander onderzoek naar de test-hertestbetrouwbaarheid van de online versie van de ImPACT, werd een algehele betrouwbaarheid gevonden tussen de .74 en .91 (Nakayama,Covassin, Schatz, Nogle & Kovan 2014). Tot slot werden bij een onderzoek naar de test-hertestbetrouwbaarheid van de Concussion Resolution Index, over een interval van twee weken, test-hertestbetrouwbaarheden gevonden tussen de .68 en de .82 (Erlanger et al., 2003).
De test-hertestbetrouwbaarheid van de ACS is eveneens berekend en ook hier wisselde de hoogte van de betrouwbaarheid per test. In het onderzoek van Feenstra et al. (2017) werd de ACS tweemaal afgenomen bij 96 kankerpatiënten, met een interval van ongeveer zes weken. Uit het onderzoek kwam naar voren dat de test-hertestbetrouwbaarheid van de tests varieerden tussen de .29 en .76 en dat de testbatterij in zijn geheel een test-hertestbetrouwbaarheid had van .78. Samengenomen was de test-hertestbetrouwbaarheid voldoende voor zes van de 11 uitkomstmaten van de ACS.
In een ander onderzoek naar de psychometrische kwaliteiten van de ACS (Feenstra, Vermeulen, Murre & Schagen.,manuscript submitted for review, n.d.), werd wederom
11 gezonde deelnemers afgenomen met een interval van zes weken. De
test-hertestbetrouwbaarheid was wederom voor de meerderheid van de tests voldoende met betrouwbaarheden die varieerden van .45 tot .80. De testbatterij in zijn geheel had een betrouwbaarheid van .74.
Uit de voorgaande alinea’s blijkt dat de validiteit en test-hertestbetrouwbaarheid van gecomputeriseerde en online tests erg wisselend is. Hoewel de uitkomsten voor de ACS ook wisselend waren, waren de gevonden resultaten voor de meerderheid van de tests voldoende. Een belangrijk kenmerk van gecomputeriseerde en online neuropsychologische tests, dat ook van belang is bij het interpreteren van de betrouwbaarheid, is dat de tests op de computer moeten worden uitgevoerd. Hierbij spelen de computerervaring en computervaardigheden van deelnemers dus een grote rol. Deze variabelen kunnen de prestatie van deelnemers
beïnvloeden en daarmee de betrouwbaarheid en de validiteit van de tests aantasten. Wanneer iemand bijvoorbeeld weinig computerervaring heeft en niet gewend is met een computer om te gaan, zullen de scores van de tests lager uitvallen en geen correcte weergave geven van de cognitieve vaardigheden van de deelnemer. Om op basis van gecomputeriseerde tests valide conclusies te trekken over de cognitieve functies van deelnemers, is het dus van belang te onderzoeken wat voor invloed computerervaring en computervaardigheden precies hebben op de testprestaties van deelnemers.
Onderzoek heeft aangetoond dat mensen die meer computerervaring hebben en vaker gebruik maken van een computer, beter presteren op gecomputeriseerde neuropsychologische tests (Iverson et al., 2009; Tun & Lachman, 2010). In een onderzoek van Fazeli, et al. (2013) werd gevonden dat het hebben van meer computerervaring leidde tot een betere prestatie op zowel gecomputeriseerde, als traditionele neuropsychologische tests. Het hebben van computerervaring lijkt hiermee dus niet alleen samen te hangen met betere prestaties op gecomputeriseerde neuropsychologische tests, maar ook met betere prestaties op traditionele
12 neuropsychologische tests. Dit zou kunnen betekenen dat computerervaring niet alleen iets zegt over hoe goed iemand met een computer om kan gaan, maar dat het ook iets zegt over het cognitief functioneren in het algemeen.
De voorgaande onderzoeken hebben echter alleen gebruik gemaakt van
zelfrapportagevragenlijsten over computergebruik en computerervaring. Er is nog geen direct onderzoek gedaan naar de invloed van computervaardigheid op de prestaties van
gecomputeriseerde cognitieve tests, waarbij computervaardigheid direct gemeten worden met een objectieve computertaak. De vraag blijft dus wat voor invloed computervaardigheden hebben op de testprestaties van traditionele en gecomputeriseerde neuropsychologische tests.
In de onderzoeken naar de ACS (Feensta et al., 2017; Feenstra et al., manuscript submitted for review, n.d.) is wel gekeken naar de invloed van computervaardigheid op de testprestaties van de ACS. De computervaardigheid werd gemeten met drie computertests waarbij deelnemers achtereenvolgens moesten typen, klikken en slepen met de muis. Vervolgens werd over deze drie tests een compositiescore berekend, welke een weergave vormde van de computervaardigheid. In zowel het onderzoek waar de ACS werd afgenomen bij kankerpatiënten, als het onderzoek waar de ACS werd afgenomen bij gezonde deelnemers was computervaardigheid positief geassocieerd met vier van de zeven tests en met de
totaalscore van de ACS. Computervaardigheid bleek, in tegenstelling tot het onderzoek van Fazeli et al. (2013) niet samen te hangen met de scores op de traditionele tests (Feenstra et al., 2017). Hoewel de computervaardigheid dus samen lijkt te hangen met de scores op
gecomputeriseerde tests wordt niet duidelijk hoe de computervaardigheid de testprestaties precies beïnvloedt, mede doordat er gebruik wordt gemaakt van een nieuwe maat en de psychometrische eigenschappen van de gebruikte computertests nog onvoldoende bekend zijn. Het is dus van belang dit nader te onderzoeken.
13 Zoals eerder al werd gesteld, blijkt uit voorgaande onderzoeken naar de psychometrische kwaliteiten van de ACS dat de online testbatterij over voldoende validiteit en
betrouwbaarheid beschikt. Wat echter nog onbekend is, is hoe de test-hertestbetrouwbaarheid van de ACS zich verhoudt tot de betrouwbaarheid van equivalente traditionele
neuropsychologische tests. Het is namelijk van belang te weten of de betrouwbaarheid van de ACS en de traditionele tests vergelijkbaar zijn, omdat zo kan worden gekeken of de ACS een vergelijkbaar betrouwbare test is om cognitief functioneren te meten. Omdat traditionele neuropsychologische tests veel gebruikt worden en reeds grondig onderzocht zijn, kan een vergelijking met de test-hertestbetrouwbaarheid van deze tests meer informatie geven over de test-hertestbetrouwbaarheid van de ACS. Hiernaast geeft dit ook meer informatie over de validiteit van de ACS en kunnen er gelijktijdig relevante normatieve data verzameld worden voor toekomstige vergelijkingen tussen tests van de ACS en traditionele tests.
Helaas zijn de gegevens over de psychometrische kwaliteiten van traditionele
neuropsychologische meestal verouderd en zijn deze berekend over kleine samples. Hierdoor zijn de gegevens vaak niet bruikbaar, waardoor het moeilijk is om de betrouwbaarheden van de ACS te vergelijken met de betrouwbaarheden van traditionele tests. Het is dus van belang om nieuwe betrouwbaarheidsgegevens van de traditionele tests te verzamelen. In het huidige onderzoek zal daarom de test-hertestbetrouwbaarheid van de equivalente traditionele
neuropsychologische tests, waar de ACS op gebaseerd is, berekend worden om de
betrouwbaarheden van de ACS te kunnen interpreteren en mee te kunnen vergelijken. De test-hertestbetrouwbaarheid van de traditionele tests zal worden berekend door tweemaal een testbatterij af te nemen bij een groep gezonde deelnemers, die vergelijkbaar is met de gezonde referentiegroep waarbij de ACS afgenomen is. Vervolgens zal deze
14 uit het onderzoek van Feenstra et al. (manuscript submitted for review, n.d) om na te gaan of ze vergelijkbaar zijn.
Aangezien de tests van de ACS zijn gebaseerd op veel gebruikte en uitgebreid
onderzochte neuropsychologische tests wordt verwacht dat de betrouwbaarheden grotendeels overeen zullen komen. Daarnaast zijn de tests van de ACS zo ontwikkeld dat ze betrouwbare uitkomsten beogen voort te brengen. Ook heeft eerder onderzoek naar de betrouwbaarheid van online neuropsychologische tests in vergelijking met de betrouwbaarheid van traditionele neuropsychologische test aangetoond dat deze over het algemeen met elkaar overeenkomen (Gualtieri & Johnson, 2006). Tot slot hebben de onderzoeken naar de ACS (Feenstra et al., 2017; Feenstra et al., manuscript submitted for review, n.d.) uitgewezen dat de
betrouwbaarheden grotendeels overeenkomen met de betrouwbaarheden van traditionele neuropsychologische tests uit de literatuur.
Bij het meermaals testen moet echter rekening worden gehouden met het leereffect. Hiermee wordt bedoeld dat er vaak tussen twee testafnames een toename in de prestatie wordt waargenomen, zonder dat er werkelijk veranderingen zijn opgetreden in het cognitief
functioneren (Bartels, 2010). Het leereffect is een onderdeel van de
test-hertestbetrouwbaarheid en kan de mate van betrouwbaarheid beïnvloeden. Het is dus van belang hier rekening mee te houden. In het huidige onderzoek zal worden gekeken of er verschil is in leereffecten tussen de online en de traditionele testbatterij. Het zou namelijk kunnen dat gecomputeriseerde tests beter worden onthouden dan traditionele test, of andersom, wat kan leiden tot een groter leereffect op de tests. In principe wordt er geen verschil in leereffect verwacht tussen de online en de traditionele tests. Beide testbatterijen worden namelijk tweemaal afgenomen en het is algemeen bekend dat er bij herhaald testen een leereffect optreedt. Dit is reeds bekend voor de traditionele tests, maar ook bij de ACS treedt bij herhaalde afname een leereffect op (Feenstra et al., manuscript submitted for review,
15 n.d.). Er zou echter wel een verschil in leereffect gevonden kunnen worden voor bepaalde tests van de traditionele tests en de ACS. In de ACS worden de stimuli, zoals bijvoorbeeld bij Woorden Leren, namelijk visueel aangeboden, terwijl deze bij de equivalente traditionele tests auditief worden aangeboden. Eerder onderzoek heeft aangetoond dat voor
korte-termijngeheugentests het auditief presenteren van stimuli leidt tot een betere prestatie, maar dat voor lange-termijngeheugentests het visueel presenteren van stimuli leidt tot een betere prestatie (van der Elst, van Boxtel, van Breukelen & Jolles, 2005). Op basis hiervan zou dus verwacht kunnen worden dat er voor bepaalde tests, met name geheugentests, een verschil in leereffect tussen de twee testbatterijen gevonden zou kunnen worden. Het is echter niet mogelijk om het leereffect direct te onderzoeken. Leereffecten zijn een onderdeel van de systematische error en kunnen daar niet uit worden onttrokken. De systematische error, waar het leereffect onderdeel van uitmaakt, kan daarentegen wel worden berekend en worden vergeleken, maar welk deel daarvan bestaat uit leereffecten blijft onduidelijk.
Hiernaast zal er in dit onderzoek ook worden gekeken naar samenhang tussen objectief gemeten computervaardigheid en de testprestaties op de traditionele neuropsychologische test. De tests om de computervaardigheid te meten zijn speciaal ontwikkeld voor het onderzoek naar de ACS. Echter omdat dit een geheel nieuwe test is, is het nog niet bekend of de maat die nu voor de computervaardigheid gebruikt wordt, de juiste maat is om dit te meten. Als de score van de computervaardigheid namelijk sterk samenhangt met de scores op een of meerdere traditionele tests, zou het kunnen zijn dat de computervaardigheidstest eerder een maat is voor een bepaald cognitief domein, dan een maat voor computervaardigheid.
Aangezien het bij het bedienen van een computer verschillende vaardigheden te pas komen en daarmee een beroep op meerdere cognitieve functies doet, zoals aandacht en het oplossen van problemen, kan er verwacht worden dat de computervaardigheid dus met meerdere tests zal samenhangen. De maat die nu gebruikt wordt, is echter gebaseerd op de gemiddelde tijd om
16 de computervaardigheidstest te voltooien. Bovendien werd in de onderzoeken naar de ACS gevonden dat de computervaardigheidsscore vooral samenhing met tests waarbij de score gebaseerd was op tijd. Om deze redenen wordt verwacht dat de computervaardigheid vooral samen zal hangen met tests die een beroep doen op reactiesnelheid.
Tot slot zal worden gekeken naar de samenhang tussen subjectief gemeten
computervaardigheid en de objectief gemeten computervaardigheid. Hiermee kan onderzocht worden of het werkelijk nodig is om een aparte taak af te nemen om de computervaardigheid van deelnemers in kaart te brengen. Het zou namelijk ook kunnen dat een vraag over de subjectieve computervaardigheid voldoende informatie geeft over de computervaardigheid van deelnemers. Aangezien de computer een middel is dat veelvuldig gebruikt wordt in de huidige maatschappij wordt verwacht dat deelnemers hun computervaardigheid juist kunnen inschatten en dat dit overeen zal komen met de uitkomsten van de objectieve maat voor de computervaardigheid.
Methode Deelnemers
Deelnemers voor het onderzoek werden geworven door flyers voor het onderzoek op te hangen op openbare locaties op (o.a. supermarkt, bibliotheek, universiteit en ziekenhuis; Bijlage 1), een oproep onder de vrijwilligers van het AvL te verspreiden en een oproep te doen via de Facebookpagina van het AvL. Tevens werd er in de directe omgeving van de projectuitvoerders rondgevraagd of men interesse had om aan het onderzoek deel te nemen.
Deelnemers werden geëxcludeerd wanneer zij buiten de leeftijdscategorie van 18 tot 76 jaar vielen, onvoldoende Nederlands spraken, minder dan vijf jaar geleden een
neuropsychologisch onderzoek uitgevoerd hadden, vanwege zintuigelijke of motorische klachten of vanwege een (ernstige) ziekte niet in staat waren het onderzoek uit te voeren, onvoldoende computervaardigheden bezaten, dagelijks drugs gebruikten of meer dan zes
17 glazen alcohol per dag nuttigden. Deelnemers ontvingen geen beloning voor hun deelname. Eventueel gemaakte reiskosten werden wel vergoed.
Procedure
Nadat deelnemers hadden aangeven geïnteresseerd te zijn in deelname aan het onderzoek, werd hen een informatiebrief toegestuurd met aanvullende informatie over het onderzoek (Bijlage 2). Ongeveer een week na het versturen werd contact met hen opgenomen om te vragen of zij nog steeds interesse hadden in deelname aan het onderzoek. Bij interesse werd er telefonisch een anamnesevragenlijst afgenomen om na te gaan of zij geschikt waren als
deelnemer voor het onderzoek (Bijlage 3). Wanneer deelnemers niet aan de inclusiecriteria voldeden, werden zij geëxcludeerd. Wanneer deelnemers wel aan de inclusiecriteria voldeden, werden de testafnames van het onderzoek ingepland en werd het tweede deel van de
anamnesevragenlijst afgenomen. Hierna werd hen een bevestigingsmail gestuurd met de afspraken voor het afnemen van de tests en verdere informatie over de testdag zelf.
Deelnemers werden bij voorkeur op het AvL getest, maar wanneer dit niet mogelijk was, kon het onderzoek bij de deelnemers thuis of op een andere externe locatie worden afgenomen. Het was echter vereist dat beide testafnames op dezelfde locatie plaats zouden vinden.
Op de testdag zelf kregen de deelnemers eerst een korte uitleg over het verloop van de testafname. Hierna werd hen gevraagd een informed consent te ondertekenen, om
toestemming te geven voor hun deelname (Bijlage 4). Vervolgens begon het daadwerkelijke onderzoek. Allereerst werd de computervaardigheid gemeten, middels drie online
computervaardigheidstests. Hierna werden de traditionele neuropsychologische tests in vaste volgorde afgenomen. Er waren twee versies voor de afname van de neuropsychologische tests, welke willekeurig aan de deelnemers werden toebedeeld, met de bedoeling een gelijke
18 verdeling te krijgen. Bij de ene versie werden de 15-Woordentest (15-WT) en de Letter
Fluency afgenomen en bij de andere versie werden de Hopkins Verbal Learning Test (HVLT) en de Controlled Oral Word Association Test (COWA) afgenomen. De overige
neuropsychologische tests werden bij beide versies van het onderzoek afgenomen. De resultaten van de HVLT en de COWA werden niet voor het huidige onderzoek gebruikt. Tevens werden de resultaten van de Letter Fluency niet gebruikt, omdat de online versie van deze test nog onder constructie was.
De computervaardigheid tests en de FePsy werden uitgevoerd op een laptop van het AvL Dit betrof een HP laptop met een 14 inch beeldscherm, een QWERTY toetsenbord en het besturingssysteem Microsoft Windows 7. Daarnaast werd er gebruik gemaakt van een draadloze muis en een externe speaker-set.
In totaal duurde de testafname ongeveer één uur en een kwartier. Er zat geen pauze tussen de tests. Na afloop van het onderzoek werd de deelnemers gevraagd naar hun ervaring en werd hen duidelijk gemaakt dat de individuele testprestaties niet met hen gedeeld konden worden.
Na een periode van ongeveer zes weken werden de deelnemers opnieuw op dezelfde locatie getest. Alle tests werden opnieuw uitgevoerd, behalve de Nederlandse Leestest voor Volwassenen en de computervaardigheidstests. Tot slot kregen de deelnemers na het
uitvoeren van de tests een korte vragenlijst over hun subjectieve computervaardigheid en hun computergebruik.
Deelnemers die hadden aangegeven interesse te hebben in de uitkomsten van het onderzoek, kregen na hun deelname informatie over de resultaten van het onderzoek toegestuurd.
19 Materiaal
Neuropsychologische tests1
Voor het onderzoeken van test-hertestbetrouwbaarheden van de traditionele testbatterij werd gebruik gemaakt van de volgende neuropsychologische tests. Omdat de resultaten van de HVLT, COWA en de Letter Fluency niet gebruikt werden voor dit onderzoek, zullen deze tests niet worden beschreven. In volgorde van afname:
Trail Making Test (TMT) A en B (Reitan, 1958)
Met de TMT A wordt visuo-motorische snelheid en visueel zoekgedrag gemeten. Het is de bedoeling dat deelnemers zo snel mogelijk getallen in oplopende volgorde met elkaar verbinden. De test begint bij het cijfer één en eindigt bij het cijfer 25. Met de TMT B wordt visuo-motorische snelheid, visueel zoekgedrag en verdeelde aandacht gemeten. Hier is het de bedoeling dat deelnemers zo snel mogelijk cijfers en letters afwisselend met elkaar verbinden, in oplopende volgorde. De test begint bij het cijfer één en eindigt bij het cijfer 13.
Voorafgaand aan beide tests is er een oefenopgave. Voor dit onderzoek werd er gekeken naar de totale tijd te die de deelnemers nodig hadden om de test (A en B) te voltooien.
15-Woordentest (15-WT) (van den Burg, Saan & Deelman, 1985).
Deze test meet het verbale geheugen. Er wordt een audiobestand op de computer afgespeeld waarin 15 woorden worden opgenoemd. Nadat de lijst is afgespeeld, moeten deelnemers zoveel mogelijk woorden opnoemen die zij hebben onthouden (15-WT directe reproductie). Het afspelen van de woordenlijst wordt in totaal vijf keer herhaald. Ongeveer 20 minuten na de laatste herhaling van de woorden wordt deelnemers gevraagd hoeveel woorden zij zich nog kunnen herinneren (15-WT uitgestelde herinnering). Vervolgens wordt er een lijst van 30 woorden voorgelezen en moeten deelnemers aangeven welke woorden wel en welke woorden
1 Gegevens over de psychometrische kwaliteiten van de gebruikte traditionele neuropsychologische tests zijn te
20 niet in de eerder geleerde lijst voorkwamen (15-WT recognitie). Voor dit onderzoek werd er gekeken naar het totaal aantal correct genoemde woorden over de vijf afnames, het totaal aantal correct genoemde woorden van de uitgestelde herinnering en het totaal aantal correcte antwoorden bij de recognitie.
Visual reaction times – subtest van de FePsy (Alpherts & Aldenkamp, 1995) De visual reaction times taak is een subtest van de gecomputeriseerde test FePsy. Deze subtest meet aandacht en het visuele reactievermogen. Bij de test is het de bedoeling om zo snel mogelijk op de spatiebalk te drukken wanneer er een wit vierkant op het scherm
verschijnt. Eerst wordt de taak bij de dominante hand afgenomen en daarna volgt de taak voor de niet-dominante hand. Per hand zijn er 30 trials. Voor dit onderzoek werd er gekeken naar de gemiddelde reactietijd van de dominante hand.
Tower of London (Culbertson & Zilmer, 2001)
Deze test meet executieve functies, waaronder het planningsvermogen en responsinhibitie. Het is de bedoeling dat deelnemers een kralenpatroon, dat te zien is op een afbeelding, in zo min mogelijk stappen namaken op een plankje met drie paaltjes met daar op drie kralen in verschillende kleuren. Elk patroon begint vanuit dezelfde startpositie en is in een minimaal aantal stappen op te lossen. Deelnemers mogen maar één kraal tegelijk verplaatsen en mogen niet meer kralen op een paaltje plaatsen dan er op passen. Er zijn in totaal tien kralenpatronen die moeten worden opgelost. Voor dit onderzoek werd er gekeken naar het totaal aantal stappen dat deelnemers, bovenop het minimaal aantal stappen, nodig hadden om de kralenpatronen na te maken.
Corsi blokkentest (Kessels, van Zandvoort, Postma, Kapelle & Edward, 2010) Deze test meet het visueel-ruimtelijk kortetermijngeheugen en het werkgeheugen. De
21 volgorde aan. Hierna is het de bedoeling dat deelnemers deze blokken in precies dezelfde volgorde natikken. De reeksen beginnen met een lengte van twee blokken en lopen op tot reeksen van negen blokken. In totaal zijn er acht items, elk bestaande uit twee reeksen van dezelfde lengte. De test wordt afgebroken als er twee reeksen van dezelfde lengte incorrect worden herhaald. Voor dit onderzoek werd er gekeken naar het totaal aantal correct herhaalde reeksen.
Grooved Pegboard (Lafayette Instrument Company, 2003)
Deze test meet oog-handcoördinatie, motorische snelheid en fijne motoriek. Het is de bedoeling dat deelnemers pinnen, met een ronde en een platte zijde, zo snel mogelijk op de juiste manier in een pinbord steken. Dit wordt eerst gedaan met de dominante hand en vervolgens met de niet-dominante hand. In totaal moeten er 25 pinnen in het bord geplaatst worden. Voor dit onderzoek werd er gekeken naar de totale tijd te die de deelnemers nodig hadden om de test te voltooien met de dominante hand.
Cijferreeksen van de WAIS-IV (WAIS-IV-NL, 2013)
Deze test meet het auditief-verbale korte termijngeheugen, aandacht en het werkgeheugen. Bij Cijferreeksen Voorwaarts is het de bedoeling dat deelnemers voorgelezen cijferreeksen in dezelfde volgorde nazeggen. De reeksen beginnen met een lengte van twee cijfers en lopen op tot een lengte van negen cijfers. Bij Cijferreeksen Achterwaarts moeten voorgelezen
cijferreeksen achterstevoren worden nagezegd. De reeksen beginnen wederom met een lengte van twee cijfers en lopen op tot een lengte van acht cijfers. Bij de Cijferreeksen Voorwaarts zijn er in totaal acht items en bij de Cijferreeksen Achterwaarts zijn er in totaal zijn er zeven items. De items bestaan elk uit twee reeksen van dezelfde lengte. De test wordt bij beide oefeningen afgebroken als er twee reeksen van dezelfde lengte incorrect worden nagezegd.
22 Voor dit onderzoek werd voor zowel Cijferreeksen Voorwaarts als Achterwaarts gekeken naar het totaal aantal correct herhaalde reeksen.
Nederlandse Leestest voor Volwassenen (Schmand, Bakker, Saan & Louman, 1991) Bij deze test is het de bedoeling dat deelnemers een lijst met vijftig Nederlandse woorden, die uit een vreemde taal zijn overgenomen, hardop voorlezen en correct uitspreken. De test heeft als doel het schatten van het (premorbide) intelligentieniveau. Per woord wordt een score toegekend en de totaalscore kan vervolgens worden omgezet naar een geschatte IQ-score.
Computervaardigheden
Voorafgaand aan de neuropsychologische tests werd de computervaardigheid van de deelnemers in kaart gebracht. Dit werd gemeten aan de hand van drie computertaken: Typen, Klikken en Slepen met de muis. De tests konden via een link op de computer op het internet worden opgestart. Voor elke deelnemer was er een unieke link aangemaakt.
Typen (Feenstra et al., 2017)
Bij deze test is het de bedoeling dat deelnemers zo snel en accuraat mogelijk een zin natypen die op het scherm weergeven wordt. Een screenshot van de test is weergeven in Figuur 1. De test meet de snelheid en accuraatheid van het typen. De score wordt berekend door de totale tijd te meten die de deelnemers nodig hebben om de zin na te typen. Een hogere score houdt in dat deelnemers meer tijd nodig hadden, wat een slechtere prestatie indiceert.
23 Klikken (Feenstra et al., 2017)
Bij deze test is het de bedoeling dat deelnemers zo snel en accuraat mogelijk cirkels in een spiraal aanklikken. De cirkels worden steeds kleiner en moeten van buiten naar binnen, in de juiste volgorde worden aangeklikt zonder cirkels over te slaan. Een screenshot van de test is weergeven in Figuur 2. Met deze test wordt de snelheid van nauwkeurig klikken gemeten. De score wordt berekend door de totale tijd te meten van de eerste tot de laatste klik. Voor deze test geldt een tijdslimiet van drie minuten. Een hogere score houdt in dat deelnemers meer tijd nodig hadden, wat een slechtere prestatie indiceert.
Figuur 2. Een screenshot van de online kliktest. Slepen (Feenstra et al., 2017)
Bij de sleeptest is het de bedoeling dat deelnemers zo snel mogelijk een zwart figuur in een iets groter wit figuur slepen. De figuren betreffen een cirkel of een vierkant en moeten naar boven, beneden, naar links of naar rechts gesleept worden. Er zijn in totaal acht trials en de gehele test heeft een tijdslimiet van drie minuten. Een screenshot van de test is weergeven in Figuur 3. Met deze test wordt de snelheid van het nauwkeurig slepen en plaatsen van
elementen gemeten. Een hogere score houdt in dat deelnemers meer tijd nodig hadden, wat een slechtere prestatie indiceert.
24 Figuur 3. Een screenshot van de online sleeptest.
Vragenlijst
Bij de tweede testafname kregen de deelnemers na het uitvoeren van de
neuropsychologische tests een korte vragenlijst over hun subjectieve computervaardigheid en hun computergebruik. Deze is door het onderzoeksteam ontwikkeld (Bijlage 6). De vraag over de subjectieve computervaardigheid was als volgt: “Ik schat mijn computervaardigheden in als:”. Vervolgens konden de deelnemers hun antwoord aangeven op een vijfpunts
Likertschaal, welke liep van ‘slecht’ tot ‘zeer goed’. Hierna kregen de deelnemers een vraag waar zij moesten aangeven hoeveel uur zij per week gebruik maken van de computer, exclusief telefoon en tabletgebruik.
Analyseplan
Voor de testscores die gebaseerd zijn op een reactietijd (TMT A en B, FePsy en Grooved Pegboard) zal de Median Absolute Distance (MAD) (Leys, Ley, Klein, Bernard & Licata, 2013) methode gebruikt worden om outliers op te sporen. Gevonden outliers zullen vervolgens uit de dataset worden geëlimineerd. Aangezien het onwaarschijnlijk is dat gezonde deelnemers op de 15-WT directe reproductie, de Cijferreeksen Voor- en
25 Achterwaarts en de Corsi blokkentest een score van nul zullen behalen, zal een score van nul ook als outlier behandeld worden.
Om de test-hertestbetrouwbaarheid over de twee afnames van de traditionele tests te berekenen, zal er een Intraclass Correlation Coefficient (ICC) - agreement worden berekend aan de hand van de mixed effect models voor herhaalde metingen. Deze analyse houdt rekening met het leereffect. De ICC zal voor de individuele neuropsychologische tests en de totaalscore van de gehele neuropsychologische testbatterij worden berekend. De totaalscore wordt berekend door het gemiddelde van de z-scores van de uitkomsten van de tests te nemen. Voor de TMT A en B, de FePsy, de Grooved Pegboard en de ToL worden de scores eerst omgezet naar de reversed scores. Uiteindelijk zullen er twee totaalscores berekend worden; één inclusief de scores van de 15-WT en één exclusief de scores van de 15-WT. Dit wordt gedaan omdat slechts een deel van het sample de 15-WT heeft uitgevoerd en de totaalscore anders slechts over een klein gedeelte van het sample berekend zou worden.
Wanneer de ICC hoger of gelijk aan .60 is, wordt de test-hertestbetrouwbaarheid als voldoende gezien (Cole et al., 2013), dit is in overeenstemming met het onderzoek van Feenstra et al. (2017). Tevens zullen, afhankelijk van de verdeling van de scores, Pearson en/of Spearman correlaties over de twee testafnames worden berekend, zodat de uitkomsten van het onderzoek van Feenstra et al. (submitted for review, n.d.) en
test-hertestbetrouwbaarheden uit de literatuur met de uitkomsten vergeleken kunnen worden. De test-hertestbetrouwbaarheid en de Pearson en Spearman correlaties van de ACS zijn reeds bekend (Feenstra et al., submitted for review, n.d.). Om vervolgens de
test-hertestbetrouwbaarheden van de ACS en de traditionele tests met elkaar te vergelijken, zal er een Fisher z-test worden uitgevoerd (Lenhard & Lenhard, 2014). Wanneer deze significant is, blijkt dat de test-hertestbetrouwbaarheden van de test van de ACS en de traditionele tests niet vergelijkbaar zijn.
26 Om te kijken naar de leereffecten op de traditionele testbatterij zal allereerst een paired-samples t-test over de individuele neuropsychologische tests en de twee totaalscore van de testbatterij worden uitgevoerd. Hiermee kan worden gekeken of er werkelijk een verschil is tussen de prestaties van de twee testafnames. Wanneer er een significant verschil tussen de scores blijkt te zijn, kan dit wijzen op een leereffect. Om het leereffect verder te onderzoeken zal met een variantie componenten analyse voor alle traditionele tests en de twee totaalscores de systematische error tussen de twee testafnames worden berekend. Het leereffect maakt deel uit van de systematische error. Ditzelfde zal voor de testafnames van de ACS worden
berekend. Vervolgens zal hiermee voor de tests van beide testbatterijen het percentage
systematische error van de totale error worden berekend. Vervolgens kunnen deze uitkomsten van de traditionele tests en de ACS met elkaar worden vergeleken. Om het percentage
systematische error van de totale error juist te kunnen interpreteren, is het van belang ook het percentage systematische error van de totale variantie te berekenen. Mocht het percentage systematische error van de totale error namelijk groter zijn bij de ACS of de traditionele tests, maar het percentage systematische error van de totale variantie kleiner dan bij de andere testbatterij, dan moet dit op een heel andere manier worden geïnterpreteerd, dan wanneer het percentage systematische error van de totale variantie ook groot is. Het leereffect kan echter niet worden onttrokken aan de systematische error. Er kunnen dus geen directe uitspraken over gedaan worden. Deze analyse kan daarentegen wel een indicatie geven van de grootte van het leereffect en een mogelijk verschil tussen de ACS en de traditionele tests.
Om vervolgens te kijken naar de samenhang tussen de computervaardigheid en de traditionele tests zal er allereerst een compositiescore over de scores van de drie
computertaken van de computervaardigheidstest berekend worden. Deze wordt berekend door het gemiddelde van de z-scores van de tijd die nodig was om de taken te voltooien te nemen. Vervolgens zal middels een Pearson en/of Spearman correlatie, afhankelijk van de verdeling
27 van de scores, worden gekeken wat de samenhang is tussen de compositiescore van de
computervaardigheid en de scores op de traditionele tests en de totaalscores van de gehele testbatterij. Vervolgens zullen deze correlaties met een Fisher z-test worden vergeleken met de correlaties tussen de computervaardigheid en de tests van de ACS.
Tot slot zal er, om te onderzoeken of subjectieve computervaardigheid een goede
voorspeller is van de objectieve computervaardigheid van deelnemers, worden gekeken of de subjectieve computervaardigheidsscore samenhangt met de totaalscore van de
computervaardigheidstest. Dit zal worden gedaan middels een Pearson en/of Spearman correlatie.
Resultaten
Voor het onderzoek werden in totaal 50 deelnemers benaderd, waarvan drie
deelnemers deelname aan het onderzoek weigerden. Na het afnemen van de anamnese vielen er vier deelnemers uit en na het uitvoeren van de eerste testafname vielen er nogmaals drie deelnemers uit. Dit resulteerde er uiteindelijk in dat 40 gezonde deelnemers beide testafnames binnen de periode van het onderzoek hadden voltooid. De precieze selectie en uitval van deelnemers is te zien in Figuur 4.
28 Figuur 4. Selectie en uitval van deelnemers
Tabel 1 geeft een overzicht van de demografische kenmerken en de computerervaring van het uiteindelijke sample weer. Alle deelnemers waren tussen de 22 en de 74 jaar oud en hadden een gemiddelde leeftijd van 40 jaar. Van de deelnemers waren er 29 vrouw en 11 man. Twintig procent van de deelnemers had een gemiddeld opleidingsniveau (Verhage score 3, 4 of 5) en 80 procent had een hoog opleidingsniveau (Verhage score 6 of 7). Het
gemiddelde interval tussen de twee testafnames bedroeg 43.5 dagen (SD = 4.9). Na het berekenen van de MAD’s werd er één outlier gevonden bij de scores van de eerste afname van de Grooved Pegboard. Deze score werd geëxcludeerd voor verdere analyses.
29 Tabel 1
Demografische kenmerken en computergebruik
(n = 40) Geslacht Vrouw n (%) Man n (%) 29 (72.5) 11 (27.5) Leeftijd (jaren) M (SD) 40.2 (15.4) Opleiding Gemiddeld n (%) Hoog n (%) 8 (20) 32 (80)
Computer ervaring (jaren) M (SD) 19.8 (7.4)
Subjectieve computerervaring n (%) Slecht Matig Voldoende Goed Uitstekend 1 (2.5) 3 (7.5) 11 (27.5) 16 (40.0) 9 (22.5)
Gemiddeld computergebruik per week (uren) M (SD) 23.3 (15.7)
IQ schatting M (SD) 104 (13.5)
n = aantal deelnemers, M = gemiddelde, SD = standaarddeviatie, a = Opleidingsniveau is gebaseerd op het
systeem van Verhage (1964). Gemiddeld = Verhage score 3, 4 of 5 en Hoog = Verhage score 6 of 7
De test-hertestbetrouwbaarheden werden berekend met ICC’s en zijn te zien in Tabel 2. De betrouwbaarheden liepen van .45 voor de Cijferreeksen Achterwaarts tot .88 voor de TMT B. Voor de totaalscore inclusief 15-WT bedroeg de test-hertestbetrouwbaarheid .96 en voor de totaalscore exclusief 15-WT .90. Alle test-hertestbetrouwbaarheden waren significant (p > .05) en waren allemaal, op die van de Cijferreeksen Achterwaarts na, hoger dan of gelijk aan .60. Op basis van de vooraf gestelde criteria kan dus gesteld worden dat de
betrouwbaarheid van het merendeel van de traditionele tests voldoende was.
De resultaten van de Fisher z-test (Tabel 2) toonden aan dat zes van de 12 tests de test-hertestbetrouwbaarheden significant van elkaar bleken te verschillen (p > .05). Dit waren de TMT A/Spoorzoeken I (z = 2.17, p = .015), TMT B/Spoorzoeken II (z = 2.85, p = .002), 15-WT uitgestelde herinnering/Woorden Herinneren (z = 2.14, p = .016), ToL/Kralenpuzzel (z = 2.51, p = .006), Corsi blokkentests/Blokken Reeksen (z = 3.54, p < .001) en de
totaalscore inclusief 15-WT (z = 2.54, p = .006). Voor alle tests waarbij de ICC’s significant van elkaar verschilden, gold dat de ICC’s van de traditionele tests hoger waren, dan die van tests van de ACS.
30 Tabel 2
Test-hertestbetrouwbaarheden (ICC, Pearson en Spearman correlaties) van de traditionele neuropsychologische tests, de ACS en het gematchte sample van de ACS en de verschillen tussen ICC waardes van de traditionele tests, de ACS en het gematchte sample van de ACS (Fisher z-test)
*p < .05; ** p < .01; *** p < .001, n = aantal deelnemers, ICC = Intraclass Correlation Coefficient P = Pearson correlatie, a = afkomstig uit Feenstra et al. (manuscript
submitted for review, n.d.), b = exclusief score ToL, c =Test-hertestbetrouwbaarheden van de traditionele tests, afkomstig uit de literatuur, met vergelijkbaar
test-hertestinterval: Bornstein, Baker & Douglas, 1987; Bruggemans, van de Vijver & Huyman, 1997; Silverstein et al., 2010; Spreen & Strauss, 1998; Strauss, Sherman & Spreen, 2006; Saan & Deelman 1986; Andreotti & Hawkins, 2015; Lemay, Bedard, Rouleau & Tremblay, 2004; Lowe & Rabbit, 1998; Schnirman, Welsh & Retzlaff, 1998; Nys et al., 2005; Dikmen, 1999; Ruff & Parker 1993; Lopez & Paolo, 1996; Wechsler, 1997
Traditioneel Online Gematchte sample online Literatuurc
Test
n ICC Spearman ρ n ICCa Spearman ρ
/Pearson r (P)a
Fisher z n ICC Spearman ρ
/Pearson r (P) Fisher z Spearman ρ /Pearson r (P) TMT A / Spoorzoeken I 40 .83*** .81*** 240 .67*** .75** 2.17* 39 .79*** .73*** 0.50 .55-.73 TMT B / Spoorzoeken II 40 .88*** .82*** 246 .71*** .74** 2.85** 40 .78*** .73*** 1.42 .56 - .79 15-WT directe reproductie / Woorden Leren 21 .71*** .66** 241 .59*** .75** 1.22 40 .79*** .73*** - 0.79 .80 15-WT uitgestelde herinnering / Woorden Herinneren 21 .73*** .58** 241 .50*** .64** 2.14** 40 .81*** .67*** - 0.85 .83 15-WT recognitie / Woorden Herkennen 21 .60* .19 242 .70*** .54** -0.95 40 .88*** .68*** - 2.94** .48 FePsy / Reactietijden 40 .69*** .58*** 241 .67*** .74** 0.25 39 .82*** .72***(P) - 1.32 .20 - .82 ToL / Kralenpuzzel 40 .74*** .58*** 143 .45*** .50** 2.51** - - - - .38 - .70
Corsi blokkentest / Blokken
Reeksen 40 .82*** .69*** 232 .49*** .46** 3.54*** 39 .73*** .47** 0.97 .42 - .79
Grooved Pegboard / Vlakken
Vullen 39 .86*** .84*** 241 .80*** .81** 1.07 40 .93*** .88*** - 1.56 .72 - .86 Cijferreeksen Voorwaarts / Cijferreeksen I 40 .84*** .72*** 245 .54*** .54**(P) 0.62 40 .68*** .52**(P) 1.69* .61 -.78 Cijferreeksen Achterwaarts / Cijferreeksen II 40 .45* .25 242 .64*** .64**(P) -1.53 40 .78*** .64***(P) - 2.41** .46 - .71 Totaalscore incl. 15-WT 21 .96*** .81*** 219 .83*** .83**(P) 2.54*** 37 .93*** .89***(P) 0.99 - Totaalscore exl. 15-WT 39 .90*** .70*** - - - -
31 Paired samples t-tests lieten zien dat voor de TMT A (t = 5.36, p < .001), TMT B (t = 3.07, p = .004), 15-WT directe reproductie (t = -4.56, p < .001) en uitgestelde herinnering (t = -3.77, p = .001), ToL (t = 3.95, p < .001) en Cijferreeksen achterwaarts (t = -2.52, p = .016) er een significant verschil was (p > .05) tussen de eerste en de tweede testafname. Voor alle gevonden verschillen gold dat er bij de tweede afname beter gepresteerd werd, dan bij de eerste afname. Bij de tests van de ACS, welke gebaseerd zijn op de traditionele tests, werden significante verschillen (p < .05) tussen de eerste en tweede testafname gevonden bij
Spoorzoeken I en II, Woorden Leren en Herinneren, Kralenpuzzel, Blokken Reeksen en Vlakken Vullen (Feenstra et al., manuscript submitted for review, n.d.) (Tabel 3). Ook hier gold voor alle scores dat er bij de tweede afname beter gepresteerd werd, dan bij de eerste testafname.
De systematische error over beide afnames van de traditionele tests en de tests van de ACS zijn tevens in Tabel 3 te zien. De resultaten toonden aan dat er bij de traditionele tests sprake was van systematische error bij de TMT A en B, 15-WT directe reproductie en uitgestelde herinnering, ToL en de Cijferreeksen Voorwaarts en Achterwaarts. Behalve de Cijferreeksen Voorwaarts waren dit tevens alle tests waar een significant verschil gevonden werd tussen de eerste en de tweede testafname. Het percentage systematische error van de totale error was het grootst bij de 15-WT directe reproductie (47.4%) en uitgestelde herinnering (37.6%), de TMT A (41%) en de ToL (26.8%).
Bij de ACS was er bij alle tests sprake van systematische error, behalve bij de Cijferreeksen II en Reactietijden en voor bijna al deze tests gold dat er ook een significant verschil tussen de eerste en tweede testafname gevonden was. Het percentage systematische error voor de ACS was het grootst bij Woorden Leren (37.8%) en Woorden Herinneren (9.7%). Hoewel er bij meer tests van de ACS sprake was van systematische error, dan bij de
32 traditionele tests, was het percentage systematische error van de totale error en van de totale variantie hoger bij de traditionele tests.
Tabel 3
Verschil in score tussen de eerste en de tweede testafname van de traditionele neuropsychologische tests en de ACS (Paired-samples t-test) en het percentage systematische error van de totale variantie en van de totale error
*p < .05; ** p < .01; *** p < .001, n = aantal deelnemers, a = afkomstig uit Feenstra et al. (manuscript submitted for review, n.d),
SE = systematische error
Spearman correlaties tussen de computervaardigheid en de scores op de traditionele tests lieten zien dat er sprake was van significante positieve correlaties tussen de
computervaardigheid en de TMT A, 15-WT directe reproductie, uitgestelde herinnering en recognitie, FePsy, Grooved Pegboard en beide totaalscores (Tabel 4). Dit hield in dat hoe hoger de computervaardigheid was, hoe hoger de scores op de tests waren. Wanneer de correlaties van de traditionele tests en de ACS werden vergeleken met de Fisher z-test bleken de correlaties tussen de computervaardigheid en de TMT B/Spoorzoeken II (z = 2.36, p = .009), 15-WT directe reproductie/Woorden Leren (z = 4.18, p < .001), uitgestelde
Traditioneel Online Test n t- waarde Percentage SE van totale variantie (%) Percentage SE van totale error (%) n t-waardea Percentage SE van totale variantie (%) Percentage SE van totale error (%) TMT A / Spoorzoeken I 40 5.36*** 11.8 41.0 240 5.43*** 1.0 2.1 TMT B / Spoorzoeken II 40 3.07** 3.6 17.4 246 3.6*** - - 15-WT directe reproductie / Woorden Leren 21 -4.56*** 21.1 47.4 241 -12.31*** 15.3 37.8 15-WT delayed recall / Woorden Herinneren 21 -3.77** 16.0 37.6 241 -5.34*** 4.6 9.7 15-WT recognitie / Woorden Herkennen 21 0.27 - - 242 -1.76 0.3 0.8 FePsy / Reactietijden 40 -0.03 - - 241 -0.69 - - ToL / Kralenpuzzel 40 3.95*** 11.1 26.8 143 3.17** 2.6 5.4
Corsi blokkentest / Blokken
Reeksen 40 -0.50 - - 232 -3.91 *** 3.3 5.9
Grooved Pegboard / Vlakken
Vullen 39 1.01 - - 241 3.85 *** 1.1 4.8 Cijferreeksen Voorwaarts / Cijferreeksen I 40 -1.25 0.4 1.4 245 -1.52 0.2 0.5 Cijferreeksen Achterwaarts / Cijferreeksen II 40 -2.52* 8.3 11.8 242 -1.81 0.3 0.8 Totaalscore incl. 15-WT 21 -0.02 - - 219 -0.23 - - Totaalscore excl. 15-WT 39 -0.31 - - - - - -
33 herinnering/Woorden Herinneren (z = 2.84, p = .002), Grooved Pegboard/Vlakken Vullen (z = - 1.67, p = .047) en de Totaalscore inclusief 15-WT (z = 1,75, p = .002) significant van elkaar te verschillen (p < .05). De correlaties tussen de computervaardigheid en de 15-WT directe reproductie/Woorden Leren, uitgestelde herinnering/Woorden Herinneren en de Totaalscore inclusief 15-WT waren hoger voor de traditionele tests. De correlaties tussen de computervaardigheid en TMT B/Spoorzoeken II en Grooved Pegboard/Vlakken vullen waren hoger voor de ACS.
Tabel 4
Correlaties tussen de objectieve computervaardigheid en de scores van de traditionele neuropsychologische tests en de ACS
Traditioneel Online Fisher z
Test n Spearman ρ n Spearman ρ a
TMT A / Spoorzoeken I 40 .50** 244 .66*** -1.38 TMT B / Spoorzoeken II 40 .20 246 .55*** 2.36** 15-WT directe reproductie / Woorden Leren 21 .74*** 245 .21** 4.18*** 15-WT uitgestelde herinnering / Woorden Herinneren 21 .58** 243 .16* 2.84** 15-WT recognitie / Woorden Herkennen 21 .28 246 .16* 0.716 FePsy / Reactietijden 40 .47** 241 .25*** 1.44 ToL / Kralenpuzzel 40 .10 - -b -
Corsi blokkentest / Blokken Reeksen 40 .28 235 .33*** - 0.31
Grooved Pegboard / Vlakken Vullen 39 .50** 242 .69*** - 1.67*
Cijferreeksen Voorwaarts / Cijferreeksen I 40 .12 246 .06 0.34 Cijferreeksen Achterwaarts / Cijferreeksen II 40 .18 245 .12 0.35 Totaalscore incl. 15-WT 21 .77*** 222 .53*** 1,75* Totaalscore exl. 15-WT 39 .58*** - - -
*p < .05; ** p < .01; *** p < .001, n = aantal deelnemers, a = berekend met de dataset van Feenstra et al.
(manuscript submitted for review, n.d.), b = data ontbreken
Tot slot werd er gekeken naar de relatie tussen de subjectieve computervaardigheid en de objectief gemeten computervaardigheid, het aantal jaar computerervaring en het aantal uur computergebruik per week. Uit de Spearman correlaties bleek dat alleen het aantal uur computergebruik per week significant positief gecorreleerd was met de subjectieve
34 computervaardigheid (ρ = .44, p = .004). Dit hield in dat deelnemers die hun
computervaardigheid hoger inschatten, per week meer gebruik maakten van de computer. Naar aanleiding van de gevonden resultaten is besloten een aantal aanvullende analyses uit te voeren. Omdat er, tegen de verwachtingen in, een correlatie gevonden werd tussen de objectieve computervaardigheid en de scores op de 15-WT, is er besloten te kijken naar de correlaties tussen de 15-WT en de scores op de afzonderlijke
computervaardigheidstests; Typen, Klikken en Slepen. Het zou namelijk kunnen dat de 15-WT vooral samenhangt met één specifiek onderdeel van de computervaardigheid, wat meer duidelijkheid zou kunnen geven over de samenhang tussen de 15-WT en de
computervaardigheid. Het bleek vervolgens dat ook tussen de afzonderlijke
computervaardigheidstests en de 15-WT directe reproductie (Typen: ρ = .67, p = .001; Klikken: ρ = .67, p = .001; Slepen: ρ = .42 , p = .049) en uitgestelde herinnering (Typen: ρ =.53 , p = .01) Klikken: ρ = .56, p =.007) een significante positieve relatie bestond (p < .05).
Om de positieve correlatie tussen de objectieve computervaardigheid en de 15-WT directe reproductie en uitgestelde herinnering verder te onderzoeken, werd er vervolgens gekeken naar de mogelijke rol van leeftijd. Er bleek namelijk zowel tussen leeftijd en de objectieve computervaardigheid (ρ = - .73, p < .001) als leeftijd en 15-WT directe reproductie (ρ = - .67, p = .001) en uitgestelde herinnering (ρ = - .55, p = .008) een significante negatieve correlatie te bestaan (p < .05). Dit hield in dat hoe hoger de leeftijd was, hoe lager de scores op de 15-WT directe reproductie en uitgestelde herinnering en de computervaardigheidstest waren. Om de rol van leeftijd in de samenhang tussen de objectieve computervaardigheid en de 15-WT te onderzoeken werd het sample op basis van de mediaan van de leeftijd van de deelnemers in twee groepen verdeeld: deelnemers met een hoge leeftijd en deelnemers met een lage leeftijd. Het sample had een mediaan van 34 en vervolgens werden de deelnemers verdeeld in een groep onder de 35 jaar (n = 10 ) en een groep boven de 34 jaar (n = 12). Toen
35 voor beide groepen naar de correlatie tussen de objectieve computervaardigheid en de scores van de 15-WT gekeken werd, bleek dat de positieve correlatie alleen bleef bestaan voor de groep deelnemers boven de 34 jaar (directe reproductie: ρ = .75, p = .005, uitgestelde
herinnering: ρ = .65, p = .022) en niet voor de deelnemers onder de 35 jaar. Hieruit bleek dat dus alleen voor deelnemers boven de 34 gold dat hoe hoger zij scoorden op de
computervaardigheidstest, hoe hoger zij scoorden op de 15-WT directe reproductie en uitgestelde herinnering.
Tot slot werd er besloten om uit het sample van het onderzoek van Feenstra et al., (manuscript submitted for review, n.d.) een sample van gelijke grootte te halen als het sample van het huidige onderzoek, welke is gematcht op leeftijd en opleiding. Omdat de samples op deze demografische kenmerken het meeste van elkaar verschilden, zouden verschillen tussen de betrouwbaarheden voor een groot deel kunnen worden weggenomen door de analyses opnieuw uit te voeren over een gematcht sample van een gelijke grootte. De gevonden test-hertestbetrouwbaarheden (ICC) en Pearson en Spearman correlaties tussen de twee
testafnames van dit gematchte sample zijn te zien in Tabel 2. Uit de resultaten bleek dat de test-hertestbetrouwbaarheden van het gematchte sample hoger waren dan die van de gehele sample van het onderzoek van Feenstra et al. (submitted for review, n.d.). De
test-hertestbetrouwbaarheden van het gematchte sample liepen van .68 tot .93 en de
betrouwbaarheid van de totaalscore bedroeg .93. Alle test-hertestbetrouwbaarheden waren significant (p < .05) en werden als voldoende gezien, aangezien deze hoger waren dan het gestelde criterium van .60. Wanneer de betrouwbaarheden van het gematchte sample, met een Fisher z-test, werden vergeleken met de betrouwbaarheden van de traditionele tests bleken de test-hertestbetrouwbaarheden van slechts drie tests significant met elkaar te verschillen (p < .05). Dit waren de 15-WT recognitie/Woorden Herkennen (z = -2.94, p = .002), Cijferreeksen Voorwaarts/Cijferreeksen I (z = 1.69, p = .046 ) en Cijferreeksen Achterwaarts/Cijferreeksen
36 II (z = -2.41, p = .008). Voor de 15-WT recognitie en de Cijferreeksen Achterwaarts gold dat de test-hertestbetrouwbaarheid van de ACS hoger was dan die van de traditionele tests. De betrouwbaarheid van de Cijferreeksen Voorwaarts was echter hoger voor de traditionele tests.
Discussie
In het huidige onderzoek werd de test-hertestbetrouwbaarheid van traditionele neuropsychologische tests onderzocht, om deze vervolgens te kunnen vergelijken met de betrouwbaarheden van een recent ontwikkelde online testbatterij - de ACS. De test-hertestbetrouwbaarheden van de traditionele tests bleken allen, behalve die van de Cijferreeksen Achterwaarts, voldoende te zijn. De variantie in scores over tijd was bij de Cijferreeksen Achterwaarts een stuk groter dan bij de andere traditionele tests. In de literatuur wordt er echter vaker een lagere test-hertestbetrouwbaarheid gevonden voor de Cijferreeksen Achterwaarts (Tabel 3). Dit laat zien dat de test minder stabiel soort over de tijd. Het betekent daarentegen niet gelijk dat de Cijferreeksen Achterwaarts een onbetrouwbare test is. Een mogelijke alternatieve verklaring voor de lage test-hertestbetrouwbaarheid in het huidige onderzoek is namelijk dat de deelnemers wisselender gescoord kunnen hebben omdat deze test aan het einde van de testbatterij moest worden uitgevoerd en deelnemers daardoor, zeker bij de tweede testafname, in wisselende mate vermoeid en minder gemotiveerd waren.
Bij het vergelijken van de betrouwbaarheden van de traditionele tests en de ACS bleken de TMT A, TMT B, 15-WT uitgestelde herinnering, ToL, Corsi blokkentests en de totaalscore inclusief 15-WT een hogere test-hertestbetrouwbaarheid te hebben dan de
equivalente tests van de ACS. Dit kwam niet overeen met de vooraf gestelde verwachting dat de betrouwbaarheden voor het grootste deel overeen zouden komen. Uit deze resultaten zou dus geconcludeerd kunnen worden dat de online versie van de traditionele tests minder betrouwbaar is dan de traditionele tests zelf. Een alternatieve verklaring kan gezocht worden
37 in het verschil in de afnameprocedure van de traditionele en de online tests. De traditionele tests werden namelijk in een gecontroleerde setting door een testleider afgenomen, terwijl de online tests zelfstandig bij deelnemers thuis werden uitgevoerd. In een thuissetting is het vanzelfsprekend dat er meer afleiding plaats kan vinden, wat kan leiden tot een grotere mate van ruis in de resultaten. Bovendien maakten de deelnemers allen gebruik van verschillende computers met verschillende inputsystemen en instellingen en kon de test in verschillende internetbrowsers worden uitgevoerd. Deze factoren kunnen allen hebben bijgedragen aan een grotere variantie in de prestatie op de twee testafnames van de online versie en de daarbij horende lagere betrouwbaarheid.
Een andere mogelijke verklaring voor het verschil in betrouwbaarheid tussen de online en de traditionele tests zou het verschil in demografische kenmerken kunnen zijn. Het sample van het huidige onderzoek bestond namelijk vooral uit jonge, hoogopgeleide deelnemers, terwijl het sample van de ACS meer gevarieerd was. Het zou kunnen dat juist voor deze jongere hoogopgeleide deelnemers hogere betrouwbaarheden gevonden worden, wat geleid heeft tot een verschil in betrouwbaarheid tussen de traditionele en de online tests. Uit de analyses over het gematchte sample van de online tests bleek vervolgens dat de
betrouwbaarheden van het gematchte sample aanzienlijk hoger waren dan de
betrouwbaarheden van het gehele sample van de online tests. Wanneer de betrouwbaarheden van de traditionele tests hierna werden vergeleken met de betrouwbaarheden van het
gematchte sample bleken minder tests significant met elkaar te verschillen, dan bij de vergelijking met het gehele sample. Het zou dus inderdaad mogelijk kunnen zijn dat er voor jongere hoogopgeleide deelnemers over het algemeen een hogere betrouwbaarheid gevonden wordt.
Bij het onderzoeken van het leereffect bleek er bij de traditionele tests waar een verschil gevonden werd in prestatie tussen de eerste en de tweede testafname, ook sprake te
38 zijn van systematische error. Deze resultaten wijzen op een leereffect. De test waar het
percentage systematische error het grootst was, was de 15-WT directe reproductie. De 15-WT is een test waarbij verwacht kan worden dat er een groot leereffect wordt gevonden (Lezak, 2004). Bij beide testafnames moeten deelnemers namelijk dezelfde woordenlijst leren, waardoor de kans groot is dat zij deze bij de tweede testafname herinneren of herkennen van de eerste afname. Dit kan er vervolgens toe leiden dat de woorden bij de tweede testafname beter en gemakkelijker worden onthouden en deelnemers bij deze afname beter presteren. Ook voor de ACS gold dat er bij de tests waar er een verschil gevonden werd tussen de eerste en de tweede testafname sprake was van systematische error; behalve bij Spoorzoeken II en Reactietijden. Eveneens was bij de ACS het percentage systematische error het grootst bij Woorden Leren, de equivalente tests van de 15-WT van de traditionele testbatterij.
Wanneer de percentages systematische error van de online en de traditionele
testbatterijen werd vergeleken, bleek er bij een groter aantal van de tests van de ACS sprake te zijn van systematische error, dan bij traditionele tests. Voor alle traditionele tests waar
systematische error gevonden werd, was zowel het percentage systematische error van de totale error als van de totale variantie daarentegen aanzienlijk hoger dan voor de tests van de ACS. Dit zou er op kunnen wijzen dat er op traditionele tests sprake zou zijn van een groter leereffect, dan op de online tests van de ACS. Dit kwam niet overeen met de verwachting dat er geen verschil in leereffect zou bestaan tussen de twee testbatterijen. Bovendien zou aan de hand van deze resultaten gesteld kunnen worden dat juist op tests waar stimuli auditief gepresenteerd worden, een groter leereffect bestaat, dan op test waar stimuli visueel gepresenteerd worden. Er werd namelijk meer systematische error gevonden bij de traditionele tests. Dit is niet in overeenstemming met de gevonden literatuur.
Een alternatieve verklaring voor het verschil in systematische error tussen de online en de traditionele tests zou kunnen zijn dat er bij de traditionele tests naast de leereffecten ook
