Masterthese
De Ontwikkeling en Validatie van de Nederlandse Vertaling van de Assessment of Depression Inventory (ADI)
Naam studente Sylvia Verwer
Collegekaartnummer 6310818/10002779
Adres Dorpsstraat 738, Oudkarspel
Telefoonnummer 06-41438548
E-mail adres sylvia_verwer@hotmail.com
Externe begeleider Dhr. Dr. J.F.M. de Jonghe (Medisch Centrum Alkmaar) Eerste begeleider Dhr. Prof. Dr. B.A. Schmand (Universiteit van Amsterdam) Tweede beoordelaar Mevr. N. de Vent (Universiteit van Amsterdam)
Onderzoeksinstelling Medisch Centrum Alkmaar
Samenvatting
Deze masterthese betreft een onderzoek naar de ontwikkeling en validatie van de Nederlandse vertaling van de Assessment of Depression Inventory (ADI). De ADI is een depressievragenlijst die daarnaast enkele indexen bevat om de symptoomvaliditeit te testen. De ADI is opgebouwd uit vier verschillende schalen. Deze schalen meten de ernst van de depressieve symptomen (Dep subschaal), indiceren het mogelijk overrapporteren van depressieve symptomen (Mal subschaal) en de mate van willekeurig en inconsistent antwoorden (Rd en Rel subschalen). In dit onderzoek werden de ADI testscores vergeleken van een gezonde controlegroep (N = 27) en een groep geïnstrueerde simulanten (N = 29). Eerder onderzoek heeft laten zien dat simulanten atypische en bizarre symptomen overrapporteren. Nagegaan werd of de ADI Mal subschaal een goede indicator is voor het overrapporteren van klachten, of de ADI subschalen convergeren met neuropsychologische tests die hetzelfde pretenderen te meten en of ADI overrapporteren positief is geassocieerd met onderpresteren op het gebied van geheugen.
Resultaten: De ADI maakt een nagenoeg perfect onderscheid tussen de geïnstrueerde simulanten en de gezonde controles zoals blijkt uit de scores op de ADI Mal subschaal. De gezonde controles rapporteerden niet tot nauwelijks een atypisch symptoom (bodemeffect), terwijl de geïnstrueerde simulanten vrijwel allemaal ≥10 scoorden. Daarnaast bleek de interne consistentie van de items in de Dep schaal (α = .97) en de Mal schaal (α = .92) zeer hoog en hangt de vragenlijst positief samen met vragenlijsten die hetzelfde pretenderen te meten, waaronder de BDI-II-NL (r = .81) en de SIMS (r = .69), hetgeen de validiteit van de ADI onderstreept. Exploratief werd er in dit onderzoek een eerste analyse uitgevoerd tussen ADI overrapporteren en VAT-SVT onderpresteren (N = 56). Er lijkt een samenhang te bestaan tussen beide vormen van malingering: 34.4% van de deelnemers die overrapporteert blijkt tevens onder te presteren op geheugentaken.
De ADI is een aanvulling op het bestaande testarsenaal van de psycholoog die onderzoek doet naar symptoomvaliditeit. De vragenlijst lijkt de kwaliteiten te bezitten om een nagenoeg perfect onderscheid te maken tussen enerzijds geïnstrueerde simulanten en anderzijds gezonde controles. Daarnaast kan de ADI een uitspraak doen over de ernst van een mogelijke depressie en de mate van willekeurig en inconsistent antwoorden. Op het gebied van depressie zijn er weinig specifieke symptoomvaliditeitstests die erin slagen een uitspraak te doen over de overrapportage van depressieve klachten. De ADI slaagt hierin en is dan ook een goede kandidaat om aan het testarsenaal van de psycholoog te worden toegevoegd.
Inhoudsopgave
Samenvatting ... 2
Hoofdstuk 1. Achtergrond ... 4
Prevalentie ... 5
Het overrapporteren van depressieve klachten ... 5
Assessment of Depression Inventory (ADI) ... 6
Probleemstelling ... 8 Hoofdstuk 2. Methode ... 9 2.1 Steekproefkarakteristieken ... 9 2.2a Operationalisatie ... 10 2.2b Materiaal ... 10 2.3 Data-analyse ... 13 Hoofdstuk 3. Resultaten ... 16 3.1 Descriptieve gegevens ... 16
3.2 Discriminerend vermogen van de Assessment of Depression Inventory (ADI) ... 17
3.3 Sensitiviteit en specificiteit ... 19
3.4 Interne consistentie ... 19
3.5 Itemanalyse ... 20
3.6 Convergente validiteit ... 21
3.7 Exploratief: vergelijking VAT-SVT onderpresteren en ADI overrapporteren ... 23
Hoofdstuk 4. Discussie... 23
4.1 Bevindingen ... 24
4.2 Sterke en zwakke punten ... 24
4.3 Suggesties voor vervolgonderzoek ... 25
4.4 Algemene conclusie en aanbevelingen voor de klinische praktijk ... 26
Literatuurlijst ... 27
Bijlage 1. Screeningsvragenlijst ... 31
Bijlage 2. Informed consent controle conditie ... 32
Bijlage 3. Informed consent depressieve simulanten ... 33
Bijlage 4. Testprotocol depressieve simulanten ... 34
Hoofdstuk 1. Achtergrond
Recentelijk is er een klassiek, doch bijzonder geval van uitkeringsfraude aan het licht gekomen (Elshout, 2014). Honderden brandweerlieden en politieagenten in New York hebben psychische klachten voorgewend om een arbeidsongeschiktheidsuitkering te krijgen. Zij zouden 400 miljoen euro onterecht aan uitkeringen hebben ontvangen, waarbij ongeveer de helft van de verdachten zei dat de klachten waren veroorzaakt door de aanslagen op het World Trade Center. Er heerst woede in Amerika. De grote helden van de fatale dag in 2001 blijken fraudeurs. Achter de fraude zat een hele organisatie met vier man aan de top. Deze leerden de voormalige werklui hoe ze de overheidsinstantie voor de sociale zekerheid konden overtuigen van de ernst van hun klachten. Ze leerden hoe ze konden zakken voor geheugentesten, hoe ze paniekaanvallen konden simuleren, hoe ze woorden verkeerd moesten spellen, hoe ze simpele rekensommetjes niet meer konden maken en hoe ze konden laten zien dat ze depressief waren. De zaak is hard aangekomen. Vooral de sociale media, waaronder Facebook, heeft vele verdachten de das omgedaan. Hadden ze een uitkering in de wacht weten te slepen omdat ze zeiden het huis niet meer uit te durven komen, bleek uit screenshots dat ze aan vechtsporten deden of met een enorme zwaardvis onder de arm poseerden.
Psychologen zijn gewend vertrouwen te hebben in de verkregen testresultaten van patiënten wanneer zij deze interpreteren. Er wordt over het algemeen vanuit gegaan dat patiënten eerlijk zijn en hun beste prestaties laten zien (Fuermaier, Tucha, Koerts, Lange & Tucha, 2013). In sommige situaties kan het echter voordelig zijn een bepaalde diagnose te krijgen, zoals in het voorbeeld hierboven. Deze worden gezien als externe drijfveren om opzettelijk cognitieve symptomen te veinzen. In de Diagnostic and Statistical Manual of Mental Disorders – Fourth Edition (DSM-IV, 1994) wordt het veinzen van symptomen malingeren genoemd. De definitie van malingeren wordt hierin als volgt omschreven: “Het opzettelijk produceren van valse of sterk overdreven (aggraveren) lichamelijke of psychologische symptomen, ingegeven door externe motieven als het ontlopen van militaire dienst of werk, het verkrijgen van een financiële compensatie, het ontlopen van rechtsvervolging of het verkrijgen van medicijnen of drugs.” Het is belangrijk malingeren in differentiaal diagnostisch opzicht te onderscheiden van de nagebootste- en somatoforme stoornis (Merckelbach, Jelicic & Dandachi-FitzGerald, 2010). Hierbij heeft de nagebootste stoornis, in tegenstelling tot malingering, interne motieven en is de externe bekrachtiging afwezig. Het gaat bij de nagebootste stoornis om het opzettelijk veroorzaken of voorwenden van lichamelijke of psychische klachten die voortkomen uit een intrapsychische noodzaak de rol van zieke op zich te nemen (syndroom van Münchhausen). Een somatoforme stoornis is, in tegenstelling tot het voorgaande syndroom, niet opzettelijk. Onder invloed van psychologische factoren wordt een bepaalde pathologie ingebeeld, zoals een pijnstoornis, een hypochondrie of een conversiestoornis (Tabel 1.1).
Theoretisch gezien is het mogelijk bovenstaand onderscheid te maken. Echter, in de praktijk is het lastig, zo niet onmogelijk de intenties van een individu te meten. Specifieke tests die beoordelen of symptomen werkelijk zijn wat ze lijken te zijn (symptoomvaliditeitstests) meten gedrag, en geen motivatie. Om deze reden wordt er vanaf nu gesproken van onderpresteren (presteren onder feitelijk niveau) en overrapportage van klachten, om het gedrag van het individu zo objectief mogelijk te beschrijven (Berry & Nelson, 2010; Boone, 2007).
Tabel 1.1 Overzicht en Onderscheid Begrippen
Malingeren Nagebootste stoornis
Somatoforme stoornis
Gedrag Bewust bedrog Bewust bedrog Ingebeelde ziekte
Doel Bewust gecalculeerd geld gemak Onbewust pathologisch medische aandacht Onbewust pathologisch geoorloofde aandacht
Ziektewinst Secundair Primair Primair
Prevalentie
Er is veel onderzoek gedaan naar de prevalentie van onderpresteren en overrapporteren in de praktijk. Omdat het doel veelal is om niet herkend te worden, is de werkelijke omvang en het aantal personen dat onderpresteert of overrapporteert, giswerk. Veel onderzoek richt zich op de forensische context. In de forensische context varieert de geschatte prevalentie van cognitief onderpresteren en het overrapporteren van klachten tussen de 20% en 60% (Hout, Schmand, Weking & Deelman, 2006; Mittenberg, Patton, Canyock & Condit, 2002; Schmand, Lindeboom, Schagen, Heijt, Koene & Hamburger, 1998). Deze percentages zijn ruwe schattingen en afhankelijk van de context en de gebruikte symptoomvaliditeitstest. Desalniettemin verklaart onderpresteren meer variantie in cognitieve tests dan bijvoorbeeld de ernst van een hersenbeschadiging (Green, 2007; Rohling, Green, Allen, & Iverson, 2002; Stevens, Friedel, Mehren, & Merten, 2008) en laat onderzoek zien dat afwijkende scores bij schalen voor overrapporteren hand in hand gaan met hogere scores op psychologische klachtenlijsten. Zo verklaarde het falen op de Structured Inventory of Malingered Symptomatology (SIMS) 44% van de variantie van de score op de SCL-90 klachtenlijst in een ambulante heterogene psychiatrische steekproef (Dandachi-FitzGerald, Ponds, Peters & Merckelbach, 2011). Naast de forensische context lijkt het zo te zijn dat patiënten die in een financiële procedure van arbeidsongeschiktheid verwikkeld zijn, vaker onderpresteren en overrapporteren dan patiënten die dat niet zijn. Uit een uitgebreide meta-analyse van Binder en Rohling (1996) blijkt dat patiënten die een financieel belang hebben bij slechte testresultaten gemiddeld een halve standaarddeviatie slechter presteren op neuropsychologische tests dan patiënten bij wie dit belang niet aanwezig is. Het effect was bovendien vooral zichtbaar bij patiënten met lichte vormen van letsel. Patiënten met zwaar letsel zijn wellicht minder goed in staat tot onderpresteren, of mogelijk vertrouwen zij erop dat hun schadeclaims ook zonder overdrijven worden toegekend (Schmand & Ponds, 1998).
Het overrapporteren van depressieve klachten
Dandachi-FitzGerald en Ponds (2013) hebben aan de hand van een enquête onder de leden van de Nederlandse Vereniging voor Neuropsychologie (NVN) en de sectie Neuropsychologie van het Nederlands Instituut van Psychologen (NIP) onderzocht hoe psychologen in de praktijk omgaan met onderpresteren bij cognitieve tests en het overrapporteren van klachten. Uit het onderzoek kwam naar voren dat een groot deel van de psychologen bij
expertises alert is op een ongeloofwaardige klachtenrapportage en dat deze psychologen vaak (11%) tot altijd (70%) een maat voor symptoomvaliditeit afnemen bij expertiseonderzoeken. Dit is een geruststellend hoog percentage. Opvallend is echter dat deze testen zich voornamelijk richten op het geheugen. De meest gebruikte symptoomvaliditeitstaken zijn de Test of Memory Malingering (TOMM), de Amsterdamse Korte Termijn Geheugen Test (AKGT) en de Green’s Word Memory Test (GWMT). Het detecteren van het overrapporteren van depressieve klachten is tot nu toe een onontgonnen gebied. Dit terwijl er in de praktijk jaarlijks veel uitkeringen gaan naar mensen die arbeidsongeschikt zijn verklaard wegens een depressie en ‘overrapporteerders’ gebruiken deze financiële bronnen die noodzakelijk zijn voor patiënten met een echte stoornis (Messer, 2008). In forensische settings worden vaak strafvermindering en lagere boetes toegekend wanneer blijkt dat een depressie van invloed was op de overtreding. Hier staat tegenover dat een werkelijke depressie geassocieerd is met hoge sterftecijfers. De DSM-IV-TR (APA, 2000) stelt dat 15% van de individuen met een ernstige depressie overlijden aan zelfmoord. Individuen boven de 55 jaar hebben een viermaal zo grote kans op zelfmoord en personen met een depressie in medische instellingen hebben meer pijn, somatische klachten en een lager psychisch en sociaal functioneren. De life-time prevalentie van een depressie bij volwassenen wordt geschat op 10% tot 25% voor vrouwen en 5% tot 12% voor mannen (APA, 2000). Het belang van detectie van overraporteren is duidelijk. Daarnaast zou het herkennen van overrapportage wel eens de eerste therapeutische stap kunnen zijn in het begrijpen van de werkelijke behoefte van een patiënt (Stoone & Boone, 2007).
Enkele van de langer bestaande vragenlijsten bevatten items voor overrapportage van depressieve klachten. De SIMS (geheel gericht op overraportage) en de Minnesota Multiphasic Personality Inventory-2 (MMPI-2) kennen een zogenaamde validiteitsschaal, specifiek om het overrapporteren van depressieve klachten te ontdekken. De items van deze zelfrapportage vragenlijsten weerspiegelen over het algemeen extreem zeldzame of zelfs niet bestaande symptomen. Individuen die overrapporteren onderscheiden zich door een overdreven stijl van antwoorden en weten niet dat echte patiënten deze bizarre symptomen (bijna) nooit rapporteren. Mocht iemand boven een bepaald afkappunt scoren dan is dit een aanwijzing dat hij zijn symptomen aandikt of voorwendt. Echter, ten opzichte van de totaalscore bleek deze validiteitsschaal een minimale toevoeging op te leveren, hetgeen de onderzoekers noopte tot de conclusie dat de specifieke subschalen falen in het detecteren van een specifieke pathologie (Steffan, Clopton & Morgan, 2003; Windows & Smith, 2005). Daarnaast is een groot nadeel van genoemde instrumenten dat deze vrij lang zijn en minder geschikt zijn voor de toepassing in een setting waar relatief weinig tijd is voor diagnostisch onderzoek, of voor efficiënte toepassing in herhaalde metingen.
Assessment of Depression Inventory (ADI)
Mogge en LePage (2004) hebben de Assessment of Depression Inventory (ADI) ontwikkeld. De ADI is een korte depressievragenlijst die naast een depressieschaal enkele indexen bevat om de symptoomvaliditeit te testen. De test is opgebouwd uit vier subschalen: een depressieschaal (Dep), een malingeringschaal (Mal), een randomschaal (Rd) en een betrouwbaarheidsschaal (Rel). Met deze schalen kunnen psychologen gemakkelijk en snel (±5 minuten) een uitspraak over de ernst van een eventuele depressie, de mate van overrapporteren en de mate van willekeurig en inconsistent antwoorden.
De originele Engelstalige versie blijkt goede psychometrische eigenschappen te bezitten. De eerste validatiestudies naar de ADI (Messer, 2008; Mogge & LePage, 2004) hebben plaatsgevonden bij een steekproef
psychiatrische patiënten, die geïnstrueerd werden om eerlijk te antwoorden, en bij twee verschillende simulatiegroepen die gevraagd werden een depressie te simuleren om uit de problemen bij het gerechtshof te komen. De ene simulatiegroep werd als naïef beschouwd als het ging om depressiesymptomen en assessmenttechnieken. De andere groep omvatte werknemers die werkten met psychiatrische patiënten en zo meer bekend waren op het gebied van mentale ziektes en de bijbehorende symptomen en assessmenttechnieken (expert groep). Er werd een significant verschil gevonden tussen de patiënten en de simulanten. Tussen de naïeve en expert groep werd geen verschil gevonden. Mogge & LePage (2004) achtten een afkappunt van 15 optimaal met een sensitiviteit van 75% en een specificiteit 98%. Mogge (2006) onderzocht tevens de relatie tussen de ADI schalen en andere tests die hetzelfde construct meten. De test werd vergeleken met de Personality Assessment Inventory (PAI) en de Beck Depression Inventory-II (BDI-II). Uit de resultaten kwam naar voren dat de ADI Dep schaal hoog correleerde met de BDI-II (.80) en de depressieschaal van de PAI (.76). De ADI Mal schaal correleerde, naar verwachting, significant met vier validiteitsschalen van de PAI. De ADI Mal schaal correleerde positief (rond de .70) met twee schalen die negatieve respons bias detecteren, de Negative Impression Management (NIM) en de Malingering index (MAL). De ADI Mal schaal correleerde negatief (rond de -.40) met twee schalen die doelgerichte positieve vertekening detecteren, de Positive Impression Management (PIM) en Defensiveness Index (DEF). Ook deze studie deed onderzoek naar het afkappunt waarbij uitgekomen werd op een score van 14 met een sensitiviteit van 89% en een specificiteit van 80%. Tot slot hebben Clegg, Fremouw en Mogge (2009) onderzoek gedaan naar de validiteit van de ADI bij poliklinische patiënten die invaliditeit claimden. Op basis van hun scores op de Structured Interview of Reported Symptoms (SIRS) werden de deelnemers geclassificeerd als eerlijke patiënten of vermoedelijke simulanten. Daarnaast bevatte het onderzoek een groep gezonde controles en als laatste een groep geïnstrueerde simulanten met de instructie een depressie te simuleren om ervoor te zorgen dat zij niet (meer) hoefden te werken. In totaal bestond het onderzoek uit vier condities. Uit de resultaten kwam naar voren dat beide malingering groepen significant hoger scoorden op de ADI Mal schaal dan beide groepen eerlijke respondenten. Er werd geen verschil gevonden tussen de geïnstrueerde en vermoedelijke simulanten. Clegg et al. (2009) achtten een afkappunt van 10 optimaal met een sensitiviteit van 76% en een specificiteit van 85% voor de totale steekproef.
Probleemstelling
Deze masterthese is bedoeld als eerste studie naar de Nederlandse vertaling van de ADI waarbij de betrouwbaarheid en validiteit van deze vertaling werden onderzocht. De ADI werd in een cross-sectioneel onderzoek afgenomen bij gezonde proefpersonen tussen de 18 en de 70 jaar. Deze werden onderverdeeld in twee verschillende groepen: een groep geïnstrueerde depressieve simulanten en een groep eerlijke respondenten als controlegroep. Een dergelijk simulatiedesign blijkt behoorlijk extern valide onderzoeksresultaten op te leveren (o.a. Jelicic, Hessels & Merckelbach, 2006; Schmand, Sterke & Lindeboom, 1999; Tombaugh, 1996). De antwoordpatronen van de twee groepen werden met elkaar vergeleken. Ter bepaling van de convergente validiteit werden de ADI subschalen vergeleken met vragenlijsten met een soortgelijke meetpretentie, zoals de BDI-II-NL en SIMS. Exploratief werd onderzocht of overrapporteren op de ADI positief is geassocieerd met onderpresteren op het gebied van geheugen. Dit werd gemeten met behulp van de symptoomvaliditeitstest van de Visuele Associatie Test (VAT-SVT).
In dit onderzoek zijn de volgende hypothesen gesteld:
1. De subschalen van de ADI hebben een goede interne consistentie.
2. Voor personen die simuleren heeft de ADI Malingering schaal een goede discriminatieve validiteit ten opzichte van gezonde controlepersonen.
3. De ADI Depressie schaal convergeert met vragenlijsten die hetzelfde pretenderen te meten, te weten: depressie.
4. De ADI Malingering schaal convergeert met vragenlijsten die hetzelfde pretenderen te meten, te weten: overrapportage van klachten.
5. Exploratief: ADI simuleren (overrapporteren) is positief geassocieerd met onderpresteren op het gebied van het geheugen.
Dit onderzoek verwacht het volgende aan te tonen:
1. De betrouwbaarheid (interne consistentie) van de ADI is ≥0.8.
2. ADI maakt een significant onderscheid tussen depressieve simulanten en eerlijke respondenten. De sensitiviteit en de specificiteit van de ADI is ≥0.8 als het gaat om het onderscheid tussen simulanten en eerlijke respondenten.
3. De scores op de ADI Dep schaal zullen samenhangen met een bekende depressievragenlijst: de BDI-II-NL.
4. De scores op de ADI Mal schaal zullen samenhangen met soortgelijke vragenlijsten voor overrapportage van psychische klachten: de SIMS.
Hoofdstuk 2. Methode
2.1 Steekproefkarakteristieken
Aantal deelnemers
In deze studie werd er gestreefd naar 30 deelnemers per conditie. Dit komt overeen met het aantal proefpersonen gebruikt bij de validatiestudies van Mogge en LePage (2004) en Clegg, Fremouw en Mogge (2009) waarbij zowel de simulatie- als de controlegroep gemiddeld uit 30 deelnemers bestond. De gevonden effectgrootte (d) varieerde hierbij van 1.4 (Clegg et al., 2009) tot 2.2 (Mogge en LePage, 2004). Met behulp van het programma g*power werd de power post hoc berekend. Hierbij werd de effectgrootte op 1.4 gesteld, de α op 0.05 eenzijdig en de totale steekproefgrootte op 60. De gevonden power (1 – β) was maximaal (1.0). Echter, deze berekening heeft alleen betrekking op het verschil tussen de gemiddelde ADI scores van beide groepen. Om een sensitiviteit en specificiteit van ≥0.8 aan te tonen gaat de berekening veel verder. Met behulp van de methode van Carley, Dosman, Jones en Harrison (2005) werd een schatting gedaan van het benodigde aantal deelnemers voor een sensitiviteit en specificiteit van 80%. Deze methode maakt gebruik van een nomogram. Hierbij werd een betrouwbaarheidsinterval (CI) van 95% genomen, een prevalentie (P) van 0.5 en een sensitiviteit (SN) en specificiteit (SP) van 0.8. De kans om een vals positief resultaat te vinden werd vastgesteld op < 5%. Uit de figuur viel af te lezen dat er gemiddeld 490 deelnemers nodig waren. Dit komt overeen met de bijbehorende berekening van Jones, Carley en Harrison (2003) waaruit de figuur is afgeleid.
Wervings- en screeningsprocedure
Voor de generaliseerbaarheid van het gevonden effect werden er deelnemers geworven tussen de 18 en de 70 jaar. Hierbij werd er gestreefd naar 10 deelnemers per conditie tussen de 18 en 30 jaar, 10 deelnemers per conditie tussen de 30 en 50 jaar en 10 deelnemers per conditie tussen de 50 en 70 jaar. De deelnemers werden op verschillende manieren geworven. Enerzijds door de partners, kinderen of mantelzorgers van ambulante geriatrische ziekenhuispatiënten te benaderen. Anderzijds door bekenden van masterthesestudent Sylvia Verwer te vragen mee te werken aan het onderzoek.
Voorafgaand aan het onderzoek werd nagegaan of de deelnemers voldeden aan de in- en exclusiecriteria. Dit gebeurde met behulp van een screeningsvragenlijst (Bijlage 1). Exclusiecriteria waren analfabetisme, moedertaal niet Nederlands, hersenbeschadigingen (ongeluk, MS, tumor, Parkinson, epilepsie), psychiatrische aandoeningen op dit moment (depressie, psychose, schizofrenie, angststoornis), middelenmisbruik (alcohol, drugs of geneesmiddelen) wat de prestatie op de af te nemen tests significant kan beïnvloeden en in het verleden behandeld voor een alcohol- of drugsverslaving. De deelnemers konden ook nog achteraf geëxcludeerd worden uit de analyses. Dit was het geval als bleek dat men de instructies niet had onthouden en als bleek dat de score op de Cognitieve Screening Test (CST) lager was dan 15. Dit staat gelijk aan een score op de Mini-Mental State Examination (MMSE) van 25 (Schmand, Deelman, Hooijer, Jonker & Lindeboom, 1996).
Geïncludeerde deelnemers werden voorafgaand aan het onderzoek schriftelijk geïnformeerd over het doel en de werkwijze van het onderzoek en gaven hiervoor schriftelijk toestemming (Bijlage 2 en 3). Ter bevordering van de medewerking aan het onderzoek, en het zich houden aan de specifieke instructies, werd simulanten 10 euro als beloning in het vooruitzicht gesteld.
2.2a Operationalisatie
De deelnemers werden aselect verdeeld over twee verschillende condities. In de eerste conditie, de controle conditie, werd de deelnemers gevraagd de vragen eerlijk in te vullen. In de tweede conditie, de geïnstrueerde depressieve simulanten conditie, kregen de deelnemers de volgende mondelinge instructies: “In dit onderzoek wordt u gevraagd om een aantal testen te maken. Voordat het maken van deze testen begint wil ik u een verhaaltje voorlezen. Ik wil u vragen zich in te leven in dit verhaaltje en net te doen of dit echt is. Stel u voor, u heeft geen ernstige problemen, maar u doet alsof u lijdt aan een ernstige depressie om te zorgen dat u niet hoeft te werken. Vandaag moet u een paar testen maken om te bepalen of u kunt werken. Daar hangen honderden euro’s aan arbeidsongeschiktheidsuitkeringen van af. U wilt graag dat er uit de test komt dat u nog last heeft van de depressie. Daarom gaat u dit simuleren. Vergeet niet dat de depressie een grote invloed moet hebben op uw vermogen om te werken, u wilt niet dat er uit de test komt dat u weer kunt werken. En wees voorzichtig, er kunnen enkele strikvragen aanwezig zijn om personen die proberen te faken te ontmaskeren. Hoe u precies de depressieve klachten moet simuleren mag ik u niet zeggen. Probeert u zich de situatie die ik u net vertelde voor te stellen. Hoe zou iemand in deze situatie de testen gaan maken? Het is belangrijk dat u dit op een geloofwaardige manier doet. Als u de depressie op een geloofwaardige manier simuleert krijgt u na afloop van dit onderzoek een boekenbon van €10,00. Heeft u nog vragen voor we met de testen beginnen?” (ontleend aan Clegg et al., 2009).
Er waren maatregelen getroffen om de betrouwbaarheid van de resultaten zo hoog mogelijk te laten uitvallen. Om een uniforme testafname te hanteren was het protocol voor elke deelnemer hetzelfde (zie Tabel 2.1 en Bijlage 4) en werden de instructies letterlijk uitgeschreven voor de proefleider en in elk protocol bijgevoegd. Daarnaast werd er een consequent interval van 15 minuten aangehouden tussen de onmiddellijke en uitgestelde herkenning van de VAT-SVT en kregen de simulanten, mits geloofwaardig gesimuleerd, een boekenbon van 10 euro om de betrouwbaarheid te maximaliseren.
2.2b Materiaal
Cognitieve Screening Test-20 (CST-20)
De CST (Graaf & Deelman, 1991) is een beknopt screeningsinstrument dat zich richt op de oriëntatie in tijd, plaats, persoon en elementaire feitenkennis. De CST-20 bestaat uit 20 eenvoudige vragen en is bedoeld voor ouderen vanaf 60 jaar. Het doel van de test is het vaststellen van de aanwezigheid en de ernst van cognitieve achteruitgang bij ouderen. De minimumscore is 0 en de maximumscore is 20. De afnameduur is ongeveer 5 minuten. De betrouwbaarheid van deze test is goed. De interne consistentie (Cronbach´s Alfa) is .89 (Dautzenberg, Schmand, Vriens, Deelman & Hooijer, 1991).
GIT-Woordenlijst
De meetpretentie van de GIT-II-NL (Luteijn & Bartelds, 2004) is intelligentie. De test bestaat uit negen subtests. Voor dit masterthese onderzoek werd de Woordenlijst afgenomen. De meetpretentie van de GIT-Woordenlijst is (passieve) woordenschat. Deze test geeft het verbale begrip van onderzochte weer en is relatief ongevoelig voor hersenletsel. Bij deze test werd de proefpersoon gevraagd om bij 20 woorden het synoniem te kiezen uit steeds vijf mogelijkheden. De minimumscore is 0 en de maximumscore is 20. De afnameduur is
ongeveer zeven minuten. De betrouwbaarheid van deze test is goed. De interne consistentie (Cronbach´s alfa) is .73 en de test-hertest betrouwbaarheid is .89 (Luteijn & Bartelds, 2004).
Structured Inventory of Malingered Symptomatology (SIMS)
De SIMS is ontwikkeld om het overdrijven en overrapporteren van klachten op te sporen (Smith & Burger, 1997). De 75 ja-nee-items van de SIMS gaan over atypische depressie, ongeloofwaardige geheugenproblemen, onwaarschijnlijke uitingen van psychose, pseudoneurologische symptomen en opzichtige tekenen van mentale retardatie. Elk domein is met vijftien items in de SIMS vertegenwoordigd en deze clusters vormen de subschalen van de SIMS. Een voorbeelditem van een atypische depressie is: “Soms ben ik zo depressief dat ik verlang naar mijn bed om eens goed uit te slapen” en een voorbeelditem van een onwaarschijnlijke uiting van een psychose is: “Ik heb gemerkt dat mijn schaduw wild beweegt ook al houd ik me stil”. Voor een deel zijn de items afkomstig uit bestaande instrumenten (bijvoorbeeld de MMPI), voor een ander deel werden zij geselecteerd uit een pool van 200 items die speciaal zijn ontwikkeld voor de SIMS. Smith en Burger (1997) raden een afkappunt van 14 aan: mensen zullen zo nu en dan een atypisch symptoom aankruisen, maar wie er meer dan 14 zegt te hebben laadt de verdenking op zich te overrapporteren. Bij dit afkappunt heeft de SIMS een sensitiviteit van 95.6% en een specificiteit van 87.9% en een acceptabele interne consistentie van .72.
Beck Depression Inventory – II (BDI-II-NL)
De BDI-II-NL bestaat uit 21 rijtjes met uitspraken van klachten waaruit de onderzochte persoon de uitspraak moet kiezen die het beste beschrijft hoe hij zich ‘de afgelopen twee weken, met vandaag erbij’ voelde (Beck, Steer & Brown, 1996). De klachten worden gescoord op een vierpuntsschaal. Bijvoorbeeld ‘huilen’: “ik huil niet meer dan normaal”, “ik huil nu meer dan vroeger”, “ik huil nu voortdurend” en “ik kon vroeger wel huilen, maar nu kan ik het niet meer, ook al wil ik het”. De BDI-II-NL meet op drie verschillende dimensies: de affectieve, de somatische en de cognitieve dementie. De antwoorden van deze dimensies opgeteld leveren de totaalscore. De totaalscore is een maat voor de algehele ernst van de depressie die varieert van minimaal (0-13), licht (14-19), matig (20-28) tot ernstig (29-63). De vragenlijst lijkt te beschikken over een goed onderscheidend vermogen en daarnaast is de interne consistentie (Cronbach’s alfa) en de correlatie tussen twee metingen hoog, respectievelijk .94 en .82 (Does, 2002).
Symptoomvaliditeitstest Visuele Associatie Test (VAT-SVT)
De VAT-SVT is afgeleid van de cue- en associatiekaarten van de originele Visuele Associatie Test (VAT). De VAT-SVT bestaat uit 24 cue-kaarten, 24 associatie-kaarten (waarop zowel de targetstimuli als de doelstimuli te zien zijn) en 12 multiple choice kaarten (bestaande uit vier antwoordmogelijkheden). De VAT-SVT wordt aangekondigd als een geheugentaak en bestaat uit vijf onderdelen. De eerste twee onderdelen, de onmiddellijke- en uitgestelde herkenningstaken (Immediate- en Delayed Recognition, IR & DR), meten de symptoomvaliditeit. Hierbij krijgt de deelnemer een reeks plaatjes te zien die hij moet onthouden, de target-stimuli. Daarna krijgt de deelnemer telkens twee plaatjes te zien waarbij hij moet aanwijzen welke van de twee plaatjes hij eerder gezien heeft. Er wordt feedback gegeven over het antwoord. Na ongeveer 15 minuten volgt de uitgestelde herkenningstaak. Na de herkenningstaken volgen drie andere geheugentaken. Allereerst een gepaarde associatie (Paired Association; PA). Hierbij wordt gericht gevraagd wat de doelstimulus was. Vervolgens een vrije
reproductie (Free Recall; FR) en een Multiple Choice (MC) van 12 items. Op de PA en de MC wordt weer feedback gegeven. Smolders (2014) onderzocht in eerder masterthese onderzoek de afkappunten van de IR en DR taak. Uit het onderzoek kwam naar voren dat een score van ≤22 op de IR en een score van ≤21 op de DR duidt op onderpresteren met een sensitiviteit van 97% en een specificiteit van 100%.
Assessment of Depression Inventory (ADI)
De ADI werd vertaald door middel van de richtlijnen beschreven in het artikel van Beaton, Bombardier, Guillemin en Ferraz (2000). Allereerst werd de ADI vertaald vanuit het Engels naar het Nederlands door Dhr. Dr. J.F.M. de Jonghe (klinisch neuropsycholoog), Mw. Drs. M.W. van Leeuwen (GZ-psycholoog) en Dhr. Drs. S.R.A. Meijer (neuropsycholoog) met de doeltaal als moedertaal. Vervolgens is deze voorlopige Nederlandse vertaling voorgelegd aan enkele experts op het gebied van depressie en malingering (o.a. Dhr. Prof. Dr. R.W. Kupka en Dhr. Prof. Dr. B.A. Schmand) met het oog op de indruksvaliditeit. Enkele verbeteringen werden aangebracht in de Nederlandse vertaling. Als derde stap zijn enkele onafhankelijke terug vertalingen (vanuit het Nederlands naar het Engels) door personen met de brontaal (Engels) als moedertaal gedaan (o.a. door D.E. Butterman-Dorey). Deze vertalers hebben geen kennis van het concept dat de vragenlijst meet en hebben geen medische achtergrond. De definitieve vertaling is gemaakt door een expert comité, bestaande uit de vertalers, methodologen en de oorspronkelijke makers van de vragenlijst, Mogge en LePage. De oorspronkelijke makers van de vragenlijst waren content met de vertaling waarbij deze definitief is gemaakt (26 maart 2014).
De ADI bestaat in totaal uit 39 uitspraken op een vierpunts Likertschaal. Deelnemers vullen de vragenlijst in met de instructie hoe ze zich ‘de afgelopen twee weken, met vandaag erbij’ voelden. Zoals eerder genoemd bestaat de vragenlijst uit vier subschalen. De eerste subschaal, de depressie (Dep) schaal, bevat 19 items die de negen criteria omvatten voor een ernstige depressie in de Diagnostic and Statistical Manual of Mental Disorders (DSM-IV, 1994). Een voorbeelditem is: “ik voel me leeg”. De tweede subschaal, de malingering (Mal) schaal, bevat acht items die overrapportage trachten te meten. Een voorbeelditem is: “ik ben zo depressief dat ik mijn naam vergeet”. De derde schaal, de random (Rd) schaal, bestaat uit vier willekeurige uitspraken waarbij de antwoorden in de tegengestelde richting van de verwachting liggen, zoals: “maandag volgt op zondag”. Deze schaal is bedoeld om lukraak antwoorden te detecteren. De laatste schaal, de reliability (Rel) schaal, wordt gescoord door het verschil tussen zes paren vragen te berekenen. Mocht dit verschil groot zijn dan is dit een aanwijzing dat een deelnemer inconsistent antwoordt. Tot slot zijn er acht items aanwezig die dienen als afleiding. Deze acht items waren in eerste instantie ontwikkeld als Mal items. De oorspronkelijke makers van de ADI hebben uit een pool van 16 items de acht items geselecteerd die het meest accuraat onderscheid maakten tussen simulanten en patiënten met een vastgestelde depressieve stoornis. De acht items die niet gebruikt werden, werden in de vragenlijst behouden als afleiders.
Tabel 2.1. Tijdsplanning Testafname
Test / onderdeel Duur
Ontvangst, informed consent en screeningsvragenlijst 5 min CST 5 min GIT-woordenlijst 7 min Instructies 3 min VAT-SVT IR 10 min SIMS 15 min
VAT-SVT DR, PA, FR, MC 15 min
ADI 5 min
BDI-II-NL 5 min
Vraagitem over onthouden en volgen instructies + afsluiting
5 min
TOTAAL 75 min
2.3 Data-analyse
De onderzoeksgegevens werden door middel van IBM SPSS 21 geanalyseerd met behulp van vergelijkingen van gemiddelden, correlatieanalyses en betrouwbaarheidsanalyses.
Algemene analyse
Gemiddelden (M) en de standaard deviaties (SD) werden per groep berekend voor de onafhankelijke variabelen leeftijd, opleidingsniveau (volgens de indeling naar Verhage), woordenschat (gemeten met de GIT-woordenlijst) en globaal cognitief functioneren zoals gemeten met de CST. Daarnaast werden de gemiddelden en standaarddeviaties per groep berekend voor de scores op de subschalen van de ADI, de BDI-II-NL, de SIMS en de VAT-SVT. Alle gevonden waarden werden bestudeerd en vergeleken tussen de groepen. Om te beoordelen of er parametrische of non-parametrische testen moesten worden gebruikt, werden de skewness en kurtosis berekend en een Kolmogorov-Smirnov test of normality uitgevoerd. Independent t-tests (of non-parametrische equivalenten zoals de Mann Whitney) werden uitgevoerd om verschillen in demografische gegevens en testprestaties tussen de controle- en simulanten groep te toetsen.
Statistische methode bij hypothese 1
De betrouwbaarheid van de test werd beoordeeld op basis van de mate waarin de delen van de test, individuele items of subscores, onderling overeenstemmen. Om de interne consistentie van de ADI te onderzoeken werd gebruik gemaakt van Cronbach’s alfa (α) van de subschalen. Er werden, net als bij het origineel, hoge waarden verwacht (≥0.8). Item-totaal correlaties werden berekend om te controleren of elke item in de reeks hetzelfde construct meet. Normaliter kan overwogen worden items te verwijderen als deze weinig samenhangen met de overige items. Echter, de vertaling van de ADI blijft intact. Mocht een item niet of negatief correleren met de reeks kan worden gezocht naar andere oorzaken (de vertaling, bodemeffecten, weinig variantie).
Statistische methode bij hypothese 2
Het optimale afkappunt is te vinden bij de optimale balans tussen de sensitiviteit en de specificiteit (Youden’s index). Hiervoor werd een tabel samengesteld met de cumulatieve percentages van simulanten per ruwe score (sensitiviteit) en de 100 – cumulatieve percentages van de controledeelnemers (specificiteit). De sensitiviteit en specificiteit werden berekend voor elk mogelijk afkappunt met de volgende formules:
𝑠𝑒𝑛𝑠𝑖𝑡𝑖𝑣𝑖𝑡𝑒𝑖𝑡 = 𝑃(𝐴𝐷𝐼+|𝑆+) = 𝐴
𝐴 + 𝐵 𝑠𝑝𝑒𝑐𝑖𝑓𝑖𝑐𝑖𝑡𝑒𝑖𝑡 = 𝑃(𝐴𝐷𝐼−|𝑆−) = 𝐷
𝐷 + 𝐶 Waarbij:
ADI+ = ADI positief voor overrapporteren ADI- = ADI negatief voor overrapporteren
S+ = simulanten
S- = eerlijke respondenten A = echt positieven, terecht alarm B = fout negatieven, gemiste gevallen C = fout positieven, loos alarm D = echt negatieven, terecht verworpen
Statistische methode bij hypothese 3 en hypothese 4
Ter beoordeling van de convergente validiteit van de ADI werd de correlatie berekend tussen de ADI subschalen en twee andere vragenlijsten, namelijk de SIMS en de BDI-II-NL. Daarnaast werd specifiek gekeken naar de correlaties met de subschalen van de SIMS. Naarmate de correlatie stijgt, stijgt de validiteit. In SPSS werd de Pearson’s correlatie coëfficiënt berekend met het bijbehorende significantieniveau. Verwacht werd dat de ADI Mal schaal hoog correleerde met de totaalscore van de SIMS. Daarnaast werd verwacht dat de ADI Dep schaal hoog correleerde met de BDI-II-NL. Mochten de data niet aan de assumpties van een parametrische test voldoen zal er gebruikt worden gemaakt van Spearman’s correlation coëfficiënt.
ADI+ ADI -Simulant+ A B
Statistische methode bij hypothese 5
Om te analyseren of ADI simuleren positief is geassocieerd met geheugen onderpresteren werd gebruik gemaakt van Pearson’s correlatie coëfficiënt. Mochten de data niet aan de assumpties van een parametrische test voldoen zal er gebruikt worden gemaakt van Spearman’s correlation coëfficiënt. Daarnaast zal een frequentietabel opgesteld worden om een uitspraak te kunnen doen over het percentage deelnemers dat zowel onderpresteert als overrapporteert.
Hoofdstuk 3. Resultaten
3.1 Descriptieve gegevens
In totaal werden 66 gezonde controles gescreend op geschiktheid voor deelname aan dit onderzoek. Negen personen weigerden deel te nemen aan het onderzoek en één deelnemer bleek gemiddeld 42 eenheden alcohol per week te nuttigen en werd om deze reden geëxcludeerd uit het onderzoek. Van de resterende 56 personen waren 29 bekenden van onderzoeker (SV). Eén gezond proefpersoon, familielid van een patiënt, weigerde te simuleren omdat “liegen niet in zijn aard ligt”. Een extra analyse liet zien dat resultaten niet substantieel veranderden na exclusie van deze proefpersoon. Deze persoon werd vervolgens in de controlegroep ingedeeld. Zo ontstond een controlegroep (N = 27) en een geïnstrueerde simulanten groep (N = 29).
Demografische gegevens van de deelnemers aan dit onderzoek staan weergegeven in Tabel 3.1. In de linker kolom worden de statistieken van de controlegroep beschreven en in de rechter kolom worden de statistieken van de geïnstrueerde simulanten groep beschreven. De groep deelnemers bestond over het algemeen uit cognitief gezonde mannen en vrouwen van rond de 45 jaar met een redelijk hoge opleiding. Over deze totale onderzoekpopulatie was er tussen de controle- en de simulanten groep geen verschil in geslacht, leeftijd, opleidingsniveau (volgens de indeling naar Verhage), woordenschat (zoals gemeten met de GIT-woordenlijst), noch qua globaal cognitief functioneren zoals gemeten met de CST.
Tabel 3.1
Biografische gegevens Gezonde Controles (N = 27) en Geïnstrueerde Simulanten (N = 29). Gezonde Controles Simulanten p-waarde
Geslacht (%) man 44.4 34.5 p = 0.45*
vrouw 55.6 65.5
Leeftijd (jaren) gemiddeld 46.6 (19.9) 44.1 (14.3) p = 0.78**
minimum 18 22
maximum 75 70
Opleiding (Verhage) 5.0 (1.0, 3-7) 5.31 (0.9, 4-7) p = 0.37** Cognitieve screening 19.0 (1.3, 15-20) 18.7 (1.2, 16-20) p = 0.28** GIT-woordenlijst (C-score) 4.8 (2.0, 1-10) 4.9 (1.4, 3-8) p = 0.73**
Note: GIT-woordenlijst (C=score) = totaalscore GIT-woordenlijst gecorrigeerd voor leeftijd. *Chi-Square
3.2 Discriminerend vermogen van de Assessment of Depression Inventory (ADI)
In Tabel 3.2 staan de beschrijvende data van de onderzoekspopulatie. Bij alle 56 deelnemers zijn de gehele vragenlijsten en één geheugentest afgenomen. De wijze van responderen op de Assessment of Depression Inventory (ADI) lijkt niet duidelijk te worden beïnvloed door de demografische factoren leeftijd, opleidingsniveau (Verhage), woordenschat (zoals gemeten met de GIT-woordenlijst) en qua globaal cognitief functioneren gemeten met de CST. Vrouwelijke simulanten in dit onderzoek lijken wel meer somberheidsklachten aan te geven op de ADI Dep schaal dan mannen (respectievelijk M = 58.4 SD = 1.7, Range = 43-70 en M = 52.5, SD = 1.6, Range = 45-62), U(29) = 52.0, p = .048.
De ADI blijkt goed te onderscheiden tussen enerzijds de controle- en anderzijds de geïnstrueerde simulanten groep op zowel de subschaal die overrapportage tracht te meten, de ADI Mal subschaal (U(56) = 16.0, p < .001) als de subschaal die de ernst van een depressie tracht te meten, de ADI Dep subschaal (U(56) = 0.0, p < .001). De effectgroottes (d > 1.3) waren zeer groot. Daarnaast bleek het percentage overlap in de verdeling tussen de geïnstrueerde simulanten en de gezonde controles op de ADI Dep schaal 0.0%. Dit houdt in dat 100% van de simulanten scores hadden op de depressieschaal die gezonde controles niet hadden. Dit is uniek en zeer hoog. Hoger dan een vergelijkbare vragenlijst, zoals de BDI-II-NL.
Uit verdere analyses van de tweede overige schalen van de ADI, de ADI Rel subschaal en de ADI Rd subschaal, bleek dat de deelnemers in de controle conditie consistenter antwoordden in vergelijking tot de geïnstrueerde simulanten, U(56) = 242.5, p < .05. De geïnstrueerde simulanten en de gezonde controle groep verschilden niet van elkaar met betrekking tot de mate van willekeurig antwoorden, U(56) = 292.5, p = .07. Beide schalen hadden een middelgrote effectgrootte (d ≥ .5)
Primaire uitkomsten op de BDI-II-NL, de SIMS en de effort- en vrijwel alle geheugen indices van de VAT-SVT laat tevens significante hoofdeffecten zien (Tabel 3.2). Geïnstrueerde simulanten scoorden hoger dan gezonde controles op de vragenlijsten en lager dan de controles bij de effort- en enkele geheugen indices van de geheugentaak (d ≥ .8). Behalve de gepaarde associatie van de VAT-SVT die een gemiddeld effect had (d = 0.5) De invloed van bekendheid met het concept depressie
Binnen de geïnstrueerde simulanten groep (N = 29) zijn 11 deelnemers geïncludeerd die bekend zijn met het concept depressie doordat zij een persoon in hun nabije omgeving hebben die een dergelijke situatie heeft meegemaakt. Dit blijkt geen effect te hebben op de antwoorden op de ADI Mal schaal, U(29) = 75.5, p = .30. Er is tevens geen significant verschil op de malingeringschaal tussen de deelnemers die zelf een depressie hebben doorgemaakt (N = 4) en de deelnemers die dit niet hebben gehad (N = 25), U (29) = 34.0, p = .76.
Tabel 3.2
Gemiddelde (SD, Minimum-Maximum) scores op de ADI, SIMS, BDI-II-NL en de VAT-SVT van de Gezonde Controles (N=27) en de Geïnstrueerde Simulanten (N=29).
Gezonde Controles
Simulanten p-waarde Effectgrootte (d) OL%** ADI - ADI Mal 8.2 (0.4, 8-9) 15.3 (5.4, 8-29) p < .001* 1.9 20.6 - ADI Dep 26.6 (5.0, 19-37) 56.3 (7.2, 43-70) p < .001* 4.8 0.0 - ADI Rd 4.5 (0.9, 4-7) 5.4 (1.9, 4-12) p = 0.07* 0.6 61.8 - ADI Rel 2.3 (1.8, 0-6) 3.5 (1.5, 0-6) p < .05* 0.7 57.0 BDI-II-NL 4.7 (5.1, 0-19) 42.5 (11.6, 13-56) p < .001* 4.2 1.6 SIMS 5.6 (3.5, 1-14) 34.6 (11.2, 17-67) p < .001* 3.5 4.2 - SIMS Dep 2.7 (1.8, 0-7) 9.8 (2.1, 6-15) p < .001* 3.6 3.7 - SIMS G 0.8 (1.3, 0-5) 8.7 (2.7, 4-14) p < .001* 3.7 3.4 - SIMS P 0.8 (0.9, 0-3) 5.8 (4.1, 0-14) p < .001* 1.7 24.6 - SIMS N 0.9 (1.1, 0-4) 7.6 (3.4, 2-14) p < .001* 2.6 10.7 - SIMS MR 0.6 (0.8, 0-2) 2.8 (2.0, 0-9) p < .001* 1.4 31.9 VAT-SVT IR 23.9 (0.3, 23-24) 22.3 (2.9, 14-24) p < .05* 0.8 52.6 VAT-SVT DR 23.9 (0.3, 23-24) 20.5 (4.6, 10-24) p < .001* 1.0 44.6 VAT-SVT PA 18.9 (4.5, 6-24) 16.2 (6.2, 0-24) p = .11* 0.5 66.6 VAT-SVT FR 25.0 (7.5, 5-37) 16.2 (9.0, 3-36) p < .001* 1.1 41.1 VAT-SVT MC 11.9 (0.3, 11-12) 9.6 (3.1, 2-12) p < .001* 1.0 44.6
Note: Voor ADI schalen: ADI Dep = ADI depressieschaal; ADI Rd = ADI randomschaal; ADI Mal = ADI malingeringschaal; ADI Rel = ADI betrouwbaarheidsschaal. Voor de SIMS schalen: SIMS Dep = atypische depressie; SIMS G = ongeloofwaardige geheugenproblemen; SIMS P = onwaarschijnlijke uitingen psychose; SIMS N = pseudoneurologische symptomen; SIMS MR = opzichtige tekenen mentale retardatie.
*Mann-Whitney
**Cohen’s d uitgedrukt in percentage overlap (OL%). OL% weerspiegelt de hoeveelheid overlap in de verdeling van testscores tussen de simulanten en de gezonde controles (Zakzanis, 2001).
3.3 Sensitiviteit en specificiteit
Op de ADI Mal subschaal scoorden 83% van de controles minimaal, zij kruisten bij alle acht de items “nooit” aan. Slechts 17% van de controles bevestigden een item met “soms” waardoor deze een score van 9 behaalden. Geen van de controles behaalden een score van 10 of hoger. Dit in tegenstelling tot de geïnstrueerde simulanten. Hier behaalden 96.6% van de deelnemers een score van 10 of hoger. Deze bevindingen werden bevestigd met een ROC analyse van de ADI Mal schaal die bij een afkappunt van ≥10 een sensitiviteit van 96.6% en een specificiteit van 100% toonde (Tabel 3.3).
Tabel 3.3
Optimale Afkappunten voor de ADI Malingeringschaal bij de Gezonde Controles (N = 27) en de Geïnstrueerde Simulanten (N = 29).
Cut-off score Sensitiviteit (%) Specificiteit (%)
≥8 100.0 0.0 ≥9 96.6 81.5 ≥10 96.6 100.0 ≥11 78.9 100.0 ≥12 65.5 100.0 ≥13 65.5 100.0 ≥14 55.2 100.0 ≥15 48.3 100.0 ≥16 41.4 100.0 3.4 Interne consistentie
De onderlinge samenhang tussen de verschillende items uit ADI Dep subschaal impliceert dat deze hetzelfde construct meten. Evenzo voor de items uit de ADI Mal subschaal. Cronbach’s alfa (α) van beide subschalen is zeer hoog (>.90, zie Tabel 3.4). Ook na splitsing in enerzijds geïnstrueerde simulanten en anderzijds gezonde controles blijkt een hoge interne consistentie van de schalen, zie Tabel 3.5 (>.84). Opgemerkt wordt dat de interne consistentie van de ADI Mal subschaal hoog is voor simulanten en gering voor gezonde controles (respectievelijk .88 en -.13). Geen van de controles scoorden op deze items, wat inhoudt dat sprake is van een bodemeffect en weinig variantie. De onderlinge samenhang tussen de vier items van de ADI Rd subschaal is eveneens matig: de vier items lijken nauwelijks met elkaar samen te hangen. Weinig mensen scoorden op deze items die willekeurig antwoorden tracht te meten, wat tevens inhoudt dat er sprake is van een bodemeffect en weinig variantie.
Tabel 3.4
Cronbach’s Alfa (α) voor de Subschalen van de ADI (N = 56).
ADI malingeringschaal ADI depressieschaal ADI randomschaal Cronbach’s α Cronbach’s α Cronbach’s α
0.92 0.97 0.35
Tabel 3.5
Cronbach’s Alfa (α) voor de Subschalen van de ADI na Splitsing in beide Groepen (N = 29 en N = 27). ADI malingeringschaal ADI depressieschaal ADI randomschaal
Cronbach’s α Cronbach’s α Cronbach’s α
Geïnstrueerde Simulanten 0.88 0.84 0.15
Gezonde Controles -0.13 0.85 0.40
3.5 Itemanalyse
De item-test correlaties van de afzonderlijke items van de ADI Dep en de ADI Mal schaal zijn redelijk tot zeer goed. Het verwijderen van items lijkt niet tot een substantieel hogere Cronbach’s α te leiden, zie Tabel 5.1 en Tabel 5.2 in Bijlage 5. De onderlinge samenhang van de vier items op de ADI Rd subschaal lijkt te kunnen toenemen als item 27 “Maandag volgt op zondag”, verwijderd wordt (van α = .35 naar α = .57, zie Tabel 5.3). Echter, de subschaal omvat vier verschillende thema’s. Dit kan de consistentie beïnvloeden. Daarnaast is er sprake van een bodemeffect en weinig variantie en wordt Cronbach’s alfa sterk beïnvloed door de lengte van de schaal (Streiner, 2003). Uit theoretische overwegingen valt de geringe samenhang dus te verwachten.
Itemanalyse malingeringschaal
In Figuur 3.1 zijn de items van de ADI Mal schaal, mits bevestigend beantwoord, van de geïnstrueerde simulanten geïllustreerd. Zichtbaar is dat item 14, “God vertelt me dat ik nergens voor deug en moet sterven”, item 20, “ik vind dat ik en mijn hele familie het verdienen te sterven”, en item 37, “ik ben zo depressief dat ik mijn naam vergeet”, het minst met “soms”, “vaak” of “altijd” werden beantwoord in deze steekproef (respectievelijk, 34.5%, 34.5% en 31.0%). Daarentegen werden item 8 en item 35 het meeste aangekruist door de simulanten. Item 8, “als ik depressief ben, ben ik niet verantwoordelijk voor mijn gedrag”, werd door 82.8% van de geïnstrueerde simulanten bevestigd en item 35, “ik ben bang dat mijn hersenen langzaam tot stilstand komen”, werd door 86.2% van de simulanten bevestigend beantwoord. Dit zijn ook de enige twee items die een enkele keer zijn aangekruist door de gezonde controle groep (respectievelijk M = 1.1, SD = 0.3, Range 1-2 en M = 1.1, SD = 0.3, Range 1-2).
Extra aandacht omtrent item 8 is vereist. Bij twee van de 56 deelnemers (3.57%) leidde item 8 tot een foutieve interpretatie. Deze deelnemers hadden moeite met de dubbele ontkenning en gaven aan “altijd verantwoordelijk te zijn voor hun eigen gedrag” waardoor zij “altijd” omcirkelden in plaats van “nooit”. Twee andere deelnemers (3.57%) vroegen om verduidelijking van dit item nadat de proefleider terug kwam in de
kamer. Na uitleg over dit item volgde de juiste interpretatie en verbetering van het antwoord. Een onjuiste interpretatie kan leiden tot vals positieve uitslagen op dit item. Mogelijk dient het item anders geformuleerd te worden. Een alternatief is: “als ik depressief ben, doe ik rare dingen”. Hierdoor verdwijnt de dubbele ontkenning. Echter, het is de vraag of het verstandig is verbeteringen aan te brengen. Enerzijds kan het lijden tot verbetering van de schaal. Anderzijds wordt de schaal minder vergelijkbaar met het origineel. Overleg met de auteurs van de oorspronkelijke versie zal plaatsvinden om de vertaling mogelijk alsnog aan te passen.
Figuur 3.1
Percentage Geïnstrueerde Simulanten (N = 29) die “Soms, “Vaak” of “Altijd” antwoordden op de ADI Malingering subschaal.
3.6 Convergente validiteit
De ADI Mal subschaal lijkt een maat voor overrapportage van psychische klachten, zoals blijkt uit een positieve correlatie met de totaalscore op de SIMS (.69). De afzonderlijke subschalen van de SIMS correleren zwak tot matig met de ADI Mal subschaal. Opvallend hierbij is dat de SIMS Dep schaal zwak correleert met de ADI Mal schaal. Bij verdere bestudering van de data valt op dat de SIMS Dep schaal bij de simulanten ook in mindere mate correleert met de BDI-II-NL (.48) en de ADI Dep schaal (.39) in vergelijking tot de ADI Mal schaal (respectievelijk .61 en .68). Verder is het opvallend dat een hoge score op de SIMS Dep schaal of de totaalscore van de SIMS in de controlegroep gerelateerd is aan een hoge score op de BDI-II-NL (r > .50). Dit in tegenstelling tot de ADI Dep schaal (.09). Tot slot blijkt de ADI Dep subschaal een maat voor depressie, zoals valt af te leiden uit een sterke correlatie met de BDI-II-NL (.81). Zie ook Tabel 3.6. Deze gegevens ondersteunen de convergente validiteit van de ADI.
Tabel 3.6
Links onder de Diagonaal de Correlaties (Spearman’s Rho) van de Geïnstrueerde Simulanten (N = 29). Rechts boven de Diagonaal de Correlaties (Spearman’s Rho) van de Gezonde Controles (N = 26) op de subschalen van de ADI, SIMS en BDI-II-NL.
ADI Mal ADI Dep ADI Rd SIMS SIMS Dep SIMS G SIMS P SIMS N SIMS MR BDI-II-NL
ADI Mal - .22 -.15 .17 -.04 -.16 .29 .07 .08 .09 ADI Dep .68** - .12 .52** .50** .28 .35* .58** -.22 .81** ADI Rd .46** .15 - .01 -.01 .08 -.06 .01 .37* .14 SIMS .69** .37* .59** - .79** .68** .50** .66** .09 .60** - SIMS Dep .38* .39* .20 .45* - .42* .28 .37* -.24 .56** - SIMS G .54** .42* .39* .70** .16 - .27 .48** .24 .31 - SIMS P .56** .33* .56** .86** .13 .61** - .31 .12 .47* - SIMS N .55** .19 .46* .88** .39* .48** .66** - -.12 .50** - SIMS MR .53** .30 .50** .67** .42* .36* .48** .65** - -.30 BDI-II-NL .61** .77** .23 .27 .48** .27 .18 .10 .14 -
Note: Voor ADI schalen: ADI Dep = ADI depressieschaal; ADI Rd = ADI randomschaal; ADI Mal = ADI malingeringschaal; ADI Rel = ADI betrouwbaarheidsschaal. Voor de SIMS schalen: SIMS Dep = atypische depressie; SIMS G = ongeloofwaardige geheugenproblemen; SIMS P = onwaarschijnlijke uitingen psychose; SIMS N = pseudoneurologische symptomen; SIMS MR = opzichtige tekenen mentale retardatie.
**Correlatie is significant op p < .01 *Correlatie is significant op p < .05
3.7 Exploratief: vergelijking VAT-SVT onderpresteren en ADI overrapporteren
Stel, het afkappunt voor onderpresteren op de VAT-SVT wordt vastgesteld op ≤22 voor de IR en ≤21 op de DR (thesis Smolders, 2014) en het afkappunt voor overrapportage op de ADI Mal subschaal wordt vastgesteld op ≥10. Dan blijkt dat 34.4% van de deelnemers die overrapporteren, ook onderpresteren op de geheugentaken (Tabel 3.7). Uit de tabel is tevens op te maken dat de enige persoon die niet gedetecteerd werd op de ADI ook niet gedetecteerd werd op de symptoomvaliditeitstaak van de VAT.
Tabel 3.7
Aantal Simulanten (N = 29) dat Gedetecteerd wordt op de ADI Malingeringschaal en de Onmiddellijke- en Uitgestelde Herkenning van de VAT-SVT bij een Afkappunt van Respectievelijk ≥10, ≤22 en ≤21.
Onmiddellijke herkenning VAT-SVT Uitgestelde herkenning VAT-SVT
≤ 22 > 22 ≤ 21 > 21
ADI Mal
< 10 0 1 0 1
Hoofdstuk 4. Discussie
4.1 Bevindingen
Dit onderzoek richtte zich op de ontwikkeling en validatie van de Nederlandse vertaling van de Assessment of Depression Inventory (ADI). Met behulp van de richtlijnen van Beaton, Bombardier, Guillemis en Ferraz (2000) werd de ADI vertaald naar een vragenlijst die in psychometrisch opzicht gelijkwaardig is aan het origineel. De resultaten van de eerste Nederlandse studie naar de ADI toonden, met een afkappunt van ≥10, een nagenoeg perfect onderscheid tussen deelnemers die de opdracht kregen een depressie te simuleren en gezonde deelnemers die eerlijk antwoordden. Daarnaast bleek de interne consistentie van de items in de Mal en Dep subschalen van de ADI zeer hoog en was er een sterke samenhang met vragenlijsten die hetzelfde pretenderen te meten, waaronder de BDI-II-NL en de SIMS, hetgeen de validiteit van de ADI onderstreept. Exploratief werd in dit onderzoek een eerste analyse uitgevoerd tussen ADI overrapporteren en VAT-SVT onderpresteren. Er lijkt een samenhang te bestaan tussen beide vormen van malingering: 34.4% van de deelnemers die overrapporteren blijken tevens onder te presteren op geheugentaken.
De betrouwbaarheid en de validiteit van de originele ADI werden zowel op item- als op testniveau gerepliceerd. Clegg, Fremouw en Mogge (2009) vonden, onder vrijwel dezelfde instructies, tevens een afkappunt van ≥10 met een sensitiviteit van 76% en een specificiteit van 80%. Dit masterthese onderzoek vond een sensitiviteit van 98% en een specificiteit van 100%. Een verklaring voor dit verschil is het feit dat er bij onze studie gebruik is gemaakt van een simulatiedesign in tegenstelling tot een known-groups design. Bij een dergelijk design wordt gebruik gemaakt van een groep individuen die ervan verdacht worden dat zij een bepaalde pathologie voorwenden en een groep individuen die daadwerkelijk lijden onder een stoornis. Studies die de instructie gaven om uit de problemen te komen met het gerechtshof kwamen tot een hoger afkappunt: ≥14, of zelfs ≥15 (Messer, 2008; Mogge & LePage, 2004; Mogge, 2006). Wellicht speelt hierbij het begrip ontoerekeningsvatbaarheid een rol waardoor deelnemers in extremere mate gaan antwoorden. Het zou interessant zijn hier een vervolgonderzoek aan te wijden. Tot slot zijn er met het origineel diverse studies naar de convergente- en divergente validiteit gedaan. Zo vond Mogge (2006) een hoge correlatie met de BDI-II en enkele subschalen van de PAI. Dit masterthese onderzoek heeft de hoge correlatie met de BDI-II gerepliceerd en daarnaast vernieuwend onderzoek gedaan naar de correlatie met de SIMS en de relatie met onderpresteren op een geheugentaak.
4.2 Sterke en zwakke punten
Wat de ADI een relatief uniek klinisch instrument maakt is hetgeen wat het in korte tijd meet. Niet veel andere tests besteden specifiek aandacht aan het overrapporteren van depressieve symptomen (Mal schaal) en bevatten daarnaast schalen die de ernst van een depressie meten (Dep schaal) en doen uitspraken over willekeurig en inconsistent antwoorden (Rd en Rel schaal). Eerder hebben andere meetinstrumenten, zoals de MMPI-2 en de SIMS, pogingen gedaan schalen toe te voegen specifiek om de overrapportage van depressieve symptomen te ontdekken. Deze schalen bleken een minimale verbetering ten opzichte van de al bestaande validiteitsschalen waarbij gekeken werd naar de algehele responsstijl. Daarnaast is een groot nadeel van de genoemde
instrumenten dat ze vrij lang zijn en niet efficiënt zijn bij herhaalde metingen. Vanuit het oogpunt van de validatie was het dan ook lastig waarmee de ADI Mal schaal het beste vergeleken kon worden. De veel gebruikte maat voor overrapportage, de SIMS, bleek positief (.69) samen te hangen met de ADI Mal schaal. Resultaten laten zien dat beide tests een vergelijkbaar onderscheid maken tussen de groepen, waarbij de ADI door de korte afnameduur en de extra schalen werd geïnterpreteerd als een serieuzere depressievragenlijst.
Een ander sterk punt van dit masterthese onderzoek is de zogenaamde simulatiemethode. In de praktijk is herhaaldelijk gebleken dat deze methode behoorlijk valide resultaten oplevert (o.a. Jelicic, Hessels & Merckelbach, 2006; Schmand, Sterke & Lindeboom, 1999; Tombaugh, 1996). Daarnaast is er gestratificeerd naar leeftijd, geslacht en opleiding. Er zijn deelnemers geïncludeerd uit verschillende leeftijdsgroepen en uit zowel lagere als hogere sociaal economische klassen. Dit leidt tot een heterogene onderzoekspopulatie wat van toegevoegde waarde kan zijn voor de generaliseerbaarheid. Tot slot zijn de deelnemers getest door getrainde masterthesestudenten en kregen simulanten een externe motivator, namelijk een financiële beloning
Een punt van kritiek met betrekking tot de Nederlandstalige ADI betreft de betrouwbaarheid van item 8. De vraag “als ik depressief ben, ben ik niet verantwoordelijk voor mijn gedrag” blijkt voor een enkeling (3.57%) tot verwarring te leiden en wordt dan verkeerd geïnterpreteerd. Dit leidt tot vals positieve uitslagen en dient meegenomen te worden in vervolgonderzoek. Een aanpassing van dit item, om meetfouten te voorkomen, is aan te raden in de toekomst. Hierbij kan gedacht worden aan: “als ik depressief ben, doe ik rare dingen”. Enerzijds kan het verwijderen van de dubbele ontkenning lijden tot verbetering van de schaal. Anderzijds wordt de schaal minder vergelijkbaar met het origineel. Een andere mogelijkheid is het kiezen van een alternatief item uit de acht items die zijn bedoeld als afleiding. Deze acht items waren in eerste instantie ontwikkeld als Mal items. De oorspronkelijke makers van de ADI hebben uit een pool van 16 items de acht items geselecteerd die het meest accuraat onderscheid maakten tussen simulanten en patiënten met een vastgestelde depressieve stoornis. De acht items die niet gekozen werden, werden in de vragenlijst behouden als afleiders. Extra analyses laten zien dat deze afleiders een vergelijkbaar onderscheid maken tussen gezonde controles en geïnstrueerde simulanten. Echter, belangrijk onderzoek met patiënten met een vastgestelde depressieve stoornis ontbreekt. Wellicht zorgde deze groep bij het origineel voor de definitieve selectie van de acht Mal items. Vervolgonderzoek zou moeten uitwijzen of een alternatief item eveneens valide blijkt te zijn.
Een tekortkoming met betrekking tot de methode betreft de relatief kleine steekproef. Het benodigde aantal deelnemers voor een sensitiviteit en een specificiteit van 80% werd met de methode van Carley, Dosman, Jones en Harrison (2005) vastgesteld op 490, zie paragraaf 2.1. Dit masterthese onderzoek heeft, conform voorgaande validatiestudies, 56 deelnemers geïncludeerd. Nader onderzoek met een groter aantal deelnemers is nodig. Daarnaast ontbreekt er een groep patiënten met een vastgestelde depressieve stoornis. Hierover in de volgende paragraaf meer.
4.3 Suggesties voor vervolgonderzoek
Het zou interessant zijn om de normgroepen van dit onderzoek uit te breiden. Hierdoor kan een betere afspiegeling van de onderzoekspopulatie worden gevormd en neemt de externe validiteit toe. Eén van de mogelijkheden is het toepassen van een known-groups design (Rogers, 1997). Dit type design maakt onderscheid tussen individuen die ervan worden verdacht dat zij een bepaalde pathologie voorwenden en individuen die daadwerkelijk lijden onder een stoornis. Het grote voordeel van dit type design is de toepasselijkheid in de
werkelijkheid. Limitaties hebben natuurlijk betrekking op het niet correct classificeren van deze known groups. Het verdient aanbeveling de ADI nader te onderzoeken in een dergelijk design. Onderzoek bij psychiatrische patiënten en patiënten die invaliditeit claimen is al gaande. Mw. L.S.C. Stel (masterthesestudente) zal onderzoek gaan doen naar patiënten die invaliditeit claimen en mw. drs. M.W. van Leeuwen (GZ-psycholoog) is bezig met een onderzoek naar de ADI bij psychiatrische patiënten. Door de groep met een vastgestelde depressieve stoornis te benaderen kan tevens onderzoek gedaan worden naar de specifieke afkappunten van de ADI Dep schaal. Door de ADI als depressievragenlijst te valideren en normen te verzamelen zal de waarde van de vragenlijst in de praktijk toenemen. In Amerika wordt een afkappunt van 39 aangehouden voor een matige depressie en 49 voor een ernstige depressie met een hoge sensitiviteit (95.5%) en specificiteit (76.6%). Verder zou het van toegevoegde waarde kunnen zijn de ADI nader te onderzoeken bij verschillende groepen psychiatrische patiënten. Denk hierbij niet alleen aan een depressie, maar ook aan PTSS, angststoornissen en bepaalde persoonlijkheidsstoornissen.
Een andere manier om de normgroepen uit te breiden is door onderscheid te maken tussen een naïeve en een expert groep. Toch nog toe is er een gering verschil gevonden tussen deze subgroepen, zowel in de validatie van de originele Engelstalige ADI (o.a. Mogge & LePage, 2006) als bij de validatie van andere symptoomvaliditeitstaken (o.a. Jelicic, Hessels & Merckelbach, 2006). Vanwege bovenstaande- en enkele technische overwegingen is de expert groep niet meegenomen in de analyses. Wel werd vooraf met behulp van een screeningsvragenlijst vastgesteld of deelnemers bekend waren met het fenomeen depressie doordat zij hiermee in aanraking kwamen op hun werk, in hun nabije omgeving of doordat zijzelf een depressie hadden doorgemaakt in het verleden. Al deze factoren leken niet van invloed op het resultaat. Echter, de omvang van deze onderzoeksgroepen was te beperkt om de data te stratificeren naar dergelijke externe variabelen. Het zou interessant zijn de hier genoemde groepen uit te breiden in vervolgonderzoek.
4.4 Algemene conclusie en aanbevelingen voor de klinische praktijk
Het overrapporteren van depressieve symptomen, al dan niet vanuit een psychische noodzaak (‘cry for help’) of vanuit externe belangen, is een toenemend probleem in de praktijk (Dandachi-FitzGerald & Ponds, 2013). Prevalentieschattingen lopen uiteen van 20% tot 60% (Hout, Schmand, Weking & Deelman, 2006; Mittenberg, Patton, Canyock & Condit, 2002; Schmand, Lindeboom, Schagen, Heijt, Koene & Hamburger, 1998). Dit zijn hoge percentages. Wegens allerlei financiële en juridische overwegingen is het belangrijk een onderscheid te maken tussen individuen die overrapporteren en eerlijke respondenten. Eén van de meest objectieve mogelijkheden dit te verwezenlijken is het gebruik van een symptoomvaliditeitstest. Het is van belang het testarsenaal op het gebied van de symptoomvaliditeit te specificeren, te vernieuwen en uit te breiden. Deelnemers kunnen zich namelijk voorbereiden op het onderzoek, waardoor de bruikbaarheid van de test kan afnemen (vooral van langer bestaande tests).
Dit masterthese onderzoek presenteert de eerste gegevens over de ontwikkeling en validatie van de Nederlandstalige Assessment of Depression Inventory (ADI), een depressievragenlijst die tevens een uitspraak doet over de symptoomvaliditeit. Het uniek onderscheidend vermogen van de ADI werd in dit onderzoek duidelijk geïllustreerd. Gezonde controles rapporteren niet tot zelden een atypisch symptoom. Daarentegen blijken simulanten wel veel bizarre symptomen te rapporteren. De grote voordelen van dit instrument zijn de korte afnameduur en de mogelijkheid om een specifieke uitspraak te doen over het overrapporteren van
depressieve klachten. Daarnaast is het aannemelijk geworden dat de ADI potentieel bruikbaar is als screeningsinstrument voor het meten van de ernst van een mogelijke depressie. De ADI blijkt een goede kandidaat om aan het testarsenaal van de psycholoog te worden toegevoegd. Een belangrijke stap in de validatie van deze test is genomen. Vele andere stappen zullen nog volgen.
Literatuurlijst
American Psychiatric Association. (2000). Diagnostic and statistical manual of mental disorders (4th ed., text revision). Washington DC: Author.
Beaton, D.E., Bombardier, C., Guillemin, F., Ferraz, M.B. Guidelines for the process of cross-cultural adaptation of self-report measures. Spine (Phila Pa, 1976) 2000; 25:3186-91.
Beck A.T., Steer R.A. & Brown G.K. (1996). Manual for the Beck Depression Inventory-II. San Antonio, TX: Psychological Corporation.
Berry, D.T.R. & Nelson, N.W. (2010). DSM-5 and malingering: A modest proposal. Psychologizal Injury and Law, 3, 295-303.
Binder, L.M. & Rohling, M.L. (1996). Money matters: A meta-analytic review of the effects of financial incentives on recovery after closed-head injury. American Journal of Psychiatry, 153, 7-10. Boone, K.B. (2007). A reconsideration of the Slick et al. (1999) criteria for malingered Neurocognitive
dysfunction. In: In: K.B. Boone (red.). Assessment of feigned cognitive impairment: A neuropsychological perspective (pp. 29-49). New York: The Guilford Press.
Carley, S., Dosman, S., Jones, S.R. & Harrizon, M. (2005). Simple nomograms to calculate sample size in diagnostic studies. Emerg Med J, 22, 180-181.
Clegg, C., Fremouw, W. & Mogge, N. (2009). Utility of the Structured Inventory of Malingered Symptology (SIMS) and the Assessment of Depression Inventory (ADI) in screening for malingering among outpatients seeking to claim disability. The Journal of Forensic Psychiatry & Psychology, 20, 2. Dandachi-FitzGerald, B. & Ponds, R.W.M.H. (2013). Onderpresteren en overrapporteren bij neuropsychologisch
onderzoek: de praktijk. Tijdschrift voor Neuropsychologie, 1, 2-16.
Dandachi-FitzGerald, B. Ponds, R.W.H.M., Peters, M.J.V. & Merckelbach, H. (2011). Cognitive underperformance and symptom overreporting in a mixed psychiatric sample. The Clinical Neuropsychologist, 25, 812-828.
Dautzenber, P.L.J., Schmand, B., Vriens, M.T.S., Deelman, B.G., & Hooijer, C. (1991). De validiteit van de cognitieve screening-test en de ´mini-mental state examination´ bij een groep oudere
ziekenhuispatiënten. Nederlands Tijdschrift voor Geneeskunde, 135, 850-855.
Does, A.J.W. (2002). BDI-II-NL. Handleiding. De Nederlandse versie van de Beck Depression Inventory-2nd edition. Lisse: Harcourt Test Publishers.
Elshout, A. (2014, 9 januari). Helden van 9/11 blijken Fraudeurs. De Volkskrant.
Engels-Freeke, M. (2009). Syllabus Methoden van Onderzoek 2A Testtheorie. Amsterdam: Universiteit van Amsterdam.
Folstein, M.F., Folstein, S.F., & McHugh, P.R. (1975). “Mini-Mental State”: A practical method for grading the cognitive state of patients for the clinician. Journal of Psychiatric Research, 12, 189-198.
Fremouw, W.J., dePerczel, M. & Ellis, T. (1990). Suicide risk: Assessment and response guidelines. Elmsford, New York: Pergamon Press.
