Een Confirmatieve Factor Analyse van de NIDQ
Sarah van Gerwen
Studentnummer: 10342052
Begeleider: Anna Kunze
Universiteit van Amsterdam
Bachelorproject
2 Abstract
In dit onderzoek werd een twee-factorenmodel opgesteld en getest voor een nieuwe vragenlijst over nachtmerries, de NIDQ. De NIDQ meet het verschil tussen lijden overdag en nachtelijk lijden door nachtmerries. Er deden 162 deelnemers mee aan het onderzoek. Alle deelnemers vulden online 8 vragenlijsten in waaronder de NIDQ. Uit de resultaten bleek dat het opgestelde model twijfelachtig was. Hierna werd er een tweede model opgesteld met behulp van AMOS. Dit model bleek wel geschikt. De twee factoren, lijden overdag en nachtelijk lijden, werden teruggevonden.
Concluderend kan gezegd worden dat er twee factoren aan de grondslag liggen van de NIDQ en dat dit instrument dus onderscheid kan maken tussen lijden overdag en nachtelijk lijden.
Inleiding
Nachtmerries worden volgens de DSM-V gedefinieerd als uitgebreide en extreem dysforische dromen die bedreigend zijn voor iemands overleving, veiligheid of fysieke gesteldheid (Diagnostic and Statistical Manual of Mental Disorders, 5th ed., American Psychiatric Association, 2013). De prevalentie van nachtmerries wordt door verschillende onderzoeken voor de algemene populatie rond de 2 – 8 % geschat (Swart, Van Schagen, Lancee & Van den Bout, 2013; Zadra & Donderi, 2000; Janson et al., 1995). Dit percentage ligt waarschijnlijk veel hoger in een psychopathologische populatie. Swart et al. (2013) vonden bijvoorbeeld een prevalentie van 29,9% in een psychopathologische sample.
Nachtmerries gaan vaak samen met angst, ontmoediging, nervositeit, rusteloosheid, een verminderd welbevinden, fysieke klachten (Köthe & Pietrowsky, 2001), symptomen van depressie, suïcidaliteit (Miró & Martinez, 2005; Cukrowicz et al., 2006), dagelijks lijden (Lancee & Schrijnemaekers, 2013), psychiatrische geschiedenis en medische comorbiditeit
3
(Krakow, 2006). Ook zijn nachtmerries in verband gebracht met een mindere kwaliteit van slaap, insomnia, slechtere slaap en een slechtere algehele gezondheid (Lancee &
Schrijnemaekers, 2013; Krakow, 2006) welke weer geassocieerd worden met een slechtere mentale en somatische gesteldheid, pijn (Asplund, Marnetoft, Selander & Akerstrom, 2004) en symptomen van depressie (Cukrowicz et al., 2006).
Uit bovenstaande blijkt dus dat nachtmerries duidelijk lijden veroorzaken.
Verschillende zelf-reportage vragenlijsten zijn ontwikkeld om dit lijden in kaart te brengen zoals de Nightmare Effect Survey (Belicki, 1992; NES) en de Nightmare Distress
Questionnaire (Krakow et al., 2000; NDQ). De NES is een vragenlijst die gaat over de psychosociale benadeling die iemand ondervindt door de nachtmerries (Krakow et al., 2000). De NDQ is een vragenlijst die gaat over het emotionele lijden dat iemand ondervindt door de nachtmerries en de opvattingen over dit lijden (Belicki, 1992).
Nadelig aan de NES is dat sommige items niet door iedereen te beantwoorden zijn. Voorbeelden hiervan zijn items die gaan over het effect van nachtmerries op het werk, school/opleiding en het seksleven. Niet iedereen heeft bijvoorbeeld werk waardoor dit item niet ingevuld kan worden. Nadelig aan de NDQ is de rommeligheid van de items. De reactie van een deelnemer wordt namelijk sterk beïnvloed door hoe de vraag wordt gesteld (Smith, 1987, Schwarz, 1999). Een item moet daarom zo makkelijk mogelijk te begrijpen zijn. Dit wordt bereikt door gebruik te maken van simpele grammatica en herkenbare termen met zo weinig mogelijk ambiguïteit (Schwarz, 2007). Een item uit de NDQ zoals ‘Merkt u wel eens dat u iemand die in uw nachtmerrie voorkwam uit de weg gaat, of onaardig vindt, of vreest?’ heeft drie verschillende vragen in zich en kost een paar keer om te lezen.
Nadelig aan zowel de NES als de NDQ is dat beide vragenlijsten afgenomen moeten worden om een beeld van zowel het lijden als de gevolgen van dit lijden door nachtmerries te krijgen. Wanneer enkel de NDQ wordt afgenomen wordt het effect van lijden door
4
nachtmerries onderbelicht. Wanneer enkel de NES wordt afgenomen ligt de focus alleen op de gevolgen en worden het emotionele lijden en de opvattingen hierover onderbelicht. Daarnaast is het grootste nadeel van beide vragenlijsten dat de vragenlijsten het verschil tussen lijden overdag en nachtelijk lijden door nachtmerries verzaken te meten. Dit verschil werd namelijk door de hoofdonderzoekers, Anna Kunze en Jaap Lancee (Universiteit van Amsterdam), in interviews met mensen die leden aan een nachtmerriestoornis teruggevonden. Sommige mensen rapporteerden hier dat zij vooral last hadden van lijden overdag door bijvoorbeeld een gebrek aan concentratie. Andere mensen rapporteerden dat zij vooral last hadden van nachtelijk lijden door bijvoorbeeld de angst om in slaap te vallen.
Om deze nadelen op te lossen hebben de hoofdonderzoekers een nieuwe vragenlijst opgesteld. Deze vragenlijst is gebaseerd op de genoemde interviews gecombineerd met geherformuleerde delen van zowel de NES als de NDQ. De nieuwe vragenlijst, de Nightmare Impact and Distress Questionnaire (NIDQ), heeft als focus het lijden dat nachtmerries
veroorzaken en de impact hiervan op het dagelijks leven. De vragenlijst bestaat uit twaalf items en twee subschalen, lijden overdag en nachtelijk lijden. Omdat deze vragenlijst nieuw is zijn de psychometrische eigenschappen van de vragenlijst nog niet bekend zijn. Dit onderzoek zal daarom de al gehypothetiseerde factorstructuur van de NIDQ testen.
De nieuwe vragenlijst is geconstrueerd met drie verschillende doelen in gedachten. Op deze doelen is de hypothese van het huidige onderzoek gebaseerd. Het eerste doel bestond uit de taak om de NES en de NDQ samen te voegen zodat er geen deel van het lijden door nachtmerries onderbelicht bleef. Een indicatie dat dit ook daadwerkelijk gedaan kon worden waren de hoge correlaties die zijn gevonden tussen beide vragenlijsten, van r = ,70 en r = ,54 (Belicki, Chambers & Oglivie, 1997). Dit kan misschien toegeschreven worden aan een onderliggende factor van algemeen psychologisch lijden. Dit bleek namelijk de belangrijkste voorspeller te zijn voor zowel het lijden door nachtmerries als de psychosociale gevolgen
5
hiervan (Klůzová, Kráčmarová & Plháková, 2015). Aannemelijk is dus dat de psychosociale gevolgen van het lijden door nachtmerries geïncorporeerd konden worden in een vragenlijst die gaat over dat lijden en de impact ervan.
De vragenlijst moest ten tweede gemakkelijk en eenduidig te begrijpen zijn. Zoals eerder gesteld, wordt de reactie van een deelnemer beïnvloed door hoe de vraag wordt gesteld (Smith, 1987, Schwarz, 1999). Een item uit de NDQ zoals ‘Merkt u wel eens dat u iemand die in uw nachtmerrie voorkwam uit de weg gaat, of onaardig vindt, of vreest?’ is daarom niet opgenomen in de nieuwe vragenlijst. Dit item is vervangen door twee algemenere items die te maken hebben met de impact van nachtmerries: ‘Door mijn nachtmerries kan ik niet goed functioneren overdag’ en ‘Mijn nachtmerries hebben een negatieve invloed op mijn
gemoedstoestand’. Deze items hebben beide een simpelere grammaticale vorm waardoor ze aantrekkelijker en gemakkelijker zijn om te lezen. Deze items zijn door iedereen te
beantwoorden. In de NIDQ worden items van de NES die bijvoorbeeld betrekking hebben op werk en opleiding hier samengevat in een algemeen item. Mensen die niet werken of een opleiding volgen kunnen daardoor ook deze items beantwoorden.
De vragenlijst moest ten derde de interne structuren van lijden overdag en nachtelijk lijden meer naar voren brengen. In de interviews met mensen met een nachtmerriestoornis kwam deze tweedeling naar voren. Er is nog geen extensieve theoretische ondergrond voor deze tweedeling. Een eerste verklaring hiervoor zou het aantal nachtelijke ontwakingen kunnen zijn. Uit onderzoek bleek namelijk dat mensen die ’s nachts wakker werden twee keer zoveel moeheid overdag rapporteerden dan mensen zonder nachtelijke ontwaking (Ohayon, 2008). En vermoeidheid is weer gerelateerd aan een verminderd cognitief functioneren (Kronholm et al., 2009). Iemand die vaak wakker wordt ’s nachts zou dus meer last overdag kunnen hebben dan iemand die minder vaak wakker wordt en voor wie dan het nachtelijk lijden er meer uitspringt.
6
Om ervoor te zorgen dat de NIDQ ook echt dit verschil tussen lijden overdag en nachtelijk lijden meet, wordt dit verschil expliciet aangegeven op de vragenlijst. De items worden dus ondergebracht onder twee thema’s, dag en nacht. Deze splitsing zou de perceptie van de deelnemer moeten veranderen aangezien er is gebleken dat deelnemers ervan uitgaan dat items die elkaar opvolgen betekenisvol met elkaar samenhangen tenzij anders aangegeven (Strack, Schwarz & Wänke, 1991). De NDQ en de NES geven niet aan dat de verschillende items behoren tot verschillende thema’s waardoor het aannemelijk is dat de deelnemers deze vragenlijsten invullen alsof ze alleen in het geheel betekenisvol met elkaar samenhangen. De NIDQ geeft juist wel aan dat er een duidelijk verschil is tussen lijden overdag en nachtelijk lijden. Hierdoor zal de deelnemer waarschijnlijk de verschillende items onder een
overkoepelend thema interpreteren als sterker samenhangend met items die ook onder dat thema vallen dan met items die onder het andere thema vallen.
Samenvattend werden dus de beste items van de NES en de NDQ zodat de items helder waren. Dit, gecombineerd met de duidelijke focus op het verschil tussen lijden overdag en nachtelijk lijden, was de reden voor het opstellen van de hypothese van de
hoofdonderzoekers. De hypothese van de hoofdonderzoekers was dat de tweedeling, lijden overdag en nachtelijk lijden, teruggevonden werd in de NIDQ. Het huidige onderzoek zal bekijken of deze hypothese juist is. Om dit te toetsen moest er een model worden opgesteld die deze hypothese reflecteerde, zie Figuur 1. De hypothese van dit onderzoek was dat dit factormodel een geschikt model zou zijn voor de verkregen data.
Figuur 1
Factor Model NIDQ
δ1 Functioneren overdag δ2 Lichamelijke gezondheid
7
δ3 Slaap Factor 1: Lijden overdag
δ4 Concentratie
δ5 Gemoedstoestand
δ6 Vermoeidheid
δ7 Moeite om in slaap te vallen δ8 Verstoring slaap
δ9 Bang om in slaap te vallen
δ10 Overtuiging: ‘Het was maar een droom’ Factor 2: Nachtelijk lijden
δ11 Emotionaliteit δ12 Ontwaking
Noot. δi worden gezien als unieke factoren die alleen één variabele beïnvloeden.
In het onderzoek werden acht vragenlijsten afgenomen bij een groep deelnemers waaronder de NIDQ. Op basis van de heldere items en de focus op het verschil tussen overdag lijden en nachtelijk lijden werd verwacht dat alle indicatoren voor de geschiktheid van het model, het model naar alle waarschijnlijkheid passend vonden voor de data.
Methode
Deelnemers
Er deden 225 deelnemers mee aan het onderzoek. Deelnemers uit de gehele populatie werden uitgezocht en benaderd op basis van individuele eigenschappen zoals leeftijd en sekse
8
zodat ze zo representatief mogelijk waren voor de gehele volwassen Nederlandse populatie. Dit was belangrijk aangezien de deelnemers in dit onderzoek werden gebruikt als
controlegroep voor eenzelfde onderzoek in een populatie die leed aan nachtmerriestoornis. Deelnemers vulden alle vragenlijsten in. Ze werden niet gecompenseerd voor hun deelname.
Materiaal
De Nederlandse vertalingen van de vragenlijsten werden gebruikt.
Insomnia Severity Index NL (ISI-NL)
De ISI is een vragenlijst ontwikkeld door Morin (1993) om de screening voor insomnia makkelijker te maken. De vragenlijst bestaat uit zeven items zoals: ‘Hoe
tevreden/ontevreden bent u over uw huidige slaappatroon?’ Er wordt gescoord op een 5-punts Likert schaal lopend van 0-Zeer tevreden tot 4-Zeer ontevreden. Eindscores worden
cumulatief berekend. De totaalscore rangeert van 0 tot 28. Hoe hoger iemand scoort hoe erger iemand last heeft van slaapproblemen. De test had een goede interne consistentie, α = ,92. Elk item differentieerde adequaat tussen verschillende deelnemers, r = ,65 - ,84. Er werd een matige overeenkomst gevonden tussen de ISI en een diagnostisch interview, κ = ,62. (Gagnon, Bélanger, Ivers & Morin, 2013).
Hospital Anxiety and Depression Scale NL (HADS-NL)
De HADS, ontwikkeld door Zigmund & Snaith (1983), is een vragenlijst die een indicatie geeft van mogelijke angstige en depressieve staten in de deelnemer. De vragenlijst bestaat uit 14 items zoals: ‘Ik voel me gespannen’. De schaal wordt gescoord met een vierpuntschaal rangerend van 0-Meestal tot 3-Helemaal niet. Na omzettingen van bepaalde items wordt de eindscore cumulatief berekend. De totaalscore rangeert van 0 tot 42. Een hogere score reflecteert een meer angstige en depressieve staat in de deelnemer. Er werd een goede interne consistentie gevonden, α = ,88. De test-hertest betrouwbaarheid bleek ook goed,
9 r = ,91. Er werd bewijs gevonden voor een tweedelige factorstructuur, angst en depressie (Spinhoven et al., 1997).
Center of Epidemiologic Studies Depression Scale NL (CES-D-NL)
De CES-D is een vragenlijst ontwikkeld door Locke & Putnam (Radloff, 1977). De CES-D meet de huidige staat van depressieve symptomen door de deelnemer te vragen hoe vaak bepaald gedrag en gevoel de afgelopen week voorkwam. Hierbij ligt de focus op de affectieve component. De vragenlijst bestaat uit 20 items zoals: ‘Tijdens de afgelopen week voelde ik me gedeprimeerd’. Er wordt een vierpuntschaal gebruikt rangerend van 0-Zelden of nooit (minder dan een dag) tot 3-Meestal of altijd (5-7 dagen). Na omzetting wordt de
eindscore cumulatief berekend. De totaalscore rangeert van 0 tot 60. Een hoge score duidt op een grotere aanwezigheid van depressieve symptomen. De interne consistentie bleek goed te zijn, α = ,85. De test-hertest betrouwbaarheid bleek matig te zijn, r = ,54. Er werd een
vierdelige factorstructuur gevonden bestaande uit depressief affect, positief affect, somatische activiteit en een interpersoonlijke factor (Radloff, 1977).
Nightmare Frequency Questionnaire NL (NFQ-NL)
De NFQ, ontwikkeld door Krakow et al. (2000), is een vragenlijst die de frequentie van nachtmerries meet. Een afgeleide versie van de NFQ werd gebruikt in het onderzoek. De NFQ bestaat uit items zoals ‘Hoe vaak heeft u last van nachtmerries’. Waarop gekozen kan worden uit vier antwoordmogelijkheden rangerend van ‘Minimaal 1 keer per week’ tot ‘Minder dan 1 keer per jaar’. Verder worden er open items aangeboden waarbij een schatting moet worden gemaakt van het aantal nachtmerries per week en van het aantal nachten waarin nachtmerries voorkwamen per week. De correlatie tussen deze twee open delen in de
10
,72 - ,80. Verder bleek de test-hertest betrouwbaarheid goed te zijn, zowel voor r als voor κ ≥ .85 (Krakow et al., 2000).
Nightmare Beliefs Questionnaire (NBQ)
De NBQ is een nieuwe vragenlijst ontwikkeld om de overtuigingen, die irrationeel en/of negatief kunnen zijn, die de persoon heeft over nachtmerries in beeld te brengen. De vragenlijst bestaat uit 15 items zoals: ‘Ik kan mijn nachtmerries niet beïnvloeden’. Er wordt gescoord op een vierpuntschaal rangerend van 0-Niet van toepassing tot 3-Helemaal van toepassing. Eindscores worden cumulatief berekend. De totaalscore rangeert van 0 tot 45. Hoe hoger iemand scoort hoe negatiever de overtuigingen zijn van iemand omtrent nachtmerries. De NBQ is een nieuwe vragenlijst en er zijn daarom nog geen relevante psychometrische eigenschappen te vermelden.
Nightmare Distress Questionnaire NL (NDQ-NL)
De NDQ was ontwikkeld door Belicki in 1992 om het emotionele lijden door
nachtmerries beter in beeld te brengen en het verschil met nachtmerriefrequentie te illustreren. De vragenlijst telt 12 items zoals: ‘Hebben de nachtmerries invloed op de kwaliteit van uw slapen?’. Er wordt een 5-punts Likert schaal gebruikt rangerend van 0-Helemaal niet tot 4-Zeer veel. Eindscores worden cumulatief berekend. De totaalscore rangeert van 0 tot 48. Hoe hoger iemand scoort op de NDQ hoe meer lijden iemand ondervindt. De interne consistentie bleek goed te zijn, α = .83 - .88 (Belicki, 1992). Er werden drie factoren gevonden: algemeen lijden door nachtmerries, impact op slaap en impact op de perceptie van de realiteit overdag (Böckermann, Gieselmann & Pietrowsky, 2014).
Nightmare Effect Survey NL (NES-NL)
De NES, ontwikkeld door Krakow et al. in 2000, is een vragenlijst die de
11
‘Geef aan in welke mate de nachtmerries een negatieve invloed hebben op uw werk’. Er wordt een 5-punts Likert schaal gebruikt rangerend van 0-Helemaal niet tot 4-Zeer veel. Eindscores worden cumulatief berekend. De totaalscore rangeert van 0 tot 44. Hoe hoger iemand scoort, hoe meer iemands psychosociale functioneren benadeeld wordt door
nachtmerries. Er werd een goede interne consistentie gevonden, α = .90 (Krakow et al., 2000). In de Spaanse versie werd een bifactoriële structuur gevonden van specifieke effecten en algemene effecten (Martínez, Miró & Arriaza, 2005).
Nightmare Impact and Distress Questionnaire (NIDQ)
De NIDQ is een nieuwe vragenlijst die ontwikkeld is om het lijden en de impact van nachtmerries beter in beeld te brengen. De NIDQ is gebaseerd op interviews, de NES en de NDQ. De vragenlijst telt 12 items waarbij zes items gaan over lijden overdag door
nachtmerries en zes items gaan over nachtelijk lijden door nachtmerries. Er wordt gebruik gemaakt van een vierpuntenschaal die rangeert van 0-Niet van toepassing tot 3-Helemaal van toepassing. Zie Tabel 1 voor de items van de NIDQ.
Tabel 1
Corresponderende Items van de NIDQ
Variabele Item
D1 Door mijn nachtmerries kan ik niet goed functioneren overdag.
D2 Mijn nachtmerries hebben een negatieve invloed op mijn lichamelijke gezondheid.
D3 Door mijn nachtmerries kan ik niet goed slapen.
12
D5 Mijn nachtmerries hebben een negatieve invloed op mijn gemoedstoestand.
D6 Als ik een nachtmerrie heb gehad, voel ik me daardoor moe overdag.
N1 Als ik wakker word na een nachtmerrie, kost het mij moeite om weer in slaap te vallen.
N2 Mijn nachtmerries verstoren mijn slaap.
N3 Ik ben bang om in slaap te vallen uit angst om een nachtmerrie te krijgen.
N4 Als ik een nachtmerrie heb, lijkt die vaak zo echt dat het mij moeite kost om mijzelf te overtuigen dat het maar een droom was.
N5 Tijdens mijn nachtmerries ben ik erg emotioneel.
N6 Ik word wakker van mijn nachtmerries.
Eindscores worden cumulatief berekend. De totaalscore rangeert van 0 tot 36. Hoe hoger iemand scoort hoe meer iemand last heeft van zijn nachtmerries. Omdat dit een nieuw meetinstrument is zijn er nog geen relevante psychometrische eigenschappen te vermelden. In dit onderzoek zal de factorstructuur van deze vragenlijst worden onderzocht.
Procedure
Van 19 oktober 2015 tot 6 november 2015 werden deelnemers van verschillende leeftijden, opleidingsniveaus en sekse online via email benaderd. Hier werd een link aangeboden naar het programma Qualtrics (© Qualtrics 2015) waarin de vragenlijsten aan werden geboden. Deelnemers werden voor het invullen van de vragenlijsten ingelicht over het onderzoek door middel van een informatiebrief en een informed consent waarbij er de
mogelijkheid was om voor en na het onderzoek contact op te nemen met de hoofdonderzoeker voor het stellen van vragen. Hierna werd er geïnformeerd naar sekse, leeftijd, hoogst genoten
13
opleiding, het wel of niet hebben van werk en het wel of niet hebben van een partner. Toen werd de NFQ-NL aangeboden. Na de NFQ-NL werden de overige zeven vragenlijsten gerandomiseerd aangeboden. Het onderzoek duurde ongeveer vijfentwintig minuten.
Analyseplan1
Er werd als hoofdanalyse een confirmatieve factor analyse (CFA) uitgevoerd in de 21ste versie van AMOS (Arbuckle, 2012) aangezien er duidelijke hypotheses waren opgesteld, zie Figuur 1. Verdere testen werden uitgevoerd in SPSS (© IBM, 2013). Hiervoor werden eerst de assumpties getest, beginnend met de assumptie van multivariate normaliteit. Dit betekent dat de standaard assumptie van normaliteit, dus een normale verdeling van de residuen, wordt uitgebreid als kloppend voor elke mogelijke combinatie van variabelen. Multivariate normaliteit kan niet direct worden getest vandaar dat ervan werd uitgegaan dat aan de assumptie was voldaan als de somscore van alle variabelen, de somscore van alle variabelen die te maken hebben met nacht en de somscore van alle variabelen die te maken hebben met dag normaal waren verdeeld. Dit werd visueel bekeken door middel van P-P plots en ook werden er skewness en kurtosis levels opgevraagd waarbij ervan uit werd gegaan dat een waarde tussen de -1 en 1 duidde op een normaal verdeelde distributie. Wanneer de assumptie werd geschonden werd in de hoofdanalyse de standaard χ² test vervangen door de Satorra-Bentler Scaled χ² Test die de waarde van χ² aanpast voor niet normale distributies.
De tweede assumptie die werd bekeken was de assumptie van samplegrootte. Hiermee wordt bedoeld dat de samplegrootte groot genoeg moet zijn omdat correlatie-coëfficiënten te sterk fluctueren in te kleine samples waardoor er geen verschillende en betrouwbare gedeelde factoren in de data kunnen worden gevonden. Deze assumptie werd getest door middel van de Kaiser-Meyer-Olkin Measure of Sampling Adequacy (KMO-test). Bij een waarde van boven
1 Het analyseplan is gebaseerd op een verzameling van informatie uit Field (2013), Albright (2008), Albright &
Park (2009), Yusoff (2011), Jöreskog (1969), Hooper, Coughlan & Mullen (2008), Guadagnoli & Velicer (1988), Statistics Solutions (2013) en Reinard (z. j.).
14
de ,60 werd ervan uitgegaan dat er aan de assumptie voldaan werd alhoewel een waarde dichter bij de 1 een robuuster resultaat zou indiceren en dus werd geprefereerd. Hierbij werd boven de ,90 gezien als goed, tussen de ,80 - ,90 als prima, tussen de ,70 - ,80 als redelijk en tussen de ,60 - ,70 als net voldoende.
De derde assumptie is meer een verzameling van assumpties omtrent de correlaties van de variabelen. Voor een factor analyse moeten de variabelen genoeg met elkaar correleren zodat ervan uit kan worden gegaan dat de variabelen samen dezelfde factor meten. De
variabelen moeten echter niet teveel met elkaar correleren omdat er anders niet bepaald kan worden wat deze variabelen nog toevoegen aan de factor. Om te testen of de correlaties genoeg met elkaar samenhingen werd er gebruik gemaakt van de Barlett’s Test of Sphericity. Een significant resultaat indiceerde dat de correlaties groot genoeg waren. Wanneer er geen significant resultaat werd gevonden werd er naar de correlatie matrix gekeken om te zien welke variabelen voor dit resultaat zorgden en deze werden dan verwijderd. Om te testen of de variabelen niet te veel met elkaar samenhingen werd er een correlatie matrix opgevraagd. Wanneer er geen correlaties boven de r = ,80 werden gevonden, werd ervan uitgegaan dat de variabelen niet te veel met elkaar samenhingen. Wanneer er correlaties boven de r = ,90 werden gevonden werden deze variabelen verwijderd. Correlaties tussen variabelen die rangeerde tussen de r = ,80 - ,90 werden kritisch bekeken en daarna werd er beslist of deze variabelen werden verwijderd of niet.
Na het testen van de assumpties werd er een Cronbach’s alpha berekend over de gehele test. Waarbij een alpha van boven de ,80 werd gezien als goed, een alpha van ,70 - ,80 als redelijk en een alpha van onder de ,70 als slecht.
Hierna werd de hoofdanalyse uitgevoerd door middel van AMOS. Het opgestelde model werd ingevoerd en er werd gekeken naar verschillende indicatoren die berekenden of het model passend was voor de data. Deze indicatoren waren de Model Chi Square
Goodness-15 of-fit (χ²), de Goodness of Fit Index (GFI), de Adjusted Goodness of Fit Index (AGFI), de Normed fit Index (NFI), de Relative Fit Index (RFI), de Incremental Fit Index (IFI), de Tucker-Lewes Fit Index (TLI), de Comparative Fit Index (CFI) en de Root Mean Squared Residual (RMSEA). Een insignificant resultaat van de χ² indiceerde dat het model geschikt was. Een score van boven de ,90 zou een geschikt model indiceren voor de GFI, AGFI, NFI, IFI, TLI en de CFI. Wanneer de RMSEA een score had van ,06 of kleiner, indiceerde dit dat het model redelijk geschikt zou zijn. Hierna werd er gekeken naar de gestandaardiseerde regressie gewichten, ook wel de gestandaardiseerde factorladingen, waarbij een significant gewicht indiceert dat de variabelen significant en representatief zijn voor de latente variabelen waarop deze variabelen laadden. Ook werd er gekeken naar de correlatie tussen de twee factoren.
Door middel van al deze indicatoren werd er gekeken of het model geschikt was voor de data. Wanneer het model niet geschikt bleek werd er aan AMOS gevraagd suggesties te doen om het model geschikter te maken. Hierna werd er als dat mogelijk was een nieuw model opgesteld dat getest werd door te kijken naar de χ², RMSEA, GFI, AGFI, NFI, IFI, TLI en de CFI.
Als laatste werd er een Cronbach’s alpha uitgerekend over de verschillende gedeelde factoren. Hier gold weer dat een alpha van boven de ,80 gezien werd als goed, tussen de ,70 - ,80 als redelijk en onder de ,70 als slecht.
Resultaten
Van de 225 deelnemers hadden 63 deelnemers de vragenlijsten niet volledig ingevuld. Zij werden verwijderd uit de steekproef voor de analyses omdat niet vastgesteld kon worden waardoor zij uitgevallen waren. De 162 overgebleven deelnemers, waarbij leeftijd rangeerde
16
tussen de 16 en 82 jaar (M = 39,83, SD = 16,96), werden allemaal meegenomen in de analyse. Zie Tabel 2.
Tabel 2
Demografische Gegevens van Meegenomen Deelnemers (N=162): Absolute Frequentie en Percentage voor Sekse, Opleiding, Werk en Partner
Frequentie Percentage Vrouw 134 82,7 Man 28 17,3 Lagere School 1 0,6 Middelbare School 19 11,7 LBO 1 0,6 MBO 39 24,1 HBO 65 40,1 WO 37 22,8 Heeft werk 114 70,4 Werkeloos 48 29,6
Heeft een partner 119 73,5
Heeft geen partner 43 26,5
Aan de assumptie van multivariate normaliteit werd voldaan. Visuele inspectie en skewness en kurtosis waardes van de totale somscore en de nacht-somscore indiceerden dat
17
deze scores normaal verdeeld waren. Visuele inspectie van de dag-somscore indiceerde dat er twijfel bestond over de normale verdeling, echter indiceerden de skewness en kurtosis dat deze score ook normaal was verdeeld. Vandaar dat er besloten werd om deze score ook als normaal verdeeld te zien.
Aan de assumptie van samplegrootte werd voldaan, KMO = ,917. Dit is een goed resultaat wat indiceert dat de sample adequaat was voor de analyse. Aan de assumpties omtrent de correlaties van variabelen is ook voldaan. Barlett’s test was significant, p < ,001. Dit indiceert dat de correlaties hoog genoeg waren. Uit de correlatiematrix bleek dat er geen correlaties werden gevonden boven de ,90. Er werd een correlatie gevonden boven de ,80, r = ,816. Deze variabelen werden niet verwijderd. Dit indiceerde dat de variabelen niet te veel met elkaar samenhangen.
Een Cronbach’s alpha over de gehele test van α = ,92 indiceerde een goede interne consistentie voor de NIDQ.
De CFA werd uitgevoerd door het model van Figuur 1 in te voeren in AMOS. Er werd aan de ene kant een significante χ²(53) = 170,62 gevonden, p < ,001. Ook werd er een
RMSEA van ,117, een GFI van ,842, een AGFI van ,767, een NFI van ,872, een RFI van ,840 en een TLI van ,884 gevonden. Al deze waardes indiceren dat het model niet geschikt blijkt voor de data. Aan de andere kant werd er een IFI van ,908 en een CFI van ,907 gevonden. Deze waardes indiceren dat het model wel geschikt lijkt voor de data.
Alle items bleken significant te laden op de gedeelde factoren, rangerend van ,662 tot ,881. De correlatie tussen de twee gedeelde factoren was r = ,690. Dit kan gezien worden als een redelijk hoge correlatie wat verklaard kan worden doordat ervan uit wordt gegaan dat beide gedeelde factoren hetzelfde meten, lijden door nachtmerries, en dit ook als oorzaak
18
hebben. Al met al kan gezegd worden dat dit model ongeschikt bleek voor de data alhoewel de gedeelde factoren als geschikt werden bevonden.
AMOS kwam met een aantal suggesties voor een geschikter model door te kijken naar enerzijds de covarianties en anderzijds de regressie gewichten. Zie Tabel 3.
Tabel 3
Suggesties van AMOS
Tabel 3.1
Regressie gewichten
M.I. Par. Change
D6 Factor Nacht 8,959 ,198
D3 Factor Nacht 10,838 ,237
Tabel 3.2
Covarianties
Modification Indices (M.I.) Par. Change
e10 <--> e11 8,733 ,159 e7 <--> e11 8,702 -,163 e6 <--> e8 5,042 ,080 e5 <--> e6 7,798 ,082 e3 <--> e7 8,341 ,122 e3 <--> e8 9,710 ,121
19
e1 <--> e6 5,279 -,052
e1 <--> e4 12,300 ,057
e1 <--> e2 8,071 ,058
Noot. en staat voor Unieke Factorn. Tabel 3.1 kan geïnterpreteerd worden als variabelen die eerst werden gezien als enkel ladend op één factor maar die misschien ook zouden kunnen laadden op de andere factor. Tabel 3.2 kan geïnterpreteerd worden als alle unieke factoren die met elkaar zouden kunnen samenhangen en die zo het model geschikter kunnen maken door die samenhang.
Aan de hand van deze suggesties en het oude model werd er een tweede model opgesteld, zie Figuur 2. Dit model werd weer getoetst door AMOS. Er werd een significante χ²(41) = 64,82 gevonden, p = ,010. Ook werd er een AGFI van ,887 gevonden. Deze twee indicatoren indiceren dat het model twijfelachtig is. Echter werden er verder een GFI van ,941, een NFI van ,951, een RFI van ,922, een IFI van ,982, een TLI van ,970, een CFI van ,981 en een RMSEA van ,060 gevonden. Deze waardes indiceren dat het model geschikt is voor de data. Het bleek dus dat het tweede model veel geschikter was dan het eerste model en dat het ook voor de meeste indicatoren een geschikt model was voor de data.
Als laatste werd er een Cronbach’s alpha berekend over de verschillende gedeelde factoren zoals deze waren opgesteld in het tweede model. Hieruit bleek dat beide alpha’s goed waren met een alpha van ,917 voor de factor dag en een alpha van ,897 voor de factor nacht.
20
Figuur 2
Factor Model 2 NIDQ
δ1 Functioneren overdag δ2 Lichamelijke gezondheid
δ3 Slaap Factor 1: Lijden overdag
δ4 Concentratie
δ5 Gemoedstoestand
δ6 Vermoeidheid
δ7 Moeite om in slaap te vallen δ8 Verstoring slaap
δ9 Bang om in slaap te vallen
δ10 Overtuiging: ‘Het was maar een droom’ Factor 2: Nachtelijk lijden
δ11 Emotionaliteit δ12 Ontwaking
Discussie
In dit onderzoek werd het gehypothetiseerde model getest. Dit model bleek niet geschikt. Daarna werd er een tweede model opgesteld met behulp van AMOS. Dit model bleek naar alle waarschijnlijkheid wel geschikt. De tweedelige factorstructuur werd in beide modellen als geschikt bevonden.
21
Het tweede model is geschikter bevonden om twee redenen. Ten eerste laadden twee items van de dag schaal, D3 en D6, ook op de factor nacht. De inhoud van item D3 is: ‘Door mijn nachtmerries kan ik niet goed slapen’. Dit item vraagt naar de slaapkwaliteit van de persoon. De factor nacht bestaat voor een deel uit items die te maken hebben met de
slaapkwaliteit. Slaapkwaliteit bestaat bijvoorbeeld uit het aantal verstoringen per nacht en de tijd dat iemand wakker ligt (Buysse, Reynolds, Monk, Berman & Kupfer, 1989).
Corresponderende items op de factor nacht zijn N2 en N1. Dit maakt het waarschijnlijk dat D3 ook laadt op de factor nacht en dus voor een deel ook nachtelijk lijden meet. De inhoud van item D6 is: ‘Als ik een nachtmerrie heb gehad, voel ik me daardoor moe overdag’. In de inleiding is al aangegeven dat moeheid samenhangt met nachtelijke ontwakingen. De factor nacht meet deze nachtelijke ontwakingen met item N2: ‘Mijn nachtmerries verstoren mijn slaap’. Het is dus aannemelijk dat D6 ook laadt op de factor nacht en ook een aandeel heeft in het meten van nachtelijk lijden.
Ten tweede staat het model toe dat unieke factoren met elkaar samenhangen, zie Tabel 3.2. In verdere uitleg zal enkel gerefereerd worden aan de items maar hiermee worden de unieke factoren van deze items bedoeld. Voor een overzicht van de items, zie Tabel 1. Het is aannemelijk dat deze unieke factoren samenhangen om de volgende redenen.
• D3 hangt samen met N1 en N2 omdat, zoals eerder is gesteld, N1 en N2 delen van het begrip slaapkwaliteit meten en D3 deze slaapkwaliteit in zijn totaliteit meet. • D3 hangt samen met N4: ‘Als ik een nachtmerrie heb, lijkt die vaak zo echt dat het
mij moeite kost om mijzelf te overtuigen dat het maar een droom was’ aangezien de slaapkwaliteit gerelateerd is aan een mankement in het kunnen blijven
concentreren op niet-emotionele stimuli (Gobin, Banks, Fins & Tartar, 2015). De realiteit kan hier als de niet-emotionele stimuli gelden waar niet op geconcentreerd kan worden door een conflicterende focus op de emotionele stimuli, de
22
nachtmerrie. Hierdoor zou iemand niet in slaap kunnen vallen aangezien moeite hebben om in slaap te vallen samenhangt met de emotionaliteit door nachtmerries. De reden hiervoor is dat nachtmerries gerelateerd zijn aan negatieve emoties zoals in de inleiding al gesteld is. Deze negatieve emoties kunnen gezien worden als staten van gereedheid zoals de vecht of vlucht staat bij angst (Lang, Bradley & Cuthbert, 1998). Deze staten van gereedheid zijn simultaan met lichamelijke reacties die het in slaap vallen tegengaan (Kalat, 2013).
• N4 hangt om deze zelfde reden samen met N5: ‘Tijdens mijn nachtmerries ben ik erg emotioneel’. De echtheid van de nachtmerries hangt dus samen met de
emotionaliteit. Door de concentratie-bias voor de emotionele stimuli, de nachtmerrie, blijft iemand in een emotionele staat.
• N5 hangt ook om dezelfde reden samen met N1: ‘Als ik wakker word na een nachtmerrie, kost het mij moeite om weer in slaap te vallen’. Moeite hebben om in slaap te vallen hangt, zoals eerder gesteld, samen met de emotionaliteit door nachtmerries.
• D6 hangt samen met N2, zoals eerder al is gesteld, aangezien moeheid gerelateerd is aan nachtelijke ontwakingen.
• D6 hangt ook samen met D1: ‘Door mijn nachtmerries kan ik niet goed functioneren overdag’ want moeheid is gerelateerd aan een verlaging in het cognitieve functioneren wat een onderdeel is van het algemene functioneren (Kronholm et al., 2009).
• D6 is verder gerelateerd aan D5: ‘Mijn nachtmerries hebben een negatieve invloed op mijn gemoedstoestand’ omdat vermoeidheid en een negatieve gemoedstoestand sterk samenhangen (Chen, 1986).
23
• D1 hangt samen met D2: ‘Mijn nachtmerries hebben een negatieve invloed op mijn lichamelijke gezondheid’ aangezien het psychosociaal functioneren gerelateerd is aan fysieke gezondheid (Pettit, Grover & Lewinsohn, 2007). • D1 is ook gerelateerd aan D4: ‘Door mijn nachtmerries kan ik me niet goed
concentreren overdag’. Concentratie is namelijk onderdeel van het cognitief functioneren (Willingham, 2007).
Wanneer de bevindingen in een bredere context worden geplaatst kan worden gesteld dat de NIDQ kan differentiëren tussen lijden overdag en nachtelijk lijden door nachtmerries. Echter, door de hoge correlaties tussen beide factoren en de dubbele ladingen van sommige items, kan niet gezegd worden dat er een scherpe verdeling kan worden gemaakt. Verder moet er bij gebruik van de NIDQ, wanneer er gekeken wordt naar items afzonderlijk van elkaar, rekening gehouden worden met de samenhang tussen sommige unieke factoren van deze items waardoor deze niet altijd als afzonderlijk kunnen worden geïnterpreteerd.
Terugkoppeling naar de theorie van nachtelijke ontwakingen kan niet geheel plaatsvinden. Dit is namelijk niet speciaal onderzocht. Wel kunnen er speculaties worden gedaan dat dit inderdaad een onderliggend mechanisme kan zijn aangezien deze theorie als verklaring werd gebruikt bij de opstelling van het tweede model maar niet expliciet bij de opstelling van het eerste model. Dit tweede model werd geschikter bevonden dan het eerste model.
Het huidige onderzoek is op sommige vlakken gelimiteerd. Een eerste beperking heeft te maken met de definitie van nachtmerries. In de serie vragenlijsten is geen definitie van nachtmerries aangeboden. Dit kan gevolgen hebben omdat dit onderzoek gebaseerd is op een definitie van nachtmerries zoals die wordt gebruikt in de DSM-V bij nachtmerriestoornis. Het verschil tussen lijden overdag en nachtelijk lijden is namelijk enkel teruggevonden bij mensen
24
met een nachtmerriestoornis. Het kan niet onderzocht of dit verschil ook teruggevonden wordt bij andere definities van nachtmerries. Vandaar dat de scheiding tussen lijden overdag en nachtelijk lijden niet teruggevonden hoeft te worden wanneer iemand andere definities zou gebruiken bij het invullen van de vragenlijsten. Zo zou het verschil krachtiger kunnen zijn wanneer iedereen de gebruikte definitie van nachtmerrie aan zou houden. Vervolgonderzoek zou deze definitie kunnen toevoegen en kijken of de data er werkelijk anders uitziet.
Een tweede beperking aan het onderzoek is het gebruik van klassieke testtheorie om de geschiktheid van de modellen te onderzoeken. Klassieke testtheorie is erg afhankelijk van samplegrootte omdat ervan uit wordt gegaan dat er een ware score op een test is. Deze ware score wordt verduisterd door individuele verschillen. De assumptie van klassieke testtheorie is dat deze verschillen minder invloed hebben naarmate de samplegrootte groter. Er kan dus dichter bij de ware score gekomen worden wanneer een onderzoek een grote samplegrootte heeft (Cohen, Swerdlik & Sturman, 2013). Bepaalde indicatoren die gebruikt zijn in dit onderzoek, zoals de χ², gaan tegen deze assumptie in. Bij de χ² geldt namelijk dat kleine fluctuaties een groter effect hebben in grote samples dan in kleine samples. Het wordt dus moeilijker wanneer de samplegrootte steeds groter wordt om de nul hypothese, dat het model dus geschikt is, te behouden (Jöreskog, 1969). Hierdoor zou de χ² significant kunnen zijn wanneer er geen significant resultaat is. Vervolgonderzoek zou een andere aanpak kunnen gebruiken, zoals item-response-theorie, om deze onzekerheden te vermijden.
Samenvattend kan dus gezegd worden dat de NIDQ is ontwikkeld om de tweedeling te kunnen meten tussen lijden overdag en nachtelijk lijden door nachtmerries. Uit dit onderzoek bleek dat de NIDQ deze tweedeling ook daadwerkelijk meet. Deze tweedeling kan echter niet scherp worden gemaakt aangezien de bevindingen een grote samenhang tussen de gedeelde factoren indiceerden. Het tweede model bleek namelijk geschikter dan het eerste model. In dit tweede model laadden verschillende items op beide gedeelde factoren en hingen unieke
25
factoren van items met elkaar samen. Dit onderzoek is het eerste onderzoek dat is gedaan naar de psychometrische eigenschappen van de NIDQ. De resultaten uit dit onderzoek leveren belangrijke informatie omtrent de validiteit en betrouwbaarheid van de NIDQ op.
Literatuurlijst
Albright, J. J. (2008). Confirmatory factor analysis using AMOS, LISREL, and Mplus. The University Information Technology Services (UITS). Indiana University: Center for Statistical and Mathematical Computing.
Albright, J. J., & Park, H. M. (2009). Confirmatory factor analysis using AMOS, LISREL,
Mplus, and SAS/STAT CALIS. Working paper. The University Information Technology Services (UITS). Indiana University: Center for Statistical and Mathematical
Computing. http://www.indiana.edu/~statmath/stat/all/cfa/index.html
American Psychiatric Association. (2013). Diagnostic and statistical manual of mental
disorders (5th ed.).
Arbuckle, J. L. (2012). AMOS (Versie 21) [Computer Programma]. Chicago: SPSS.
Asplund, R., Marnetoft, S., Selander, J., & Åkerström, B. (2004). Sleep in relation to somatic
health, mental health and pain. Sleep and Hypnosis, 6(4), 148-154.
Belicki, K. (1992). The relationship of nightmare frequency to nightmare suffering with
implications for treatment and research. Dreaming, 2(3), 144-148.
Belicki, K., Chambers, E., & Ogilvie, R. (1997). Sleep quality and nightmares. Sleep
Research, 26, 637.
26
mean? Factorial structure and psychometric properties of the nightmare distress questionnaire (NDQ). Dreaming, 24(4), 279-289.
Chen, M. K. (1986). The epidemiology of self-perceived fatigue among adults. Preventive Medicine, 15(1), 74-81.
Cohen, R. J., Swerdlik, M. E., & Sturman, E. D. (2013). Psychological testing and assessment: An introduction to tests and measurement. New York: McGraw-Hill.
Cukrowicz, K. C., Otamendi, A., Pinto, J. V., Bernert, R. A., Krakow, B., & Joiner, T. E.
(2006). The impact of insomnia and sleep disturbances on depression and suicidality. Dreaming, 16(1), 1-10.
Field, A. (2013). Discovering statistics using IBM SPSS statistics. Londen: Sage Publications.
Gagnon, C., Bélanger, L., Ivers, H., & Morin, C. M. (2013). Validation of the Insomnia
Severity Index in primary care. Journal of the American Board of Family Medicine, 26(6), 701-710.
Gobin, C. M., Banks, J. B., Fins, A. I., & Tartar, J. L. (2015). Poor sleep quality is associated with a negative cognitive bias and decreased sustained attention. Journal of Sleep Research, 24(5), 535-542.
Guadagnoli, E., & Velicer, W. E. (1988). Relation of sample size tot the stability of
component patterns. Psychological Bulletin, 103(2), 265-275.
Hooper, D., Coughlan, J., & Mullen, M. R. (2008). Structural equation modelling: Guidelines for determining model fit. The Electronic Journal of Business Research Methods, 6(1), 53-60.
27
IBM Corp.. (2013). SPSS voor Windows [Computer programma].Versie 22. Armonk, NY: IBM Corp.
Janson, C., Gislason, T., De Backer, W., Plaschke, P., Björnsson, E., Hetta, J., Kristbiarnason,
H., Vermeire, P., & Boman, G. (1995). Prevalence of sleep disturbances among young adults in three European countries. Sleep, 18(7), 589-597.
Jöreskog, K. G. (1969). A general approach to confirmatory factor analysis. Psychometrika, 34, 183-202.
Kalat, J. W. (2013). Biological psychology. Wadsworth: Cengage Learning.
Klůzová Kráčmarová, L., & Plháková, A. (2015). Nightmares and their consequences in relation to state factors, absorption, and boundaries. Dreaming, 25, No Pagination Specified. http://dx.doi.org/10.1037/a0039712
Köthe, M., & Pietrowsky, R. (2001). Behavioral effects of nightmares and their correlations to
personality patterns. Dreaming, 11(1), 43-52.
Krakow, B. (2006). Nightmare complaints in treatment-seeking patients in clinical sleep
medicine settings: diagnostic and treatment implications. Sleep: Journal of Sleep and Sleep Disorders Research, 29(10), 1313-1319.
Krakow, B., Hollifield, M., Schrader, R., Koss, M., Tandberg, D., Lauriello, J., McBride, L.,
Warner, T. D., Cheng, D., Edmond, T., & Kellner, R. (2000). A controlled study of imagery rehearsal for chronic nightmares in sexual assault survivors with PTSD: a preliminary report. Journal of Traumatic Stress, 13(4), 589-609.
28
Kronholm, E., Sallinen, M., Suutama, T., Sulkava, R., Era, P., & Partonen, T. (2009). Self-reported sleep duration and cognitive functioning in the general population. Journal of Sleep Research, 18(4), 436-446.
Lancee, J., & Schrijnemakers, N. (2013). The association between nightmares and daily
distress. Sleep and Biological Rhythms, 11(1), 14-19.
Lang, P. J., Bradley, M. M., & Cuthbert, B. N. (1998). Emotion, motivation, and anxiety: Brain mechanisms and psychophysiology. Biological Psychiatry, 44, 1248-1263.
Martínez, M. P., Miró, E., & Arriaza, R. (2005). Evaluation of the distress and effects caused
by nightmares: a study of the psychometric properties of the nightmare distress questionnaire and the nightmare effects survey. Sleep and Hypnosis, 7(1), 29-41.
Miró, E., & Martinez, M. P. (2005). Affective and personality characteristics in function of
nightmare prevalence, nightmare distress, and interference duet to nightmares. Dreaming, 15(2), 89-105.
Morin, C. M., Stone, J., Trinkle, D., Mercer, J., & Remsberg, S. S. (1993).
Dysfunctional beliefs and attitudes about sleep among older adults with and without insomnia complaints. Psychology and Aging, 8(3), 463-467.
Ohayon, M. M. (2008). Nocturnal awakenings and comorbid disorders in the American
general population. Journal of Psychiatric Research, 43, 48-54.
Pettit, J. W., Grover, K. E., & Lewinsohn, P. M. (2007). Interrelations between
psychopathology, psychosocial functioning, and physical health: An integrative perspective. International Journal of Clinical and Health Psychology, 7(2), 453-476.
29
Qualtrics. (2005). Gebruik en © 2015 [Software programma]. Provo: Qualtrics.
http://www.qualtrics.com
Radloff, L. S. (1977). The CES-D scale: A self-report depression scale for research in the general population. Applied Psychology Measurement, 1(3), 385-401.
Reinard, J. (z. j.) Communicaton research statistics: The notion of confirmatory factor analysis. http://commfaculty.fullerton.edu/jreinard/stat ch16.htm
Schwarz, N. (1999). Self-reports: how the questions shape the answers. The American
Psychologist, 54(2), 93-105.
Schwarz, N. (2007). Evaluating surveys and questionnaires. In R. J. Sternberg, H. L. Roediger
III & D. F. Halpern (Eds), Critical thinking in psychology (pp. 54-74). New York, NY: Cambridge University Press.
Smith, T. W. (1987). That which we call welfare by any other name would smell sweeter: an
analysis of the impact of question wording on response patterns. Public Opinion Quarterly, 51, 75-83.
Spinhoven, P., Ormel, J., Sloekers, P. P. A., Kempen, G. I. J. M., Speckens, A. E. M., & Van Hemert, A. M. (1997). A validation study of the hospital anxiety and depression scale (HADS) in different groups of Dutch subjects. Psychological Medicine, 27, 363-370.
Spoormaker, V. I., Schredl, M., & Van den Bout, J. (2006). Nightmares: from anxiety
symptom to sleep disorder. Sleep Medicine Reviews, 10(1), 19-31.
Statistics Solutions. (2013). Confirmatory factor analysis.
http://www.statisticssolutions.com/academic-solutions/resources/directory-of-statistical-analyses/confirmatory-factor-analysis/
30
Strack, F., Schwarz, N., & Wänke, M. (1991). Semantic and pragmatic aspects of context
effects in social and psychological research. Social Cognition, 9, 111-125.
Swart, M. L., Van Schagen, A. M., Lancee, J., & van den Bout, J. (2013). Prevalence of
nightmare disorder in psychiatric outpatients. Psychotherapy and Psychosomatics, 82, 267-268. doi:10.1159/000343590
Willingham, D. T. (2007). Cognition: The thinking animal. New Jersey: Pearson Education.
Yusoff, M. S. B. (2011). A confirmatory factor analysis study on the medical student stressor questionnaire among Malaysian medical students. Education in Medicine Journal, 3(1), e44-e53.
Zadra, A., & Donderi. D. C. (2000). Nightmares and bad dreams: their prevalence and
relationship to well-being. Journal of Abnormal Psychology, 109(2), 273-281.
Zigmund, A. S., & Snaith, R. P. (1983). The hospital anxiety and depression scale. Acta Psychiatrica Scandinavia, 67, 361-370.
