Zijn er individuele verschillen in de werking van cognitieve emotieregulatie strategieën?
De werking van cognitieve emotieregulatie strategieën bij negatieve emoties en de invloed van externaliserend gedrag bij schoolkinderen.
Masterscriptie Forensische Orthopedagogiek
Ilsemieke Krijtenburg
11326794
Begeleider: Joyce Weeland
Abstract
Emotion regulation can be defined as processes that influences the intensity, duration, and expression of emotions. It is a process where negative and positive emotion can be both increased or decreased. Adaptive Emotion regulation strategies can be used to prevent emotional problems or complement deficit in emotion regulation. It can also play an important role in preventing behavioral problems. The current study examines the effect of different cognitive emotion regulation strategies on negative emotions in children between the ages of 9 and 14 (N=188; Mleeftijd= 10.72). There will also be examination(assessment) to
determine if externalizing behavior problems moderates the effectiveness of these strategies. This research is using an experimental design. A video clip was used from the ‘Lion King’ to increase negative emotions. There are three cognitive emotion regulation strategies that will be used: mindfulness, self-compassion and cognitive reappraisal. There will also be a control group. The results revealed that negative emotions were decreased and positive emotions were increased at the end of the experiment. Conclusively, there was no difference between de strategies and the control group. It is possible that children in the control group also
subconsciously use emotion regulation strategies and that is an interesting point for further research. Children with more externalizing behavior showed more negative emotions. The emotion regulation strategies had no effect on children with more externalizing behavior.
Keywords: Emotion regulation strategies, mindfulness, selfcompassionself-compassion, cognitive reappraisal, externalizing behaviourbehavior
Zijn er individuele verschillen in de werking van cognitieve emotieregulatie strategieën?
Emoties zijn erg belangrijk in hoe we interactie hebben met de sociale wereld om ons heen (Gross, 2015). Emoties kunnen zowel helpen of juist schade aanrichten, dit hangt echter af van de context (Gross, 2015). Voorbeelden van helpende emoties kunnen zijn angst waardoor je gevechten vermijdt, blijdschap waardoor je vriendschappen kan opbouwen, of boosheid waardoor je kan strijden voor gerechtigheid. Emoties zijn schadelijk al ze de verkeerde
intensiteit, duur en frequentie hebben, waardoor ze de cognitie en het gedrag op een negatieve manier beïnvloeden (Gross & Jazaieri, 2014). Bij jongeren in de leeftijd van 11 tot en met 16 jaar die in het voortgezet onderwijs zitten, hebben bijna één op de vijf internaliserende problemen (Looze et al., 2014). Dit is dan ook een kritieke fase om psychopathologische symptomen te ontwikkelen of, erger nog, mentale stoornissen (Lee et al. 2014).
Emotieregulatie kan ervoor zorgen dat emoties kunnen helpen in plaats van dat ze schade aanrichten (Gross, 2015). Emotieregulatie is de regulatie van emotie door cognities of gedachten waardoor mensen controle krijgen over hun emoties tijdens of na een ervaring die dreigend of stressvol is (Garnefski, Kraaij, & Spinhoven, 2001). Als kinderen kunnen leren om hun emotieregulatie te beheersen, kan dit een belangrijke rol zijn in het voorkomen van gedragsproblemen. (Masten et al., 2005). Als kinderen namelijk leren om hun emoties niet goed te reguleren bij situaties die stressvol of dreigend zijn, kan dit ontwikkelen in
externaliserend probleemgedrag op latere leeftijd (Supplee, Move Skuban, Shaw & Prout, 2009). Kinderen met meer externaliserend gedrag, zoals kinderen met ADHD, laten tekorten zien in hun emotieregulatie (Biederman et al, 2012). Ze ervaren moeilijkheden in het
onderdrukken van ongepast gedrag bij het ervaren van zowel negatieve als positieve emoties. Het is van belang dat kinderen leren hun emoties te reguleren om internaliserend en
externaliserend probleemgedrag op latere leeftijd te voorkomen. De studie van Gratz en Roemer (2004) stelt dat emotie regulatie niet alleen betekent dat de emoties worden
gemoduleerd, maar ook dat het betekend dat iemand bewust wordt van zijn emoties, zijn emoties begrijpt, zijn emoties kan accepteren en zich nog steeds op een correcte manier kan gedragen, ondanks de emotionele staat.
Om emotionele problemen te voorkomen kunnen emotieregulatie strategieën worden aangeleerd. Emotionele problemen betekenen namelijk vaak dat er problemen zijn in de emotieregulatie (Ford, Mauss, Troy, Smolen, & Hankin, 2014). Er zijn vijf soorten strategieën die gebruikt kunnen worden om emoties te reguleren (Gross, 2015). De eerste is het selecteren van situaties zodat situaties, waarin er vooraf al bekend is dat negatieve emoties zullen
stijgen, worden vermeden. De tweede strategie is de situatie veranderen zodat de emotionele impact verandert. De derde strategie is het veranderen van de aandacht, zodat de emotionele reactie wordt beïnvloed. De vierde strategie is cognitief een verandering maken zodat de emotionele impact verandert. En de laatste strategie is het direct beïnvloeden van
verschillende componenten van een emotionele reactie die verder ontwikkeld is. Dit kan op gedrag of fysiek zijn. Voor iedereen werkt een andere strategie. Het aanleren van een strategie is kosteneffectief, omdat het weinig tijd kost om een strategie aan te leren. Deze strategieën kunnen thuis aangeleerd worden, maar ook eventueel op school, bij een therapeut. Ook is het mogelijk door middel van applicaties op je telefoon/computer. Er zijn meerdere manieren mogelijk om strategieën aan te leren. Het kunnen reguleren van je emoties is een belangrijke vaardigheid die samenhangt met de sociaal-emotionele ontwikkeling van kinderen.
In de huidige studie zal er onderzocht worden of cognitieve emotie-regulatie strategieën effect hebben op negatieve emoties, waardoor deze emoties zullen afnemen en positieve emoties eventueel toenemen. Er zijn al verschillende studies die emotieregulatie strategieën onderzoeken. Eerder onderzoek laat zien dat bepaalde emotieregulatie strategieën werken bij kinderen om rustig te worden na het ervaren van verdrietige of angstige gevoelens (Davis, Quiñones-Camacho, & Buss, 2015). Ook uit een andere studie komt naar voren dat
adaptieve emotieregulatie strategieën ook voor minder symptomen van depressie en angst zorgen bij jongeren (Schäfer, Naumann, Holmes, Tuschen-Caffier & Samson, 2017). We weten echter nog weinig van het effect van cognitieve emotieregulatie strategieën bij kinderen tussen de 9 en 14 jaar. En ook weten we nog weinig over de invloed van externaliserend probleemgedrag op het effect van cognitieve emotieregulatie strategieën.
Er zijn twee soorten strategieën om een emotionele ervaring te veranderen, namelijk gedragsmatig of cognitief. Deze strategieën zijn een manier om te leren omgaan met
emotionele informatie die binnenkomt (Thompson, 1994). Bij gedragsmatige strategieën veranderen mensen iets in hun gedrag, door bijvoorbeeld te gaan sporten of weg te lopen uit de situatie, zodat de gebeurtenissen overeenkomen met hun doelen. Terwijl bij cognitieve strategieën mensen hun doelen, gedachten veranderen of de gebeurtenissen vanuit een ander perspectief te bekijken (Davis, Quiñones-Camacho, & Buss, 2015). In de huidige studie zal er gebruik gemaakt worden van cognitieve emotieregulatie strategieën, namelijk mindfulness, zelf-compassie en cognitieve herwaardering. Deze drie strategieën zijn, bij ons weten, nog niet eerder samen gebruikt in een onderzoek naar emotie regulatie. Bij mindfulness gaat het om het bewustzijn van de emoties en van het lichaam. De kernboodschap is dat het goed is om een keer verdrietig of boos te zijn. Uit onderzoek is gebleken dat mindfulness strategieën effectief zijn in verschillende soorten omgevingen en het verminderen van negatieve emoties, waaronder het verminderen van angst en depressie (Hayes, 2004).
Bij zelf-compassie focust de strategie zich op vriendelijkheid en met name op
vriendelijk zijn tegen jezelf. Ook focust het zich op de menselijkheid en op het bewustzijn van de emoties. Deze strategie is gerelateerd aan mindfulness, maar heeft een andere insteek. Het is belangrijk dat de persoon erkent dat het niet goed gaat en dat hij/zij lijdt, zodat het mogelijk is om compassie te hebben voor zichzelf (Neff, 2009). Uit onderzoek is gebleken dat meer zelf-compassie gerelateerd is aan minder angst en depressie (Neff, 2003a). Mensen die meer
zelf-compassie hebben tonen tevens meer optimisme, een hogere intelligentie en meer blijdschap (Neff, Rude, & Kirkpatrick, 2007). Bij cognitieve herwaardering (oftewel
Cognitive Reappraisal) gaat het erom dat de situatie vanuit verschillende perspectieven wordt bekeken. In eerder onderzoek is bewezen dat cognitieve herwaardering voor een vermindering van intense negatieve emoties kan zorgen (Goldin, McRae, Ramel & Gross, 2008). Daarnaast is gebleken uit onderzoek dat cognitieve herwaardering effectiever is in het verminderen van stress dan het gebruiken van een afleidende strategie, een onderdrukkende strategie of het gebruik van herhalen van patronen (Chiesa, Serretti & Jakobsen, 2013).
Ondanks dat de mogelijkheid om emoties te reguleren en controleren universeel is, zorgen individuele verschillen in persoonlijkheid ervoor dat er verschillend wordt gereageerd op life events. Een depressieve persoonlijkheid wordt bijvoorbeeld geassocieerd met negatieve emoties, zoals verhoogde niveaus van angst en verdriet (Winter & Kuiper, 1997). Vanwege de individuele verschillen in persoonlijkheid zal de een meer baat hebben bij een mindfulness strategie en een ander meer baat hebben bij een strategie over zelf-compassie. Eerder
onderzoek laat zien dat de effecten van verschillende strategieën anders zijn bij kinderen die externaliserend probleemgedrag laten zien, dan bij kinderen die internaliserend
probleemgedrag laten zien. Specifiek bleken situatie-gerelateerde strategieën beter te werken voor kinderen met internaliserende problemen, en situatie vermijdende strategieën beter te werken voor kinderen met externaliserende problemen (Garnefski, Kraaij & van Etten, 2005). Daarom is het ook van belang om te onderzoeken welke cognitieve emotieregulatie
strategieën beter werken voor kinderen die meer externaliserende gedrag laten zien, en welke cognitieve emotieregulatie strategieën beter werken voor kinderen die geen externaliserend gedrag laten zien.
In de huidige studie zal er een experimenteel onderzoek worden uitgevoerd om te onderzoeken of er een effect is als cognitieve emotieregulatie strategieën worden toegepast bij
een situatie waarbij negatieve emoties worden getriggerd. En er wordt onderzocht of er verschillen zijn in het effect van de verschillende cognitieve emotieregulatie strategieën. Daarnaast zal er ook onderzocht worden of kinderen met meer externaliserend gedrag invloed hebben op het effect van de strategieën en of dit effect er dan ook anders voor hen uitziet. Dit onderzoek wordt gedaan bij kinderen tussen de 9 en 14 jaar.
Er wordt verondersteld dat de verschillende cognitieve emotieregulatie strategieën effectief zijn bij kinderen tussen de 9 en 14 jaar voor het omgaan met verdriet. Daarnaast wordt er verwacht dat de emotieregulatie strategie zelf-compassie meer effectief is dan de emotieregulatie strategie cognitieve herwaardering. In eerder onderzoek is gebleken dat zelf-compassie een significant positief effect heeft op de gemoedstoestand bij depressieve gevoelens, en dat er een significant verschil is tussen het effect van de strategie zelf-compassie en de strategie cognitieve herwaardering (Ehret, Joormann, & Berking, 2018). Eveneens is uit eerder onderzoek gebleken dat de strategie mindfulness geassocieerd wordt met vermindering van negatieve invloed op de emotionele gezondheid (Brockman, Ciarrochi, Parker, & Kashdan, 2017). Terwijl bij cognitieve herwaardering dit wisselend is. Wel wordt aangegeven dat cognitieve herwaardering toenemende voordelen heeft op de emotionele gezondheid naarmate iemand ouder wordt. In de huidige studie wordt gebruik gemaakt van jonge adolescenten, waardoor er verwacht wordt dat cognitieve herwaardering een significant lager effect heeft dan de andere emotieregulatie strategieën. Mindfulness is een construct van de strategie zelf-compassie (Neff, 2003). Daarnaast is in eerder onderzoek naar voren
gekomen dat mindfulness zorgt voor een toename van zelf-compassie (Macbeth & Gumley, 2012). Er wordt dan ook verwacht dat er geen significant verschil in effect is tussen de emotieregulatie strategieën zelf-compassie en mindfulness.
Ten tweede zal er onderzocht worden of externaliserend gedrag het effect van de emotieregulatie strategieën op verdrietige emoties modereert.
Er wordt verwacht dat externaliserend gedrag het effect van de emotieregulatie strategieën modereert en dat betekent dat emotieregulatie strategieën effect hebben op verdriet bij
kinderen met meer externaliserende problemen. Wel wordt er verwacht dat dit effect anders is dan bij kinderen die geen externaliserende problemen vertonen. En dat dit effect sterker is bij kinderen met meer externaliserende problemen. In de studie van Van de Weijer-Bergsma, Formsma, de Bruin en Bögels (2012) komt naar voren dat mindfulness trainingen op korte termijn effectief zijn bij gedragsproblemen en aandachtsproblemen bij kinderen met ADHD. Een soort gelijk effect is gevonden in de studie van Bögels, Hoogstad, van Dun en de Schutter (2008). Waarbij onderzoek gedaan werd naar mindfulness training voor adolescenten met externaliserende problematiek. Er wordt dan ook verwacht dat er een positief effect wordt gevonden bij de emotieregulatie strategie mindfulness. Volgens de studie van Musalay en Laliteshwari (2017) is er een relatie tussen zelf-compassie en cognitieve emotieregulatie bij delinquenten. Zelf-compassie is een component van mindfulness, zoals hierboven is genoemd. Er wordt dan ook verwacht dat de emotieregulatie strategie zelf-compassie ook een positief significant effect heeft op verdriet bij kinderen met meer externaliserende problemen. In het artikel van Garnefski et al. (2005) komt ook naar voren dat cognitieve herwaardering geen sterk effect heeft bij meer externaliserende problemen bij adolescenten. Dit effect is sterker voor adolescenten met internaliserende problemen. Bij de emotie-regulatie strategie
cognitieve herwaardering wordt verwacht dat er geen effect wordt gevonden, bij kinderen met meer externaliserend gedrag.
Methode
Steekproef
Het experiment heeft plaatsgevonden in het NEMO Science Museum. Aan het onderzoek hebben 188 kinderen deelgenomen waarvan n=110 meisjes en n=78 jongens. De kinderen waren in de leeftijd van 8 tot en met 14 jaar (Mleeftijd= 10.72; SD= 1.39). De
onderzoeksgroep spreekt Nederlands en heeft geen psychische stoornissen. De meeste kinderen zijn in Nederland geboren (96%). Naast de kinderen moesten ook de ouders een vragenlijst invullen over het kind wat deelnam aan het experiment. Er hebben n=160 ouders/verzorgers de vragenlijst volledig ingevuld die tussen de 24 en 66 jaar oud zijn
(Mleeftijd=45; SD= 5.08). Waarvan 5.6% in het buitenland is geboren. 60.5% heeft een hoge
opleiding genoten en 83% werkt. Van de ouders/verzorgers zijn er 63% getrouwd, 12% woont samen, 16% is alleenstaand en 4% woont in een samengesteld gezin.
Procedure
Het onderzoek vond plaats in de Science Live ruimte van het
NEMO Science Museum. De kinderen werden samen met hun ouders geworven voor het experiment waarbij van tevoren uitleg gegeven werd hoelang het onderzoek zou duren en wat het onderwerp was. Voordat de ouders en de kinderen aan het experiment deelnamen werd er eerst officieel toestemming gevraagd middels een informed consent (ouders en kinderen vanaf 12 jaar). De kinderen werden apart genomen van de ouders en gingen individueel een
experiment achter de computer doen, terwijl de ouders individueel vragen beantwoordden en achtergrondgegevens invulden. Het experiment op de computer duurde ongeveer 25 minuten voor de kinderen. Het experiment bestond uit meerdere stappen (randomisatie, voormeting, manipulatie, nameting 1, condities, nameting 2). De kinderen werden random toegewezen aan een conditie. Als eerst kwam de voormeting. Daar werd impliciet en expliciet gevraagd naar de huidige emotionele toestand van de kinderen. Daarna moesten ze naar een korte videoclip kijken, waarbij het de bedoeling was om negatieve emoties op te wekken. Na het filmpje was er een tussenmeting en werd er nog een keer impliciet en expliciet naar hun emoties gevraagd. Daarna kregen ze een van de vier condities te horen. Er waren drie strategieën, een
mindfulness strategie, een zelf-compassie strategie en een cognitieve herwaardering strategie en één controlegroep die geen strategie had. De controlegroep was vier minuten
stil. In de nameting werd nogmaals impliciet en expliciet gevraagd naar de emoties. Als een ouder en zijn of haar kind klaar was dan werd er nog een debriefing gegeven, waarbij het doel van het onderzoek werd uitgelegd en er werd gevraagd aan het kind of het experiment
negatieve emoties had opgeroepen, zoals verdriet of angst, en hoe ze zich op dat moment voelden. Als laatste werd er nog een foto gemaakt die ze mee naar huis konden nemen. Het doel daarvan was om ze te belonen en om een herinnering te hebben aan het experiment met hun ouder. Ook kregen ze namens NEMO een certificaat mee, omdat ze deel hadden genomen aan een echt wetenschappelijk onderzoek.
Instrumenten
De manipulatie in het experiment had als doel om verdrietige emoties op te roepen. Hierbij wordt een verdrietig stukje van de film ‘The Lion King’ gebruikt. De scene uit de film, waarbij de Leeuwenkoning Mufasa, de vader van Simba, overlijdt, wordt vaker gebruikt in onderzoek om verdrietige emoties op te wekken (Von Leupoldt, Riedel & Dahme,
2006; Meeten & Davey, 2012). De clip is gevalideerd om negatieve emoties op te roepen bij jonge mensen (Von Leupoldt et al., 2007).
Conditie
De cognitieve emotieregulatie strategieën zijn zoals eerdergenoemd, mindfulness, zelf compassie en cognitieve herwaardering. Deze strategieën richten zich op regulatie van
emoties door gedachten of cognities (Garnefski, Kraaij & Spinhoven, 2002). De drie strategieën zijn ontworpen door de onderzoekers en gebaseerd op de strategieën uit de literatuur.
Bij Mindfulness gaat het om bewustzijn van de emoties en van het lichaam. En dat het ook goed is om een keer verdrietig of boos te zijn. Uit onderzoek is gebleken dat
populaties, waaronder het verminderen van angst en depressie (Hayes, 2004). Een voorbeeld van een zin uit de strategie is: ”Probeer je gevoelens gewoon te laten, alsof het wolken in de lucht zijn. Wolken veranderen en bewegen de hele tijd. Dit is net als bij gevoelens: deze komen en gaan en veranderen de hele tijd.”
Zelf-compassie (oftewel Self-Compassion) is gerelateerd aan mindfulness. Deze strategie focust zich op vriendelijkheid en met name vriendelijkheid voor jezelf doormiddel van het indenken van hoe een aardig persoon in jouw naaste omgeving naar jou zou reageren in deze situatie. Daarnaast focust het zich op menselijkheid, dit houdt in dat diegene erkent dat fouten maken menselijk is. En als laatste focust de strategie zich op mindfulness, dit houdt in dat de persoon zich bewust mag zijn van het moment en zijn gevoelens, waarbij het
belangrijk is dat de persoon erkent dat het niet goed gaat en hij lijdt zodat het mogelijk is om compassie te hebben voor zichzelf (Neff, 2009). Uit onderzoek is gebleken dat meer compassie gerelateerd is aan minder angst en depressie (Neff, 2003a). En dat
zelf-compassie negatief gecorreleerd is met andere strategieën zoals herhaling en onderdrukking van emoties. Een voorbeeld van een zin uit de strategie is: “Misschien zegt hij of zij wel: Het is OK om je te voelen zoals je je nu voelt. Iedereen zou zich zo voelen in deze situatie. Ik voel me soms ook zoals jij je nu voelt.”
Bij cognitieve herwaardering (oftewel Cognitive Reappraisal) gaat het erom dat de situatie vanuit verschillende perspectieven wordt bekeken. In eerder onderzoek is bewezen dat cognitieve herwaardering voor een vermindering van intense negatieve emoties kan
zorgen (Goldin, McRae, Ramel & Gross, 2008). Uit onderzoek is gebleken dat cognitieve herwaardering effectiever is in het verminderen van stress dan het gebruiken van een
afleidende strategie, een onderdrukkende strategie of het gebruik van herhalen van patronen (Chiesa, Serretti & Jakobsen, 2013). Er is gekozen voor deze strategie omdat cognitieve herwaardering verschillende fases van zowel het emotieregulatie proces als de mindfulness
strategie aanspreekt. Een voorbeeld van een zin uit de strategie is: ”Bedenk of je ook op een andere manier kunt nadenken over de situatie. Probeer je gedachten te veranderen op een positieve en helpende manier.”
Impliciete emoties
Om impliciet emoties te meten werd er gebruik gemaakt van
de Implicit Positive and Negative Affect Test (IPANAT). De IPANAT is in andere studies als valide meetinstrument beoordeeld, wel alleen bij volwassenen (van der Ploeg, Brosschot, Thayer & Verkuil, 2016; Quirin, Kazén, & Kuhl, 2009). Bij deze vragenlijst wordt er
gevraagd of de persoon verschillende kunstmatige (niet bestaande) woorden wil beoordelen in hoeverre deze woorden de verschillende gegeven stemmingen uitdrukken (boos, verdrietig, blij, gelukkig etc.). Het antwoord kan gegeven worden door middel van
een zespuntsschaal (1= past helemaal niet, 6= past zeer goed). Deze vragenlijst is iets aangepast voor de studie zodat het te gebruiken is voor kinderen, omdat de vragenlijst
oorspronkelijk voor volwassenen is. Bij het impliciet meten van emoties worden automatisch cognitieve representaties van ervaringen geactiveerd die van invloed kunnen zijn (Quirin, Kazén & Kuhl, 2009). De IPANAT is betrouwbaar en valide voor het beoordelen van
impliciete emoties. De cronbach’s alpha voor de impliciete positieve emoties gemeten met de IPANAT in dit onderzoek is .95. Dit betekent dat de positieve schaal betrouwbaar is en er een hoge samenhang is tussen de items. De cronbach’s alpha voor de items met impliciete
negatieve emoties van de IPANAT is .93. Dit betekent dat de negatieve schaal betrouwbaar is en er een hoge samenhang is tussen de items.
Expliciete emoties
Om de expliciete emoties te meten zal er gebruik worden gemaakt van een vragenlijst die gebaseerd is op de Positive and Negative Affect Schedule (PANAS), een gevisualiseerde
versie (Weeland et al., 2015; 2017). De affect schaal is een
zelf-rapporterend meetinstrument die positieve en negatieve beïnvloeding meet. De participanten wordt gevraagd hoe ze de verschillende emoties, zoals blij, boos, verdrietig en bang, ervaren op dat moment. De vraag wordt beantwoord aan de hand van een vijfpuntsschaal (1=
helemaal niet tot 5= heel erg). De cronbach’s alpha van de expliciete negatieve items van de gevisualiseerde versie van de PANAS is .91. Dit betekent dat de negatieve schaal van de gevisualiseerde versie van de PANAS betrouwbaar is en dat er een hoge samenhang is tussen de items. De cronbach’s alpha van de expliciete positieve items is .90. Dit betekent dat de positieve schaal van de gevisualiseerde versie van de PANS betrouwbaar is en dat er een hoge samenhang is tussen de items.
Externaliserend gedrag
Externaliserend gedrag wordt gemeten aan de hand van de Child Behavior Checklist (CBCL) voor kinderen en jongeren van 6-18 jaar (Verhulst & van der Ende, 2013). Er werd gebruik gemaakt van de twee subschalen die samen externaliserend probleemgedrag meten, namelijk agressief gedrag en normafwijkend gedrag. Deze twee subschalen bestaan in totaal uit 35 items. Deze items moesten beantwoord worden aan de hand van een driepuntsschaal (0: helemaal niet, 1: een beetje of soms, 2: duidelijk of vaak). Een voorbeeld van zo’n item is ‘stemming en gevoelens veranderen plotseling’. De CBCL wordt individueel door de ouders of verzorgers van het kind ingevuld. Begripsvaliditeit en criteriumvaliditeit zijn voldoende (Verhulst & van der Ende, 2013). De betrouwbaarheid is voldoende op schaalniveau. Hij is onvoldoende op het hele instrument omdat het niet goed mogelijk is om over de
betrouwbaarheid te oordelen. Toch wordt dit instrument gebruikt omdat alleen de
schaal externaliserende gedragsproblemen gebruikt wordt en er geen klinische doelgroep onderzocht wordt. Er wordt alleen gekeken of kinderen meer of minder tot
is .88. De alpha moet hoger zijn dan 0.70 voordat een test/vragenlijst gebruikt kan worden. De CBCL mag gebruikt worden, omdat de score hoger is dan 0.70
Uitbijters
Er zijn een aantal uitbijters uitgehaald. Dit waren extreme uitbijters en hadden veel invloed op het gemiddelde. Daarnaast zijn de participanten eruit gehaald waar aan de
ingevulde score te zien was dat de vraag niet goed begrepen was of niet serieus was ingevuld. Dit was te zien doordat er bij elke vraag hetzelfde antwoord was ingevuld, of alles laag of alles hoog. Terwijl de vragen in beide richtingen gesteld waren en er daardoor lage en hoge scores te zien moeten zijn. .
Resultaten
Randomisatie
Om te controleren of de participanten random zijn verdeeld over de condities is er randomisatiecheck uitgevoerd door middel van een multivariate generalized linear model (GLM). Daaruit bleek dat de participanten random waren verdeeld over de condities. Ook is er door middel van Pearson Chi-square getoetst of geslacht invloed heeft op de interactie en of deze dus niet gelijk verdeeld is. Er is geen significante interactie gevonden tussen geslacht en de condities (x2(3) = 2.86, p> .05). Dit houdt in dat geslacht geen invloed heeft op de
condities. Daarnaast is er getoetst met de one-way analysis of variance (ANOVA) of leeftijd invloed heeft op de condities. Daaruit kwam dat er geen significante interactie is gevonden tussen de condities en de leeftijden (p< .05).
Assumpties
De assumptie voor gelijkheid van de variantie voor de variabele indirecte positieve emoties is geschonden. Daarom moet er een conservatievere alpha komen om de significantie
aan te duiden voor de variabele van univariate F-test. Een alpha van .025 of .01 wordt aangeraden in plaats van een alpha van .05 (Tabachnick and Fidell, 2007).
Manipulatie
Om te controleren of de manipulatie heeft gewerkt, wordt er een manipulatiecheck uitgevoerd door middel van een gepaarde t-test. Daaruit bleek dat voor zowel de IPANAT als de PANAS er significant verschil zat tussen het eerste meetmoment en het tweede
meetmoment bij zowel de positieve als de negatieve emoties. De meetmomenten zijn matig en positief met elkaar gecorreleerd IPANAT Positieve emoties (r=.560, p<.001). IPANAT negatieve emoties (r=.541, p<.001). Affect schaal positieve emoties (r=.498, p<.001) en de Affect schaal negatieve emoties (r=.459, p<.001).
Hoofdresultaten
Door middel van een gepaarde t-test is er getoetst of er verschil zit tussen het tweede en het derde meetmoment. Uit de resultaten kwam naar voren dat bij alle vier de condities er een significant verschil zat tussen het derde en het tweede meetmoment (Tabel 1). De
condities zijn alle vier significant veranderd bij het derde meetmoment na de toepassing van de onafhankelijke variabele.
Tabel 1
Gepaarde t-toets
Measure moments Mean Std.
Deviation S t d . E r r o r M e a n 95% Conf idenc e Inter val of the Diffe rence t d f Sig. (2-tailed) L o w e r U p p e r Pair1
Impliciet positief 2 Impliciet positief 3 -,46137 1,29435 , 1 0 5 3 3 -, 6 6 9 5 0 -, 2 5 3 2 4 -4 , 3 8 0 1 5 0 ,000**
Een multivariate analyse van covarianties (MANCOVA) is uitgevoerd om te onderzoeken of er een effect is tussen de verschillende emotieregulatie technieken en verdrietige emoties. Waarbij de afhankelijke variabelen, negatieve en positieve, indirecte en directe emoties zijn. En de onafhankelijke variabelen zijn de condities, namelijk de emotie-regulatietechnieken, mindfulness, zelfcompassie, cognitieve herwaardering en de
Pair2
Impliciet Negatief2 Impliciet Negatief3 ,38742 ,94174 , 0 7 6 6 4 , 2 3 5 9 9 , 5 3 8 8 5 5 , 0 5 5 1 5 0 ,000* Pair3
Expliciet Negatief2 Expliciet Negatief3 ,24724 ,48418 , 0 3 9 4 0 , 1 6 9 3 9 , 3 2 5 1 0 6 , 2 7 5 1 5 0 ,000* Pair4
Expliciet Positief2 Expliciet Positief3 -,38631 ,83541 , 0 6 7 9 8 -, 5 2 0 6 5 -, 2 5 1 9 8 -5 , 6 8 2 1 5 0 ,000* *p<.05, **p<.01
controlegroep. Er is gevonden dat er geen significante verschillen zijn tussen de emotie-regulatietechnieken op de emoties. (F(12, 370.67) = .79, p=.702; Ʌ = .94). Dit betekent dat er geen significant verschil is tussen de emotieregulatie technieken.
Ook is de MANCOVA uitgevoerd om te onderzoeken of meer externaliserend gedrag invloed heeft op het effect van de condities op de emoties. Uit de resultaten komt naar voren dat meer externaliserend gedrag geen invloed heeft op het effect van de verschillende condities op de emoties. Dit betekent dat het effect van de strategieën niet af hangt van meer externaliserend gedrag (F(12, 370.697) = .76, p=.689; Ʌ = .94) (tabel 2). Wel komt uit de resultaten naar voren dat er een significant verschil is tussen de kinderen met meer
externaliserend gedrag en zonder externaliserend gedrag op de emoties. De kinderen met meer externaliserend gedrag, vertonen hogere negatieve emoties na de manipulatie en lagere
negatieve emotie na de regulatie (F(4, 140)= 2.45, p=.048; Ʌ= .94, partial eta squared = .07) (tabel 2). Het significante verschil is een klein effect. Dit effect is een direct effect en geen interactie.
Tabel 2
Multivariate ANCOVA
Effect Value F Hypothesis
df Error df Sig. P a r t i a l E t a S q u a r e d 1.Intercept Wilks' Lambda ,034 998,385 4,000 141,000 ,000 , 9
6 6 2. 4 condities * Externaliserend gedrag Wilks' Lambda ,938 ,764 12,000 373,342 ,687 , 0 2 1 3. 4 condities Wilks' Lambda ,943 ,695 12,000 373,342 ,757 , 0 1 9 4. Externaliserend gedrag Wilks' Lambda ,935 2,466 4,000 141,000 ,048* , 0 6 5 *p<.05 Discussie
Het is van belang dat kinderen op een goede manier met hun emoties leren omgaan, zodat internaliserende en externaliserende problemen voorkomen kunnen worden op latere leeftijd. In de huidige studie is onderzoek gedaan naar cognitieve emotieregulatie strategieën en is er getoetst of deze helpen om negatieve emoties te verminderen en positieve emoties te vermeerderen bij kinderen tussen de 9 en 14 jaar. Ook werd er getoetst welke cognitieve
emotieregulatie strategie het meest effectief is. Daarnaast werd er ook getoetst of kinderen die meer externaliserend gedrag laten zien meer moeite hebben met het toepassen van de
emotieregulatie strategieën dan kinderen die minder van dit gedrag laten zien. Om dit te toetsen is een experimenteel onderzoek uitgevoerd. Aan het experiment hebben 188 kinderen deelgenomen (meisjes N=110, jongens N=78) die vervolgens willekeurig zijn verdeeld over drie verschillende emotieregulatie-strategieën of een controle-conditie. De manipulatie was dat ze een kort videofragment kregen te zien, met als doel negatieve emoties op te wekken. Voorafgaand aan de manipulatie werd er eerst impliciet en expliciet gevraagd naar de emoties en na de manipulatie werd er nogmaals impliciet en expliciet gevraagd naar de emoties. Vervolgens kregen ze een conditie te horen, waarna er voor de laatste keer impliciet en expliciet werd gevraagd naar de emoties.
Voorafgaand aan het onderzoek werd er verwacht dat de kinderen die de cognitieve emotieregulatie strategieën kregen te horen, namelijk mindfulness, zelfcompassie of
cognitieve herwaardering, een grotere vermindering van de negatieve emoties zouden laten zien, dan de controlegroep. En dat dit effect mogelijk verschillend was per strategie. Uit de resultaten kwam naar voren dat de negatieve emoties bij de kinderen eerst gestegen waren na het zien van het videofragment. En na het horen van een cognitieve emotieregulatie strategie of een stilte moment waren de negatieve emoties inderdaad verminderd. De manipulatie was succesvol. Desalniettemin kwam er ook naar voren dat de negatieve emoties van de kinderen uit de controlegroep niet minder waren verminderd dan de kinderen die een cognitieve emotieregulatie strategie hadden gekregen, er was geen verschil tussen de verschillende emotieregulatie strategieën. Dit is tegenstrijdig met de verwachting die gesteld was. Een mogelijke verklaring is dat kinderen in de controlegroep (bewust, dan wel onbewust) ook hun emoties reguleren. Bijvoorbeeld door onbewust emotie-regulatie strategieën te gebruiken (Williams, Bargh, Nocera & Gray, 2009). Het is namelijk zo dat het proces van
emotieregulatie veranderd in het leven (Thompson, 1991). De adolescentie is een interessante periode in het ontwikkelen van emotieregulatie. In deze periode worden strategieën getest door de nieuwe rol in de samenleving en de verwachtingen en waarop minder geleund wordt op ouders voor hulp (Riediger & Klipker, 2014). Dit zou betekenen dat verder onderzoek naar onbewuste emotie-regulatie strategieën interessant is. En of het onbewust gebruiken van emotie regulatie strategieën voor iedereen geldt of dat er verschil is in achtergrond en omgeving van een kind.
Ook werd er voorafgaand aan het onderzoek verwacht dat externaliserend
probleemgedrag invloed heeft op het effect van de cognitieve emotieregulatie strategieën op de emoties bij de kinderen. Uit de resultaten kwam naar voren dat bij de kinderen die meer externaliserend probleemgedrag vertoonden het effect niet anders was dan voor de kinderen met minder externaliserend probleemgedrag. Wat wel uit de resultaten naar voren kwam is dat er wel een verschil was bij kinderen die meer externaliserend gedrag vertoonden in emoties. Na het zien van de videoclip vertoonden de kinderen met meer externaliserend gedrag meer negatieve emoties dan de kinderen zonder externaliserend gedrag. Dit effect was klein. Een mogelijke verklaring is dat kinderen met externaliserend gedrag prikkelbaar zijn en daardoor heftiger kunnen reageren in lastige situaties (Humphreys, et al., 2018). En dat daardoor de emoties sneller verhoogd waren na de manipulatie. Dit zou betekenen dat er eventueel wel een effect zichtbaar kan zijn van cognitieve emotieregulatie strategieën bij kinderen met externaliserend probleemgedrag. Het onderzoek kan gerepliceerd worden bij de klinische populatie. Uit onderzoek blijkt dat kinderen met ADHD met externaliserend
probleemgedrag meer moeite hebben met hun emotieregulatie en significant meer tekorten laten zien in hun emotieregulatie-vaardigheden dan kinderen zonder ADHD (Schniedewind, 2014). Ook uit het onderzoek van Biederman et al (2012) komt naar voren dat kinderen met meer externaliserend gedrag tekorten vertonen in hun emotie-regulatie. En zoals eerder is
beschreven reageren kinderen met externaliserend gedrag heftiger in lastige situaties, waardoor emoties sneller omhoogschieten en lang kunnen aanhouden (Humphreys, et al., 2018). Onderzoek zou kunnen uitwijzen of bepaalde emotie-regulatie technieken helpen bij kinderen met externaliserend probleemgedrag, zodat delinquent gedrag op latere leeftijd kan worden voorkomen.
Een limitatie van het onderzoek is dat er geen sprake is van externaliserend
probleemgedrag, omdat er geen sprake is van een klinische populatie. Externaliserend gedrag is alleen gemeten door een gedragsvragenlijst bij de ouders af te nemen, namelijk de vragen van twee schalen van de Child Behavior Checklist (referentie naar de CBCL). Waardoor er niet gesproken kan worden van externaliserend probleemgedrag, maar van kinderen die meer externaliserend gedrag vertonen. Een andere limitatie is dat de doelgroep voor het merendeel uit een hoog opgeleid gezin kwam (60%). Waardoor de resultaten niet generaliserend zijn voor de gehele bevolking. Ook was het merendeel van de participanten in Nederland geboren (94%). Waardoor het huidige onderzoek niet representatief is voor andere populaties. Ook duurde de meetmomenten lang, omdat er veel vragen over de impliciete en expliciete emoties werden gesteld. Hierdoor zou er al regulatie optreden tijdens het beantwoorden van de vragen, omdat de aandacht verschuift en de emotionele reactie daardoor verandert (Gross, 2015). Een andere limitatie is dat het onderzoek is afgenomen in een lab studie. Dit kan al meer stress opleveren. Als het onderzoek ergens anders gedaan zou worden, bijvoorbeeld thuis in een vertrouwde omgeving, is het mogelijk dat er andere resultaten naar voren komen.
Een sterk punt van het huidige onderzoek is dat emotie is opgewekt in een
experimenteel design, zodat er gekeken kon worden naar causaliteit. Ook is een sterk punt dat de emoties op meerdere manieren gemeten zijn, namelijk impliciet en expliciet. En beide meten een toename na de manipulatie en een afname na de regulatie. Een ander sterk punt is dat de manipulatie heeft gewerkt en dat na manipulatie de negatieve emoties relatief hoog
waren en de positieve emoties relatief laag vergeleken bij de start. Ook waren de participanten random verdeeld, wat bijdraagt aan de betrouwbaarheid van het onderzoek. Daarnaast waren er meer dan 20 participanten bij elke conditie. De steekproef is daarmee groot genoeg om robuust te zijn (Tabachnick & Fidell, 2007).
Voor vervolgonderzoek wordt aanbevolen om op een andere manier emoties bij een meetmoment te meten. In het huidige onderzoek werd er aan de hand van vragen gevraagd naar expliciete en impliciete emoties, waardoor er veel tijd zat tussen de manipulatie en de condities. Het zou interessant kunnen zijn om geen vragen tussendoor te stellen, maar andere manieren te gebruikten om te onderzoeken of de negatieve emoties vermeerderen. Dit zou bijvoorbeeld kunnen door te kijken naar hartslag, bloeddruk en breinactiviteit. Bij mijn weten is daar nog weinig onderzoek naar gedaan. Het onderzoek toont wel aan dat een moment stilte of een emotie-regulatie techniek helpt in het verminderen van negatieve emoties bij
schoolkinderen. Dit zou verder onderzocht kunnen worden, zodat dit in de praktijk toegepast kan worden. Dit zou kinderen kunnen helpen om beter te leren omgaan met negatieve
emoties, zoals verdriet. Wat ook interessant is voor verder onderzoek, is het onderzoeken van verschillende categorieën van strategieën. In het huidige onderzoek is er alleen onderzoek gedaan naar cognitieve emotieregulatie strategieën. Er zijn namelijk nog vier andere
categorieën die interessant zijn om te vergelijken met cognitieve emotieregulatie strategieën, namelijk situatie selectie, situatie verandering, aansturen van aandacht en het beïnvloeden van de reactie (Gross, 2015).
Concluderend kan gesteld worden dat kinderen in deze setting onbewust of bewust emotieregulatie strategieën toepassen. Desalniettemin is er wel een verschil bij kinderen die meer externaliserend gedrag vertonen. Waarbij de emoties sneller verhogen en verlagen. Voor vervolgonderzoek is het interessant om emotieregulatie strategieën te onderzoeken bij
Biederman, J., Spencer, T.J., Petty, C., Hyder, L.L., O’Connor, K.B., Surman, C.B.H., & Faraone, S.V. (2012). Longitudinal course of deficient emotional self-regulation CBCL profile in youth with ADHD: Prospective controlled study. Neuropsychiatric Desease and Treatment, 8, 267-276.
Bögels, S., Hoogstad, B., van Dun, L., de Schutter, S., & Restifo, K. (2008). Mindfulness
training for adolescents with externalizing disorders and their parents. Behavioural and Cognitive Psychotherapy, 36(2), 193-209.
Brockman, R., Ciarrochi, J., Parker, P., & Kashdan, T. (2017). Emotion regulation strategies in daily life: Mindfulness, cognitive reappraisal an emotion suppression. Cognitive
Behaviour Therapy, 46(2), 91-113. DOI: 10.1080/16506073.2016.1218926
Chiesa, A., Serretti, A., & Jakobsen, J.C. (2013). Mindfulness: top-down or bottom-upemotion regulation strategy? Clinical Psychology Review, 33, 82-96.
Child Behavior Checklist (CBCL). [ca.
2013]. Retrieved fromhttps://www.nji.nl/nl/Databank/Databank-Instrumenten/Zoek-een-instrument/ChildBehavior-Checklist-(CBCL)
Davis, E.L., Quiñones-Camacho, L.E., & Buss, K.A. (2015). The effects of distraction and reappraisal on children’s parasympathetic regulation of sadness and fear. Journal of Experimental Child Psychology, 142, 344-358.
Ehret, A.M., Joormann, J., & Berking, M. (2018). Self-compassion is more effective than acceptance and reappraisal in decreasing depressed mood in currently and formerly depressed individuals. Journal of Affective Disorders, 226. 220-226.
Ford, B. Q., Mauss, I. B., Troy, A. S., Smolen, A., & Hankin, B. (2014). Emotion regulation moderates the risk associated with the 5–HTT gene and stress in children. Emotion, 14, 930–939.
Garnefski, N., Kraaij, V., & Etten, M. van. (2005). Specifity of relations between
adolescents’cognitive emotion regulation strategies and internalizing an externalizing psychopathology. Journal of Adolescence, 28, 619-631.
Garnefski, N., Kraaij, V., & Spinhoven, P. (2001). Negative life events, cognitive emotion regulation and emotional problems. Personality and Individual Differences, 30(8), 1311-1327.
Gratz, K. L., & Roemer, L. (2004). Multidimensional assessment of emotion regulation and dysregulation: Development, factor structure, and initial validation of the difficulties in emotion regulation scale. Journal of psychopathology and behavioral assessment, 26(1), 41-54.
Gross, J.J. (1998). The emerging field of emotion regulation: An integrative review. Review of General Psychologie, 2(3), 271-299.
Gross, J. J. (2015). Emotion regulation: Current status and future prospects. Psychological Inquiry, 26(1), 1-26.
Gross, J. J., & Jazaieri, H. (2014). Emotion, emotion regulation, and psychopathology: An affective science perspective. Clinical Psychological Science, 2, 387–401.
Hayes, S. C. (2004). Acceptance and commitment therapy, relational frame theory, and the third wave of behavioral and cognitive therapies. Behaviour Therapy, 35, 639–665.
Humphreys, K. L., Schouboe, S. N., Kircanski, K., Leibenluft, E., Stringaris, A., & Gotlib, I. H. (2018). Irritability, externalizing, and internalizing psychopathology in adolescence:
cross-sectional and longitudinal associations and moderation by sex. Journal of Clinical Child & Adolescent Psychology, 1-9.
Hu, T., Zhang, D., Wang, J., Mistry, R., Ran, G., & Wang, X. (2014). Relation between emotion regulation and mental health: A met-analysis review. Psychological reports: Measures & Statistics, 114(2), 341-362.
Lee, B. F. S., Heimer, H., Giedd, N., Lein, E. S., Šestan, N., Weinberger, D. R., & Casey, B. J. (2014). Adolescent mental healthopportunity and obligation. Science, 346(6209), 547– 549. doi:10. 1126/science.1260497.
Leupoldt, A. von., Riedel, F., & Dahme, B. (2006). The impact of emotions on
the perceptionof dyspnea in pediatric asthma. Psychophysiology, 43(6), 641-644.
Leupoldt, A. von., Rohde, J., Beregova, A., Thordsen-Sörensen, I., Nieden, J. zur., & Dahme,B. (2007). Films for eliciting emotional states in
children. Behavior ResearchMethods, 39(3), 606-609.
Looze, M. de, Dorsselaer, S., van, Roos, S., de., Verdurmen, J., Stevens, G., Gommans, R., Bon -Martens, M. van, Bogt, T. ter & Vollebergh, W. (2014).
HBSC 2013: Gezondheid, welzijn en opvoeding van jongeren in Nederland. Utrecht: Uni versiteit Utrecht.
MacBeth, A., & Gumley, A. (2012). Exploring compassion: A meta-analysis of the association between self-compassion and psychopathology. Clinical Psychology Review, 32, 545– 552.
Masten, A. S., Roisman, G. I., Long, J. D., Burt, K. B., Obradovi ć, J., Riley, J. R., & Tellegen, A. (2005). Developmental cascades: Linking academic achievement and externalizing and internalizing symptoms over 20 years. Developmental psychology, 41(5), 733-746.
Meeten, F., & Davey, G. C. L. (2012). Mood as input and perseverative worrying following the induction of discrete negative moods. Behavior Therapy, 43(2), 393-406.
Musalay, P., & Laliteshwari, K. (2017). Self-compassion and cognitive emotion regulation among juvenile delinquents. Indian Journal of Health and Wellbeing, 8(8), 805-810.
Neff, K. D. (2003a). Development and validation of a scale to measure self-compassion. Self and Identity, 2, 223-250.
Neff K. D. (2009). Self-Compassion. In M. R. Leary & R. H. Hoyle (Eds.). Handbook of Individual Differences in Social Behavior, 561-573. Guilford Press.
Neff, K.D., Rude, S. S., & Kirkpatrick, K. L. (2007). An examination of self-compassion in relation to positive psychological functioning and personality traits. Journal of Research in Personality, 41(4), 908-916.
Ploeg, M.M. vander., Brosschot, J.F., Thayer, J.F., & Verkuil, B. (2016). The implicit positive and negative affect test: Validity and relationship with cardiovascular stress-responses. Frontiers in Psychology, 7, 425-xx. doi:
Quirin, M., Kazén, M., & Kuhl, J. (2009). When nonsens sounds happy or helpless: The implicit positive and negative affect test
(IPANAT). Journal of Personality and SocialPsychology, 97(3), 500-516.
Rainforth, M V., Alexander, C. N., & Cavanaugh, K. L. (2003). Effects of the transcendental meditation program on recidivism among former inmates of Folsom prison: Survival analysis of 15 –year follow up data. Journal of Offender Rehabilitation, 36(1-4), 181-203.
Riediger, M., & Klipker, K. (2014). Emotion regulation in adolescence. In J. J. Gross (Ed.), Handbook of emotion regulation (2nd ed., pp. 187–202). New York, NY: Guilford.
Steinberg,L.(1999). Adolescence. NewYork:McGraw-Hill,Inc.
Schniedewind, B.R. (2014). De relatie tussen emotieregulatie en externaliserend
probleemgedrag bij kinderen met ADHD en de invloed van leeftijd en sekse (master’s thesis). Universiteit Leiden, Nederland.
Supplee, L.H., Skuban, E.M., Shaw, D.S. & Prout, J. (2009). Emotion regulation strategies and later externalizing behavior among European American and African American children. Development and Psychopathology, 21, 393-415.
Thompson, R. A. (1991). Emotional regulation and emotional development educational. Psychology Review, 3, 269–307.
Tabachnick, B.G. & Fidell, L.S. (2007). Using multivariate statistics (5th edn). Boston:
Pearson Education.
Van de Weijer-Bergsma, E., Formsma, A. R., de Bruin, E. I., & Bögels, S. M. (2012). The effectiveness of mindfulness training on behavioral problems and attentional functioning in adolescents with ADHD. Journal of Child and Family Studies, 21(5), 775-787.
Verhulst, F. C., & Ende, J. van der. (2013). Handleiding ASEBA-
Vragenlijsten voor leeftijden6 t/m 18 jaar: CBCL/6-18, YSR en TRF. Rotterdam: ASEBA Nederland.
Weeland, J., Chhangur, R. R., Van Der Giessen, D., Matthys, W., De Castro, B. O., & Overbeek, G. (2017). Intervention Effectiveness of The Incredible Years: New Insights Into Sociodemographic and Intervention-Based Moderators. Behavior Therapy, 48(1), 1-18.
Weeland, J., Slagt, M., Brummelman, E., Matthys, W., De Castro, B. O., & Overbeek, G. (2015). 5-HTTLPR Expression Outside the Skin : An Experimental Test of the Emotional Reactivity Hypothesis in Children. PLoS One, 10(11),e0141474.
Williams, L. E., Bargh, J. A., Nocera, C. C., & Gray, J. R. (2009). The unconscious regulation of emotion: nonconscious reappraisal goals modulate emotional reactivity. Emotion, 9(6), 847.
Winter, K. A., & Kuiper, N. A. (1997). Individual difference in the experience of emotions. Clinical Psychology Review, 17(7), 791-821.
