In deze dissertatie worden enkele facetten van sociale interacties behandeld, waaronder het herkennen van identiteit en emotie aan het gezicht in gezonde participanten, mensen met ontwikkelings prosopagnosie (gezichtsblindheid) en verkregen prosopagnosie door hersenschade. Een belangrijk concept in
prosopagnosie onderzoek is configurationele verwerking, in andere woorden, de verwerking van gezichten als een geheel. Mensen verwerken gezichten
hoogstwaarschijnlijk als geheel, want normaliter zijn mensen slechter in het
herkennen van omgekeerde dan rechtopstaande gezichten, terwijl het omdraaien van objecten weinig invloed heeft. Dit proces lijkt verstoord in prosopagnosie; er is vaak gevonden dat individuen met prosopagnosie beter zijn in het herkennen van omgekeerde gezichten dan rechtopstaande.
Daarnaast wordt er onderzocht wat er gebeurd in het lichaam en de hersenen wanneer emotionele lichaamsexpressies worden waargenomen in sociale interacties tussen twee of meer personen. Het is van het gezicht bekend welke spieren worden gebruikt bij het uiten van welke emoties (Facial Action Coding System). Het is ook vaak gevonden dat het gezicht de emoties van anderen ‘imiteert’, bijvoorbeeld dat de ‘lachspier’ in de wang activeert bij het zien van een lach in anderen. Of hetzelfde gebeurd in het lichaam is een belangrijke vraag in het tweede deel van deze
dissertatie. Ten slotte wordt met behulp van fMRI onderzocht welke rol de interactie speelt tussen mensen in een groep in neutrale, blije en angstige (paniek) situaties.
Deel 1: Herkenning van identiteit en emotie
In hoofdstuk 2 wordt de “Facial Action and Emotion Stimulus Test” (FEAST)
gepresenteerd. Deze testbatterij bestaat uit meerdere experimenten ten behoeve van het testen van gezichtsherkenning en emotieherkenning, en geheugen voor gezichten. Deze testbatterij is uitermate geschikt voor het onderzoeken van gezichtsherkenning in bijvoorbeeld prosopagnosie. Deze testbatterij is afgenomen bij een groep van 58 gezonde proefpersonen tussen de 18 en de 62 jaar en de zowel de taken als de resultaten kunnen worden gebruikt als controlegroep voor toekomstige gebruikers van de FEAST.
In hoofdstuk 3 worden de resultaten van 10 mensen met ontwikkelings
prosopagnosie en 10 in leeftijd vergelijkbare controle proefpersonen op de FEAST beschreven. De prosopagnosiegroep was significant slechter in het onthouden van gezichten, zijn slechter in het herkennen van rechtopstaande (maar niet in
S
Wolpert, D. M., Doya, K., & Kawato, M. (2003). A unifying computational framework for motor control and social interaction. Philosophical Transactions of the Royal
Society of London Series B-Biological Sciences, 358(1431), 593-602.
Xu, X. K., & Biederman, I. (2010). Loci of the release from fmri adaptation for changes in facial expression, identity, and viewpoint. Journal of Vision, 10(14), Artn 36. Yang, L. Z., Zhang, W., Shi, B., Yang, Z., Wei, Z., Gu, F., . . . Rao, H. (2014). Electrical
stimulation over bilateral occipito-temporal regions reduces n170 in the right hemisphere and the composite face effect. Plos One, 9(12), e115772.
Yin, R. K. (1969). Looking at upside-down faces. Journal of Experimental Psychology,
81, 141-145.
Young, A. W., Hellawell, D., & Hay, D. C. (1987). Configurational information in face perception. Perception, 16(6).
Young, A. W., Humphreys, G. W., Riddoch, M. J., Hellawell, D. J., & Dehaan, E. H. F. (1994). Recognition impairments and face imagery. Neuropsychologia, 32(6), 693-702.
Yovel, G., & Duchaine, B. (2006). Specialized face perception mechanisms extract both part and spacing information: Evidence from developmental prosopagnosia.
Journal of Cognitive Neuroscience, 18(4).
Yovel, G., Pelc, T., & Lubetzky, I. (2010). It's all in your head: Why is the body inversion effect abolished for headless bodies? Journal of Experimental Psychology and
Human Perception Performance, 36(3), 759-767.
Zacharatos, H. (2013). Affect recognition during active game playing based on posture
skeleton data. Paper presented at the 8th International Conference on
Computer Graphics Theory and Applications, Barcelona, Spain.
Zacks, J. M., Swallow, K. M., Vettel, J. M., & McAvoy, M. P. (2006). Visual motion and the neural correlates of event perception. Brain Research, 1076(1), 150-162. Zeng, Z., Pantic, M., Roisman, G. I., & Huang, T. S. (2009). A survey of affect recognition
methods: Audio, visual, and spontaneous expressions. IEEE Trans Pattern
Anal Mach Intell, 31(1), 39-58.
Zhang, J. D., Liu, J., & Xu, Y. D. (2015). Neural decoding reveals impaired face configural processing in the right fusiform face area of individuals with developmental prosopagnosia. Journal of Neuroscience, 35(4), 1539-1548.
Zhang, S., & Li, C. S. R. (2012). Functional connectivity mapping of the human precuneus by resting state fmri. NeuroImage, 59(4), 3548-3562. Zurcher, N. R., Rogier, O., Boshyan, J., Hippolyte, L., Russo, B., Gillberg, N., . . .
Hadjikhani, N. (2013). Perception of social cues of danger in autism spectrum disorders. PLoS One, 8(12), ARTN e81206.
Nederlandse Samenvatting
In deze dissertatie worden enkele facetten van sociale interacties behandeld, waaronder het herkennen van identiteit en emotie aan het gezicht in gezonde participanten, mensen met ontwikkelings prosopagnosie (gezichtsblindheid) en verkregen prosopagnosie door hersenschade. Een belangrijk concept in
prosopagnosie onderzoek is configurationele verwerking, in andere woorden, de verwerking van gezichten als een geheel. Mensen verwerken gezichten
hoogstwaarschijnlijk als geheel, want normaliter zijn mensen slechter in het
herkennen van omgekeerde dan rechtopstaande gezichten, terwijl het omdraaien van objecten weinig invloed heeft. Dit proces lijkt verstoord in prosopagnosie; er is vaak gevonden dat individuen met prosopagnosie beter zijn in het herkennen van omgekeerde gezichten dan rechtopstaande.
Daarnaast wordt er onderzocht wat er gebeurd in het lichaam en de hersenen wanneer emotionele lichaamsexpressies worden waargenomen in sociale interacties tussen twee of meer personen. Het is van het gezicht bekend welke spieren worden gebruikt bij het uiten van welke emoties (Facial Action Coding System). Het is ook vaak gevonden dat het gezicht de emoties van anderen ‘imiteert’, bijvoorbeeld dat de ‘lachspier’ in de wang activeert bij het zien van een lach in anderen. Of hetzelfde gebeurd in het lichaam is een belangrijke vraag in het tweede deel van deze
dissertatie. Ten slotte wordt met behulp van fMRI onderzocht welke rol de interactie speelt tussen mensen in een groep in neutrale, blije en angstige (paniek) situaties.
Deel 1: Herkenning van identiteit en emotie
In hoofdstuk 2 wordt de “Facial Action and Emotion Stimulus Test” (FEAST)
gepresenteerd. Deze testbatterij bestaat uit meerdere experimenten ten behoeve van het testen van gezichtsherkenning en emotieherkenning, en geheugen voor gezichten. Deze testbatterij is uitermate geschikt voor het onderzoeken van gezichtsherkenning in bijvoorbeeld prosopagnosie. Deze testbatterij is afgenomen bij een groep van 58 gezonde proefpersonen tussen de 18 en de 62 jaar en de zowel de taken als de resultaten kunnen worden gebruikt als controlegroep voor toekomstige gebruikers van de FEAST.
In hoofdstuk 3 worden de resultaten van 10 mensen met ontwikkelings
prosopagnosie en 10 in leeftijd vergelijkbare controle proefpersonen op de FEAST beschreven. De prosopagnosiegroep was significant slechter in het onthouden van gezichten, zijn slechter in het herkennen van rechtopstaande (maar niet in
S
Daarnaast wordt de gezichtsherkenning verbeterd als het gezicht gepaard gaat met een emotionele lichaamsexpressie. De mate waarin gezichten configurationeel worden verwerkt was ook voorspellend voor gezichtsgeheugen: hoe hoger het inversie effect, hoe hoger de score op de geheugentaak.
In hoofdstuk 4 wordt wederom de FEAST gebruikt om gezichts,- en
emotieherkenning te testen in een grotere groep van ontwikkelings prosopagnosie patiënten en controles. Zoals voorheen wordt ook hier gevonden dat
gezichtsgeheugen en configurationele verwerking van gezichten is verstoord in deze groep, en dat de mate van configurationele verwerking voorspellend is voor
gezichtsgeheugen. In deze studie wordt ook aandacht besteed aan emotieherkenning. De patientengroep is slechter dan de controles in het herkennen van menselijke emotionele gezichtsexpressies, maar is even goed in staat om de emotionele gezichtsexpressies van honden te herkennen. Dit kan betekenen dat de verstoorde configurationele verwerking ook zijn uitwerking heeft op het herkennen van specifiek menselijke gezichtsexpessies.
In hoofdstuk 5 wordt een scala aan testen, waaronder van de FEAST, gebruikt om gezichts,- en emotieherkenning te onderzoeken in een nog niet in de literatuur gerapporteerde patiënt met verkregen prosopagnosie door schade aan de fusiforme gyrus. Naast de FEAST werd een taak afgenomen om de herkenning van emotionele lichaamsexpressies te testen. Daarnaast werden ‘face body compounds’, oftewel stimuli waarbij het gezicht en het lichaam dezelfde of een conflicterende emotie konden uitdrukken, gebruikt. Het gezichtsgeheugen van deze patiënt is ernstig verstoord, net als gezichtsherkenning en configurationele verwerking van gezichten. Deze patiënt is ook slechter dan gebruikelijk in staat om emotionele
gezichtsexpressies te herkennen, maar scoort wel normaal op het herkennen van emotionele lichaamstaal. Verder kan deze patiënt informatie van het lichaam slecht negeren als hem wordt gevraagd de emotie van het gezicht te herkennen, maar bij herkenning van de emotionele lichaamsexpressie heeft het gezicht een vergelijkbare storende invloed als bij controles.
Deel 2: Emotionele sociale interacties
In hoofdstukken 6 en 7 worden de eerste delen van de Body Action Coding System gepresenteerd, met als doel het onderzoeken welke spieren in het lichaam worden gebruikt bij het uiten van emotie met het lichaam. Daarnaast is een belangrijk doel van deze onderzoekslijn het onderzoeken van hoe deze spieren automatisch en
‘onzichtbaar’ voor het blote oog reageren en activeren in reactie op het zien van angst of boosheid in anderen. Dit werd gedaan door activiteit van spieren in de nek
(trapezius) schouders (deltoiden), bovenarmen (biceps en triceps), onderarm
(extensors van de pols) en kuit te meten met behulp van EMG (elektromyografie). In de studies worden twee experimenten beschreven. In experiment 1 kijken de
deelnemers video’s, levensgroot gepresenteerd met behulp van een beamer, van boze en angstige mensen. De proefpersonen staan ontspannen en kijken de video’s zonder te bewegen. In experiment 2 wordt de proefpersonen gevraagd om de lichamelijke emotionele expressie van de acteurs in de video’s te imiteren met het eigen lichaam. De hoofdstukken geven vervolgens patronen van activiteit van het lichaam in reactie op het zien van emotie in anderen, zonder dat er zelf wordt bewogen, maar ook welke spieren worden gebruikt bij het uiten van angst en agressie. Er worden specifieke activatiepatronen beschreven voor beide situaties. Wat betreft het actief uiten van emotie: de biceps wordt het meest gebruikt bij het uiten van boosheid, gevolgd door de onderarmen, en ten slotte bij schouder en triceps activatie. De onderarmen worden het sterkst gebruikt bij het uiten van angst, gevolgd door de schouders en biceps, maar de triceps spelen geen grote rol.
Wanneer je zelf niet beweegt maar je iemand waarneemt die angstig is, reageren de onderarmen sterk, terwijl het zien van iemand die boos is op jou ervoor zorgt dat de rugspieren activeren. Ook zie je dat de spieren in je kuiten, die je normaal gebruikt om weg te stappen, meteen reageren op angst, en ook reageren als iemand zich agressief naar je gedraagt. Het patroon van resultaten laat zien dat meer ‘passieve’ spieren, die belangrijker zijn voor houding dan bewegen en die dus ook niet erg sterk worden geactiveerd tijdens bewegingen, zoals die in de nek, rug en kuiten, lijken te reageren op de emoties van anderen (bijvoorbeeld een ontwijkende, angstige reactie op het zien van agressie). Spieren die erg sterk activeren tijdens beweging, zoals de
schouders, biceps, triceps en onderarmen, lijken juist meer te imiteren, zoals de biceps die belangrijk is bij het uiten van en het zien van boosheid, en de onderarmen bij angst expressie en perceptie .
Ten slotte wordt in hoofdstuk 8 een fMRI onderzoek beschreven waarin deelnemers in de scanner video’s van een grote groep acteurs bekijken. Deze acteurs kunnen zich neutraal, angstig of blij gedragen, maar kunnen dit op een individuele wijze doen (dus door de andere mensen in de groep te negeren), of kunnen gezamenlijk neutraal, angstig of blij zijn (een voorbeeld van een gezamenlijke blije situatie is bijvoorbeeld juichen bij een sportwedstrijd, gezamenlijke angst is paniek). Het waarnemen van een groep mensen die gezamenlijk emotioneel is zorgt voor meer activiteit in neurale netwerken die normaliter betrokken zijn bij emotie en actie perceptie en executie. Dit is voornamelijk het geval als de groep mensen in paniek is, wat ook resulteert in meer neurale netwerkactiviteit in die gebieden die verantwoordelijk zijn voor anticipatie en actie preparatie dan een groep mensen die individueel bang is, of
S
Daarnaast wordt de gezichtsherkenning verbeterd als het gezicht gepaard gaat met een emotionele lichaamsexpressie. De mate waarin gezichten configurationeel worden verwerkt was ook voorspellend voor gezichtsgeheugen: hoe hoger het inversie effect, hoe hoger de score op de geheugentaak.
In hoofdstuk 4 wordt wederom de FEAST gebruikt om gezichts,- en
emotieherkenning te testen in een grotere groep van ontwikkelings prosopagnosie patiënten en controles. Zoals voorheen wordt ook hier gevonden dat
gezichtsgeheugen en configurationele verwerking van gezichten is verstoord in deze groep, en dat de mate van configurationele verwerking voorspellend is voor
gezichtsgeheugen. In deze studie wordt ook aandacht besteed aan emotieherkenning. De patientengroep is slechter dan de controles in het herkennen van menselijke emotionele gezichtsexpressies, maar is even goed in staat om de emotionele gezichtsexpressies van honden te herkennen. Dit kan betekenen dat de verstoorde configurationele verwerking ook zijn uitwerking heeft op het herkennen van specifiek menselijke gezichtsexpessies.
In hoofdstuk 5 wordt een scala aan testen, waaronder van de FEAST, gebruikt om gezichts,- en emotieherkenning te onderzoeken in een nog niet in de literatuur gerapporteerde patiënt met verkregen prosopagnosie door schade aan de fusiforme gyrus. Naast de FEAST werd een taak afgenomen om de herkenning van emotionele lichaamsexpressies te testen. Daarnaast werden ‘face body compounds’, oftewel stimuli waarbij het gezicht en het lichaam dezelfde of een conflicterende emotie konden uitdrukken, gebruikt. Het gezichtsgeheugen van deze patiënt is ernstig verstoord, net als gezichtsherkenning en configurationele verwerking van gezichten. Deze patiënt is ook slechter dan gebruikelijk in staat om emotionele
gezichtsexpressies te herkennen, maar scoort wel normaal op het herkennen van emotionele lichaamstaal. Verder kan deze patiënt informatie van het lichaam slecht negeren als hem wordt gevraagd de emotie van het gezicht te herkennen, maar bij herkenning van de emotionele lichaamsexpressie heeft het gezicht een vergelijkbare storende invloed als bij controles.
Deel 2: Emotionele sociale interacties
In hoofdstukken 6 en 7 worden de eerste delen van de Body Action Coding System gepresenteerd, met als doel het onderzoeken welke spieren in het lichaam worden gebruikt bij het uiten van emotie met het lichaam. Daarnaast is een belangrijk doel van deze onderzoekslijn het onderzoeken van hoe deze spieren automatisch en
‘onzichtbaar’ voor het blote oog reageren en activeren in reactie op het zien van angst of boosheid in anderen. Dit werd gedaan door activiteit van spieren in de nek
(trapezius) schouders (deltoiden), bovenarmen (biceps en triceps), onderarm
(extensors van de pols) en kuit te meten met behulp van EMG (elektromyografie). In de studies worden twee experimenten beschreven. In experiment 1 kijken de
deelnemers video’s, levensgroot gepresenteerd met behulp van een beamer, van boze en angstige mensen. De proefpersonen staan ontspannen en kijken de video’s zonder te bewegen. In experiment 2 wordt de proefpersonen gevraagd om de lichamelijke emotionele expressie van de acteurs in de video’s te imiteren met het eigen lichaam. De hoofdstukken geven vervolgens patronen van activiteit van het lichaam in reactie op het zien van emotie in anderen, zonder dat er zelf wordt bewogen, maar ook welke spieren worden gebruikt bij het uiten van angst en agressie. Er worden specifieke activatiepatronen beschreven voor beide situaties. Wat betreft het actief uiten van emotie: de biceps wordt het meest gebruikt bij het uiten van boosheid, gevolgd door de onderarmen, en ten slotte bij schouder en triceps activatie. De onderarmen worden het sterkst gebruikt bij het uiten van angst, gevolgd door de schouders en biceps, maar de triceps spelen geen grote rol.
Wanneer je zelf niet beweegt maar je iemand waarneemt die angstig is, reageren de onderarmen sterk, terwijl het zien van iemand die boos is op jou ervoor zorgt dat de rugspieren activeren. Ook zie je dat de spieren in je kuiten, die je normaal gebruikt om weg te stappen, meteen reageren op angst, en ook reageren als iemand zich agressief naar je gedraagt. Het patroon van resultaten laat zien dat meer ‘passieve’ spieren, die belangrijker zijn voor houding dan bewegen en die dus ook niet erg sterk worden geactiveerd tijdens bewegingen, zoals die in de nek, rug en kuiten, lijken te reageren op de emoties van anderen (bijvoorbeeld een ontwijkende, angstige reactie op het zien van agressie). Spieren die erg sterk activeren tijdens beweging, zoals de
schouders, biceps, triceps en onderarmen, lijken juist meer te imiteren, zoals de biceps die belangrijk is bij het uiten van en het zien van boosheid, en de onderarmen bij angst expressie en perceptie .
Ten slotte wordt in hoofdstuk 8 een fMRI onderzoek beschreven waarin deelnemers in de scanner video’s van een grote groep acteurs bekijken. Deze acteurs kunnen zich neutraal, angstig of blij gedragen, maar kunnen dit op een individuele wijze doen (dus door de andere mensen in de groep te negeren), of kunnen gezamenlijk neutraal, angstig of blij zijn (een voorbeeld van een gezamenlijke blije situatie is bijvoorbeeld juichen bij een sportwedstrijd, gezamenlijke angst is paniek). Het waarnemen van een groep mensen die gezamenlijk emotioneel is zorgt voor meer activiteit in neurale netwerken die normaliter betrokken zijn bij emotie en actie perceptie en executie. Dit is voornamelijk het geval als de groep mensen in paniek is, wat ook resulteert in meer neurale netwerkactiviteit in die gebieden die verantwoordelijk zijn voor anticipatie en actie preparatie dan een groep mensen die individueel bang is, of