Wriemelende wenkbrauwen en
lachende lippen
Non-verbale communicatie tijdens samenwerking in Virtual Reality
Student:
Studentnummer
Major
Bonno Meddens
10645470
Neurobiologie
Marrit van der Meer
11045191
Biologie
Romi Geleijn
11044012
Kunstmatige Intelligentie
Tessa Kuiper
11057637
Pedagogiek
6766 woorden totaal 6254 woorden (excl. in-tekst referenties en onderschriften) Herkansing
Abstract
Het doel van dit project is om te onderzoeken welke elementen van non-verbale
communicatie (NVC) het meest relevant zijn om te implementeren in Virtual Reality (VR) om succesvol samen te werken. Er is gekeken naar gezichtsuitdrukkingen, kijkrichting,
lichaamshouding en handgebaren. Vervolgens is er onderzocht hoeveel ‘effect’ elke
component heeft op doelgerichte samenwerking en hoeveel ‘effort’ het kost om het in VR te implementeren. De mogelijke scores waren hierbij ‘laag’, ‘gemiddeld’ of ‘hoog’. De bijdrage van NVC aan doelgerichte samenwerking is ook geëvalueerd aan de hand van een specifiek spel (de Tower Game). Het ‘effect’ en de ‘effort’ van NVC worden tegen elkaar uitgezet in een feasibility plot. Hieruit kan geconcludeerd worden dat gezichtsuitdrukkingen een laag effect en gemiddelde effort hebben, kijkrichting een hoog effect en een lage effort heeft, lichaamshouding een gemiddeld effect en een hoge effort heeft en handgebaren een hoog effect en een gemiddelde effort hebben.
Inhoudsopgave
Inhoudsopgave 3 Inleiding 4 Theoretisch Kader 7 Methode 10 Resultaten 11Het effect van NVC met oog op doelgerichte samenwerking 11
Gezichtsuitdrukkingen 11 Functie 11 Gezichtsuitdrukkingen in VR 12 Tower game 12 Kijkrichting 13 Functie 13 Kijkrichting in VR 13 Tower Game 13 Lichaamshouding 14 Functie 14 Lichaamshouding in VR 15 Tower Game 15 Handgebaren 15 Functie 15 Handgebaren in VR 16 Tower Game 16
De effort van implementatie van NVC 16
Gezichtsuitdrukkingen 17 Kijkrichting 18 Handgebaren 19 Lichaamshouding 20 Tower Game 21 Discussie 23 Conclusie 25 Literatuurlijst 27 Appendix 35
Inleiding
De ontwikkeling van Virtual Reality (VR) zit momenteel in een stroomversnelling. Wat eerst begon als vlieg- en rijsimulatoren om militairen te trainen (Pearce, 1998), is nu een techniek die applicaties heeft in uiteenlopende velden, zoals geneeskunde, entertainment en
architectuur (Burdea Grigore & Coiffet, 1994). Hierbij draait VR om het creëren van een interactieve ervaring waarbij de gebruiker wordt ondergedompeld in door de computer gegenereerde virtuele omgeving (Pimentel & Teixeira, 1993). VR heeft de potentie om mensen van over de hele wereld met elkaar te verbinden en samen te laten werken (Snowdon, Munro & Churchill, 2001). Hierdoor is de verwachting dat VR een grote rol zal gaan spelen in de dagelijkse communicatie (Bastuf, Bennis, Médard & Debbah, 2017). Een “Collaborative Virtual Environment” (CVE) is een virtuele omgeving die samenwerking faciliteert doordat meerdere mensen tegelijkertijd aanwezig zijn in de virtuele omgeving (Churchill & Snowdon, 1998). Op het gebied van communicatie, coördinatie en
samenwerking tonen CVE’s nog veel tekortkomingen, waar de gebrekkige implementatie van non-verbale signalen aan ten grondslag ligt (Manninen, 2004). Deze non-verbale signalen zijn vaak significant minder aanwezig en minder intuïtief in een CVE dan in een ‘face-to-face’ gesprek in de realiteit (Manninen, 2004). Terwijl non-verbale communicatie (NVC) naar schatting verantwoordelijk is voor 65% van de informatieoverdracht tijdens een conversatie (Morris, Collett, Marsh & O’Shaughnessy, 1979), verder verrijkt NVC de interactie en verhoogt het wederzijds begrip wat essentieel is voor samenwerking (Bolinger, 1985). Het belang van NVC wordt vaak onderschat aangezien de meeste non-verbale signalen
onbewust zijn. Hierdoor wordt de relevantie van NVC en de nuance die door middel van NVC in boodschappen wordt aangebracht niet erkend (Burgoon & Ruffner, 1978). In CVE’s is het overbrengen van deze nuance vaak problematisch, omdat subtiele gebaren vaak niet worden ondersteund (Snowdon, Munro & Churchill, 2001). Echter zorgen kleine
verbeteringen in de implementatie van NVC al voor een meer natuurlijke en intuïtieve vorm van interactie, wat de samenwerking bevordert (Manninen, 2004).
NVC in VR uit zich in de vorm van een avatar. Een avatar is een virtuele representatie die in real-time door een mens bestuurd wordt (zie figuur 1) (Nowak & Biocca, 2003). Er is nog weinig onderzoek verricht naar de communicatieve vaardigheden, zoals non-verbale signalen, van een avatar (Salem & Earle, 2000). In de spaarzame onderzoeken naar het effect van NVC op de kwaliteit van samenwerking in VR, blijkt dat bij beperkte NVC de kwaliteit van de samenwerking verlaagt (Vertegaal, Van der Veer & Vons, 2000; Manninen, 2004; Pai et al., 2017).
Figure 1: Verschillende avatars die bestuurd kunnen worden in VR (VRChat, 2016). Er is relatief weinig onderzoek gedaan naar NVC in virtuele interacties. Onderzoekers noemen dit een significante “gap in current research” (Tanenbaum, El-Nasr & Nixon, 2014). Bestaand onderzoek naar NVC in een virtuele omgeving spitst zich vaak toe op een enkele subcategorie van NVC. Een overzicht of rangschikking van de relevantie van NVC
onderdelen ten opzichte van elkaar en een interdisciplinaire theoretische onderbouwing voor specifieke vormen van NVC ontbreekt vaak.
In dit onderzoek wordt gekeken naar de relevantie van NVC bij doelgerichte samenwerking. Doelgerichte samenwerking wordt gedefinieerd als het handelen om een gezamenlijk doel te bereiken. De hoofdvraag is ‘Welke elementen van NVC - zoals hieronder genoemd - zijn het meest relevant om te implementeren in VR om een succesvolle doelgerichte samenwerking te bewerkstelligen?’
De NVC onderdelen die in dit onderzoek worden uitgelicht zijn ‘Gezichtsuitdrukkingen’, ‘Kijken’, ‘Lichaamshouding’ en ‘Handgebaren’. Per NVC onderdeel zal vanuit de
Psychologie, Biologie en Neurobiologie antwoord geven op de volgende vragen: ‘Wat is de functie van deze specifieke vorm van NVC?’, ‘Wat is het belang voor doelgerichte
samenwerking van deze vorm van NVC?’ en ‘Zijn deze elementen ook als relevant gebleken in onderzoek naar NVC in VR tot nu toe?’
Aan de hand van de antwoorden wordt het “effect” van elke NVC vorm bepaald. De
Psychologie richt zich hierbij meer op het sociale aspect rond de specifieke vorm van NVC, Biologie focust zich op de adaptieve functie en de Neurobiologie analyseert het fenomeen aan de hand van processen in de hersenen. Vervolgens wordt de (relatieve) waarde van elk NVC onderdeel bij samenwerking ingeschat, waarbij als referentie de Tower Game gebruikt wordt.
Daarnaast zal de implementatie van de NVC in VR belicht worden met behulp van de kennis over nieuwe, op basis van Kunstmatige Intelligentie ontwikkelde technologieën. Er wordt nagegaan wat dit betekent in het geval van de gekozen referentie de Tower Game. Hieruit
volgt de ‘effort’ van de implementatie. Vervolgens worden deze inzichten gecombineerd in één ‘feasibility plot’.
Theoretisch Kader
Bij NVC wordt gekeken naar alle manieren om informatie over te brengen tijdens menselijke interactie afgezien van verbale communicatie. NVC wordt gebruikt om de verbale
communicatie te ondersteunen (Hale, 2003 aangehaald in Burgoon, Guerrero & Floyd, 2016). Er zijn verschillende categorieën van NVC te identificeren. De NVC categorieën in tabel 1 zijn afkomstig uit een model dat speciaal ontworpen is met als doel het zo realistisch mogelijk maken van interactie in CVE’s. Deze tabel is een resultaat afkomstig uit meerdere onderzoeken (Manninen, 2004).
Tabel 1: Categorieën van non-verbale communicatie met bijbehorende definities bewerkt uit Manninen (2004). De vormen die worden uitgelicht in dit onderzoek zijn dikgedrukt en gekleurd.
Niet alle categorieën van NVC zijn even belangrijk voor samenwerking. Zo is aangetoond dat aanraking geen grote rol speelt bij samenwerking (Marcinowicz, Konstantynowicz &
Godlewski, 2010; Zheng, Veinott, Bos, Olson & Olson, 2002). Daarnaast zijn
gezichtsuitdrukkingen, kijkrichting, lichaamshouding en handgebaren de meest definiërende subgroepen van non-verbale communicatie en het veelzeggends tijdens communicatie (Salem & Earle, 2000). Dit onderzoek beperkt zich tot deze categorieën.
Non-verbale communicatie wordt in VR uitgedrukt door middel van avatars. Een avatar is een virtuele representatie van een persoon die in real-time door een mens bestuurd wordt (zie Figuur 1) (Nowak & Biocca, 2003). Voor het implementeren van non-verbale
communicatie door middel van een avatar in VR worden drie verschillende aanpakken geïdentificeerd (Capin, Pandzic, Magnenat Thalmann, & Thalmann, 1998).
1. Direct bestuurd door de gebruiker, door middel van geplaatste sensoren.
2. Door de gebruiker gestuurd door middel van een apparaat zoals een muis, waarmee de gebruiker de taken en bewegingen van de avatar bepaald.
3. Semi-automatisch, waarbij de avatar een interne gemoedstoestand heeft die
afhankelijk is van zijn doel en de omgeving. Deze gemoedstoestand wordt aangepast door de gebruiker. (Een voorbeeld hiervan is als tijdens het spelen van een
videogame de avatar glimlacht als de speler wint.)
Dit onderzoek gaat uit van de eerste aanpak. Onderzoek naar NVC in VR laat zien dat NVC een onbewust proces is (Vilhjálmsson & Cassell, 1998; Marks, Manninen, 2004; Windsor & Wünsche, 2009), bijvoorbeeld het optrekken van de wenkbrauwen tijdens een gesprek om nadruk te leggen op bepaalde woorden. Zelfs subtiele signalen worden gemist indien afwezig bij interactie (Vilhjálmsson & Cassell, 1998). Daarom is het belangrijk om ook de onbewuste non-verbale signalen van een VR gebruiker te simuleren en deze kunnen alleen
geregistreerd worden door middel van aanpak 1. Aanpak 1 is ook gunstiger dan aanpak 2 omdat de gebruiker zich beter op de taak kan concentreren dan wanneer hij/zij gebruik moet maken van handmatige controllers voor het besturen van NVC (Marks, Windsor & Wünsche, 2009). Dit is een belangrijk argument aangezien dit onderzoek zich focust rondom het gezamenlijk volbrengen van een taak in VR.
Het belang van NVC voor samenwerking, kan gezocht worden in het evolutionair nut van zowel samenwerking als NVC. Volgens de evolutiebiologie is samenwerking ontwikkeld omdat het een voordeel levert voor de groep. Door samen te werken in groepen waren mensen in staat zich te het beschermen tegen predatoren en het succesvol opvoeden van de nakomelingen. Dit zorgde weer voor een hogere overlevingskans van de groep ten opzichte van individuen die uitgesloten waren van de groep (Lakin, Jefferis, Cheng & Chartrand, 2003). Individuen die succesvol waren in het onderhouden van onderlinge relaties, hadden een evolutionair voordeel en daarom werd er op dit gedrag geselecteerd. NVC kan gediend hebben als middel om de onderlinge relaties op te bouwen en te
onderhouden (Lakin, Jefferis, Cheng & Chartrand, 2003). Door de positieve effecten van samenwerking op de groep, overleefde samenwerking als strategie in opvolgende generaties (Portin, 2015). Op zijn beurt zorgde de positieve effecten van NVC op interpersoonlijke relaties - belangrijk voor het succesvol samenwerken - dat er selectie heeft plaatsgevonden op NVC (Lakin, Jefferis, Cheng & Chartrand, 2003).
De definitie van coöperatief gedrag die hierbij wordt aangehaald door evolutiebiologen is gedrag dat een voordeel voor een ander oplevert en zo de fitness van de groep verhoogt en niet perse van het individu dat aanzet tot samenwerking (Davies, Krebs en West, 2012). Deze verschilt van de definitie uit de Psychologie, waarbij er geen focus is op fitness en coöperatief gedrag gedefinieerd wordt als een sociaal proces waarbij de uiteindelijke
prestatie wordt beoordeeld en beloond op basis van de collectieve prestatie van de groep, waarbij er wordt samengewerkt om een bepaald doel te bereiken (Coakley, 1994 aangehaald in Attle & Baker, 2007). Om common ground te creëren voor dit onderzoek wordt
doelgerichte samenwerking gedefinieerd als het handelen om een gezamenlijk doel te bereiken. Deze definitie wordt omvat door beide definities uit de evolutiebiologie en Psychologie.
Om de bijdrage van NVC met oog op doelgerichte samenwerking te concretiseren wordt er teruggekoppeld naar de Tower Game. Een uitleg van de spelregels van de Tower Game is te vinden in de appendix.
De opbouw van het verslag staat weergegeven in Figuur 2
Methode
In dit literatuuronderzoek worden verschillende theorieën van verschillende disciplines gecombineerd en geïntegreerd met als uitkomst een feasibility plot. Deze integratie wordt gedaan aan de hand van de integratiemethode ‘Add’ (Menken & Keestra, 2016). Add beschrijft het toevoegen van bepaalde concepten van een discipline aan een theorie van andere disciplines. Zo worden concepten uit de Psychologie, Biologie en Neurobiologie samengevoegd om het belang van verschillende vormen van NVC voor samenwerking in te schatten. Feasibility plots worden vaker gebruikt in de literatuur, met als doel om het
geanalyseerde effect en de bepaalde effort tegen elkaar uit te zetten (Safont et al., 2014; Hanson et al., 2013; Afeez, Sanjay & Kumar, 2013). In het huidige onderzoek wordt het effect gedefinieerd als de mate waarin de doelgerichte samenwerking is verbeterd na de implementatie van de NVC-categorieën in VR (benaderd vanuit de Psychologie, Biologie en Neurobiologie). De effort wordt uitgedrukt als de haalbaarheid op technologisch gebied van de implementatie van deze NVC-categorieën in VR en de betrokken kosten (Kunstmatige Intelligentie).
Er is kwalitatief onderzoek gedaan door middel van een literatuuronderzoek. Hierbij is gebruik gemaakt van boeken (Bodily communication van Argyle, 1988; en The definitive body of body language van Allan & Barbara Pease, 2016), en artikelen over VR, avatars en non-verbale communicatie. Verder zijn er experts geïnterviewd op het gebied van VR, samenwerking en multi-sensorische integratie.
Resultaten
Het effect van NVC met oog op doelgerichte samenwerking
In deze sectie zal in worden gegaan op de functie van gezichtsuitdrukkingen, kijkrichting, lichaamshouding en handgebaren op de samenwerking. Vervolgens wordt huidig onderzoek naar het effect van deze vorm van NVC op communicatie en samenwerking in VR uitgelicht. Ten slotte worden de gevonden inzichten teruggekoppeld naar de Tower Game.
Gezichtsuitdrukkingen
Functie
Gezichtsuitdrukkingen beïnvloeden de samenwerking door hun communicatieve rol
(Strongman, 1987). Volgens Boone en Buck (2003) worden gezichtsuitdrukkingen gebruikt om een emotionele staat te communiceren. Door het expressief uiten van emoties, maakt de persoon zijn intenties kenbaar. Aan expressieve mensen kan beter opgemaakt worden of ze de intentie hebben om energie te steken in de samenwerking. Gezichtsexpressie kan
daarmee gebruikt om personen te selecteren voor een samenwerking. Als iemands intentie onduidelijk is, wordt de desbetreffende persoon minder snel vertrouwd. De samenwerking zal daardoor minder snel plaatsvinden (Frank, 1988; Zahavi, 1980; Oh, Bailenson, Kramer en Li, 2016). De mogelijkheid om elkaars intentie in te schatten blijkt ook gedurende de evolutie essentieel te zijn geweest. De overlevingskans van mensen nam toe door de mogelijkheid om te bepalen met wie ze beter konden samenwerken dankzij de expressieve
gezichtsuitdrukkingen (van de groepsleden), maar ook door de verhoogde betrouwbaarheid van expressieve personen, waardoor ze als aantrekkelijk worden ervaren (Boone & Buck, 2003). Dit effect wordt ook in de literatuur van de Psychologie beschreven (Frank, 1988; Zahavi, 1980; Oh, et al., 2016). Daarnaast wordt benadrukt dat waardering tussen potentiële samenwerkingspartners invloed heeft op de samenwerking.
Een andere sterke indicatie voor het belang van samenwerking is gevonden in de
Neurobiologie. In de hersenen zijn namelijk sterk gespecialiseerde gebieden gevonden voor de verwerking van gezichtsuitdrukking, zoals het fusiforme aangezichtshersengebied (FFA) in de ventrale occipito-temporale cortex (Clark et al., 1998; Grady et al., 1995; Halgren et al., 1999; Haxby et al., 1999, 1996, 1991; Kanwisher et al., 1997; McCarthy et al., 1997; Puce et al., 1996; Tong et al., 2000). De ventrale occipito-temporale cortex maakt hierbij contact met andere hersengebieden zoals de amygdala, die betrokken is bij de emotionele verwerking en sociale cognitie (Adolphs, 1999; Adolphs et al., 1998; Baron-Cohen et al., 1999; Brothers and Ring, 1993; Brothers et al., 1990; Morris et al., 1996). De wisselwerking tussen deze hersengebieden maakt het herkennen van elkaars emoties mogelijk. Het bestaan van de hersengebieden en de verbindingen tussen de hersengebieden is een indicatie dat het herkennen van andermans emoties een evolutionair voordeel opgeleverd moet hebben.
Gezichtsuitdrukkingen in VR
In het onderzoek van Fabri, Moore en Hobbs (2004) werd de herkenbaarheid van gezichtsuitdrukkingen op avatars getest, om zo de communicatieve vaardigheden van expressieve avatars te testen. Onder de zes basisemoties vallen blij, boos, afgunst, verdriet, bang en verbazing (Strongman, 1987). Uit onderzoek van Fabri, Moore en Hobbs (2004) bleek dat proefpersonen deze zes basisemoties met succes van elkaar konden
onderscheiden, zelfs als deze op een simplistische manier gegenereerd werden (Zie figuur 3). Het belangrijkste bleek datde verschillende delen van het gezicht onafhankelijk van elkaar kunnen bewegen, bijvoorbeeld wenkbrauwen en voorhoofd. Technologische implementatie van gezichtsuitdrukkingen hoeft dus waarschijnlijk niet gedetailleerd te zijn voor het verbeteren van de samenwerking.
Figuur 3: De zes
basisemoties bij een avatar. Bron: Fabri, Moore & Hobbs (2004)
Tower game
Om de bijdrage van gezichtsuitdrukkingen bij een concrete taak te illustreren, wordt de voorgaande kennis toegepast op de Tower Game. Zoals vastgesteld spelen
gezichtsuitdrukkingen een rol bij het inschatten van de betrouwbaarheid van iemands
potentiële samenwerkingspartner. Bij de Tower Game wordt ervan uitgegaan dat spelers niet hun medespelers zelf uitkiezen en is deze overweging minder relevant. De functies van gezichtsuitdrukkingen die wel van belang zijn voor doelgericht samenwerken in een virtuele omgeving en dus voor de Tower Game, is het bepalen van de mate van consensus binnen het team, en de mate van begrip tussen de teamleden aan de hand van
Kijkrichting
Functie
Kijkrichting draagt bij aan informatieoverdracht die relevant is voor de samenwerking. Oogcontact draagt bij aan het begrijpen van andermans intentie en het ontwikkelen van een goede relatie (Kret, Tomonaga & Matsuzawa, 2014; Argyle & Kendon, 1967; Fromme & Beam, 1974). De mate waarin oogcontact plaatsvindt geeft een indicatie voor de positieve benadering van de ander (Argyle & Kendon, 1967; Fromme & Beam, 1974). Als er minder oogcontact is zal de verteller dit als een minder positieve benadering aanvoelen, met een minder grote neiging om samen te werken tot gevolg (Barkai, 1990). Daarnaast zorgt meer oogcontact ervoor dat iemand eerder wordt geaccepteerd. Als iemand wordt aangekeken terwijl diegene wordt benaderd zal er eerder interactie plaatsvinden en daarmee eerder samenwerking (Argyle & Dean, 1965). De kijkrichting bespoedigt ook de samenwerking door middel van joint attention (Gilbert, 2007). Joint attention is gedefinieerd als gezamenlijke aandacht op een object, hierbij kijken alle betrokken personen naar hetzelfde object. Dit stelt personen in staat elkaars blik te kunnen volgen en makkelijker samen een actie te verrichten (Kaplan & Hafner, 2006). Hierdoor speelt joint attention een rol bij het coördineren van de samenwerking (Marsh, Richardson & Schmidt, 2009). De kijkrichting en joint attention zijn dus belangrijk om samenwerking te bewerkstelligen.
Het kunnen volgen van de kijkrichting is ook vanuit evolutionair oogpunt van belang. Door de kijkrichting te volgen van anderen vergaren mensen kennis over de aanwezigheid van objecten (vrienden, predators en voedsel), de locatie en het belang hiervan. Het breinnetwerk dat vereist is om nauwkeurig blikken te detecteren en interpreteren, en daarmee deze kennis te vergaren is over de loop van de evolutie verfijnd (Macrae, Hood, Milne, Rowe & Mason, 2002). Het bewijs voor deze verfijning is gevonden in de
Neurobiologie. Het breinnetwerk dat andermans kijkrichting verwerkt komt grotendeels overeen met het gebied dat gezichtsuitdrukkingen herkent (los van een aantal extra frontale gebieden) (Itier & Batty, 2009).
Kijkrichting in VR
Oogcontact en joint attention zijn allebei belangrijk voor het bewerkstelligen van
samenwerking, doordat het de acceptatiekans vergroot en het gezamenlijk uitvoeren van acties vergemakkelijkt. Kijkrichting speelt een cruciale rol bij oogcontact en joint attention. Het implementeren van kijkrichting is volop in ontwikkeling in VR en wordt “eye tracking” genoemd. Het is aangetoond dat het implementeren van kijkrichting in VR zorgt voor betere samenwerking (Steptoe et al., 2008). In de technologische implementatie wordt dieper ingegaan op het begrip “eye tracking”.
Tower Game
Het implementeren van de kijkrichting bevoordeelt het bewerkstelligen van relaties en maakt het mogelijk om gezamenlijk op hetzelfde object (in dit geval blokje) te focussen. Deze factoren zullen ook bij de Tower Game een positieve bijdrage leveren aan de samenwerking. De functie van de kijkrichting als indicator van de (mogelijke gedeelde) focus van teamleden
wordt ook benadrukt in onderzoek naar doelgerichte samenwerking in een virtuele omgeving (Poppe, Brown, Recker, Johnson & Vanderfeesten, 2017). Ook verlaagt de implementatie van kijkrichting de behoefte aan context afhankelijke referenties met 50%, waardoor de samenwerking soepeler verloopt (Vertegaal, Van der Veer & Vons, 2000). Aangezien
deelnemers gewoonweg kunnen zeggen ‘Geef mij dat blokje aan.’ in plaats van ‘Geef mij dat rode blokje in de hoek, links van het blauwe blokje aan.’
Lichaamshouding
Functie
Lichaamshoudingen kunnen beschouwd worden als een communicatiemiddel waarmee mensen hun persoonlijkheid tot uiting laten komen en informatie overdragen omtrent de emotionele gesteldheid, de gevormde mening over de ander (bijvoorbeeld aardig/onaardig) en de verhouding tussen de desbetreffende personen (bijvoorbeeld vriendschap, of
machtsverhouding) (Kudoh & Matsumoto, 1985). De samenwerking tussen personen wordt gemoedelijker en aannemelijker als personen elkaar aardig vinden. Een open
lichaamshouding maakt iemand aantrekkelijker als samenwerkingspartner. Hierbij zijn de armen langs het lichaam en voeten naast elkaar (Argyle, 1988; Barkai, 1990; Pease & Pease, 2016). Ook het naar voren leunen en het in grotere nabijheid zijn van de ander verhoogt de mate waarin personen op elkaar gesteld raken (Mehrabian, 1972 aangehaald in Argyle, 1988). Naast het aannemen van een open houding, wordt de mate van gesteldheid op elkaar verhoogd als personen elkaar imiteren (mimicry). Dit gebeurt vaak zonder dat mensen daar bewust van zijn. Het uit zich niet alleen in lichaamshoudingen maar ook in gezichtsuitdrukkingen, emoties, gemoedstoestanden en gebaren. Doordat mimicry het effect heeft dat mensen elkaar leuker vinden, wordt aanzetten tot samenwerking ook
aannemelijker.
Door naar de evolutie te kijken wordt het adaptief voordeel van mimicry duidelijk. Om te kunnen overleven was het essentieel om goede relaties te bewerkstelligen en te behouden. Mimicry helpt bij het bewerkstelligen van goede relaties. Lichaamshoudingen worden vaak op elkaar afgestemd en tonen in welke mate personen elkaar mogen en medeleven voelen (Lakin, Jefferis, Cheng and Chartrand, 2003). De gevoelens van verbondenheid en
vertrouwen bij mimicry zorgt voor het ontstaan van een band tussen mensen. Hierdoor was de kans om uit de groep gezet te worden kleiner en dit maakt mimicry adaptief voordelig (Gueguen, Jacob & Martin, 2009). Dat mimicry aanzet tot samenwerking wordt ontkracht door psychologen, die stellen dat de van te voren gemaakte oordelen van mensen niet overwonnen kunnen worden door middel van mimicry. Mimicry verbetert dus niet altijd de samenwerking (Hale & Antonia, 2016).
Aangetoond is dat spiegelneuronen een rol spelen bij mimicry. Naast mimicry, spelen de spiegelneuronen ook een grote rol bij andere aspecten van sociale cognitie zoals het begrijpen van andermans acties en empathisch vermogen (Iacoboni, 2009). De exacte functie die spiegelneuronen vervullen is nog niet geheel duidelijk. Aangezien het begrijpen van andere mensen een grote rol speelt in de communicatie en samenwerking is het belangrijk dat de spiegelneuronen goed geactiveerd worden. Deze activatie kan worden bespoedigd door het duidelijk kunnen waarnemen van andermans bewegingen. Het
toevoegen van andermans bewegingen zal daardoor een grote bijdrage kunnen leveren aan het verbeteren van de communicatie, en daarmee de samenwerking, in VR.
Lichaamshouding in VR
In VR is het mogelijk om de houdingen en de bewegingen van personen te projecteren op de avatar. Uit onderzoek blijkt dat deze vertaling van lichaamshoudingen naar VR de
deelnemers het gevoel gaf dat ze daadwerkelijk met een ander persoon interacteren in VR. Ook hier blijkt dat de voordelen van NVC die in “face-to-face” interacties ervaren worden, in VR van toepassing zijn (Smith & Neff, 2018).
Tower Game
In zowel VR als in het echt is het effect van mimicry op de relatie tussen personen aangetoond. Dit positieve effect kan ook bewerkstelligd worden tijdens het spelen van de Tower Game, wanneer de personen elkaar nadoen en een open houding aannemen. Nog een voordeel van het implementeren van lichaamshouding is dat de actie die een persoon op het punt staat te verrichten, afgelezen kan worden (Poppe, Brown, Recker, Johnson & Vanderfeesten, 2017). Zo kan een speler vaststellen dat iemand van plan is een blokje op te pakken, aangezien zijn medespeler bukt. Hierdoor wordt de samenwerking efficiënter.
Handgebaren
Functie
Handgebaren worden gedefinieerd als dynamische bewegingen die verwijzen naar een continue opeenvolging van houdingen die de hand kan aannemen in een korte tijd,
bijvoorbeeld het zwaaien van de hand bij het gedag zeggen (Garg, Aggarwal & Sofat, 2009). Handgebaren bemiddelen de interactie van de groep en vergemakkelijken de
spraakproductie en dragen zo bij aan de doelgerichte samenwerking (Tang, 1991; Krauss, Dushay, Chen & Rauscher, 1995). Een gesprek blijkt effectiever met handgebaren dan zonder, ondanks dat handgebaren meestal onopvallend zijn en geen nieuwe informatie toevoegen (Tang, 1991; Berger & Popelka, 1971; Riseborough, 1981). Ook helpen handgebaren tijdens een interactie om de ander betrokken te houden (Bavelas, Chovil, Lawrie & Wade, 1992). Dit is met name van belang als bepaalde onderwerpen uitgelegd worden. De handgebaren helpen dan om de aandacht van de ander erbij te houden. Hierbij moeten de personen elkaar wel face-to-face zien, mensen gebruiken dan meer handgebaren dan als ze elkaar niet kunnen zien (Bavelas et al., 1992; Cohen, 1977; Cohen & Harrison, 1972, Rimé, 1982).
Hoewel handgebaren meestal onopvallend zijn en geen nieuwe informatie toevoegen,
bestaat er een sterk verband tussen spraakperceptie en handbewegingen. Bij het registreren van spraak wordt de premotor cortex van de hand geactiveerd. Deze activatie vindt niet plaats bij andere geluiden. Dit leidt tot de hypothese dat het gebruik maken van handgebaren een belangrijke rol heeft gespeeld bij de evolutie van taal (Flöel, Ellger, Breitenstein &
zowel de ‘superior temporale gyrus/sulcus’ als in de ‘planum temporale’, wanneer handgebaren en spraak tegelijk plaatsvonden (Hubbard et al., 2009).
Handgebaren in VR
Er is nog beperkt onderzoek naar handgebaren in VR. Bij een enkel onderzoek waarbij handgebaren geïmplementeerd werden bij het ontwerpen van een fabriek, hadden ze een positief effect op de samenwerking (Pai et al., 2017)
Tower Game
Handgebaren vergemakkelijken de conversatie en houden de aandacht vast. Bij de Tower Game dienen de handgebaren als middel om bijvoorbeeld bepaalde blokjes aan te wijzen of om de uitleg van de spelstrategie te ondersteunen. Ook verduidelijken handgebaren een taak (Poppe, Brown, Recker, Johnson & Vanderfeesten, 2017), bijvoorbeeld door een blokje aan te wijzen en een stapel beweging te maken. Dit zorgt voor het gezamenlijk focussen van de aandacht en doelgerichte communicatie.
De effort van implementatie van NVC
In deze sectie wordt aandacht besteed aan de technologische implementatie van
gezichtsuitdrukkingen, kijkrichting, lichaamshouding en handgebaren. Hierbij wordt bij elke vorm van NVC bekeken hoe deze momenteel geïmplementeerd wordt in VR en wat de toekomstverwachting is betreffende verbeteringen in technologie. De effort van de
implementatie wordt bepaald door de huidige kwaliteit van de implementatie en de prijs uit te lichten.
Dit onderzoek focust zich op het genereren van NVC door middel van sensoren. Alleen deze aanpak wordt in deze sectie belicht. Om inzicht te krijgen in hoe een avatar gegenereerd wordt, wordt eerst een korte uitleg gegeven. Avatars bestaan uit een ‘mesh’, oftewel netwerk, van aan elkaar gekoppelde polygoon figuren (zie figuur 4). Deze figuren vormen een
vereenvoudigde versie van het menselijke skelet met een aantal gewrichten, die reageren op directe input van data of bestuurd worden door een kinetisch model (Roth, 2016). Net als bij het menselijk lichaam, is de ‘mesh’ van het gezicht vastgemaakt aan de schedel van de avatar (Roth, 2016). Animaties van het gezicht bestaan uit een basis skelet met een neutrale expressie, waarbij het gezicht zich waar nodig geleidelijk omvormt tot een andere
gezichtsuitdrukking door middel van ‘blend shapes’ (Orvalho et al., 2012). De visuele aspecten van de avatar (bijvoorbeeld de haarkleur, textuur van de huid, etc.) worden weergegeven door een textuur-laag aan te brengen op de ‘mesh’ (Roth, 2016).
Figuur 4: Een avatar mesh bestaand uit polygonen met toenemende nauwkeurigheid (Hagendoorn, 2010)
Voor een gedetailleerde uiteenzetting van de implementatie van NVC voor avatars in een virtuele omgeving, ook zonder het gebruik van sensoren, zie ‘Nonverbal Communication in Virtual Worlds: Understanding and Designing Expressive Characters’ van Tanenbaum, El-Nasr en Nixon (2014).
Gezichtsuitdrukkingen
Het aflezen van gezichtsuitdrukkingen in VR is gecompliceerd, aangezien de Head-Mounted Display (HMD), oftewel de ‘VR-bril’, de helft van het gezicht bedekt. Het compenseren van deze ‘verborgen’ gezichtsuitdrukking is een actief onderzoeksgebied binnen VR. Deze verloren informatie over het gezicht kan worden overbrugd door het niet afgedekte gedeelte te matchen met gezichtsuitdrukkingen opgeslagen in een database (Burgos et al., 2015). Een andere aanpak is het meten van de samentrekking van spieren in het gezicht door middel van elektrische sensoren, om zo in combinatie met een camera de
gezichtsuitdrukking te schatten (Li et al., 2015). Een aanpak, die al is getest op een HMD die momenteel beschikbaar is voor consumenten (de Oculus Rift), is het gebruik van
eye-tracking camera’s om de gezichtsuitdrukking te identificeren. Deze eye-tracking camera’s bevinden zich in de HMD en maken gebruik van infrarode straling om de
kijkrichting van een gebruiker waar te nemen. Hierbij wordt machine learning toegepast op de camerabeelden om de gezichtsuitdrukking te classificeren, waarbij 74% juist werden geclassificeerd (Hickenson et al., 2017). Momenteel is deze technologie nog duur (€12.200), maar wellicht kan dezelfde aanpak toegepast worden op een goedkopere HMD met
eye-tracking. Deze goedkopere HMD’s worden besproken in de volgende paragraaf. Momenteel loopt er een project genaamd ‘Face and Communication Entertainment’, oftewel FACE, dat zich focust op het bouwen van een sociale VR demo (zie figuur 5). Het doel is om een VR HMD te bouwen die zowel de kijkrichting als de gezichtsuitdrukking in real-time op een avatar weergeeft om zo de sociale interactie in VR expressiever en realistischer te
maken. De verwachting is dat deze technologie binnenkort beschikbaar wordt (Singletary, 2017).
Figuur 5: Demo van FACE (360channel, 2017)
Kijkrichting
Het bepalen van de kijkrichting wordt ook wel ‘eye-tracking’ genoemd en is een actief onderzoeksveld binnen VR. Eye-tracking verbetert onder andere de communicatie en de foveated rendering (Hickson, 2017) (waarbij alleen specifieke gedeelten van de virtuele omgeving met hoge kwaliteit gegenereerd worden, wat zorgt voor een hogere
computationele efficiëntie) en het gebruik van kijkrichting als een controller (Elmar Eisemann, pers. comm., 16 november 2017) (om opties mee te selecteren). Over het geheel wordt de kijkrichting bepaald door ten eerste de pupil te detecteren, die op een specifieke manier licht reflecteert. Vervolgens wordt de locatie van de rand van de ogen gedetecteerd en wordt de vorm van de ogen vastgesteld aan de hand van een ellipsvorm. Het grootste obstakel hierbij is de verwerking van glinsteringen en reflecties, het knipperen van het oog, of andere
storende factoren (Stengel et al., 2015).
Zoals genoemd in de vorige paragraaf is eye-tracking al beschikbaar op de markt. Er zijn echter goedkopere eye-tracking alternatieven beschikbaar en in ontwikkeling. Zo kost de HMD van FOVE €490. Deze HMD geeft de kijkrichting in real-time correct weer met een afwijking van onder de 1 graden (Team Fove, 2017), ook al toont wetenschappelijk onderzoek dat deze afwijking waarschijnlijk hoger is (Li et al., 2017).
Nog goedkopere toepassingen van eye-tracking voor HMD’s zijn momenteel in ontwikkeling. Stengel et al. (2015) hebben een HMD ontworpen die qua kosten wordt geschat op €365. Hierbij wordt gebruik gemaakt van infrarode camera’s, spiegels die maar licht van één bepaalde golflengte reflecteren en een LED’s om de ogen te verlichten om de kijkrichting vast te stellen. De gemiddelde afwijking van deze HMD is tussen de 0,5 en 3,5 graden. Li et al. (2017) benadrukken het feit dat er bij eye-tracking vaak dure camera’s en infrarood zenders aan te pas komen die veel energie verbruiken. Zij ontworpen de LiGaze, een eye-tracker die gebruik maakt van goedkope fotodiodes van €1,63 per stuk (die gemakkelijk
op bestaand HMD’s aangebracht kunnen worden) en weinig energie verbruiken. LiGaze herbruikt licht van het scherm binnenin de HMD en verwerkt de reflectie hiervan door het oog door middel van fotodiodes. De gemiddelde afwijking van de kijkrichting van LiGaze is tussen de 6,3 en 10,1 graden.
Voor het vaststellen van iemands kijkrichting is het correct weergeven van de stand van de ogen vaak niet genoeg. Het vaststellen van iemands kijkrichting is vaak ook gebaseerd op de rest van het lichaam van de avatar (Tanenbaum et al, 2014). In de volgende paragraaf wordt dan ook aandacht besteed aan het genereren van de houding van het volledige lichaam van een gebruiker.
Handgebaren
‘Gesture tracking’, ofwel het waarnemen van handgebaren, gebeurt in VR optisch, via biofeedback of door middel van ‘data gloves’ (Anthes et al., 2016).
Leap Motion is een voorbeeld van een apparaat dat optisch handgebaren registreert (Figuur 6 en 7). Leap Motion is een USB apparaat van €80 met daarin twee monochromatische infrarood camera’s en drie infrarood LED’s (Leap Motion Store EU, 2018). Met de Leap software worden op een niet vrijgegeven manier de 2D beelden van de camera’s verwerkt tot een 3D beeld (Corgan, 2014).
Figuur 6: Leap motion demo in gebruik (Leap Motion Developer, n.d.)
In 2013 kwam uit een test dat Leap Motion een precisie heeft van ongeveer 0,7 mm met een maximaal bereik van ongeveer 80 cm (Weichert, Bachmann, Rudak & Fisseler, 2013;
Corgan, 2014). In een onderzoek naar de precisie van Leap bij het detecteren van
gebarentaal is naar voren gekomen dat de accuraatheid over het algemeen hoog genoeg is. Leap maakt echter fouten wanneer de individuele elementen van de handen samenkomen,
zoals bij vinger-vinger interactie. De onderzoekers concludeerden dat de Leap Motion API verder ontwikkeld dient te worden voor gebruik met gebarentaal (Potter, Araullo & Carter, 2013).
Een apparaat dat handgebaren meet door middel van biofeedback is Myo (Figuur 7). Myo meet de elektrische signalen die door de arm van de gebruiker lopen en zet deze om in handgebaren (Anthes et al., 2016). Myo kost momenteel €165 (Myo, 2018).
Glove One (Figuur 7) is een ‘data glove’ met 5 actuators per hand (Anthes et al., 2016). Verder is de ‘data glove’ grotendeels gemaakt van geleidende stoffen die nog meer input leveren over de houding van de hand (Anthes et al., 2016). De Glove One stelt de gebruiker ook in staat om voorwerpen in VR te voelen (Neurodigital, 2018). De Glove One is
beschikbaar voor prijzen vanaf €400 (Neurodigital, 2018).
Figuur 7: De ‘Leap Motion’ (links), de ‘Myo’ (midden), en de ‘Glove One’ (right) (Anthes, García-Hernández, Wiedemann & Kranzlmüller, 2016)
Lichaamshouding
Om de lichaamshouding van een gebruiker weer te geven op een avatar in VR moet de houding van het gehele lichaam waargenomen worden door sensoren. Hiervoor zijn drie verschillende technieken te onderscheiden.
De duurste techniek is het gebruik van sensoren die worden gedragen door de gebruiker, vaak in de vorm van een pak (waaronder PrioVR, Perception Neuron, Notch & Enflux). Zo’n ‘pak’ maakt gebruik van Inertial Measurement Units (IMU). IMUs staan bekend als een relatief betaalbare technologie die het registreren van beweging mogelijk maakt door middel van lichte sensoren die op het lichaam geplaatst kunnen worden (Filippeschi, 2017). PrioVR is beschikbaar in verschillende versies, die gebruik maken van 8, 12 en 17 draadloze sensoren plus twee controllers. Een PrioVR pak (Figuur 8) met 17 sensoren kost €975 (Anthes et al., 2016).
Een tweede techniek is het gebruik van Inverse Kinematics (IK). IK is een veelgebruikte techniek aangezien er relatief weinig rekenkracht voor nodig is. IK is een algoritme dat wordt gebruikt bij het vastleggen van beweging, waarbij de houding van het gehele lichaam wordt afgeleid aan de hand van enkele sensoren op specifieke plaatsen op het lichaam (Tolani, Goswami & Badler, 2000). Vive Trackers maken gebruik van deze technologie door middel
van twee controllers, twee trackers op de voeten en één om de middel. Aangezien er gebruik wordt gemaakt van interpolatie is de afgeleide houding niet altijd correct. Drie trackers kosten €2400 (HTC Vive, 2018).
De derde techniek maakt gebruik van externe camera’s. Hierbij wordt door middel van Computer Vision (CV) de houding van de gebruiker waargenomen en geprojecteerd op de avatar, waarbij de gebruiker geen sensoren hoeft te dragen. VicoVR is een van de bedrijven die zo’n camera (Figuur 8) verkoopt, los van de HMD kost deze €200 (VicoVR, 2017). Over het algemeen zijn de hardware en de gebruikte CV algoritmes die de lichaamshouding registreren door middel van een camera nog niet ver genoeg ontwikkeld om de
lichaamshouding accuraat waar te nemen (Baak et al., 2013).
Figuur 8: VicoVR camera en PrioVR pak (VicoVR, 2017; Yost Labs, n.d.)
Tower Game
Voor het implementeren van NVC voor de Tower Game worden FACE (voor de
gezichtsuitdrukking en kijkrichting), VicoVR (voor de lichaamshouding) en Leap Motion (voor de handgebaren) als het meest geschikt geacht. Deze technieken zijn het minst invasief en zetten geen restricties op beweging door middel van pakken en handschoenen, wat ten goede komt aan het uitvoeren van de taak (het bouwen van een toren). Verder hoeft de gebruiker geen accessoires aan te trekken voordat hij/zij kan beginnen aan de taak. De afwezigheid van accessoires vermijdt ook problemen rondom hygiëne. Aangezien FACE nog in ontwikkeling is, is de prijs onbekend. De hoop is dat FACE zal gaan profiteren van de ontwikkelingen rondom het goedkoper implementeren van de kijkrichting die hiervoor zijn genoemd. De uitbreiding van de FACE HMD met VicroVR en Leap Motion kost momenteel €285 in totaal, en is hierbij de goedkoopst mogelijke uitbreiding die zowel lichaamshouding als handgebaren registreert. In de toekomst is er wellicht één camera die zowel de gehele lichaamshouding als details zoals handgebaren oppikt, waardoor de prijs verder omlaag kan gaan.
Discussie
Er zijn een aantal kanttekeningen te maken bij dit onderzoek. Ten eerste wordt in dit onderzoek niet meegenomen dat het gebruik van VR zelf al een struikelblok vormt. De aanschafkosten van VR als techniek zijn hoog (Robin de Lange, pers. Comm, 9 november 2017), en er zijn veel verbeteringen mogelijk met oog op de hardware zoals de resolutie, automatische kalibratie, etc. (Elmar Eisemann, pers. Comm, 16 november 2017). Ook ervaren gebruikers vaak nadelige gezondheidseffecten na of tijdens het gebruik van VR, zoals misselijkheid (Nalivaiko, Davis, Blackmore, Vakulin & Nesbitt, 2015). Het verminderen van misselijkheid in VR is dan ook een actief onderzoeksgebied (Eisemann pres. Comm, 16 november 2017).
Desondanks dat de technologie vaak nog verbeterd kan worden, is er een overvloed aan apparatuur voor VR (Anthes et al., 2016). Vanwege de omvang van dit onderzoek zijn alleen de belangrijkste ontwikkelingen binnen de VR-apparatuur met oog op NVC aangestipt. Een bredere verkenning van de apparatuur rond VR zou een vollediger beeld geven van de relatieve effort van bepaalde vormen van VR. Daarnaast is de effort onder voorbehoud, aangezien technologische ontwikkelingen rondom VR momenteel niet bij te benen zijn (Anthes et al., 2016)
Daarnaast zijn een aantal NVC vormen niet besproken, aangezien zij minder relevant zijn voor doelgerichte samenwerking. Hieronder vallen o.a. aanraking, fysieke uitstraling,
ruimtelijk gedrag, parataal, karakteristieken van de omgeving, tijdsbesef en geurwaarneming (zie tabel 1). Deze NVC vormen hebben echter wel effect op de samenwerking en vormen een goed uitgangspunt voor vervolgonderzoek, om zo de rangschikking vollediger te maken. Een belangrijke factor die invloed heeft op de kwaliteit van samenwerking (Datcu, Lukosch & Lukosch, 2016) en niet wordt uitgelicht in dit onderzoek is presence (oftewel de mate waarin een gebruiker zich daadwerkelijk aanwezig voelt in de virtuele omgeving). Dit wordt bevestigt door onderzoek waarbij een agent op locatie met een agent op afstand een crime scene onderzoekt. De samenwerking was matig, aangezien de agent op afstand zich niet aanwezig voelde op de crime scene (Poelman, Akman, Lukosch & Jonker, 2012). Presence wordt slechts indirect behandeld aangezien NVC bijdraagt aan het bewerkstelligen van social presence (Gunawardena en Zittle, 1997). Social presence is de mate waarin personen in een virtuele omgeving het idee hebben dat zij zich daadwerkelijk in een gemeenschappelijke ruimte bevinden (Schuemie, Van Der Straaten, Krijn, Van Der Mast, 2001). In
vervolgonderzoek zou het effect van presence op de samenwerking direct onderzocht
kunnen worden, waarbij de exacte mate waarin NVC de presence beïnvloedt ook vastgesteld kan worden.
Het huidige onderzoek is een van de eerste interdisciplinaire onderzoeken die een rangschikking maakt van het effect en de effort van NVC vormen op doelgerichte
samenwerking in VR. Dit onderzoek vormt dikwijls een leidraad voor vervolgonderzoek in dit onderbelichte onderzoeksveld. Zo moet er meer onderzoek komen naar NVC met een hoog effect, vanwege de relevantie van deze NVC vorm bij samenwerking. Onderzoek moet vaststellen of dit hoge effect juist ingeschat is. Daarnaast moet er meer onderzoek komen naar hoe de effort van NVC gereduceerd kan worden door technologische innovaties. Tevens vormt de feasibility plot een indicatie voor het bedrijfsleven. NVC vormen met een lage effort en een hoog effect (zoals kijkrichting) moeten al zo veel mogelijk in VR applicaties geïmplementeerd worden.
Conclusie
De hoofdvraag van dit onderzoek is ‘Welke elementen van NVC zijn het relevantst om te implementeren om een succesvolle doelgerichte samenwerking te bewerkstelligen in VR?’. Het antwoord op deze vraagt rust in de integratie van de inzichten uit de resultaten secties over de bijdrage van NVC aan doelgerichte samenwerking en de resultaten sectie over de technologische implementatie.
Uit de resultaten sectie over de bijdrage van NVC komt naar voren dat de besproken vormen van NVC in verschillende mate bijdragen aan de samenwerking.
Gezichtsuitdrukkingen hebben een laag effect en zijn met name van belang bij de afweging om met een persoon te gaan samenwerken of niet. Indien de samenwerkingspartners niet vrijwillig gekozen kunnen worden, dragen de gezichtsuitdrukkingen slechts bij aan het aflezen van iemands instemming en iemands begrip.
Lichaamshoudingen hebben een gemiddeld effect. Als iemand aanstalte maakt om een actie uit te voeren zal dit namelijk direct zichtbaar zijn aan de lichaamshouding. Daarnaast maakt het weergeven van de lichaamshouding mimicry mogelijk, waarvan het effect op
samenwerking dubieus is.
Samenwerking wordt bespoedigd door een effectievere communicatie, wat bewerkstelligd wordt door handgebaren te gebruiken. Deze handgebaren ondersteunen de spraak en houden de aandacht bij het gesprek. Doordat goede communicatie cruciaal is tijdens de samenwerking, wordt het effect van handgebaren hoog ingeschat.
De kijkrichting bespoedigd de samenwerking het meest van de besproken NVC vormen en heeft een hoog effect. Niet alleen zorgt de kijkrichting voor het bewerkstelligen van een goede interpersoonlijke relatie maar ook voor de mogelijkheid tot het gezamenlijk focussen op hetzelfde object. Dit is cruciaal en onmisbaar om gezamenlijk een actie uit te voeren. Daarnaast vergemakkelijkt de kijkrichting ook de samenwerking door de verlaagde behoefte aan context afhankelijke referenties.
Uit de resultaten sectie over de technologische implementatie van de gekozen NVC vormen komt naar voren dat de kijkrichting de laagste effort heeft van alle NVC vormen. HMD’s die momenteel beschikbaar zijn op de commerciële markt beschikken vaak al over eye-tracking. Ook is het goedkoper implementeren van eye-tracking het actiefste onderzoeksgebied ten opzichte van de andere vormen NVC en is de kans op innovatie hoog (Elmar Eisemann, pers. comm., 16 november 2017; Hickson, 2017).
Vervolgens wordt de effort van het implementeren van handgebaren ingeschat op
gemiddeld. Apparatuur om handgebaren mee waar te nemen is betaalbaar, maar vaak nog niet foutloos (Leap Motion €80). Deze kosten komen weliswaar bovenop die van de HMD.
De effort van het implementeren van gezichtsuitdrukkingen wordt ingeschat op gemiddeld, maar hoger dan de effort rond handgebaren. De benodigde software en hardware voor expressieve gezichtsuitdrukkingen is al aanwezig, maar nog niet optimaal en betaalbaar (vanaf €12.200). FACE biedt in de toekomst hopelijk een goedkoper alternatief.
Over het algemeen zijn de technieken om lichaamshouding te registreren duur en onderontwikkeld. De sensoren moeten tevens los van de HMD aangeschaft worden. De effort om een geschikte implementatie van de lichaamshouding in VR te bewerkstelligen is hoog.
De integratie van de bovengenoemde inzichten leidt tot de onderstaande feasibility plot. In de feasibility plot kan afgelezen worden dat NVC in het groene gebied (met hoog effect en lage effort) het relevantst is om op de korte termijn te implementeren (dus kijkrichting en handgebaren). De NVC in het rode gebied (met laag effect en hoge effort) zijn minder relevant op de korte termijn, maar tevens belangrijk voor vervolgonderzoek.
Tabel 2: overzicht van de scores op effect en effort bij NVC
Literatuurlijst
360Channel. “FACE：A New VR Communication System.” Youtube, 28 May 2017, www.youtube.com/watch?v=QyLYDImSMTo.
Adolphs, R. (1999). Social cognition and the human brain. Trends in cognitive sciences, 3(12), 469-479.
Adolphs, R., Tranel, D., Damasio, A.R., 1998. The human amygdala in social judgment. Nature 393 (6684), 470–474.
Afeez, A., Sanjay, & Kumar, A. (2013). Application of CAD and reverse engineering methodology for development of complex assemblies. Journal of Engineering, Design and Technology, 11(3), 375-390. Anthes, C., García-Hernández, R. J., Wiedemann, M., & Kranzlmüller, D. (2016, March). State of the art of virtual reality technology. In Aerospace Conference, 2016 IEEE (pp. 1-19). IEEE.
Argyle M (1988) Bodily communication (second edition). Methuen, New York, NY
Argyle, M., & Dean, J. (1965). Eye-contact, distance and affiliation. Sociometry, 289-304.
Argyle, M., & Kendon, A. (1967). The experimental analysis of social performance. Advances in
experimental social psychology, 3, 55-98.
Attle, S., & Baker, B. (2007). Cooperative learning in a competitive environment: Classroom applications. International Journal of Teaching & Learning in Higher Education, 19(1).
Baak, A., Müller, M., Bharaj, G., Seidel, H. P., & Theobalt, C. (2013). A data-driven approach for real-time full body pose reconstruction from a depth camera. In Consumer Depth Cameras for
Computer Vision (pp. 71-98). Springer, London.
Bailenson, J. N., Beall, A. C., Loomis, J., Blascovich, J., & Turk, M. (2004). Transformed social interaction: Decoupling representation from behavior and form in collaborative virtual environments. Presence: Teleoperators & Virtual Environments, 13(4), 428-441.
Bailenson, J. N., & Yee, N. (2005). Digital chameleons: Automatic assimilation of nonverbal gestures in immersive virtual environments. Psychological science, 16(10), 814-819.
Baron-Cohen, S., Ring, H. A., Wheelwright, S., Bullmore, E. T., Brammer, M. J., Simmons, A., &
Williams, S. C. (1999). Social intelligence in the normal and autistic brain: an fMRI study. European
Journal of Neuroscience, 11(6), 1891-1898.
Barkai, J. L. (1990). Nonverbal communication from the other side: speaking body language. San
Diego L. Rev., 27, 101.
Bastug, E., Bennis, M., Médard, M., & Debbah, M. (2017). Toward Interconnected Virtual Reality: Opportunities, Challenges, and Enablers. IEEE Communications Magazine, 55(6), 110-117. Bavelas, J. B., Chovil, N., Lawrie, D. A., & Wade, A. (1992). Interactive gestures. Discourse
processes, 15(4), 469-489.
Berger, K. W., & Popelka, G. R. (1971). Extra-facial gestures in relation to speechreading. Journal of
Communication Disorders, 3(4), 302-308.
Brothers, L., & Ring, B. (1993). Mesial temporal neurons in the macaque monkey with responses selective for aspects of social stimuli. Behavioural brain research, 57(1), 53-61.
Bolinger, D., & Bolinger, D. L. M. (1986). Intonation and its parts: Melody in spoken English. Stanford University Press.
Boone, R. T., & Buck, R. (2003). Emotional expressivity and trustworthines
Brothers, L., Ring, B., & Kling, A. (1990). Response of neurons in the macaque amygdala to complex social stimuli. Behavioural brain research, 41(3), 199-213.
Burdea Grigore, C., & Coiffet, P. (1994). Virtual reality technology. London: Wiley-Interscience.
Burgoon, J. K., Guerrero, L. K., & Floyd, K. (2016). Nonverbal communication. Routledge. Burgoon, M., & Ruffner, M. (1978). Human communication: A revision of approaching
speech/communication. Holt, Rinehart and Winston.
Burgos-Artizzu, X. P., Fleureau, J., Dumas, O., Tapie, T., LeClerc, F., & Mollet, N. (2015, November). Real-time expression-sensitive hmd face reconstruction. In SIGGRAPH Asia 2015 Technical Briefs (p. 9). ACM.
Capin, T. K., Pandzic, I. S., Magnenat Thalmann, N., & Thalmann, D. (1998). Realistic avatars and
autonomous virtual humans in: VLNET networked virtual environments (No.
VRLAB-CHAPTER-2007-010, pp. 157-174). IEEE Computer Society Press,(R. Earnshaw and J. Vince, eds).
Chippendale, P. (2006, April). Towards automatic body language annotation. In Automatic Face and Gesture Recognition, 2006. FGR 2006. 7th International Conference on (pp. 487-492). IEEE. Churchill, E. F., & Snowdon, D. (1998). Collaborative virtual environments: an introductory review of issues and systems. Virtual Reality, 3(1), 3-15.
Clark, V. P., Maisog, J. M., & Haxby, J. V. (1998). fMRI study of face perception and memory using random stimulus sequences. Journal of Neurophysiology, 79(6), 3257-3265.
Cohen, A. A. (1977). The Communicative Functions of Hand I1lustrators. Journal of communication, 27(4), 54-63.
Cohen, A. A., & Harrison, R. P. (1973). Intentionality in the use of hand illustrators in face-to-face communication situations. Journal of Personality and Social Psychology, 28(2), 276.
Corgan, A. (2014, August 9). How Does the Leap Motion Controller Work? Opgevraagd op 4 maart 2018 via: Http://blog.leapmotion.com/hardware-to-software-how-does-the-leap-motion-controller-work/
Datcu, D., Lukosch, S., & Lukosch, H. (2016). A Collaborative Game to Study Presence and
Situational Awareness in a Physical and an Augmented Reality Environment. J. UCS, 22(2), 247-270.
Fabri, M., Moore, D., & Hobbs, D. (2004). Mediating the expression of emotion in educational collaborative virtual environments: an experimental study. Virtual reality, 7(2), 66-81.
Fast, J. (1988). Body language. Simon and Schuster.
Filippeschi, A., Schmitz, N., Miezal, M., Bleser, G., Ruffaldi, E., & Stricker, D. (2017). Survey of motion tracking methods based on inertial sensors: a focus on upper limb human motion. Sensors, 17(6), 1257.
Flöel, A., Ellger, T., Breitenstein, C., & Knecht, S. (2003). Language perception activates the hand
motor cortex: implications for motor theories of speech perception. European Journal of Neuroscience,
18(3), 704-708.
Forbes, P. A., Pan, X., & Hamilton, A. F. D. C. (2016). Reduced mimicry to virtual reality avatars in Autism Spectrum Disorder. Journal of autism and developmental disorders, 46(12), 3788-3797. Frank, R. H. (1988). Passions within reason: the strategic role of the emotions. WW Norton & Co. Fromme, D. K., & Beam, D. C. (1974). Dominance and sex differences in nonverbal responses to differential eye contact. Journal of Research in Personality, 8(1), 76-87.
Fromme, D. K., & Beam, D. C. (1974). Dominance and sex differences in nonverbal responses to differential eye contact. Journal of Research in Personality, 8(1), 76-87.
Garg, P., Aggarwal, N., & Sofat, S. (2009). Vision based hand gesture recognition. World Academy of
Science, Engineering and Technology, 49(1), 972-977.
Gilbert, M. (2007). Mutual recognition, common knowledge, and joint attention. Hommage à Wlodek:
Philosophical papers dedicated to Wlodek Rabinowicz, 1-21.
Grady, C. L., McIntosh, A. R., Horwitz, B., Maisog, J. M., Ungerleider, L. G., Mentis, M. J., ... & Haxby, J. V. (1995). Age-related reductions in human recognition memory due to impaired encoding. Science, 269(5221), 218-221.
Gueguen, N., Jacob, C., & Martin, A. (2009). Mimicry in social interaction: Its effect on human judgment and behavior. European Journal of Social Sciences, 8(2), 253-259.
Hagedoorn, H. (2010, April 13). MSI R5830 Twin Frozr II review. Retrieved March 05, 2018, from http://www.guru3d.com/articles-pages/msi-r5830-twin-frozr-ii-review,7.html
Hale, J., & Antonia, F. D. C. (2016). Testing the relationship between mimicry, trust and rapport in virtual reality conversations. Scientific reports, 6, 35295.
.
Halgren, E., Dale, A. M., Sereno, M. I., Tootell, R. B., Marinkovic, K., & Rosen, B. R. (1999). Location of human face-selective cortex with respect to retinotopic areas. Human brain mapping, 7(1), 29-37. Hanson, H. M., Schiller, C., Winters, M., Sims-Gould, J., Clarke, P., Curran, E., ... & Ashe, M. C. (2013). Concept mapping applied to the intersection between older adults' outdoor walking and the built and social environments. Preventive medicine, 57(6), 785-791.
Haxby, J. V., Ungerleider, L. G., Horwitz, B., Maisog, J. M., Rapoport, S. I., & Grady, C. L. (1996). Face encoding and recognition in the human brain. Proceedings of the National Academy of Sciences, 93(2), 922-927.
Haxby, J. V., Grady, C. L., Horwitz, B., SALERNO, J., UNGERLEIDER, L. G., MISHKIN, M., & SCHAPIRO, M. B. (1993). Dissociation of object and spatial visual processing pathways in human extrastriate cortex. In Functional organisation of the human visual cortex (pp. 329-340).
Haxby, J. V., Ungerleider, L. G., Clark, V. P., Schouten, J. L., Hoffman, E. A., & Martin, A. (1999). The effect of face inversion on activity in human neural systems for face and object perception. Neuron, 22(1), 189-199.
Hickson, S., Dufour, N., Sud, A., Kwatra, V., & Essa, I. (2017). Eyemotion: Classifying facial expressions in VR using eye-tracking cameras. arXiv preprint arXiv:1707.07204.
HTC Vive (2018, maart, 4). HTC Vive tracker. Opgevraagd op 4 maart 2018 via: https://www.vive.com/us/vive-tracker/
Hubbard, A. L., Wilson, S. M., Callan, D. E., & Dapretto, M. (2009). Giving speech a hand: Gesture
modulates activity in auditory cortex during speech perception. Human brain mapping, 30(3),
1028-103
Iacoboni, M. (2009). Imitation, empathy, and mirror neurons. Annual review of psychology, 60,
653-670.
Itier, R. J., & Batty, M. (2009). Neural bases of eye and gaze processing: the core of social cognition.
Neuroscience & Biobehavioral Reviews, 33(6), 843-863.
Kanwisher, N., McDermott, J., & Chun, M. M. (1997). The fusiform face area: a module in human extrastriate cortex specialized for face perception. Journal of neuroscience, 17(11), 4302-4311. Kaplan, F., & Hafner, V. V. (2006). The challenges of joint attention. Interaction Studies, 7(2), 135-169. Krauss, R. M., Dushay, R. A., Chen, Y., & Rauscher, F. (1995). The communicative value of
conversational hand gesture. Journal of experimental social psychology, 31(6), 533-552.
Kret, M. E., Tomonaga, M., & Matsuzawa, T. (2014). Chimpanzees and humans mimic pupil-size of conspecifics. PLoS One, 9(8), e104886.
Kudoh, T., & Matsumoto, D. (1985). Cross-cultural examination of the semantic dimensions of body postures. Journal of Personality and Social Psychology, 48(6), 1440.
Lakin, J. L., Jefferis, V. E., Cheng, C. M., & Chartrand, T. L. (2003). The chameleon effect as social glue: Evidence for the evolutionary significance of nonconscious mimicry. Journal of nonverbal
behavior, 27(3), 145-162.
Lanier J (2001) Virtually there. April, 66–75. Scientific American, April, pp 66–75
Leap Motion Store EU. Universal VR Dev Bundle. (2018). Opgevraagd op 4 maart 2018 via: https://store-eur.leapmotion.com/products/universal-vr-developer-bundle
Leap Motion Developer. (n.d.). Developer Leap Motion. Retrieved March 05, 2018, from https://developer.leapmotion.com/
Leber, J. (2014). Samenwerken, een belangrijke bouwsteen voor een team (Master's thesis). Li, T., Akosah, E. S., Liu, Q., & Zhou, X. (2017, October). Ultra-Low Power Gaze Tracking for Virtual Reality. In Proceedings of the 23rd Annual International Conference on Mobile Computing and
Networking (pp. 490-492). ACM.
Li, H., Trutoiu, L., Olszewski, K., Wei, L., Trutna, T., Hsieh, P. L., ... & Ma, C. (2015). Facial performance sensing head-mounted display. ACM Transactions on Graphics (TOG), 34(4), 47. Macrae, C. N., Hood, B. M., Milne, A. B., Rowe, A. C., & Mason, M. F. (2002). Are you looking at me? Eye gaze and person perception. Psychological science, 13(5), 460-464.
Manninen, T. (2004). Rich interaction model for game and virtual environment design. Oulun yliopisto.
Marks, S., Windsor, J., & Wünsche, B. (2009). Enhancing virtual environment-based surgical teamwork training with non-verbal communication.
Marcinowicz, L., Konstantynowicz, J., & Godlewski, C. (2010). Patients' perceptions of GP non-verbal communication: a qualitative study. Br J Gen Pract, 60(571), 83-87.
Marsh, K. L., Richardson, M. J., & Schmidt, R. C. (2009). Social connection through joint action and interpersonal coordination. Topics in Cognitive Science, 1(2), 320-339.
McCarthy, G., Puce, A., Gore, J. C., & Allison, T. (1997). Face-specific processing in the human fusiform gyrus. Journal of cognitive neuroscience, 9(5), 605-610.
Menken, S., Keestra, M. (2016) An introduction to interdisciplinary research. Amsterdam: Amsterdam University Press B.V.
Mehrabian, A. (1972). Nonverbal communication. Transaction Publishers.
Morris D, Collett P, Marsh P and O’Shaughnessy M (1979) Gestures, their origin and distribution. Jonathan Cape, London, UK
Morris, J. S., Frith, C. D., Perrett, D. I., Rowland, D., Young, A. W., Calder, A. J., & Dolan, R. J. (1996). A differential neural response in the human amygdala to fearful and happy facial expressions.
Nature, 383(6603), 812.
Myo (2018, maart, 4). Myo store. Opgevraagd op 4 maart 2018 via: https://store.myo.com/
Negrón, A. P. P. (2016). Collaborative Nonverbal Interaction within Virtual Environments. ReCIBE, 1(1).
Neurodigital (2018, maart, 4). Neurodigital Technologies Glove One. Opgevraagd op 4 maart 2018 via: https://www.neurodigital.es/gloveone/
Nowak, K. L., & Biocca, F. (2003). The effect of the agency and anthropomorphism on users' sense of telepresence, copresence, and social presence in virtual environments. Presence: Teleoperators and
Virtual Environments, 12(5), 481-494.
Oh, S. Y., Bailenson, J., Krämer, N., & Li, B. (2016). Let the Avatar Brighten Your Smile: Effects of Enhancing Facial Expressions in Virtual Environments. PloS one, 11(9), e0161794.
Orvalho, V., Bastos, P., Parke, F. I., Oliveira, B., & Alvarez, X. (2012). A Facial Rigging Survey. In
Eurographics (STARs) (pp. 183-204).
Pease, A., & Pease, B. (2016). The Definitive Book of Body Language: how to read others’ attitudes
by their gestures. Hachette UK.
Pai, Y. S., Outram, B. I., Tag, B., Isogai, M., Ochi, D., Kimata, H., & Kunze, K. (2017, July). CleaVR:
collaborative layout evaluation and assessment in virtual reality. In ACM SIGGRAPH 2017 Posters (p.
20). ACM.
Pimentel, K., & Teixeira, K. (1993). Virtual reality through the new looking glass.
Poelman, R., Akman, O., Lukosch, S., & Jonker, P. (2012, February). As if being there: mediated reality for crime scene investigation. In Proceedings of the ACM 2012 conference on computer
supported cooperative work (pp. 1267-1276). ACM.
Poppe, E., Brown, R., Recker, J., Johnson, D., & Vanderfeesten, I. (2017). Design and evaluation of virtual environments mechanisms to support remote collaboration on complex process diagrams.
Information Systems, 66, 59-81.
Portin, P. (2015). A comparison of biological and cultural evolution. Journal of genetics, 94(1), 155-168.
Potter, L. E., Araullo, J., & Carter, L. (2013, November). The leap motion controller: a view on sign
language. In Proceedings of the 25th Australian computer-human interaction conference:
augmentation, application, innovation, collaboration (pp. 175-178). ACM.
Puce, A., Allison, T., Asgari, M., Gore, J. C., & McCarthy, G. (1996). Differential sensitivity of human visual cortex to faces, letterstrings, and textures: a functional magnetic resonance imaging study.
Journal of neuroscience, 16(16), 5205-5215.
Rautaray, S. S., & Agrawal, A. (2015). Vision based hand gesture recognition for human computer interaction: a survey. Artificial Intelligence Review, 43(1), 1-54.)
Rimé, B. (1982). The elimination of visible behaviour from social interactions: Effects on verbal, nonverbal and interpersonal variables. European journal of social psychology, 12(2), 113-129.
Riseborough, M. G. (1982). Meaning in movement: An investigation into the interrelationship of physiographic gestures and speech in seven-year-olds. British Journal of Psychology, 73(4), 497-503
Rosenfeld, H.M Conversational control functions of non-verbal behaviour. Lawrence Erlbaum, pp 291-338, 1978.
Roth, D. (2016, June). The Study of Interpersonal Communication Using Virtual Environments and Digital Animations: Approaches and Methodologies. Paper presented at Conference of the
International Communication Association, Fukuoka.
Safont, E., Rull, V., Vegas-Vilarrubia, T., Holst, B. K., Huber, O., Nozawa, S., ... & Silva, A. (2014). Establishing a baseline of plant diversity and endemism on a neotropical mountain summit for future comparative studies assessing upward migration: an approach from biogeography and nature conservation. Systematics and Biodiversity, 12(3), 292-314.
Salem, B., & Earle, N. (2000, September). Designing a non-verbal language for expressive avatars. In
Proceedings of the third international conference on Collaborative virtual environments (pp. 93-101).
Schuemie, M. J., Van Der Straaten, P., Krijn, M., & Van Der Mast, C. A. (2001). Research on presence in virtual reality: A survey. CyberPsychology & Behavior, 4(2), 183-201.
Singletary, C. (2017, mei, 31). Impressive Social VR Demo Combines Mouth and Eye Tracking Opgevraagd op 4 maart 2018 via: https://uploadvr.com/face-avatar-expressions/
Smith, H. J., & Neff, M. (2018). Communication Behavior in Embodied Virtual Reality.
Snowdon, D., Churchill, E. F., & Munro, A. J. (2001). Collaborative virtual environments: Digital spaces
and places for CSCW: An introduction. In Collaborative virtual environments (pp. 3-17). Springer,
London.
Stengel, M., Grogorick, S., Eisemann, M., Eisemann, E., & Magnor, M. A. (2015, October). An
affordable solution for binocular eye tracking and calibration in head-mounted displays. In Proceedings
of the 23rd ACM international conference on Multimedia (pp. 15-24). ACM.
Steptoe, W., Wolff, R., Murgia, A., Guimaraes, E., Rae, J., Sharkey, P., ... & Steed, A. (2008, November). Eye-tracking for avatar eye-gaze and interactional analysis in immersive collaborative virtual environments. In Proceedings of the 2008 ACM conference on Computer supported cooperative work (pp. 197-200). ACM.
Strongman, K. T. (1987). The psychology of emotion. John Wiley & Sons.
Tanenbaum, J., Seif El-Nasr, M., & Nixon, M. (2014). Nonverbal Communication in Virtual Worlds:
Understanding and Designing Expressive Characters. Carnegie Mellon University: ETC Press.
Tang, J. C. (1991). Findings from observational studies of collaborative work. International Journal of
Man-machine studies, 34(2), 143-160.
Team FOVE (2018, december, 14). FOVE Homepage. Opgevraagd op 4 maart 2018 via: https://www.getfove.com/
Tolani, D., Goswami, A., & Badler, N. I. (2000). Real-time inverse kinematics techniques for anthropomorphic limbs. Graphical models, 62(5), 353-388.
Tong, F., Nakayama, K., Moscovitch, M., Weinrib, O., & Kanwisher, N. (2000). Response properties of the human fusiform face area. Cognitive neuropsychology, 17(1-3), 257-280.
Vertegaal, R., Van der Veer, G., & Vons, H. (2000, May). Effects of gaze on multiparty mediated
communication. In Graphics Interface (pp. 95-102).
VicoVR. (2017). Full body motion controller for Mobile VR / AR / SmartTV / IoT. Retrieved March 05, 2018, from https://vicovr.com/
Vilhjálmsson, H. H., & Cassell, J. (1998, May). Bodychat: Autonomous communicative behaviors in
avatars. In Proceedings of the second international conference on Autonomous agents (pp. 269-276).
ACM.
VRChat. (2016, December 08). VRChat Releases Early Access Build – Virtual Reality Pop. Retrieved March 05, 2018, from https://virtualrealitypop.com/vrchat-releases-early-access-build-12d1ee1986e8 Weichert, F., Bachmann, D., Rudak, B., & Fisseler, D. (2013). Analysis of the accuracy and
robustness of the leap motion controller. Sensors, 13(5), 6380-6393.
Williams, E. A., Duray, R., & Reddy, V. (2006). Teamwork orientation, group cohesiveness, and
student learning: A study of the use of teams in online distance education. Journal of Management
Education, 30(4), 592-616.
Yost Labs. (n.d.). PrioVR™ Kit. Retrieved March 05, 2018, from https://yostlabs.com/priovr/
Zahavi, A. (1980). Ritualization and the evolution of movement signals. Behaviour, 72(1), 77-80. Zheng, J., Veinott, E., Bos, N., Olson, J. S., & Olson, G. M. (2002, April). Trust without touch:
jumpstarting long-distance trust with initial social activities. In Proceedings of the SIGCHI conference
