Bachelor Informatica
Het creëren van onderscheidend
vermogen tussen non-verbale
communicatie vaardigheden
Robin Appels - 11610115
15 juni 2020
Supervisor(s): Toto van Inge
Informatica
—
Universiteit
van
Samenvatting
Dit onderzoek analyseert de non-verbale communicatie van verschillende bekende sprekers met als doel het creëren van onderscheidend vermogen. Dit wordt gedaan om de basis te leggen voor een automatisch feedback systeem om hun non-verbale communicatie vaardigheden te verbeteren. Om dit te bereiken is er gebruik gemaakt van OpenPose. Dit is een software programma die het mogelijk maakt om het postuur van mensen te herkennen. OpenPose is gebruikt om vijf verschillende sprekers met elk vier presentaties per spreker te analyseren. Met de data van OpenPose zijn er verschillende berekeningen gedaan om de bewegingen van een spreker in kaart te brengen. De resultaten laten zien dat er daadwerkelijk onderscheid gemaakt kan worden tussen de sprekers en hun bewegingen. Echter zou er nog meer onderscheid gemaakt kunnen worden door naar meerdere aspecten van de non-verbale communicatie te kijken. Dit wordt ook besproken in het verslag.
Inhoudsopgave
1 Introductie 7
1.1 Parallellisatie in het onderwijs . . . 7
1.2 Non-verbale communicatie . . . 8
1.3 Het doel van het onderzoek . . . 9
1.4 Hoe worden de onderzoeksvragen beantwoord . . . 9
1.4.1 Bekende hulpmiddelen voor postuur herkenning . . . 9
1.4.2 Waar worden de presentaties van ervaren sprekers vandaan gehaald . . 10
2 Theoretische achtergrond 11 2.1 Hoe werkt OpenPose en hoe ziet de output eruit . . . 11
2.2 Bruikbare geometrie achter menselijke bewegingen . . . 12
2.2.1 Berekenen van een hoek . . . 12
2.2.2 Berekenen van de afstand tussen twee punten . . . 13
2.2.3 Berekenen van de totaal afgelegde afstand van een lijst met punten . . . 13
2.2.4 Het berekenen van de gemiddelde waarde en de standaardafwijking . . . 14
2.3 Het verwijderen van ruis . . . 14
2.4 Real time mogelijkheden . . . 14
2.5 Het opslaan van data om later weer te gebruiken . . . 15
3 Methode 17 3.1 Het analyseren van TED sprekers . . . 17
3.2 De keuze om alleen naar het bovenlichaam te kijken . . . 18
3.3 Het proces om non-verbale communicatie te analyseren . . . 18
3.3.1 Het verschil tussen bruikbaar en onbruikbaar video materiaal als input . 19 3.3.2 Hoe wordt de OpenPose output data verwerkt . . . 20
3.3.3 Wat wordt er berekend en waarom . . . 21
3.4 Hoe worden de resultaten per spreker opgeslagen . . . 21
3.5 Welke hardware is er gebruikt bij het onderzoek . . . 22
4 Experimenten en resultaten 23 4.1 Keuze van de dataset voor het experiment . . . 23
4.2 Hoe consistent en nauwkeurig is OpenPose . . . 23
4.3 Foutafhandeling van data uit OpenPose . . . 24
4.4 Visualiseren van de bewegingen . . . 25
4.5 Het experiment . . . 25
4.5.1 Meerdere presentaties van dezelfde spreker . . . 26
5 Conclusie en Discussie 31
5.1 Wat zeggen de resultaten van het experiment . . . 31
5.1.1 Meerdere presentaties van dezelfde spreker . . . 31
5.1.2 Presentaties van verschillende sprekers . . . 32
5.1.3 Verklaring voor de grote spreiding in de resultaten . . . 33
5.2 Conclusie . . . 34
5.3 Is het onderzoek ethisch verantwoord . . . 35
5.4 Toekomstig onderzoek . . . 35
5.4.1 Uitbreiding van de metrieken . . . 36
5.4.2 Gebruik van machine learning om posturen te herkennen . . . 36
HOOFDSTUK 1
Introductie
Dit hoofdstuk wordt gebruikt om de lezer alvast een introductie te geven over het onderwerp van dit onderzoek. Ten eerste wordt er gekeken naar de huidige parallellisatie technieken in het onderwijs (1.1). Dan wordt het belang van de non-verbale communicatie toegelicht (1.2). Vervolgens wordt het doel van het onderzoek beschreven, inclusief de hoofd- en deelvragen (1.3). En als laatst wordt er alvast gekeken naar eventuele manieren om de onderzoeksvragen te beantwoorden (1.4).
1.1
Parallellisatie in het onderwijs
In het onderwijs worden al veel onderdelen geparallelliseerd aangeboden. Neem als voorbeeld het hoorcollege, waar studenten bijeenkomen om naar de docent te luisteren. Ook een vorm van parallellisatie in het onderwijs is de toetsing, waarbij de studenten tegelijkertijd de toetsing afleggen. In het onderwijs worden ook andere eigenschappen geleerd die van pas komen in een carrière na het onderwijs, waaronder presenteren. In het boek van [Lemonnier, 2016] wordt het belang van presentatie vaardigheden besproken. ’The ability to speak well enough to interest, influence or persuade other people is a major asset, whatever you choose to do in the future’. Ook in het boek van [Van Emden and Becker, 2016] wordt het belang van presentatie vaardigheden aangekaart. Presentatie vaardigheden worden hier ’transferable skills’ genoemd. Dit zijn vaardigheden die bij je blijven en die voor de rest van je leven waardevol zullen zijn. In het onderwijs worden tegenwoordig de presentaties gehouden voor de klas. Er komt dan steeds een student naar voren en houdt zijn presentatie. De overige studenten geven dan na de presentatie feedback. Aan het einde van de les heeft dan elke student een presentatie en meerder keren feedback gegeven. Het is dan nog maar de vraag of de studenten altijd consistente en kwalitatieve feedback kunnen geven. Ten eerste kan het voorkomen dat de studenten die feedback moeten geven, zich na een tijdje niet meer kunnen concentreren op de presentatie. Dit kan leiden tot inconsistentie en minder kwaliteit in de feedback. Ten tweede kan het, aangezien de studenten geen ervaren sprekers zijn, voorkomen dat belangrijke aspecten worden gemist en dus ontbreken in de feedback. In het onderzoek van [Ward, 2013] komt naar voren dat zelf professionals het moeilijk vinden om tot een overeenkomst te komen van de karakteristieken van een ’goede’ presentatie. Daarom kan het voorkomen dat zelfs met een publiek van ervaren sprekers de feedback inconsistent kan zijn.
Er is al onderzoek gedaan naar feedback systemen gebaseerd op non-verbale communicatie vaardigheden. In de onderzoeken van [Echeverría et al., 2014] en [van Walen, 2017] wordt gebruik gemaakt van een infrarood camera om non-verbale communicatie te analyseren. Hierbij moet de spreker voor een infrarood camera zijn presentatie houden om
de benodigde data te genereren. Ook zijn er onderzoeken gedaan naar feedback systemen zonder hulp van een infrarood camera. Zo wordt er in het onderzoek van [du Preez, 2020] gebruik gemaakt van een postuur herkenning software die ook video materiaal accepteert als input om posturen te herkennen.
1.2
Non-verbale communicatie
Om onderzoek te doen naar non-verbale communicatie is het nodig om een duidelijke definitie te geven. [Steve L. Ellyson, 1985] geeft de volgende definitie aan non-verbale communicatie: "behavior that is not part of formal, verbal language". Aangezien deze definitie zo breed is geformuleerd, is het nog niet duidelijk wat non-verbale communicatie nou precies inhoud. Nog een definitie van non-verbale communicatie komt van [Crawford and Popp, 2002] en luidt als volgt: "how we say things with our body postures and movements, facial expressions, gestures, touching, eye contact, use of space, and so on". Deze definitie is al iets duidelijker en laat zien dat non-verbale communicatie uit meer bestaat dan alleen bewegingen met ledematen.
In het boek van [Key, 1980] wordt ingegaan op de relatie van verbale en non-verbale communicatie. Deze twee vormen van communicatie zijn onmisbaar bij menselijke interactie. In het boek van [Burgoon et al., 2016] wordt het belang van non-verbale communicatie besproken. Er wordt gezegd dat het gebruik van non-verbale communicatie cruciaal is voor succesvolle relaties en dat het non-verbale gedeelte vaak zwaarder weegt dan het verbale gedeelte van de communicatie. Een vraag die hierbij gesteld kan worden is: hoeveel van alle communicatie is non-verbaal? Er zijn veel onderzoeken gedaan die hier proberen een exact percentage aan te hangen. In het onderzoek van [Barnum and Wolniansky, 1989] komt naar voren dat non-verbale communicatie 70% van de totale communicatie bevat. [Algeo, 1984] zegt in zijn onderzoek dat 90% non-verbale communicatie is. uit een iets recenter onderzoek komt naar voren dat 83% van de communicatie uit non-verbale communicatie bestaat [Pease and Pease, 2004]. Tussen deze onderzoekers is er dus een overeenstemming dat non-verbale communicatie meer dan de helft van de totale communicatie bevat.
Eerder onderzoek naar non-verbale communicatie is op te verdelen in twee onderdelen, namelijk gezichtsuitdrukkingen en de bewegingen van gewrichten. Er is onder andere door [Hareli and Hess, 2017] en [Hwang and Matsumoto, 2016] onderzoek gedaan naar gezichtsuitdrukkingen als onderdeel van de non-verbale communicatie. Naar het tweede onderdeel van non-verbale communicatie is onder andere onderzoek gedaan door [Mulken et al., 1998] en [Sonkusare et al., 2015]. Er zijn op beide gebieden onderzoek gedaan om de kwaliteiten van een spreker in kaart te brengen. Toch zijn er grote verschillen tussen de twee gebieden van non-verbale communicatie. Emoties zijn gecorreleerd aan het gezicht [Atkinson, 2002], waar duidelijkheid wordt geassocieerd met de handen en armen [Craig et al., 2002].
In de onderzoeken van [Cakmak et al., 2011] en [Mancini and Castellano, 2007] wordt er gekeken naar de bewegingen in ruimte en tijd. Hier wordt een beweging in tijd berekend door de snelheid en acceleratie van een gewricht ten opzichte van een beginpunt. Dit betekent dus bijvoorbeeld de snelheid van de pols ten opzichte van de schouder. Voor de beweging in ruimte wordt er in het onderzoek van [Bernhardt and Robinson, 2007] gekeken naar de lengte van gewrichten met behulp van een lokaal coördinaten systeem. In dit onderzoek wordt er ook gekeken naar de ruimtelijke en tijdelijke bewegingen van sprekers.
In het onderzoek van [Cavanagh et al., 2014] wordt de non-verbale communicatie van een spreker op een subjectieve manier benaderd. Er wordt hier een onderscheid gemaakt
tussen ’poor performance’ en ’excellent performance’. Iemand geeft bijvoorbeeld een slechte presentatie als deze teveel rondloopt of teveel met zijn handen wappert. Een spreker geeft een goede presentatie als deze gecentreerd en recht op staat, maar ook als er alleen handgebaren worden gebruikt om een punt of mening te benadrukken. In dit onderzoek zal er geen subjectief onderscheid gemaakt worden tussen een goede of slechte presentatie. Er wordt alleen gezocht naar een manier die verschillen in non-verbale communicatie kan herkennen.
1.3
Het doel van het onderzoek
Er is dus behoefte aan onderzoek naar een automatisch feedback systeem die de non-verbale communicatie vaardigheden van onervaren sprekers kan verbeteren. Bij een automatisch feedback systeem is het belangrijk dat de feedback consistent en van hoge kwaliteit zal zijn. Daarom zal er onderzoek worden gedaan naar het creëren van onderscheidend vermogen tussen sprekers. Als verschillende sprekers met elkaar vergeleken kunnen worden, is het pas mogelijk om feedback te geven.
Dit onderzoek beschrijft een manier om onderscheidend vermogen te creëren bij non-verbale communicatie van verschillende sprekers. De hoofdvraag van dit onderzoek is:
Hoe kan er onderscheid gemaakt worden tussen non-verbale communicatie vaardigheden van verschillende ervaren sprekers?
Aan de hand van de hoofdvraag zijn er ook onderzoeksvragen opgesteld:
1. Welke metrieken moeten er worden gedefinieerd om onderscheid, of overeenkomsten, te kunnen maken, of vinden, tussen verschillende profielen?
2. Kan er onderscheid gemaakt worden tussen verschillende presentaties van dezelfde spreker?
3. Kan er onderscheid gemaakt worden tussen presentaties van verschillende sprekers?
1.4
Hoe worden de onderzoeksvragen beantwoord
In deze paragraaf wordt er alvast vooruit gekeken naar een manier om de onderzoeksvragen te kunnen beantwoorden. Eerst wordt er gekeken naar bestaande software die postuur herkenning mogelijk maken. Dan wordt er gekeken naar een mogelijke manier om meerdere sprekers en presentaties te vinden voor een experiment.
1.4.1
Bekende hulpmiddelen voor postuur herkenning
Er zijn veel verschillende programma’s die helpen om een schatting te vormen van een menselijk postuur. In de onderzoeken van [Hofmann and Gavrila, 2009a] en [Hofmann and Gavrila, 2009b] wordt er gebruik gemaakt van meerdere camera’s om een 3D schatting te maken van een menselijk postuur. Aangezien de student geen beschikking heeft over meerdere camera’s is deze aanpak niet van toepassing op dit onderzoek. Een postuur herkenning programma dat wel werkt met een enkele infrarood camera is DensePose [Güler et al., 2018]. DensePose produceert een ’surface-based representation of the human body’. Bij DensePose is het echter niet mogelijk om de coördinaten van specifieke gewrichten te verkrijgen. Hierdoor is DensePose niet bruikbaar voor dit onderzoek. Nog twee programma’s die posturen kunnen herkennen met een enkele infrarood camera zijn DeepCut [Pishchulin et al., ] en DeeperCut [Insafutdinov et al., ]. Deze twee programma’s zijn van dezelfde ontwikkelaar en zijn in staat om een postuur te herkennen en alle
gewrichten daarvan in kaart te brengen. Echter komen DeepCut en DeeperCut uit 2016 en wordt er niet meer actief aan gewerkt. Hierdoor kan het zijn dat er foutjes in de code zitten of dat de documentatie verouderd is. Een andere postuur herkenning software is OpenPose [Ward, 2013]. OpenPose maakt het mogelijk om menselijke posturen te vinden in video beelden. OpenPose kan dus gebruikt worden om video materiaal te analyseren.
De resultaten van OpenPose in tegenstelling tot andere postuur herkenning software is te zien in Figuur 1.1. De verschillende software is getest met de MPII dataset. Dit is een dataset die bestaat uit 3844 training en 1758 test groepen van meerdere interactieve individuelen in verschillende houdingen. Om verschillende software te vergelijken is er gekeken naar de ’mean Average Precision’ (mAP) van alle ledematen. Ook is de test opgedeeld in een subgroep van 288 beelden en de gehele test set.
Figuur 1.1: Resultaten van verschillende postuur herkenning software op de MPII dataset
Uit de resultaten blijkt dat OpenPose niet de beste score heeft voor mAP. OpenPose heeft het meeste moeite met het juist voorspellen van de heup, knie en enkel. Voor het herkennen van het hoofd, schouders, elleboog en pols scoort OpenPose wel beter. Dit betekent dat OpenPose beter is in het herkennen van het bovenlichaam dan het onderlichaam. OpenPose heeft gemiddeld een mAP van tussen de 70 en de 80. Dit betekent dat er meetfouten kunnen voorkomen in de output van OpenPose.
De reden dat OpenPose wordt gebruikt voor dit onderzoek is dat OpenPose een actuele en bekende postuur herkennings software is. De code op github wordt regelmatig bijgewerkt en de documentatie is duidelijk en compleet. Ook scoort OpenPose goed op het herkennen van het bovenlichaam van een persoon. Dit maakt het mogelijk om met OpenPose naar het bovenlichaam, zoals armen en polsen, te kijken als het gaat om non-verbale communicatie.
1.4.2
Waar worden de presentaties van ervaren sprekers vandaan gehaald
Om de non-verbale communicatie van een spreker op te analyseren zijn er meerdere presentaties nodig van dezelfde ervaren spreker. TED heeft een openbare dataset met alle presentaties van sprekers die ooit bij TED hebben mogen presenteren. Van deze dataset kan er eventueel gebruik gemaakt worden om meerdere sprekers en presentaties te gebruiken voor een experiment. Nog een ander platform waar presentaties vandaan gehaald kunnen worden is ’Big Think’ [Big Think, 2020]. Dit is, net als TED, een website met een grote verzameling van presentaties. nog een alternatief is ’Talks at Google’ [Google, 2020]. Dit is ook een website waar meerdere presentaties van ervaren sprekers vandaan gehaald kan worden.HOOFDSTUK 2
Theoretische achtergrond
In dit hoofdstuk wordt de bijbehorende theorie van het onderzoek nader toegelicht. Eerst wordt de werking van OpenPose beschreven (2.1). Dan wordt de theorie achter de geometrie om menselijke bewegingen te analyseren toegelicht (2.2). Dan wordt er naar een manier gekeken om ruis uit een signaal te filteren (2.3). Vervolgens wordt er gekeken naar de theorie van real-time systemen en de mogelijkheden om van dit onderzoek een real-time applicatie te maken (2.4). Als laatst wordt er gekeken naar een bekende manier om data op te slaan om later weer te gebruiken (2.5).
2.1
Hoe werkt OpenPose en hoe ziet de output eruit
De stappen uit het algoritme van OpenPose zijn zichtbaar in figuur 2.1.
Figuur 2.1: De pijplijn van OpenPose
Het systeem neemt als input een gekleurde foto of video. Vervolgens wordt met behulp van een feedforward neuraal netwerk een set van 2D ’confident maps’ (figuur 2.1b) en een set van 2D ’part affinity fields (PAF’s)’ (figuur 2.1c) gemaakt. Elke confident map is een representatie van het geloof dat er een lichaamsdeel aanwezig is op een gegeven pixel. Een PAF is een 2D vector veld voor elk lichaamsdeel. Voor elke pixel in het gebied van het specifieke lichaamsdeel, laat deze 2D vector zien wat de richting is van het ene lichaamsdeel naar het andere. Zo kan er onderscheid gemaakt worden tussen meerdere personen in hetzelfde beeld. Vervolgens worden de confident maps en de PAF’s ontleed met behulp van een ’greedy inference’ algoritme (figuur 2.1d) met als output de 2D keypoints voor alle mensen in het beeld (figuur 2.1e).
De output van OpenPose bestaat uit meerdere JSON bestanden. Voor elk frame van de input wordt er een JSON bestand gegenereerd. Dit JSON bestand bestaat uit een array, genaamd ’pose_keypoints_2d’, die de keypoints van alle ledematen bevat. Een keypoint bestaat uit een lijst met de X en Y coördinaten en een ’confident score’. De confident score is een getal tussen de 0 en de 1 die aangeeft hoe hoog de kans is dat er daadwerkelijk een
ledemaat was op deze positie. Een keypoint ziet er dus zo uit: [x1, y1, c1]. Een keypoint kan ook meerdere posities in een frame detecteren. In dat geval ziet een keypoint er zo uit:[x1, y1, c1, x2, y2, c2, etc.]. Dan wordt de locatie met de hoogste confident score gebruikt. Elk keypoint is ook gekoppeld aan een lichaamsdeel aan de hand van het ’BODY_25’ model. Figuur 2.2 laat dit model zien.
Figuur 2.2: BODY_25 Openpose keypoints
Aangezien de output van OpenPose van de vorm(X, Y )kan er gewerkt worden met een cartesisch coördinatenstelsel en zullen punten in de ruimte ook wel coördinaten worden genoemd. Een coördinaat is dus een punt in de ruimte opgebouwd uit waarden voor de x-as en de y-as.
2.2
Bruikbare geometrie achter menselijke bewegingen
In deze paragraaf worden de formules die gebruikt worden om menselijke bewegingen te analyseren gedefinieerd. Eerst wordt er gekeken naar de manier om een hoek te berekenen tussen drie punten (2.2.1). Dan wordt er gekeken hoe de afstand tussen twee punten wordt berekend (2.2.2). Met deze formule kan vervolgens ook de totaal afgelegde afstand van een reeks punten worden berekend (2.2.3). Als laatst worden de definities van de gemiddelde waarde en de standaardafwijking gegeven (2.2.4).
2.2.1
Berekenen van een hoek
Om een hoek te berekenen zijn er drie punten nodig. Vervolgens kan de hoek van één van deze punten, met behulp van de andere twee punten, worden berekend. Een voorbeeld hiervan is te zien in figuur 2.3.
C B A BC AB AC α
Figuur 2.3: Het berekenen van de hoek van punt B tegenover punt A en C, ofwelα
Met de drie punten A, B en C en de lijnen tussen de punten, is het mogelijk om hoekα
te berekenen. Deze hoek wordt berekend met de formule 2.1.
α = arccos(AB
2+ BC2− AC2 2 ∗ AB ∗ BC ) ∗
180
π (2.1)
Hier zijn AB, BC en AC de afstanden tussen de punten A, B en C. In formule 2.2 kan worden gezien hoe deze afstand wordt berekend.
AB =q(B2
x− A2x) + (By2− A2y) (2.2)
Met deze formules kunnen er hoeken berekend worden tussen elke drie punten in een 2-dimensionale ruimte.
2.2.2
Berekenen van de afstand tussen twee punten
Ook worden er afstanden tussen verschillende punten gemeten. De afstand tussen twee verschillende punten in een 2-dimensionale ruimte worden berekend door middel van formule 2.3. Hierbij zijn de punten X en Y en wordt de afstand tussen deze twee punten berekend.
Af stand(X, Y ) =p(x2− x1)2+ (y2− y1)2 (2.3)
Deze formule kan gebruikt worden om simpelweg de afstand tussen twee punten te meten, maar ook om de totale afgelegde afstand van een serie punten, over tijd, te berekenen.
2.2.3
Berekenen van de totaal afgelegde afstand van een lijst met punten
Om de totale afgelegde afstand van een punt te berekenen worden eerst de verschillen tussen alle opeenvolgende punten, in horizontale en verticale richting, opgeslagen. Dit wordt gedaan met behulp van formules 2.4 en 2.5.deltax= |xn+1− xn| (2.4)
deltay = |yn+1− yn| (2.5)
Hier isnde grote van de totale lijst met X of y waarden. Vervolgens wordt de stap grootte berekend met formule 2.6. De stap grootte is de afgelegde afstand van een punt per tijdseenheid. In deze formule wordt de formule voor het berekenen van de afstand gebruikt. Hier is stap groottes dus een lijst met afstanden tussen een punt en het opvolgende punt in tijd.
stap grootte=qdelta2
Om nu de totale afgelegde afstand te verkrijgen kan de cumulatieve waarde van de lijst met stap groottes worden berekend. cumulatief houdt in dat alle waardes vanaf het begin bij elkaar worden opgeteld. Het is dus de som van alle delen vanaf het begin tot aan een bepaald punt. Stel de lijst uit de vorige formule bestaat uit [a, b, c, d, ...]. Dan wordt de cumulatieve waarde berekend met formule 2.7.
cumulatieve waarde= [a, a + b, a + b + c, a + b + c + d, ...] (2.7)
2.2.4
Het berekenen van de gemiddelde waarde en de standaardafwijking
Om meer inzicht te krijgen in de resultaten van de verschillende berekeningen hierboven wordt er onder andere met gemiddeldes gewerkt. De gemiddelde waarde van een lijst wordt berekend met formule 2.8.Gemiddelde = 1 n n X i=1 ai= a1+ a2+ · · · + an n (2.8)
Hier zijna1, a2, a3, ..., an alle waardes uit een lijst en isnde hoeveelheid waardes die in de
lijst zitten.
De standaardafwijking kan vervolgend worden berekend met formule 2.9.
standaardaf wijking = v u u t 1 N − 1 N X i=1 (xi− gemiddelde)2 (2.9)
2.3
Het verwijderen van ruis
De verstoring van een signaal wordt ook wel ruis genoemd, en kan weggefilterd worden. Dit wordt gedaan met een digitale filter. In het onderzoek van [Giurgiutiu, 2014] wordt het volgende over digitale filters gezegd: "Digital filters are widely used in signal processing to remove or to keep certain parts of the signal". Een digitale filter zoekt naar monsters in het signaal die het signaal op een correcte manier kunnen vertegenwoordigen. Van deze monsters wordt dan uiteindelijk een nieuw signaal gemaakt, zonder ruis. In het onderzoek van [Lai, 2003] worden twee verschillende soorten lineaire digitale filters besproken. De eerste is een ’Finite-duration impulse repsonse’ (FIR) filter. En de tweede filter is een ’Infinite-duration impulse response’ (IIR) filter. Bij deze filter wordt er gewerkt met een feedback systeem om de ruis uit het signaal te halen. De output van deze filter wordt dan ook bepaald met behulp van recursie. Daarom wordt er ook wel gesproken van een ’oneindige duur’ om tot een resultaat te komen.
Een manier om ruis weg te filteren wordt besproken in het onderzoek van [Gustafsson, 1996]. In dit onderzoek wordt de Gustafsson’s methode beschreven. Dit is een IIR filter en heeft manier om een signaal voorwaarts en achterwaarts te filteren om zo ruis te verwijderen.
2.4
Real time mogelijkheden
Er zijn drie onderdelen als het gaat om real-time systemen [Stankovic, 1988]. De eerste is tijd. Tijd is het belangrijkste onderdeel van real-time systemen. Taken moeten worden voltooid voor hun deadline. Het tweede onderdeel is betrouwbaarheid. Betrouwbaarheid is belangrijk omdat het falen van een real-time systeem grote gevolgen met zich mee kan brengen. Dit ligt natuurlijk wel aan de soort real-time applicatie. Het derde onderdeel is de omgeving van de computer waarin deze functioneert. Dit heeft te maken met het zinvol
inzetten van de computer bij het real-time systeem. Een real-time systeem bestaat uit een serie van taken die uitgevoerd moeten worden voor een bepaalde deadline. Voor elke taak wordt eerst gekeken naar de staat van het systeem, dan worden de berekeningen gedaan en vervolgens, als nodig, wordt er een bericht gestuurd om de staat van het systeem te veranderen. Dan wordt er gekeken naar de volgende taak die uitgevoerd moet worden.
Aangezien OpenPose een real-time systeem is, zou het kunnen bijdragen aan een real-time applicatie. OpenPose werkt op meerdere platformen, zoals Ubuntu, Windows Max OSX en kleinere embedded systemen [Cao et al., 2019]. Ook biedt OpenPose de mogelijkheid om met verschillende hardware te werken, zoals CUDA videokaarten, OpenCL videokaarten en apparaten met alleen een CPU. Verder kan OpenPose gebruikt maken van foto’s, video’s maar ook van een webcam of andere soorten camera’s. Op het moment dat OpenPose met een webcam aan het opnemen is, wordt er meteen per frame output gegenereerd. Deze output kan dus direct worden geanalyseerd op non-verbale communicatie. Er kan dus bijvoorbeeld een tijdsspanne gekozen worden die aangeeft wanneer de gebruiker informatie wilt ontvangen over de output van OpenPose.
2.5
Het opslaan van data om later weer te gebruiken
Om resultaten op te slaan kan er eventueel JSON gebruikt worden. De officiele paper van JSON defineerd JSON als volgt: ’JSON is a text syntax that facilitates structured data interchange between all programming languages’ [Ecma, 2015]. JSON is dus een lichtgewicht formaat voor data-uitwisseling. Het is voor programmeurs makkelijk te gebruiken maar ook voor computers gemakkelijk te verwerken en te genereren. ’JSON is a text format that is completely language independent but uses conventions that are familiar to programmers of the C-family of languages, including C, C++, C, Java, JavaScript, Perl, Python, and many others. These properties make JSON an ideal data-interchange language’ [Ecma, 2015]. Deze eigenschappen zorgen ervoor dat JSON goed gebruikt kan worden om data tijdelijk op te slaan om vervolgens later ook weer uit te lezen.
HOOFDSTUK 3
Methode
In dit hoofdstuk wordt de methode van het onderzoek toegelicht. Eerst wordt er uitgelegd hoe er aan video materiaal wordt gekomen (3.1). Dan wordt de keuze om alleen naar het bovenlichaam te kijken toegelicht (3.2). Dan wordt het hele proces om één presentatie te analyseren beschreven (3.3). Vervolgens wordt de manier waarop de resultaten per spreker worden opgeslagen besproken (3.4). en als laatst wordt er iets gezegd over de hardware die is gebruikt bij het onderzoek (3.5).
3.1
Het analyseren van TED sprekers
Om genoeg video materiaal te hebben voor OpenPose wordt er gebruikt gemaakt van de TED dataset. In deze dataset staat informatie over meer dan 2500 presentaties. In deze dataset staat de link naar de presentatie die vervolgens gedownload kan worden. Om te bepalen welke presentaties geschikt zijn is er gekeken naar de sprekers die meerdere keren hebben gepresenteerd bij TED. De hoeveelheid presentaties door elke spreker staat in figuur 3.1.
3.2
De keuze om alleen naar het bovenlichaam te kijken
Er is uiteindelijk gekozen om alleen naar het bovenlichaam van een spreker te kijken. Echter is wel eerst getest of het onderlichaam ook interessant is om naar te kijken. Hiervoor is een clip gebruikt van tien seconden waar de spreker in zijn geheel op staat. De bewegingen van de rechter pols, knie en enkel in de clip zijn te zien in figuur 3.2. De bijbehorende keypoints zijn te zien in figuur 2.2 uit hoofdstuk twee.
Figuur 3.2: Verschil tussen bewegingen van de pols, enkel en knie uit één clip
In deze grafiek is te zien dat er meer bewegingen plaatsvinden bij de pols dan bij de enkel en de knie. Ook is aan de polsen duidelijk te zien wanneer er een beweging gemaakt wordt. Dit is bij de enkel en de knie niet helemaal duidelijk. Er is uit de grafiek te lezen dat de spreker durende de tien seconden bijna helemaal stil staat. Over het algemeen bewegen de sprekers van de TED presentaties niet veel. Dit ligt ook aan het podium waar de spreker zijn presentatie houdt. Naarmate de spreker op een groter podium staat, is de spreker meer geneigd om rond te lopen. Dit is echter niet bij elke presentatie zo. Dus stel er zou gekozen worden om ook naar het onderlichaam te kijken, zouden er minder presentaties zijn die geanalyseerd kunnen worden. Er wordt in andere onderzoeken vooral naar het bovenlichaam gekeken om non-verbale communicatie vaardigheden te analyseren. Dit is ook een doorslaggevende factor geweest bij de keuze om alleen naar het bovenlichaam te kijken.
3.3
Het proces om non-verbale communicatie te analyseren
Het proces om één presentatie te analyseren op de non-verbale communicatie van de spreker is te zien in figuur 3.3. Eerst wordt er verteld over de input voor OpenPose (3.3.1). Vervolgens wordt er toegelicht wat er wordt gedaan met de data die uit OpenPose komt (3.3.2). Als laatst wordt er verteld wat er berekend wordt en waarom (3.3.3).
Figuur 3.3: Flow diagram van het proces om één presentatie te analyseren
3.3.1
Het verschil tussen bruikbaar en onbruikbaar video materiaal als input
Voor de input van OpenPose wordt video materiaal gebruikt. Dit video materiaal bestaat uit één TED presentatie van een bepaalde spreker. Het video materiaal van deze presentatie wordt eerst onderverdeeld in meerdere clips. Deze clips zijn met de hand geselecteerd met de regel dat de spreker duidelijk in beeld staat. Dit wordt gedaan omdat een TED presentatie meestal met meerderen camera’s wordt gefilmd en dus de spreker van verschillende hoeken wordt waargenomen. Niet elke van deze camera’s staat op een positie waar deze het postuur van de spreker goed in beeld kan brengen. Er moet dus echt worden gekeken naar de juiste camera beelden. Hierdoor verschilt ook de lengte van de clips tussen de vier en twintig seconden. Twee voorbeelden van onbruikbare beelden zijn te zien in figuur 3.4 en figuur 3.5. In figuur 3.4 wordt de spreker van achteren gefilmd en is zijn postuur niet goed zichtbaar. Ook is het publiek zichtbaar, waar OpenPose dus niet meer één persoon hoeft te analyseren maar opeens tientallen. Dit is geen gewenste situatie. Ook als de spreker achter een spreekstoel staat heeft OpenPose moeite met het herkennen van alle gewrichten. In figuur 3.5 is de pols van de spreker niet in beeld en kan OpenPose deze dus ook niet herkennen.Figuur 3.4: Onbruikbaar beeld Figuur 3.5: Onbruikbaar beeld
Figuur 3.6: Bruikbaar beeld
Figuur 3.7: Bruikbaar beeld
In figuur 3.6 is het bovenlichaam van de spreker goed in beeld en daarom bruikbaar als input voor OpenPose. In figuur 3.7 staat de spreker helemaal in beeld en niet meer achter zijn spreekstoel. Dit beeld is ook geschikt voor OpenPose aangezien het hele lichaam van de spreker in beeld is. Elke clip is vervolgens input voor OpenPose.
3.3.2
Hoe wordt de OpenPose output data verwerkt
Omdat OpenPose is niet helemaal 100% accuraat is in het voorspellen van een menselijk postuur, kan het voorkomen dat niet precies de locatie van het gewricht wordt gemeten, maar dat OpenPose er een beetje naast zit. Hierdoor kan het gebeuren dat de voorspelling afwijkt van de daadwerkelijke menselijke beweging. Dit wordt dan gezien als ruis. In menselijke bewegingen zit geen ruis en dus moet het ruis worden weggefilterd om zoveel mogelijk de realiteit na te bootsen. Dit wordt gedaan met de digitale filter besproken in hoofdstuk twee, namelijk een IIR filter die gebruik maakt van de Gustafsson’s methode. Een voorbeeld van een beweging gemeten door OpenPose met en zonder ruis is te zien in figuur 3.8.
Figuur 3.8: Het verschil tussen output van rechter pols voor en na de signaal filter
In de grafiek met ruis kan gezien worden dat de beweging (lijn) niet heel erg vloeiend is, terwijl een beweging van een mens dat wel is. De grafiek zonder ruis laat een vloeiendere beweging zien, die al meer lijkt op een menselijke beweging. Wegfilteren van ruis in de output van OpenPose is belangrijk aangezien er nog berekeningen worden gedaan met deze
waardes. Om fouten in de uiteindelijke resultaten zo veel mogelijk te voorkomen wordt dus eerst elke output gefilterd met de digitale filter.
Het kan voorkomen dat OpenPose het postuur van de spreker niet goed herkent. Het kan ook zijn dat de spreker niet voldoende in beeld blijkt te zijn voor OpenPose om alle gewrichten te herkennen. Een voorbeeld van het tweede geval is te zien in figuur 3.9. In beide gevallen zullen er fouten in de data zitten. Als dit zo blijkt, bijvoorbeeld door menselijke observatie of door uitschieters in de data, dan worden de clips verwijderd en niet meer gebruikt. Als er teveel clips worden verwijderd kan de keuze gemaakt worden om nieuwe clips te gebruiken.
Figuur 3.9: Een frame uit een clip waar maar één pols wordt herkent
3.3.3
Wat wordt er berekend en waarom
De data van de clips, afkomstig van OpenPose, zijn vervolgens input voor het programma geschreven in Python. In dit programma worden er enkele berekeningen gedaan met de output van OpenPose. Er wordt gekeken naar de hoeken, afstanden en totaal afgelegde afstand van bepaalde gewrichten. Er blijkt uit andere onderzoeken dat de hoeken tussen gewrichten iets kunnen vertellen over de bewegingen van een persoon. Er is bijvoorbeeld goed te zien wanneer een spreker actief is met zijn arm of dat zijn arm naast zijn lichaam hangt. Ook wordt er gekeken naar afstanden. Dit wordt op twee manieren gedaan. Ten eerste wordt er gekeken naar de afstand tussen de twee polsen. Dit wordt gedaan om meer inzicht te krijgen over de houding van de spreker. Er kan bijvoorbeeld gezien worden of de spreker een gesloten of open houding heeft aan de hand van de afstand tussen zijn polsen. Ten tweede wordt de afstand van de polsen in de tijd gemeten. Hierdoor is de totale afstand van de pols in een clip te berekenen. Dit geeft meer nog inzicht in het gebruik van de handen van een spreker.
Om uiteindelijk verschillende presentaties en sprekers met elkaar te vergelijken wordt er gewerkt met de gemiddelde waarden en de standaardafwijking. De gemiddelde waarden worden berekend met behulp van formule 2.8 uit hoofdstuk twee. De standaardafwijking wordt berekend met formule 2.9.
3.4
Hoe worden de resultaten per spreker opgeslagen
Het proces uit figuur 3.2 herhaalt zich meerdere keren voor elke spreker. Hierdoor worden er meerdere presentaties geanalyseerd per spreker. De uiteindelijke resultaten per spreker worden opgeslagen in JSON formaat. Als er meerdere sprekers zijn geanalyseerd dan
kunnen alle JSON bestanden van de resultaten worden uitgelezen. De resultaten per spreker worden vervolgens met elkaar vergeleken en geplot. Een voorbeeld van de data die wordt opgeslagen in JSON staat hieronder.
1 { 2 "naam_spreker": "Rives", 3 "gem_alle_presentaties": [ 4 { 5 "hoek_rechter_arm": 87.24911037129723, 6 "hoek_linker_arm": 93.75768458659144, 7 "horizontale_afstand_polsen": 187.01800218474855, 8 "verticale_afstand_polsen": 49.29445437328991, 9 "totaal_afgelegde_afstand_rechter_pols": 7.417035954886565, 10 "totaal_afgelegde_afstand_linker_pols": 7.516325386766144 11 } 12 ], 13 "standaardafwijking": [ 14 { 15 "hoek_rechter_arm": 25.24911037129723, 16 "hoek_linker_arm": 30.75768458659144, 17 "horizontale_afstand_polsen": 148.01800218474855, 18 "verticale_afstand_polsen": 54.29445437328991, 19 "totaal_afgelegde_afstand_rechter_pols": 6.417035954886565, 20 "totaal_afgelegde_afstand_linker_pols": 3.516325386766144 21 } 22 ], 23 "presentatie_nr_1": [ 24 { 25 "hoek_rechter_arm": 153.3504218550773, 26 "hoek_linker_arm": 119.29418399752475, 27 "horizontale_afstand_polsen": 232.0247887154565, 28 "verticale_afstand_polsen": 139.55929331387136, 29 "totaal_afgelegde_afstand_rechter_pols": 1.102767207697357, 30 "totaal_afgelegde_afstand_linker_pols": 8.798686155859794, 31 } 32 ], 33 . 34 . 35 .
3.5
Welke hardware is er gebruikt bij het onderzoek
Om OpenPose te draaien is er gebruikt gemaakt van een computer met Windows 10. De reden dat Windows 10 is gebruikt is omdat OpenPose een demo, met alle nodige functionaliteit, heeft die op Windows 10 draait. Verder is er gebruik gemaakt van een NVIDIA videokaart om de performance van OpenPose te vergroten. Hierdoor is het mogelijk voor OpenPose om gemiddeld 21 frames per seconden te analyseren. Deze redelijke performance heeft ervoor gezorgd dat er naar elke frame van het video materiaal gekeken kan worden door OpenPose. Er kan ook de keuze gemaakt worden om bijvoorbeeld om de vijf frames output te genereren vanuit OpenPose. Dit is in dit onderzoek echter niet het geval.
HOOFDSTUK 4
Experimenten en resultaten
In dit hoofdstuk wordt het experiment en de resultaten daarvan besproken. Eerst wordt de keuze van de dataset voor het experiment toegelicht (4.1). Dan wordt er kort gekeken naar de consistentie en nauwkeurigheid van OpenPose (4.2). Dan wordt er uitgelegd hoe er om wordt gegaan met de fouten uit de OpenPose data (4.3). Vervolgens wordt laten zien hoe de bewegingen worden gevisualiseerd (4.4). Als laatste wordt er naar het experiment zelf gekeken en de resultaten ervan besproken (4.5).
4.1
Keuze van de dataset voor het experiment
De sprekers van het experiment zijn gekozen op basis van de hoeveelheid presentaties deze heeft gegeven bij TED. Een spreker moet minstens vijf keer hebben gepresenteerd voor TED. Ook moet de presentatie geschikt zijn voor postuur herkenning. Sommige presentaties worden op een bepaalde manier gefilmd zodanig dat de spreker niet altijd volledig in beeld staat. Andere presentaties hebben matig to slecht beeldkwaliteit. Deze presentaties zijn niet bruikbaar voor het experiment. De sprekers die wel voldoen aan de criteria hierboven zijn: • Hans Rosling • Juan Enriquez • Rives • Dan Ariely • Bill Gates
Deze sprekers worden dan ook gebruikt bij het experiment.
4.2
Hoe consistent en nauwkeurig is OpenPose
Om te kijken of OpenPose consistent output genereert is er een test gedaan. Er is een video opname gemaakt waarop een symmetrische opwaartse, en vervolgens een neerwaartse, beweging met beide armen wordt gemaakt. Deze video opname is vervolgens vijf keer gebruikt als input voor OpenPose. Vervolgens zijn alle resultaten van OpenPose in één grafiek geplot om te zien of OpenPose steeds tot dezelfde resultaten komt of dat er verschil in kan zitten. De resultaten van de test is te zien in figuur 4.1.
Figuur 4.1: Resultaten van vijf keer dezelfde input van OpenPose
In de grafiek is te zien dat er geen verschil is tussen de resultaten. Dit is goed te zien aangezien de lijn paars is en dit ook de laatste lijn is die wordt getekend. Deze lijn valt dus precies op de andere lijnen en daardoor is alleen de kleur paars te zien. Dit betekent dat OpenPose consistent is en nauwkeurig tot steeds dezelfde resultaten kan komen bij dezelfde input. Hierdoor is het niet nodig om video beelden meerdere keren door OpenPose te halen, maar is één keer voldoende.
4.3
Foutafhandeling van data uit OpenPose
Het kan zijn dat er in de rouwe data fouten in de vorm van uitschieters voorkomen, maar dat die eruit worden gefilterd door de digitale filter. Een voorbeeld hiervan is te zien in figuur 4.2.
Figuur 4.2: X en Y waarden in de tijd van de rechter pols met en zonder ruis
Hier is te zien dat de X en Y waarden op een gegeven moment naar nul toegaan. Dit kan betekenen dat de pols uit het beeld was of dat OpenPose een fout heeft gemaakt. Nadat de
digitale filter is gebruikt om het ruis te verminderen ziet het ernaar uit dat de uitschieter in de ruwe data verdwenen is. Als dit het geval is hoeft de clip niet worden verwijderd en kan de clip gebruikt worden voor het experiment.
Het kan ook het geval zijn dat de uitschieters niet weg worden gefilterd met de digitale filter. Dan worden de uitschieters herkent bij het visualiseren van de bewegingen en kan er vervolgens alsnog voor gekozen worden om de clip te verwijderen.
4.4
Visualiseren van de bewegingen
Als alle berekeningen zijn gedaan kunnen de resultaten worden geplot. De resultaten van een clip van vijf seconden van Juan Enriquez staan in figuur 4.3.
Figuur 4.3: Verschillende resultaten van de bewegingen van één clip
De meest linker grafiek laat de totale afgelegde afstand zien, van beide polsen, in pixels in de tijd. Er is duidelijk te zien dat er eerst een beweging wordt gemaakt met de rechter pols en vervolgens ongeveer één seconden later een beweging met de linker pols. De middelste grafiek laat de hoek van beide armen in graden in de tijd zien. In deze grafiek kan uitgelezen worden dat de hoek van de linker arm in het begin boven de 150 graden ligt. Dit betekent dat de linker arm in de eerste twee seconden van de clip recht wordt gehouden. Wat er ook uit de grafiek gehaald kan worden is dat in het algemeen de hoek van de linker arm groter is dan de hoek van de rechter arm. In de meest rechter grafiek staat de afstand tussen de linker en rechter pols in horizontale en verticale richting. De afstand wordt aangegeven in pixels en de tijd in seconden. Uit deze grafiek is te lezen dat de spreker gemiddeld een grotere horizontale afstand heeft tussen de polsen dan verticale afstand. Ook is er uit de grafiek te halen dat er vanaf de derde seconde bijna geen verticale afstand is tussen de polsen. Dit betekend dat de polsen dan op één lijn zitten. Uit de middelste grafiek is te zien dat op hetzelfde moment de hoeken van de armen ongeveer hetzelfde zijn. Aan de hand van deze resultaten kan dus een schatting gegeven worden van een mogelijke houding van de spreker.
4.5
Het experiment
Het experiment is verdeeld in twee onderdelen. Eerst wordt er gekeken of er verschil te zien is tussen meerdere presentaties van dezelfde spreker (4.4.1). Vervolgens wordt er gekeken naar de verschillen/overeenkomsten tussen meerdere sprekers (4.4.2). Dit is gedaan met als doel om de deelvragen van het onderzoek te beantwoorden.
4.5.1
Meerdere presentaties van dezelfde spreker
Hans Rosling
De resultaten van de presentaties gegeven door Hans Rosling staan in figuur 4.4.
Figuur 4.4: Resultaten van meerdere presentaties van Hans Rosling
De hoek van de linker arm is in presentatie twee en drie significant groter dan de gemiddelde hoek in presentatie één en vier. Ook de gemiddelde hoek van de rechter arm is in presentatie drie significant groter dan die van de rest van de presentaties. Wat opmerkelijk is aan de afstand tussen de polsen bij Hans Rosling is dat de gemiddelde verticale afstand groter is dan de horizontale afstand voor alle presentaties. In presentatie één is een significant grotere verticale afstand gemeten dan bij de rest van de presentaties. De totale afgelegde afstand van de linker pols in presentatie twee en drie heeft een significant lagere waarde dan de presentaties één en vier. Bij de totale afgelegde afstand van de rechter pols zijn er geen grote verschillen merkbaar.
Juan Enriquez
De resultaten van de presentaties gegeven door Juan Enriquez staan in figuur 4.5.
Figuur 4.5: Resultaten van meerdere presentaties van Juan Enriquez
Uit de resultaten van Juan Enriquez is te zien dat de hoek van de linker arm significant groter is dan de hoek van de rechter arm in alle presentaties behalve de derde. In presentatie drie is de hoek van de linker en rechter arm ongeveer hetzelfde. De afstand tussen beide polsen zijn ongeveer hetzelfde voor elke presentatie, behalve in presentatie vier. In presentatie vier is de verticale afstand tussen de polsen significant groter dan bij de andere presentaties. De totaal afgelegde afstand van de linker pols is bij de derde en
vierde presentatie significant hoger dan bij de eerste en tweede presentatie. Dit geldt ook voor de rechter pols. Hierdoor is te zien dat bij de derde en vierde presentatie er meer met de polsen wordt bewogen dan in presentatie één en twee.
Rives
De resultaten van de presentaties gegeven door Rives staan in figuur 4.6.
Figuur 4.6: Resultaten van meerdere presentaties van Rives
uit de resultaten blijkt dat de hoek van de linker en rechter arm in presentatie drie significant lager is dan in de rest van de presentaties. In het algemeen is de hoek van de linker arm groter dan de rechter arm. De horizontale afstand tussen de polsen is in het algemeen groter dan de verticale afstand. Presentatie twee laat een significant grotere verticale en horizontale afstand zien tegenover de rest van de presentaties. In presentatie vier is de minste afstand tussen de polsen gemeten. Ook in de tweede presentatie is de totaal afgelegde afstand van beide polsen significant dan bij de andere presentaties.
Dan Ariely
De resultaten van de presentaties gegeven door Dan Ariely staan in figuur 4.7.
Figuur 4.7: Resultaten van meerdere presentaties van Dan Ariely
Uit de resultaten van Dan Ariely blijkt dat er in presentatie drie een significant grotere waarde is gemeten voor de totaal afgelegde afstand van beide polsen. Ook is te zien dat de horizontale afstand tussen de polsen bij deze presentatie het grootste is vergeleken met de andere presentaties. De verticale afstand is in het algemeen bij alle presentaties hetzelfde. De hoek van de rechter arm in presentatie één heeft de laagste gemiddelde waarde, waar presentatie vier een hoek heeft van gemiddeld 20 graden meer.
Bill Gates
De resultaten van de presentaties gegeven door Bill Gates staan in figuur 4.8.
Figuur 4.8: Resultaten van meerdere presentaties van Bill Gates
De hoek van de linker arm is in presentatie drie significant kleiner dan in de rest van de presentaties. De hoek van de rechter arm is bij elke presentatie ongeveer hetzelfde. Echter is er in presentatie één een uitschieter omhoog voor de hoek van de linker en rechter arm. Verder is er bij presentatie vier een uitschieter naar beneden voor de hoek van beide armen. De verticale afstand laat geen significante verschillen zien tussen de presentaties. Echter heeft presentatie één wel een significant grotere waarde voor de horizontale afstand tussen de polsen. In presentatie drie is te zien dat er een significant hogere waarde is gemeten voor de linker en rechter pols. Wat ook interessant is om op te merken is dat presentatie één, drie en vier ongeveer dezelfde waarde hebben voor de gemiddelde totaal afgelegde afstand.
4.5.2
Presentaties van verschillende sprekers
De resultaten van de verschillende sprekers zijn samengevoegd in figuur 4.9.
Figuur 4.9: Resultaten van verschillende sprekers onderling
In de grafiek is de gemiddelde waarde weergegeven met de bijbehorende standaardafwijking. Nu is te zien dat de standaardafwijking van de waarden aardig hoog is. Dit betekend dat de resultaten per spreker niet allemaal op elkaar lijken maar dat er veel spreiding is tussen de waarden die zijn gemeten. Dit zal zeker worden meegenomen in de conclusie van het onderzoek. Aangezien de spreiding van de waarden zo groot zijn wordt er een observatie gemaakt aan de hand van de gemiddelde waarden uit de figuur.
In de resultaten van de metingen van de hoek is duidelijk te zien dat Bill Gates de kleinste gemiddelde waarde heeft, terwijl Juan Enriquez de grootste gemiddelde waarde laat zien. Rives heeft net als Juan Enriquez een gemiddelde waarde van boven de 90 graden voor beide armen. Dan Ariely en Hans Rosling hebben net als Bill Gates een gemiddelde van onder de 90 graden. Hiervan zou dus gezegd kunnen worden dat Bill Gates en Dan Ariely gemiddeld met een scherpe hoek tussen de pols, elleboog en schouder presenteren, terwijl bij de andere sprekers een stompe hoek is gemeten.
Bij de verticale afstand tussen de polsen zijn de gemiddelde waardes voor elke spreker ongeveer gelijk, behalve bij Juan Enriquez. De gemiddelde verticale afstand tussen de polsen in bij Juan Enriquez significant hoger dan bij de andere sprekers. De gemiddelde waarde van Juan Enriquez is zelfs minimaal twee keer zo groot als alle de gemiddelde waarde van de andere sprekers. Als het gaat om de horizontale afstand tussen de polsen is bij Bill Gates de hoogste gemiddelde waarde gemeten. Het verschil met de gemiddelde waarde voor de horizontale afstand van de andere sprekers is echter niet zo groot. uit deze grafiek kan dus gehaald worden dan Juan Enriquez significant een grotere verticale afstand heeft tussen de polsen dan bij de andere sprekers.
Bij de gemiddelde afstand per frame in pixels is er een verschil te zien tussen Juan Enriquez, Hans Rosling en de rest. Juan enriquez en Hans Rosling hebben ongeveer
dezelfde gemiddelde waarde voor de linker en rechter pols. Verder is er bij Bill Gates de hoogste gemiddelde waarde gemeten voor zijn linker pols. Bij Dan Ariely is de hoogste waarde gemeten voor de rechter pols. Uit deze grafiek kan dus opgemerkt worden dat qua totale afstand van de polsen, de presentaties van Juan Enriques en Hans Rosling erg op elkaar lijken. Bill Gates maakt meer gebruik van zijn linker pols terwijl Dan Ariely meer gebruik maakt van zijn rechter pols.
HOOFDSTUK 5
Conclusie en Discussie
In dit hoofdstuk wordt er een conclusie gegeven van het onderzoek dat is uitgevoerd. Eerst worden de resultaten van het experiment toegelicht (5.1). Dan wordt er in de conclusie antwoorden gegeven op de onderzoeksvragen (5.2). Vervolgens wordt er iets over de ethiek gezegd van het onderzoek (5.3). Als laatst wordt er beschreven wat eventueel kan worden onderzocht in de toekomst (5.4).
5.1
Wat zeggen de resultaten van het experiment
In deze paragraaf worden de resultaten van het experiment toegelicht. Eerst wordt er gekeken naar de verschillen tussen presentaties van dezelfde spreker (5.1.1). Vervolgens wordt er gekeken naar het verschil tussen de sprekers onderling (5.1.2).
5.1.1
Meerdere presentaties van dezelfde spreker
Hier wordt geprobeerd te verklaren aan de hand van de resultaten, wat de verschillen tussen presentaties zijn per spreker. Dit wordt voor elke spreker gedaan.
Hans Rosling
Aan de resultaten van Hans Rosling is te zien dat er veel verschillen zijn tussen elke presentatie die hij geeft. De hoek van de arm bijvoorbeeld is bij de ene presentatie hoger dan bij de andere. Dit is te verklaren aangezien Hans Rosling vaak iets in zijn handen heeft of interactief met een object staat te presenteren. Een voorbeeld is dat Hans in één presentatie in het merendeel van de clips met een stok in zijn handen heeft. Deze stok wordt gebruikt om dingen aan te wijzen in zijn presentatie. Omdat Hans deze stok in zijn hand heeft is de hoek van die arm significant kleiner dan de andere arm. Dat Hans in die presentatie een object in zijn handen heeft en daarmee dingen aanwijst, heeft ook invloed op de verticale afstand tussen de polsen. Die is bij Hans gemiddeld groter dan de horizontale afstand. Aangezien Hans een spreker is die vaak objecten gebruikt om zijn verhaal te verduidelijken, zijn de resultaten van de armen bij elke presentatie verschillend.
Juan Enriquez
Juan Enriquez is een minder actieve spreker dan Hans Rosling. Juan staat zelf vaak met zijn linker hand in zijn broekzak te presenteren. Dit is ook goed te zien in de resultaten. In elke presentatie behalve presentatie drie is de gemiddelde hoek van zijn linker arm boven de 140 graden. Dit betekend dat de arm bijna helemaal recht wordt gehouden en verklaart het feit dat Juan vaak zijn linker hand in zijn broekzak heeft. In presentatie drie staat Juan op
een groter podium en is er meer publiek aanwezig. Misschien is dit de reden dat Juan een actievere houding aanneemt. In de resultaten is te zien dat Juan inderdaad in presentatie drie meer actief is met zijn linker hand dan bij de andere presentaties. De totale afgelegde afstand van beide polsen is ook het grootst in presentatie drie. In presentatie vier heeft Juan ook vaak zijn hand in zijn broekzak. Echter is ook te zien dat in deze presentatie de verticale afstand groter is dan bij de andere presentaties. Dit is te verklaren doordat Juan met zijn linker hand in zijn broekzak staat en met zijn andere hand veel opwaartse bewegingen maakt.
Rives
Bij de resultaten van de verschillende presentaties van Rives is een verschil te zien tussen presentatie twee en de rest als het gaat om de totaal afgelegde afstand van de polsen. Rives is een actieve spreker en gebruikt veel zijn handen om dingen te verduidelijken. In presentatie twee staat Rives op een groter podium dan bij de andere presentaties en is te zien dat hij meer gebruik maakt van zijn armen. Ook is in presentatie twee de verticale en horizontale afstand tussen de polsen het grootst vergeleken met de andere presentaties. In presentatie drie presenteert Rives vaak met zijn handen bij elkaar. Dit is ook uit te lezen uit de resultaten, aangezien de horizontale afstand een lage waarde heeft en de hoek van de linker en rechter arm ook een significant lagere waarde heeft dan bij de rest van de presentaties.
Dan Ariely
Bij Dan Ariely zijn de resultaten van elke presentatie ongeveer hetzelfde. Alleen in presentatie drie is een significant hogere waarde gemeten voor de totaal afgelegde afstand van de polsen. In presentatie drie is ook te zien dat Dan meer bewegingen maakt met zijn handen. De bewegingen die Dan maakt zijn vaak symmetrisch. Dit betekend dat Dan dezelfde beweging maakt met zijn linker als met zijn rechter hand. Dit is ook de reden dat de totale afstand van de polsen bij elke presentatie ongeveer dezelfde waarde heeft.
Bill Gates
Ook bij de resultaten van Bill Gates is er weinig verschil te zien tussen de vier presentaties. De hoek van de linker en rechter arm zijn bij elke presentatie ongeveer hetzelfde. Dit geldt ook voor de verticale en horizontale afstand tussen de polsen. Bij de totale afgelegde afstand van beide polsen zijn er in de tweede presentatie hogere waarden gemeten dan bij de rest van de presentaties. Er zitten echter niet veel verschillen tussen de presentaties van Bill Gates. Dit komt waarschijnlijk door het feit dat Bill Gates veel dezelfde bewegingen maakt met zijn handen.
5.1.2
Presentaties van verschillende sprekers
Om de resultaten van verschillende sprekers toe te lichten wordt er gekeken naar de manier van presenteren en of dit overeenkomt met de figuur uit hoofdstuk vier.
Hans Rosling is een spreker die vaak een object vast heeft als een stok om iets aan te wijzen op zijn presentatie. Hierdoor zijn er verschillende resultaten gemeten aangezien het er net aan ligt in welke hand Hans zijn voorwerp vasthoudt. Hans scoort wel samen met Juan Enriquez het laagst voor de totaal afgelegde afstand van de rechter pols. Ook voor de totaal afgelegde afstand van de linker pols heeft Hans, samen met Juan Enriquez en Dan Ariely de laagste gemiddelde waarde.
Juan Enriquez heeft vaak één van zijn handen in zijn broekzak tijdens het presenteren. Dit is waarschijnlijk de reden dat Juan de hoogste waarde heeft voor de hoek van zijn linker
arm. Juan heeft echter niet bij elke presentatie een hand in zijn broekzak. Er zit één presentatie tussen waar Juan juist met beide handen aan het presenteren is. Dit is dan ook de reden dat de spreiding zo hoog is van de gemeten waarde voor de hoek van beide armen. Het feit dat Juan vaak één hand in zijn broekzak heeft is ook terug te zien aan de verticale afstand van de pols. Omdat er één hand in zijn broekzak zit en Juan met de andere hand aan het bewegen is, ontstaat er een grotere verticale afstand tussen de polsen dan bij de rest van de sprekers. Verder beweegt Juan op een rustig tempo en maakt geen lange bewegingen met zijn handen. Dit is ook terug te zien aan de gemiddelde afstand van de linker en rechter pols. Hier is de spreiding minder groot, wat betekend deze waarde vaker is voorgekomen in de meting.
Rives is ook een spreker die veel gebruik maakt van zijn handen bij het presenteren. Dit doet hij echter wel op een andere manier dan de rest van de sprekers. Rives heeft gemiddelde de laagste horizontale afstand tussen zijn polsen, maar ook de een na grootste gemiddelde waarde voor de totaal afgelegde afstand van beide polsen. Dit betekend dat Rives zijn handen dicht bij elkaar houdt, maar wel blijft bewegen, tijdens het presenteren.
Ook Bill Gates maakt veel gebruik van zijn handen bij het presenteren. Dit doet hij op een manier die verschilt van elke andere spreker. Nadat Bill Gates zijn handen beweegt, komen ze handen bijna altijd weer samen bij elkaar voor zijn buik. Bill Gates maakt bijna symmetrische bewegingen met zijn handen maar ze komen altijd weer samen. Dit is goed te zien in de gemiddelde verticale afstand van zijn pols en de kleine hoek van zijn linker en rechter arm. Die zijn beide namelijk het laagste van alle sprekers. Bill Gates is dan ook de enige die de elke keer met zijn handen samen komt nadat hij een beweging heeft gemaakt. De beweging die Bill Gates maakt als zijn handen niet samen zijn uitstrekkende beweging met zijn handen. De horizontale afstand tussen de polsen van Bill Gates is namelijk de grootste gemiddelde waarde van alle sprekers. De afstand tussen de polsen van Bill Gates gaat dus van een grote horizontale afstand naar een kleine horizontale afstand. Wat dus erg kenmerkend is voor de non-verbale communicatie van Bill Gates is dat hij steeds van een uitgestrekte beweging met zijn armen naar een gesloten houding gaat.
Dan Ariely heeft ook gemiddeld een scherpe hoek bij beide armen. Ook de verticale afstand is bij Dan ongeveer net zo groot als bij de andere sprekers, behalve Juan Enriquez. Dit betekend dat Dan ook vaak zijn handen voor zijn lichaam heeft. Nu maakt Bill Gates bijna symmetrische bewegingen met zijn handen, maar beweegt Dan vooral met zijn rechter pols.
5.1.3
Verklaring voor de grote spreiding in de resultaten
De spreiding in figuur 4.8 van de resultaten is erg hoog. Een verklaring hiervoor kan zijn dat de clips die zijn uitgekozen niet voldoende dezelfde bewegingen of houding van de spreker vertegenwoordigen. Er zijn clips uitgekozen die voldoen aan de regel dat de spreker volledig in beeld staat en langer duurt dan vier seconden. Echter is er niet geselecteerd op een bepaalde herhalende beweging die de spreker maakt. Hierdoor zijn de clips erg verschillend van elkaar, zelfs binnen dezelfde presentatie, en worden er uiteindelijk veel verschillende waardes gemeten. Om zoveel spreiding in de resultaten te voorkomen zouden er clips gekozen moeten worden op basis van een herhalende beweging van de spreker.
Echter wordt er in dit onderzoek gekeken naar de mogelijkheid om onderscheidend vermogen tussen non-verbale communicatie vaardigheden te creëren. Als er alleen maar clips van dezelfde beweging waren genomen voor het experiment, dan was er waarschijnlijk duidelijk verschil te zien tussen de non-verbale communicatie vaardigheden van de verschillende sprekers. Op deze manier wordt er al van tevoren onderscheid gemaakt tussen de verschillende bewegingen van de spreker. In dit onderzoek wordt
er juist onderzoek gedaan of er onderscheid gemaakt kan worden tussen verschillende sprekers met behulp van een softwareprogramma.
5.2
Conclusie
Aan de hand van de analyse en het experiment is het mogelijk om de onderzoeksvragen te beantwoorden.
Welke metrieken moeten er worden gedefinieerd om onderscheid, of overeenkomsten, te kunnen maken, of vinden, tussen verschillende sprekers?
Uit de hoek van de arm van een spreker kan veel informatie worden gehaald. Er kan bijvoorbeeld worden vastgesteld of een spreker gemiddeld een scherpe of een stompe hoek heeft tijdens het presenteren. Hierdoor kan al snel gezien worden of de arm recht wordt gehouden of gebogen tijdens de presentatie. Ook de verticale en horizontale afstand tussen de polsen kan iets vertellen over de bewegingen van een spreker. De totale afstand van de polsen zegt echter niet heel veel over de non-verbale communicatie van een spreker. Het laat zien hoeveel de pols in totaal is bewogen, maar dit zegt alleen iets als de spreker helemaal stil staat en niet heen en weer loopt. Op het moment dat de spreker heen en weer loopt, verandert de pols van positie terwijl niet perse de pols is bewogen maar een ander gedeelte van het lichaam. Daarom heeft deze metriek een lage toegevoegde waarde als het gaat om het analyseren van non-verbale communicatie vaardigheden.
In dit onderzoek is de hoek van de arm en de verticale en horizontale afstand van de polsen genoeg om een minimaal onderscheid te maken tussen de sprekers. Om beter onderscheid te kunnen maken zijn er echter nog meer metrieken nodig. Enkele hiervan worden hieronder besproken. Ook in de paragraaf over het toekomstig onderzoek komen enkele metrieken aan bod die gebruikt kunnen worden om nog beter onderscheid te maken tussen de non-verbale communicatie vaardigheden.
Een metriek die meer toegevoegde waarde zou hebben dan de totaal afgelegde afstand van een bepaald gewricht is de snelheid en acceleratie van dat gewricht. Hierdoor kan er meer inzicht verkregen worden van de snelheid van bepaalde bewegingen. De snelheden van bewegingen kunnen veel vertellen over de manier waarop er wordt gepresenteerd. Nog een metriek die gebruikt zou kunnen worden is frequentie van een herhalende beweging. Als een spreker een beweging meerdere keren herhaalt kan de frequentie berekend worden van deze beweging. Als herhalende bewegingspatronen van een spreker herkent kunnen worden kan dit bijdragen aan het creëren van onderscheidend vermogen.
Kan er, met de huidige metrieken, onderscheid gemaakt worden tussen verschillende presentaties van dezelfde spreker?
Met de huidige metrieken is het mogelijk om onderscheid te maken tussen de verschillende presentaties van dezelfde spreker. In de resultaten kan gezien worden of een spreker zijn linker of rechter arm meer gebruikt of dat de spreker zijn armen meer op een symmetrische manier gebruikt. Ook is te zien of de spreker zijn armen meer in een hoek van 90 graden heeft of dat zijn arm meer langs het lichaam hangt.
Kan er, met de huidige metrieken, onderscheid gemaakt worden tussen presentaties van verschillende sprekers?
Met de huidige metrieken is het ook mogelijk om onderscheid te maken tussen de verschillende sprekers. De spreiding van de waarden per spreker is wel groot, waardoor het lastig is om de sprekers te classificeren. Toch zijn er wel sprekers die significant van elkaar verschillen aan de hand van de metrieken. Dus kan er gezegd worden dan met deze metrieken en de clips die zijn uitgekozen voor het experiment alsnog een onderscheid
gemaakt kan worden tussen verschillende sprekers.
5.3
Is het onderzoek ethisch verantwoord
In dit verslag wordt er onderzoek gedaan naar de houding en bewegingen van een individu. Er kan gezegd worden dat de data over iemand zijn bewegingen privé is. Echter worden er in dit onderzoek geen baanbrekende conclusies gedaan over de houding van een bepaald persoon. Om aan te geven waar dit onderzoek zich bevind als het gaat om ethische toepassingen wordt gebruik gemaakt van figuur 5.1. Deze figuur is afkomstig uit het onderzoek van [LIANGORIDI et al., 2014], wat gaat over ethiek in de wetenschap.
Figuur 5.1: Verschillende gebieden in de wetenschap en hun ethische toepasselijkheid
Dit onderzoek is te plaatsen in de buurt van de ’secure passage’ in het midden van de figuur. Dit betekend dat er geen misbruik gemaakt wordt op ethisch gebied. Als dit onderzoek meer specifieke houding data, en dus privé data, had geproduceerd dan zouden er enkele aanpassingen gedaan moeten worden om het onderzoek ethisch te verantwoorden. Een voorbeeld is om in plaats van namen te noemen, cijfers te geven aan de verschillende sprekers die worden onderzocht. Hierdoor is de data uit het onderzoek niet herleidbaar naar het individu. Op deze manier kan ervoor gezorgd worden dat het onderzoek kan worden ingedeeld in de ’Safe area’ in figuur 5.1.
5.4
Toekomstig onderzoek
In deze paragraaf wordt er gekeken naar een eventueel toekomstig onderzoek. Er worden uitbreidingen besproken die toegevoegd zouden kunnen worden aan het onderzoek als er meer tijd was geweest. Ten eerste wordt er gekeken hoe de metrieken uitgebreid kunnen worden om een beter beeld te vormen van de non-verbale communicatie van een spreker (5.4.1). Dan wordt er gekeken naar het eventuele gebruik van machine learning om specifieke houdingen te herkennen (5.4.2). Als laatste wordt de link gelegd naar het realiseren van een real-time applicatie en de mogelijkheid om feedback te geven aan de gebruiker van de applicatie (5.4.3).
5.4.1
Uitbreiding van de metrieken
Met de huidige metrieken is er onderscheid te maken tussen de non-verbale communicatie. Echter zou er beter onderscheid gemaakt kunnen worden als er meerdere metrieken waren gebruikt.
Er zou bijvoorbeeld naar het gezicht van een spreker gekeken kunnen worden. In het onderzoek van [Baltrusaitis et al., 2018] wordt OpenFace 2.0 beschreven. OpenFace is een tool die een analyse van gezichtsuitdrukkingen mogelijk maakt. OpenFace kijkt onder andere naar de kijkrichting en kan gebruikt worden of de spreker naar het publiek kijkt of meer naar de grond. OpenFace kan ook zien of iemand lacht of serieus kijkt. Dit wordt gedaan met de ’mouth aspect ratio’ (MAR) en kan veel inzicht geven over de non-verbale communicatie vaardigheden van een spreker.
Waar ook veel andere onderzoeken naar kijken als het gaat om postuur herkenning is de snelheid en acceleratie van een beweging. In dit onderzoek is het niet gelukt om op een correcte manier de snelheid van een beweging te meten. Dit zou veel toevoegen aan het onderscheidend vermogen van non-verbale communicatie.
In dit onderzoek wordt er gewerkt met een 2-dimensionale ruimte. De output van OpenPose bestaat namelijk uit een X en een Y coördinaat. Er zijn tools die punten in een 2-dimensionale ruimte overzetten naar een 3-dimensionale ruimte. Op het moment dat de gewrichten van een postuur in een 3-dimensionale ruimte worden weergegeven zullen de berekeningen van de hoek en afstanden nog accurater zijn.
5.4.2
Gebruik van machine learning om posturen te herkennen
Er kan ook gebruik gemaakt worden van een neuraal netwerk om bepaalde bewegingen te herkennen. Een tool die gebruikt maakt van een neuraal network is DeepPose [Toshev and Szegedy, 2014]. Met een neuraal netwerk kan er bijvoorbeeld een bepaalde beweging worden herkent aan de hand van een ’learning set’. In deze dataset staan er veel verschillende bewegingen of houdingen die vervolgens kunnen worden herkent als er op nieuw video materiaal een persoon staat die ongeveer dezelfde beweging maakt of houding aanneemt.
5.4.3
Het realiseren van een Real-time applicatie
Dit onderzoek is gedaan met de gedachten om eventueel een automatisch feedback systeem te ontwikkelen die parallellisatie van presentaties geven op school mogelijk maakt. Een presentatie geven op school duurt meestal rond de vijftien minuten. Aangezien OpenPose een real time applicatie is, kan ervoor worden gekozen om de hoeveel tijd de spreker feedback krijgt. Als de spreker elke minuut feedback krijgt op zijn non-verbale communicatie is de kans groot dat de spreker niet genoeg tijd heeft om de feedback te verwerken en ook nog eens toe te passen in de volgende minuut voordat hij feedback krijgt. Daarom kan er voor worden gekozen om de spreker pas na de vijftien minuten feedback te geven. Dit kan bijvoorbeeld ook om de vijf minuten gebeuren. Dan heeft de spreker waarschijnlijk wel genoeg tijd om de feedback te lezen tijdens zijn presentatie.
Dan is het belangrijk om te bespreken wat voor soort feedback de spreker zal ontvangen. In de dataset van TED staan ook de beoordelingen van de kijkers bij elke presentatie. Dit zijn meer dan vijf miljoen beoordelingen en zijn in de vorm van: duidelijk, onduidelijk, interessant, informatief, OK, verwarrend, fascinerend of zelfs verbluffend. Ook de sprekers in dit onderzoek hebben beoordelingen gekregen. Als er dus een nieuwe spreker is die ongeveer dezelfde resultaten heeft als één van de sprekers van TED, dan kan de beoordeling
van die spreker worden gegeven aan de nieuwe spreker. Deze feedback is echter niet erg informatief. Als een nieuwe spreker bijvoorbeeld met zijn hand in zijn broekzak staat, kan als feedback gegeven worden dat de hoek van zijn arm continue op 120 graden staat en dat een meer gewenste houding bijvoorbeeld een hoek van 90 graden heeft. Zo weet de nieuwe spreker dat hij een aanpassing moet maken aan zijn huidige houding. Deze vorm van feedback is wel een stuk informatiever en kan daadwerkelijk bijdragen aan non-verbale communicatie vaardigheden van een nieuwe spreker of student.
Bibliografie
[Algeo, 1984] Algeo, J. (1984). An introduction to language. 3rd ed. by victoria fromkin and robert rodman. new york: Holt, rinehart, and winston, 1983. ix + 385. language: An introduction. by winfred p. lehmann. new york: Random house, 1983. xii + 241. Journal of English Linguistics, 17(1):75–83.
[Atkinson, 2002] Atkinson, R. K. (2002). Optimizing learning from examples using animated pedagogical agents. Journal of Educational Psychology, 94(2):416.
[Baltrusaitis et al., 2018] Baltrusaitis, T., Zadeh, A., Lim, Y. C., and Morency, L.-P. (2018). Openface 2.0: Facial behavior analysis toolkit. 2018 13th IEEE International Conference on Automatic Face Gesture Recognition (FG 2018), pages 59–66.
[Barnum and Wolniansky, 1989] Barnum, C. and Wolniansky, N. (1989). Taking cues from body language. Management Review, 78(6):59–61.
[Bernhardt and Robinson, 2007] Bernhardt, D. and Robinson, P. (2007). Detecting affect from non-stylised body motions. pages 59–70.
[Big Think, 2020] Big Think (2020). Big think website. https://bigthink.com/, Last accessed on 2020-04-02.
[Burgoon et al., 2016] Burgoon, J. K., Guerrero, L. K., and Floyd, K. (2016). Nonverbal communication. Routledge.
[Cakmak et al., 2011] Cakmak, M., Srinivasa, S., Lee, M. K., Kiesler, S., and Forlizzi, J. (2011). Using spatial and temporal contrast for fluent robot-human hand-overs. pages 489–496.
[Cao et al., 2019] Cao, Z., Hidalgo Martinez, G., Simon, T., Wei, S., and Sheikh, Y. A. (2019). Openpose: Realtime multi-person 2d pose estimation using part affinity fields. IEEE Transactions on Pattern Analysis and Machine Intelligence.
[Cavanagh et al., 2014] Cavanagh, M., Bower, M., Moloney, R., and Sweller, N. (2014). The effect over time of a video-based reflection system on preservice teachers’ oral presentations. Australian Journal of Teacher Education, 39.
[Craig et al., 2002] Craig, S., Gholson, B., and Driscoll, D. (2002). Animated pedagogical agents in multimedia educational environments: Effects of agent properties, picture features and redundancy. Journal of Educational Psychology, 94:428–434.
[Crawford and Popp, 2002] Crawford, M. and Popp, D. (2002). ’body politics: Power, sex and nonverbal communication’: A reappraisal. Feminism Psychology, 12:291–294. [du Preez, 2020] du Preez, M. (2020). Distinguishing speakers based on nonverbal
