Wij weten hoe jij je voelt - De werking en mogelijke ethische implicaties van emotie herkenningssoftware

Thema III - Deel 2

Periode 1

Domein: Vrije Domein

Docent: Guido van der Knaap

17-01-2019

Wij weten hoe jij je voelt

De werking en mogelijke ethische implicaties van emotie herkenningssoftware

Naam Studentnummer

Lili van Wegen 11325410

Oscar Van de Water 11334746

Tessel van Roozendaal 11075228

Abstract

Er komt steeds meer software op de markt die beweert emoties te kunnen herkennen door gezichtsuitdrukkingen te analyseren. Dit wordt voornamelijk toegepast voor commerciële doeleinden. Bedrijven passen hun reclames aan op basis van de interpretatie van de emoties van de consumenten. Door de werking van dergelijke emotie herkenningssoftware te onderzoeken, wordt er gekeken of de software in staat is om een accurate emotie analyse uit te voeren. De software die in dit onderzoek als voorbeeld wordt genomen is de software Affectiva. Aangezien één gezichtsuitdrukking niet overeenkomt met één emotie, wordt de interpretatie van emoties een surrogaat. Daarentegen leert de software en verbetert de software zichzelf, waardoor het niet onlogisch is om te bedenken dat de software in de toekomst wel in staat zal zijn een accurate emotie analyse uit te voeren. Dit kan leiden tot ethische complicaties. Zo kan er data lekken, hetgeen de privacy van de consumenten schaadt. Ook kan de software worden toegepast om te ‘nudgen’ om onbewust het keuzegedrag van consumenten te beïnvloeden. Bovendien kan het gedrag van mensen worden beïnvloed wanneer het chilling effect optreedt als de consument zich bewust wordt dat ze met camera’s worden bekeken.

1. Inleiding

De afgelopen decennia staat de ontwikkeling van de kunstmatige intelligentie hoog op de technologische agenda. De ontwikkeling van zelfdenkende, menselijke computers en robots heeft een vlucht genomen. Zo hebben zowel Tesla als Google inmiddels zelfrijdende auto’s op de markt gebracht, en zijn er steeds meer robots die menselijke functies kunnen overnemen (Howard & Dai, 2014). Een onderdeel dat hierbij nog enigszins ondergerepresenteerd was, is de herkenning van menselijke emoties en het hierop kunnen inspelen. Er komt echter steeds meer software op de markt die beweert menselijke emoties te kunnen herkennen en classificeren aan de hand van camerabeelden die verkregen kunnen worden via mobiele telefoons, laptops en zelfs straatcamera’s (Sedenberg & Chuang, 2017). Hiermee is een hele nieuwe tak van de kunstmatige intelligentie in het leven geroepen.

Tot voor kort waren emoties en de interpretatie hiervan iets wat alleen aan mensen kon worden overgelaten. Door de ontwikkeling van emotie herkenningssoftware beweren ontwikkelaars dat ook computers hierin een rol kunnen gaan spelen (Sedenberg & Chuang, 2017). Daarnaast waren emoties die mensen vertonen tot nu toe iets wat alleen de directe omgeving kon waarnemen. Met de opkomst van dit soort software zijn emoties ineens niet meer iets voor alleen binnen de privésfeer (Lisetti & Schiano, 2000). Op dit moment wordt deze software met name voor marketingdoeleinden ingezet. De kwestie die in dit onderzoek echter in het middelpunt staat is de ethische kant van het geheel. Hierbij wordt met name gekeken naar welke ethische complicaties zouden kunnen optreden wanneer deze software in grote hoeveelheden wordt ingezet.

Om een duidelijk antwoord op dit soort vragen te vinden zal er in dit onderzoek gekeken worden naar een specifieke emotie herkenningssoftware; Affectiva. Ten eerste zal de werking van deze software worden uitgelegd. Daarna wordt er ingegaan op de marketingdoeleinden van de software. Vervolgens wordt er een vergelijking gemaakt tussen de manier waarop de software emoties categoriseert, en hoe dit in het menselijke brein gebeurt. Als laatste zullen de ethische aspecten van dit geheel worden belicht. Naderhand zal er integratie plaatsvinden van alle bevindingen en er een eenduidige conclusie worden getrokken.

De hoofdvraag die hierbij is geformuleerd luidt als volgt: In hoeverre is de emotie

herkenningssoftware in staat om een emotie analyse uit te voeren en wat zijn als gevolg hiervan de mogelijke ethische implicaties? Om deze vraag te beantwoorden zal het opgesplitst worden in drie

deelvragen: Hoe werkt de emotie herkenningssoftware Affectiva? In hoeverre is de software in staat

om een accurate emotie analyse uit te voeren? Wat zijn de mogelijke ethische complicaties die zich zouden kunnen voordoen bij de toepassing van emotie herkenningssoftware?

2. Methoden

Om een antwoord op de onderzoeksvraag te verkrijgen, is er een theoretisch kader opgesteld vanuit het oogpunt van de kunstmatige intelligentie, bedrijfskunde, psychologie en sociologie. De emotie herkenningssoftware staat centraal in dit onderzoek en wordt vanuit de verschillende disciplines benaderd.

De mogelijke maatschappelijke implicaties die deze software met zich meebrengt, kunnen op verschillende manieren worden geïnterpreteerd. Vanuit het perspectief van de kunstmatige intelligentie zal hierbij gekeken worden naar de vooruitgang van de technologie en de gevolgen daarvan. Bedrijfskunde focust zich vooral op de toepassingen die bedrijven kunnen doorvoeren om hun reclames zo goed mogelijk te matchen met de emoties van de gebruikers, waardoor mensen eerder geneigd zijn om bepaalde producten te kopen. Vanuit sociologisch en psychologisch perspectief wordt vooral gekeken naar de invloed van de software op het gedrag van de mens, waarbij de psychologie ingaat op hoe de emoties veranderen en de sociologie de verandering van het gedrag van de mens beschrijft.

Om de disciplines zo goed mogelijk met elkaar te integreren is het belangrijk dat er een ‘common ground’ kan worden geïdentificeerd tussen de disciplines (Menken & Keestra, 2016). Door te analyseren welke theorieën, aannames en/of concepten met elkaar overeenkomen en botsen, kan vervolgens door middel van integratietechnieken een ‘common ground’ worden ontdekt. Zo stelt een theorie uit de psychologie dat men in staat is om emoties aan te passen en te onderdrukken, en dat het gedrag van de mens van buitenaf kan worden beïnvloed. Daarnaast stelt een theorie uit de sociologie dat individuen zich anders gaan gedragen wanneer ze weten dat ze worden bekeken. Wanneer de theorie uit de sociologie wordt toegepast op de emotie herkenningssoftware, en met de zogeheten ‘add-methoden’ (Menken & Keestra, 2016) wordt toegevoegd aan de theorie uit de psychologie, zou dit kunnen leiden tot ‘common ground’. De integratie van beide theorieën leidt in dit geval tot het inzicht dat het mogelijk is dat een individu emoties zou kunnen onderdrukken als gevolg van het bewustzijn van de mogelijkheid dat de emoties worden geanalyseerd.

Wanneer er wordt gekeken naar botsingen tussen disciplines valt het al snel op dat bedrijfskunde zich vooral richt op concepten en theorieën die de prestaties van bedrijven kunnen verbeteren om vervolgens winstmaximalisatie te behalen, terwijl dit echter in bepaalde gevallen ten koste gaat van de theorieën en concepten die centraal staan bij privacy, een onder andere deels psychologische en sociologische studie. Door middel van de ‘add-methode’ (Menken & Keestra, 2016) kunnen de disciplines worden verenigd door te belichten wat de voordelen zouden kunnen zijn voor de prestaties en winstmaximalisatie die de software zou kunnen opleveren wanneer er transparantie wordt geboden door de bedrijven die deze software inzetten. Zo kan de privacy van de

consument worden gewaarborgd en biedt dit als bedrijf voordeel door betrouwbaarheid van de klant te winnen als gevolg van transparantie. Daarnaast valt het op dat kunstmatige intelligentie en psychologie lijken te botsen wanneer er wordt gekeken naar de theorie. Kunstmatige intelligentie analyseert door middel van emotie herkenningssoftware een emotie en zet deze emotie vervolgens om in objectieve data. Dit staat tegenover de theorie uit de psychologie die stelt dat emoties subjectief zijn en gelezen moeten worden in de context van de desbetreffende situatie. Door middel van de ‘connect-methoden’ (Menken & Keestra, 2016) kan er een verband worden gelegd tussen de twee disciplines. Beide theorieën lijken tegenover elkaar te staan, maar hebben hetzelfde uitgangspunt. Zo beweert Affectiva dat de emotie herkenningssoftware berust op een database van 7.000.000 geanalyseerde emoties (Affectiva, 2017). Voor de software kan in dit geval de database als context worden gezien en deze worden vergeleken met de context zoals deze is beschreven in de psychologie. De benadering uit de psychologie berust dan ook deels op het feit dat men emoties kan aflezen uit gezichtsuitdrukkingen door deze te vergelijken met eerdere ervaringen waarbij emoties zijn afgelezen.

Interview met expert

Om een andere kant van dit onderzoek te belichten leek het ons interessant om de experts achter Affectiva te interviewen. Er is daarom herhaaldelijk contact gezocht met het bedrijf om persoonlijk contact te leggen, maar iedere keer werd doorverwezen naar de artikelen die op de website staan met betrekking tot de werking van de software. Het is daarom helaas niet gelukt om meer over het bedrijf en haar software te weten te komen dan de al gepubliceerde informatie die beschikbaar is gesteld op de website.

Daarnaast zijn er verschillende professoren in dit vakgebied benaderd. Na een paar keer contact te hebben gehad bleek echter steeds dat de persoon in kwestie geen adequate kennis bezat over het domein van dit onderzoek. Alleen professor dokter Gerben van Kleef toonde interesse in ons onderwerp en wist hier genoeg van af om een aantal vragen te beantwoorden. Helaas zat zijn agenda vol tot aan februari en is dus ook bij hem geen interview afgelegd.

3. Literatuuronderzoek

Toepassing van de emotie herkenningssoftware

Aangezien emoties het koopgedrag van consumenten beïnvloeden (Bagozzi et al., 2016), is het voor bedrijven voordelig om de emoties van individuen te analyseren wanneer zij worden blootgesteld aan reclame. Door data te verzamelen over de emotionele lading van de gezichtsuitdrukkingen van individuen tijdens het bekijken van reclame, kan een bedrijf inschatten of de reclame het gewenste effect heeft gehad op een potentiële klant (Liu et al., 2018). Wanneer de emotie afwijkt van de emotie die het bedrijf in de eerste instantie probeert op te wekken, kan de reclame simpelweg worden

aangepast totdat de gewenste emotie teweeg wordt gebracht. Als gevolg hebben bedrijven informatie over de emoties die waarschijnlijk worden ervaren tijdens het bekijken van de reclame.

Daarnaast wordt het mogelijk voor bedrijven om de huidige emotionele staat van individuen af te lezen, om vervolgens de reclame die het individu te zien krijgt af te stemmen op de vastgestelde emotie die het individu op dat moment ervaart. Ter illustratie van de op de consument afgestemde reclame is er recent onderzoek gedaan naar het vaststellen van depressie door foto’s op Instagram te analyseren (Reece & Danforth, 2017). Uit het onderzoek bleek dat bij de meerderheid van de gevallen een correcte diagnose kon worden gesteld aan de hand van het analyseren van de foto’s. Wanneer bedrijven die antidepressiva medicijnen verkopen de mogelijkheid hebben om depressie vast te stellen bij individuen door middel van emotie analyse, kan de reclame die deze individuen te zien krijgen worden aangepast in het voordeel van de bedrijven die antidepressiva verkopen (Sedenberg & Chuang, 2017). Dit zou betekenen dat individuen ongemerkt kunnen worden gemanipuleerd om producten aan te schaffen.

De vraag of bedrijven daadwerkelijk interesse tonen in emotie herkenningssoftware kan enigszins worden beantwoord aan de hand van de acties van een aantal bedrijven. Zo heeft Apple (2018) volgens de Wall Street Journal (Winkler, Wakabayashi & Dwoskin, 2016) in 2016 Emotient overgenomen, een bedrijf dat zich richt op het analyseren van emoties aan de hand van gezichtsuitdrukkingen. Daarnaast schijnt Unilever software designers te hebben ingehuurd om door middel van emotie herkenningssoftware de emotionele reactie van consumenten op producten te kunnen analyseren (Wolfe, 2007). Alhoewel het gedrag van Apple en Unilever geen indicatie kan geven over de populariteit van emotie herkenningssoftware, kan er met zekerheid gesteld worden dat beide bedrijven een grote invloed kunnen uitoefenen op de maatschappij. Wanneer grote bedrijven als Apple en Unilever zich interesseren in de emotie herkenningssoftware kan dit dan ook op grote schaal gevolgen hebben. Aangezien het onderzoeksbedrijf MarketsandMarkets (2016) in 2016 heeft voorspeld dat de markt voor emotie detectie en emotieherkenning van 6,72 biljoen Amerikaanse Dollar tot 37,07 biljoen Amerikaanse Dollar zal groeien in 2021, kan men stellen dat de aandacht van bedrijven voor dit soort software zal toenemen.

De werking van emotie herkenningssoftware Affectiva

Al enkele decennia wordt er toegewerkt naar het vermenselijken van computers en robots, waarbij emotie herkenning een cruciale rol speelt (Lisetti & Schiano, 2000). Na veel onderzoek zijn er nu verschillende softwares op de markt die beweren dat ze menselijke emoties kunnen herkennen. Hiermee wordt het meest menselijke wat wij kennen teruggebracht naar een te analyseren actie. Als gevolg hiervan wordt de subjectiviteit en context afhankelijkheid van emoties ondermijnd (Sedenberg & Chuang, 2017). In deze sectie zal de emotie herkenningssoftware ‘Affectiva’ als voorbeeld worden

genomen om een beeld te schetsen van de werking van dit soort software. Er is gekozen voor Affectiva omdat dit een van de meest gebruikte softwares is van dit moment. Het wordt ingezet voor de doeleinden die interessant zijn voor ons onderzoek en het heeft een goed gedocumenteerde website waarop veel informatie te vinden is.

Affectiva maakt gebruik van een door henzelf opgestelde database van inmiddels 5,3 miljoen gezichten. Deze gezichten zijn verzameld binnen 75 landen en bestrijken bij elkaar 38.994 uur aan data. Het grootste deel van de data bestaat uit mensen die video’s bekijken, maar er worden tegenwoordig steeds meer beelden toegevoegd van mensen die bijvoorbeeld autorijden of in gesprek zijn met andere individuen (Affectiva, 2018). Affectiva werkt met meerdere partners samen om dit beeldmateriaal te verzamelen. Daarnaast wordt er genoemd dat voordat een gezicht wordt geanalyseerd, men expliciet wordt gevraagd of zij dit materiaal willen delen. Op deze manier probeert Affectiva om aan de privacy voorwaarden te voldoen (Affectiva, 2018). Verder probeert Affectiva de etnische verscheidenheid van individuen van over de hele wereld goed in kaart te brengen door beeldmateriaal te verzamelen uit 75 verschillende landen (Affectiva, 2018). Verderop in dit onderzoek zal hier dieper op in worden gegaan.

Nadat de data verzameld is worden er verschillende ‘deep learning’ algoritmes gebruikt om de software steeds beter te laten functioneren. Bij Affectiva worden op dit moment de volgende deep learning methodes gebruikt: “Convolutional neural nets for multi-category, multi-label classification of images, region proposal networks for fast object (face) detection and tracking, recurrent neural networks for audio and video processing.” (Affectiva, 2018). Deep learning methodes gaan uit van een objectief lijkend principe. In eerste instantie wordt er begonnen met de ‘raw data’. Deze data wordt gebruikt om de eerste classificaties te maken van de te analyseren aspecten. In dit geval begint de machine dan met een set gezichten die allen bij een bepaalde emotie-klasse horen. Vervolgens worden er steeds meer lagen in het algoritme gecreëerd die de data zo steeds specifieker kunnen analyseren (Lecun, Bengio & Hinton, 2015). Bij beeldmateriaal worden de pixels allemaal los geanalyseerd op het aan- of afwezig zijn van bepaalde elementen. Iedere keer als de machine nieuwe input data ontvangt, wordt er een nieuwe laag toegevoegd aan het algoritme. Op deze manier kan het algoritme beelden steeds specifieker en beter analyseren (Goodfellow et al., 2016).

Het algoritme gaat als volgt te werk. Eerst wordt het beeld aangeboden aan het algoritme en wordt er een zogenaamd sample van gemaakt. Vervolgens wordt het aantal dimensies gereduceerd. Dit betekent dat een driedimensionale afbeelding opgedeeld wordt in eendimensionale blokjes, dit is immers makkelijker te analyseren (Goodfellow et al., 2016). Een grote vraag die bij deze methode komt kijken zit in de analyse van de eerste raw data. Er is namelijk een moment geweest waarbij de eerste beelden en gezichten zijn gecategoriseerd in bepaalde emotie-klassen. Zonder deze eerste classificatie kan het algoritme immers nooit beginnen met leren. Dit is waar het objectieve principe

een lastig randje blijkt te hebben. Als we Affectiva als voorbeeld nemen, is er binnen dat bedrijf een bepaalde groep mensen geweest die de eerste beelden hebben ingedeeld in een bepaalde categorie van een emotie. Zij zijn dus begonnen met het opbouwen van het netwerk dat aan de basis ligt van alle verdere analyses. Op deze manier is het proces dat ten grondslag ligt aan het geheel een subjectieve beoordeling. Dit strookt niet met de objectiviteit die het bedrijf achter deze software uitdraagt.

In hoeverre is Affectiva accuraat?

Zoals al eerder is omschreven kan de software Affectiva (2018) onderscheid maken tussen zeven verschillende emoties. Wanneer dit wordt vergeleken met theorie van Ekman (2005) die stelt dat er onderscheid valt aan te brengen tussen zes verschillende emoties, beweert Affectiva naast de emoties van Ekman (2005) de emotie ‘minachting’ te herkennen. Alhoewel Affectiva (2018) onderscheid maakt in één emotie meer dan Ekman (2005), stellen beiden dat gezichtsuitdrukkingen zijn terug te leiden naar specifieke emoties.

Daarentegen stelt Feldman Barrett (2017) dat er niet één specifieke gezichtsuitdrukking bij één emotie hoort en dat één specifieke gezichtsuitdrukking zelfs bij meerdere emoties kan passen. Ze illustreert dit door te wijzen op een afbeelding van het gezicht van een vrouw die doodsangst lijkt uit te stralen. Wanneer niet alleen het gezicht maar ook het lichaam van de vrouw te zien is, blijkt het dat de vrouw geen angst ervaart, maar juist vreugde. Dit valt te herleiden uit zowel de lichaamstaal en de kleding van de vrouw als de situatie waar de vrouw zich in bevindt. Dit illustreert dat een gezichtsuitdrukking kan worden geïnterpreteerd op verschillende manieren en afhankelijk is van de context (Feldman Barrett, 2017). Deze bewering lijkt te botsen met de manier waarop Affectiva (2018) onderscheid aanbrengt tussen verschillende emoties. Zo lijkt Affectiva (2018) alleen het gezicht te analyseren zonder er de context bij te betrekken. Dit kan voor problemen zorgen bij de emotie analyse die de de software uitvoert en roept de vraag op of de software een accurate uitkomst kan bieden aan de hand van slechts één variabele, namelijk de stand van het gezicht.

Daarnaast stellen De Leersnyder, Boiger en Mesquita (2013) en Feldman Barrett (2017) dat niet in elke cultuur emoties op dezelfde manier worden ervaren. Zo is er in Namibië de Himba stam ontdekt die een glimlach niet als een blije emotie ervaart, maar als een actie. De stam interpreteert de glimlach als ‘een lachend gezicht’ en niet als een gezicht dat specifiek vreugde ervaart (Feldman Barrett, 2017). Dit zou betekenen dat emoties niet universeel zijn, maar kunnen worden aangeleerd door socialisatie binnen een cultuur. In dit opzicht worden emoties gezien als een sociaal construct. Dit houdt in dat men binnen een cultuur gemeenschappelijk een bepaalde betekenis toekent aan verschillende gezichtsuitdrukkingen. Aangezien sommige culturen aanzienlijke verschillen kennen in vergelijking tot andere culturen zou het dan ook kunnen voorkomen dat er verschil is tussen de manier waarop verschillende culturen gezichtsuitdrukkingen interpreteren. Zowel de theorie van Ekman

(2005) als de theorie achter Affectiva (2018) is gebaseerd op een Westerse manier van het ervaren en herkennen van emoties. Dit zou ertoe kunnen leiden dat de emotie herkenningssoftware een vertekende uitkomst geeft bij het herkennen van emoties bij individuen die geen deel uitmaken van de Westerse cultuur. Ter illustratie zou de software na het analyseren van een lachend gezicht van een lid van de Himba stam kunnen constateren dat de persoon blijdschap ervaart, terwijl het lachende individu in de werkelijkheid de emotie blijdschap niet ervaart tijdens een glimlach. Dit kan voor problemen zorgen wanneer de software wordt ingezet om gezichten te analyseren van individuen uit culturen waarin, in vergelijking met Westerse culturen, niet dezelfde emoties worden gekoppeld aan de desbetreffende gezichtsuitdrukkingen. Om deze reden lijkt de software tot nu toe niet staat te zijn de emoties van gezichten uit alle culturen te analyseren.

Kortom, de claim dat Affectiva emoties kan analyseren aan de hand van gezichtsuitdrukkingen lijkt niet volledig juist te zijn. Affectiva is in staat om te analyseren op welk moment in de tijd een individu een reactie geeft met behulp van zijn of haar gezichtsuitdrukking, maar de uitspraak dat de gezichtsuitdrukking direct aan een emotie kan worden gekoppeld zonder daar de context bij te betrekken lijkt te kort door de bocht te zijn. Er zijn meerdere factoren nodig om een correcte analyse uit te voeren.

Mogelijke ethische complicaties van emotie herkenningssoftware

Een duidelijk universeel begrip over emotie herkenningssoftware is van groot belang om een ethisch verstandige balans te vinden tussen de rechten en de behoefte van bedrijven als Affectiva tegenover die van de samenleving (Canli & Amin, 2002). De focus op de ideale basisemoties van Affectiva wordt gezien als een toegangspoort tot een breder onderzoek naar emotieherkenning. Emotie is echter moeilijk te herkennen omdat het zoveel variabelen met zich meebrengt. Zoals eerder is aangekaart hoort één specifieke emotie niet bij één specifieke gezichtsuitdrukking (Feldman Barrett, 2017). Tegenwoordig zou een foutieve generalisatie in het het algoritme van emotie herkenningssoftware kunnen zorgen voor een vervangend product van mindere kwaliteit, oftewel een surrogaat (Cowie et al., 2001). Het vervangende product kan worden geïnterpreteerd als een optimaal algoritme dat de mogelijkheid van de mens om emoties te herkennen imiteert, maar door de fouten die in het systeem worden opgenomen zal het hierin niet kunnen slagen. Dit zorgt voor serieuze ethische problemen wanneer deze ‘valse vervanger’ gebruikt wordt om emoties te voorspellen (Canli & Amin, 2002). Aangezien het algoritme dat gebruikt wordt bij Affectiva zichzelf telkens aanvult en verbetert (Goodfellow et al., 2016), kan er worden gesteld dat er in de toekomst een systeem ontstaat dat goed genoeg werkt om emoties te herkennen en op een juiste manier in categorieën te plaatsen. De vraag is wanneer juist deze werking van het algoritme voor commerciële doeleinden in de toekomst zou

kunnen zorgen voor ethische problemen. Wanneer data van emoties zou kunnen lekken, kan er door de samenleving op verschillende manieren naar privacy en de schending ervan worden gekeken.

Wanneer men kijkt naar de privacyproblemen die emotie herkenningssoftware met zich mee zou kunnen brengen, moet er worden nagedacht over wanneer deze data in verkeerde handen komt. Persoonlijke informatie zou tegen iemand kunnen worden gebruikt of worden verspreid zonder hij/zij zich ervan bewust is (Alterman, 2003). Vaak wordt gevoelige of persoonlijke data ook gedeeld met verschillende aandeelhouders van een bedrijf. Dit vergroot de mogelijkheid dat vertrouwelijke informatie in de verkeerde handen terecht komt (Shabtai et al., 2012).

Zoals al eerder werd beschreven wordt de emotie herkenningssoftware voornamelijk toegepast door bedrijven voor commerciële doeleinden. Er wordt hierbij gebruik gemaakt van de term ‘nudging’. Nudging houdt in dat het keuzegedrag van individuen wordt beïnvloedt in een bepaalde richting, terwijl de individuen vrij blijven om hun eigen keuze te maken (Wilkinson, 2013). Bedrijven kunnen deze techniek gebruiken om hun reclames aan te passen aan de emoties die herkend worden aan de hand van emotie herkenningssoftware. Dit kan ethische complicaties met zich meebrengen, omdat bedrijven andere belangen hebben dan individuen. Zo kan een individu in eerste instantie een bepaald product niet willen kopen. Door middel van emotie herkenningssoftware kan een bedrijf de gezichtsuitdrukking interpreteren en de reclame aanpassen totdat de gezichtsuitdrukking is zoals het bedrijf dat wenst. Het kan zo zijn dat het individu het product nu wel wil kopen. Het individu wil iets kopen wat deze persoon in eerste instantie niet had willen kopen. Door middel van nudging wordt de keuze van het individu dus beïnvloed. Individuen willen hun eigen vrije keuze kunnen maken. Bedrijven zijn daarentegen dus steeds bezig om hun consumenten te ‘nudgen’ tot het gewenste resultaat; het kopen van hun product. De belangen van de consumenten en van de bedrijven zijn dus niet in lijn met elkaar. Een ethische complicatie zou kunnen zijn dat het nudgen van de consument wordt gezien als manipulatie, omdat de keuze van de consument onbewust wordt beïnvloed. De consument behoudt zijn vrije keuze, maar tegelijkertijd wordt de consument wel gemanipuleerd om een bepaalde keuze te maken (Sunstein, 2015). Een oplossing hiervoor is transparantie. Zolang de bedrijven transparant zijn over hun aanpak, wordt de consument hier bewust van en wordt de manipulatie gereduceerd (Barton, 2015).

Naast deze ethische problemen op het gebied van de beïnvloeding van de consument, is er ook de kans dat een individu zijn gedrag gaat aanpassen. Onderzoek heeft namelijk aangetoond dat wanneer men zich ervan bewust is dat men in de gaten wordt gehouden, dit invloed kan hebben op iemands gedrag in het openbaar (Solove, 2006; Foucault, 1989). Met het idee in het achterhoofd dat er door de camera’s van computers iemands emoties worden geanalyseerd, zal een individu zijn gedrag inhiberen. Dit wordt ook wel het chilling effect genoemd (Solove, 2006). In het geval van een emotie herkenningssoftware als Affectiva zal men gezichtsuitdrukkingen die emoties definiëren doen

veranderen. Het chilling effect komt voor bij een individu wanneer hij/zij denkt onder toezicht te zijn. Dat betekent echter niet dat het toezicht op dat moment ook daadwerkelijk van toepassing is. Onderzoek heeft bijvoorbeeld aangetoond dat agressief openbaar gedrag binnen stadions minstens met 65 procent afneemt wanneer er veiligheidscamera’s worden geplaatst (Priks, 2014). Dit gaat natuurlijk niet één-op-één samen met het achter de camera van de smartphone of laptop zitten, maar zou wel degelijk impact kunnen hebben op het inhiberen van gezichtsuitdrukkingen die gekoppeld zijn aan emoties.

Kortom, Affectiva analyseert een gezichtsuitdrukking en koppelt deze aan een emotie, terwijl een emotie niet gelijk is aan een gezichtsuitdrukking, waardoor de interpretatie van emoties een surrogaat worden van de werkelijkheid. In de toekomst kan dit opgelost worden en ontstaan er ethische complicaties, zoals ‘nudging’ en het ‘chilling effect’, waarbij de belangen van consumenten haaks staan op de belangen van de bedrijven.

4. Conclusie

Kortom, als een emotie herkenningssoftware zoals Affectiva op dit moment op de markt wordt gebracht, is er de kans dat er een vertekend beeld van de waarheid wordt aangeboden door de software. Dit komt doordat Affectiva een emotie analyse maakt op basis van gezichtsuitdrukkingen zonder daar de context bij te betrekken. De literatuur stelt dan ook dat één gezichtsuitdrukking niet gelijk staat aan één emotie. Het uiteindelijke product wordt dan een surrogaat en de interpretatie van emoties is dan van mindere kwaliteit.

Daarentegen is het niet onlogisch om te stellen dat emotie herkenningssoftware zoals Affectiva uiteindelijk zo ver ontwikkeld is dat het in staat zal zijn om accuraat emoties te herkennen en te analyseren. Als een emotie herkenningssoftware dan wordt toegepast met commerciële doeleinden zullen er mogelijk ethische complicaties optreden als gevolg van ‘nudging’ en het ‘chilling effect’. De consumenten worden door bedrijven beïnvloed via ‘nudging’ om bepaalde keuzes te maken. Consumenten willen juist een vrije keuze maken en daarmee zijn de belangen van het bedrijf en de consument tegengesteld. Dit kan worden opgelost door meer transparantie te eisen van bedrijven die nudging toepassen. Op deze manier worden consumenten zich bewust van het feit dat er nudging plaatsvindt, waardoor de consumenten niet onbewust kunnen worden gemanipuleerd. Daarnaast kan er een verandering plaatsvinden in het gedrag van mensen wanneer ze er bewust van zijn dat ze door camera’s in de gaten worden gehouden, ook wel bekend als het ‘chilling effect’.

5. Discussie

In dit onderzoek is er een aantal aannames gedaan die mogelijk invloed hebben gehad op de uitkomst. Ten eerste is er specifiek gefocust op de emotie herkenningssoftware Affectiva, terwijl er een stuk meer software op de markt zijn. Deze specifieke software zou andere eigenschappen kunnen hebben dan andere software, waardoor er een ander beeld wordt gevormd van de mogelijke ethische implicaties. Voor vervolgonderzoek zou het daarom interessant zijn om meer verschillende emotie herkenningssoftware te betrekken en ook de verschillen tussen deze software te belichten.

Ten tweede is er een aantal mogelijke ethische implicaties uitgelicht in dit onderzoek. Er zijn echter nog een stuk meer ethische implicaties denkbaar. Het zou dan ook nuttig zijn om in vervolgonderzoek nog breder te gaan kijken naar deze mogelijkheden. Bovendien kan er dieper in worden gegaan op de ethische implicaties die in dit onderzoek al aan bod zijn gekomen.

Ten derde zou een interview met een expert op dit gebied een nieuwe dimensie aan het onderzoek kunnen geven. Iemand die zich jarenlang in dit vakgebied heeft verdiept zou nieuwe inzichten kunnen bieden. Daarnaast zou het interessant kunnen zijn om contact te krijgen met de bedrijven achter software zoals Affectiva. In een gesprek met hen zou in kunnen worden gegaan op hun mening over de ethische implicaties die in dit onderzoek naar voren zijn gekomen. Dit zou een tegengeluid kunnen bieden voor de vondsten die in dit onderzoek zijn gedaan.

Al met al is er ruimte voor uitbreiding. Het is een relatief nieuw veld waarin nog veel onderzoek kan en zal worden gedaan.

6. Literatuurlijst

“Affectiva”, 2018. http://www.affectiva.com/

Alterman, A. (2003). “A piece of yourself”: Ethical issues in biometric identification. Ethics and

Information Technology, 5, 139-150.

Bagozzi, R.P., Belanche, D., Casaló, L.V., & Flavián C. (2016). The Role of Anticipated Emotions in Purchase Intentions. Psychology & Marketing, 33(8), 629-645.

Barton, A., & Grüne-Yanoff, T. (2015). From libertarian paternalism to nudging—and beyond. Review

of Philosophy and psychology, 6(3), 341-359.

Canli, T., & Amin, Z. (2002). Neuroimaging of emotion and personality: Scientific evidence and ethical considerations. Brain and cognition, 50(3), 414-431.

Cowie, R., Douglas-Cowie, E., Tsapatsoulis, N., Votsis, G., Kollias, S., Fellenz, W., & Taylor, J. G. (2001). Emotion recognition in human-computer interaction. IEEE Signal processing

magazine, 18(1), 32-80.

De Leersnyder, J., Boiger, M., & Mesquita, B. (2013). Cultural regulation of emotion: Individual, relational, and structural sources. Frontiers in Psychology, 4, 55.

Ekman, P. et al. (1972). Emotion in the Human Face (1st ed.): Guidelines for Research and an

Integration of Findings. New York, United States of America: Pergamon

Feldman Barrett, L. (2017). How Emotions Are Made: The Secret Life of the Brain. United States of America, New York: Houghton Mifflin Harcourt.

Foucault, M. (1989). Discipline, toezicht en straf: de geboorte van de gevangenis (6th ed.). Groningen, Nederland: Historisch Uitgeverij Groningen.

Goodfellow, I., Bengio, Y., Courville, A., & Bengio, Y. (2016). Deep learning (Vol. 1). Cambridge, United States of America: MIT press.

Howard, D., & Dai, D. (2014, January). Public perceptions of self-driving cars: The case of

Berkeley, California. 93rd Annual Meeting of the Transportation Research Board, 14, 2-21.

Jain, A. K., Ross, A., & Prabhakar, S. (2004). An introduction to biometric recognition. IEEE

Transactions on circuits and systems for video technology, 14(1), 4-20.

Lisetti, C. L., & Schiano, D. J. (2000). Automatic facial expression interpretation: Where human-computer interaction, artificial intelligence and cognitive science intersect.

Pragmatics & cognition, 8(1), 185-235.

Liu, X., Shi, S.W., Teixeira, T., & Wedel, M. (2018). Video Content Marketing: The Making of Clips. Journal of Marketing, 82(4), 86-101.

MarketsandMarkets, (2016, december). Emotion Detection and Recognition Market. Geraadpleegd van

https://www.marketsandmarkets.com/Market-Reports/emotion-detection-recognition-market-23376176.html

Menken, S. & Keestra, M. (2016). An Introduction to Interdisciplinary research. Amsterdam, The Netherlands: Amsterdam University Press B.V.

Priks, M. (2014). Do surveillance cameras affect unruly behavior? A close look at grandstands.

The Scandinavian Journal of Economics, 116(4), 1160-1179.

Reece, A.G., & Danforth, C.M. (2017). Instagram Photos Reveal Predictive Markers of Depression.

EPJ Data Science, 6(15).

Sedenberg, E., & Chuang, J. (2017). Smile for the Camera: Privacy and Policy Implications of Emotion AI.

Shabtai, A., Elovici, Y., & Rokach, L. (2012). A survey of data leakage detection and prevention

solutions. New York, United States of America: Springer.

Solove, D.J. (2006). A Taxonomy of Privacy . University of Pennsylvania Law Review, 154(3), 477-560.

Sunstein, C. R. (2015). The ethics of nudging. Yale J. on Reg., 32, 413-450.

Sunstein, C.R., Thaler, R. H. (2008). Nudge: Improving decisions about health, wealth, and

happiness. United States of America, New Haven: Yale University Press.

Wilkinson, T. M. (2013). Nudging and manipulation. Political Studies, 61(2), 341-355.

Winkler, R., Wakabayashi, D., Dwoskin, E., (2016, 7 januari). Apple Buys Artificial-Intelligence Startup Emotient. The Wall Street Journal. Geraadpleegd van

https://www.wsj.com/articles/apple-buys-artificial-intelligence-startup-emotient-1452188715