______________________________________________________________________________
Moraliteit in autonome voertuigen
Domein Cognitie ______________________________________________________________________________ Bas Baatenburg de Jong (10463151) Jelle de Boer (10540075) Stijn Robben (10559558) 3 februari 2017 Docenten: Ger Post en Machiel Keestra AbstractAan de hand van een literatuuronderzoek en empirische studie is er onderzocht of persoonlijke voorkeuren, zodanig gemodelleerd kunnen worden dat in het geval van een onontkoombaar ongeluk, voorspeld kan worden voor welke optie de gebruiker van een autonoom voertuig zou kiezen. Wil de fictieve bestuurder dat de auto in dergelijke situaties primair voor eigen lijfsbehoud kiest, of voor dat van de kinderen of juist van ouderen? Of is er een voorkeur voor het volgen van de verkeersregels, ongeacht de grootte van de gevolgen?
De nabootsing van de verschillende onderdelen van het experiment door een betrekkelijk simpel algoritme, kwam gemiddeld 70% overeen met de voorkeur van de respondenten. Op ethische gronden lijkt de eerste stap naar een implementatie die van een combinatie van utilisme en deontologie te zijn.
Inhoudsopgave
1. Inleiding 3 2. Waarneming en evaluatie van objecten door autonome voertuigen 4 3. Interactie tussen verkeersgebruikers en autonome auto’s 5 4. Cognitieve en neurobiologische correlaten op morele besluitvorming rondom ‘trolley dilemma’ 6 5. Morele keuzes, het “trolley-dilemma” en ethiek 6 6. Methode empirisch onderzoek 8 7. Resultaten 9 8. Morele besluitvorming in autonome voertuigen 11 9. Discussie 12 10. Conclusie 12 Referenties 14 Appendix 161. Inleiding
In de jaren ‘80 bouwde onder anderen een onderzoeksteam van de Carnegie Mellon University een van de eerste zelfvoorzienende auto’s. Mercedes-Benz werkte in diezelfde periode eveneens aan zo’n autonoom voertuig met het Eureka Prometheus Project in 1987 (History, 2017). Sindsdien is er veel gebeurd op het gebied van autonomous vehicles (AV). Zo werkt techgigant Google sinds 2009 naar eigen zeggen aan de transformatie van hoe mensen en dingen voortbewegen met het Google self-driving car project (later Waymo). Naast een miljard aan gesimuleerde gereden kilometers, legden de voertuigen van Google al ruim 3.000.000 testkilometers af op openbare wegen in steden als Austin in Texas (Waymo, 2017). Dit ging echter niet altijd naar behoren. In september 2016 negeerde een conventionele auto rood licht waarna deze op een Lexus van Google botste. Dit ongeval was weliswaar niet te wijten aan de auto van Google, maar legt wel een pijnpunt bloot waarmee zelfrijdende auto’s in de nabije toekomst te maken krijgen. AV’s zullen de weg namelijk moeten delen met zowel andere autonome voertuigen als met bestuurde voertuigen (Morris, 2016). Zo’n bestuurd voertuig zal in wezen even onvoorspelbaar zijn voor een autonoom voertuig als bijvoorbeeld een overstekend hert. Dit is echter niet de enige kwestie die aandacht verdiend. In juli 2016 slaagde een auto van Tesla in autopilot-modus (de auto rijdt in deze modus autonoom) er niet in om een aanhanger van een vrachtwagen te detecteren, waardoor de bestuurder het leven fataal werd (Yadron & Tynan, 2016). Wat heeft het autonome voertuig over het hoofd gezien; of juist wel gezien maar verkeerd geïnterpreteerd? En op basis van welke factoren maakte de AV zijn keuzes? Door de introductie van een nieuwe LiDAR laser, de Velodyne HDL-64E (Velodyne, 2010) en de integratie van sensorische signalen met behulp van deep learning, kan de AV zich autonoom door de omgeving navigeren. De ontvangen data wordt verwerkt door de computer in de auto, om vervolgens tot bepaalde handelingen te komen.
Normaliter bepalen – menselijke - weggebruikers bijvoorbeeld op basis van oogcontact wat de orde van handelen is. Als de autobestuurder het zebrapad en voetganger heeft gezien zal hij voorrang verlenen aan de voetganger, die vervolgens veilig over kan steken. Het is duidelijk wat de volgorde van handelen wordt en is bepaald door interpersoonlijk contact. Maar een voetganger kan aan een AV niet zien wat deze van plan is (Matthews & Chowdhary, 2015). Is hier een oplossing voor en wat gaat ervoor zorgen dat de voetganger erop kan vertrouwen dat zij veilig over kan steken? Is het mogelijk om de AV bepaalde (sociale) normen aan te leren waarop deze zijn keuzes kan baseren? Mensen maken voortdurend morele beslissingen die gebaseerd zijn op normen en waarden. Welke neurologische aspecten komen hierbij kijken en wat is van deze aspecten relevant voor de vertaling van moraliteit naar een kunstmatige intelligentie – en dus naar een AV zodat ook deze in het verkeer naar bepaalde normen kan handelen? Aan de hand van het trolley-dilemma wordt in dit onderzoek op een conceptuele manier - vanuit een meer ethische hoek - gekeken naar morele beslissingen in verkeerssituaties. Wat vindt men belangrijk wanneer je in een situatie zit waarin verkeersdoden onontkoombaar zijn? Aan de hand van een algoritme wordt vervolgens gekeken of deze menselijke voorkeuren terug te zien zijn in een model.
Verder zijn er verschillende manieren bedacht om de transitie te bewerkstelligen van een triviale conceptversie, zoals het bovengenoemde trolley-dilemma, naar een meer werkbare en uiteindelijk implementeerbare variant, zoals het controlesysteem (Gerdes & Thornton, 2016). Is het mogelijk om AV’s op een dag morele keuzes te laten maken? Zo ja, in hoeverre kan dat en welke elementen spelen hierbij een rol? Omdat mensen de autonome voertuigen zelf creëren, is het van belang dat men begrijpt wat de mens beweegt - op moreel gebied - in het geval van bepaalde verkeerssituaties om dit vervolgens om te laten zetten naar een algoritme. Hierbij is het essentieel om de mechanica zo goed mogelijk te laten samenwerken met de software aangezien objecten op tijd waargenomen moeten worden, signalen snel van A naar B moeten verplaatsen en deze tezamen op een juiste manier moeten worden verwerkt. Dit is dan ook erg belangrijk voor een goede afloop van welke verkeerssituatie dan ook.
2. Waarneming en evaluatie van objecten door autonome voertuigen
Met de introductie van gps voor particulier gebruik in 2000 en het uitschrijven van de DARPA Challenge, heeft de Amerikaanse overheid een versnelling teweeggebracht in het onderzoek naar AV’s. Door de DARPA Challenge - de uitdaging om een auto op zichzelf een parcours door de woestijn 244 km af te laten leggen - is er veel onderzoek naar het navigeren van de AV’s op universiteiten gedaan. Het uiteindelijke doel van deze Challenge was om een derde van de militaire voertuigen autonoom te maken (Committee on Army Unmanned Ground Vehicle Technology, 2002). In 2007 is het project omgezet in de Urban Challenge. Hierbij moest de AV 97 km door een stad-achtige omgeving rijden, en rekening met andere rijdende voertuigen en de verkeersregels houden.
De winnaar van de 2007 Urban Challenge was ‘Boss’, uitgerust met een GPS/IMU (Inertial Measurement Unit) systeem, vijf radarsensoren, twee camera’s en twaalf verschillende LiDAR systemen (Urmson et al., 2008). De AV’s van Google hebben tegenwoordig ook een GPS/IMU-systeem, vijf radarsensoren en meerdere camera’s. Het verschil is dat ze maar een LiDAR systeem hebben, namelijk de Velodyne HDL-64E laser.
Hieronder een korte uitleg van de genoemde systemen:
• Gps (global positioning system) maakt gebruik van vier of meer satellieten om de positie van een voertuig nauwkeurig tot vijf meter weer te geven. Om een nauwkeuriger beeld te geven in een bergachtig gebied of in een tunnel, gebruikt men IMU. De IMU is een elektronisch apparaat dat bijhoudt welke krachten, hoeksnelheid en acceleratie op het voertuig werken, in combinatie met gyroscopen (King, 1998). • Radar is een van de ondersteunende manieren om te weten waar de auto zich bevindt. Radar, kort voor RAdio Detection And Ranging, gebruikt radiogolven om van een object de afstand, hoek en snelheid te bepalen. Maar omdat dit met de snelheid van het geluid gaat, kan dit soms te lang duren. Daarom wordt radar, vooral bij het inparkeren en bij het rijden met korte afstanden - filerijden - gebruikt. • Een van de belangrijkste sensoren, die nu wordt gebruikt om autonome voertuigen te laten navigeren op de weg is LiDAR, afgekort voor Light Detection And Ranging. LiDAR werkt op basis van het uitzenden van laserpulsen van groene of near infrared licht. Groen licht wordt gebruikt door de reflectie van vegetatie in de omgeving en van water. Near infrared licht helpt voornamelijk bij voorwerpen en vormen van het land, al is de reflectie niet altijd betrouwbaar. Dit kan komen door de omgeving of het materiaal van het te bepalen object. Een probleem bij LiDAR is dat het maar voor 50 meter asfalt kan detecteren (Velodyne, 2010) en niet alle voorwerpen reflecteren even goed, zeker bij heftige weersomstandigheden niet. Alhoewel door de laatste onderzoeken de gevoeligheid van LiDAR echter wel vooruit is gegaan bij sommige weersomstandigheden, zoals bij mist (Kidono, 2011). Wanneer LiDAR de kleur van een oppervlak heeft bepaald, kan het object en de kleur aan elkaar gekoppeld worden. Zo kan een groen oppervlak in de verte, als gras bestempeld worden, zodat de AV hiermee rekening kan houden (Thrun et al., 2007).
Om de afstand tussen het uitzendende voertuig en het voorwerp te berekenen, wordt de snelheid van het licht vermenigvuldigt met de tijd en gedeeld door twee. Dit omdat de puls na emissie gereflecteerd wordt en vervolgens weer opgevangen. Dit kan ook onder meerdere hoeken gebeuren, door de hoeveelheid lasers en spiegels in de LiDAR.
Door gebruik te maken van het dopplereffect is het ook mogelijk om de snelheden van een object met LiDAR te bepalen.
Met f als de frequenties van de lichtgolf die wordt uitgezonden - f1 is de gemeten en f2 de verzonden
De Velodyne HDL-64E heeft 64 lasers waarmee door de mogelijkheid om 360 graden te draaien 1,3 miljoen punten per seconden kunnen worden gegenereerd. Tot 50 meter afstand kunnen op het trottoir kleinere objecten geïdentificeerd en gekwantificeerd worden. Voor de identificatie van een auto is dat zelfs 120 meter. Hierna gaat de nauwkeurigheid verloren (Velodyne, 2010). Het zicht van de mens is voorlopig onverslaanbaar, met maximale afstand om nog een kaarsvlam waar te nemen bij een heldere nacht, ligt op 2,57 km (Krisciunas & Carona, 2015), dus daar laat de techniek ons nog in de steek. De laser heeft een accuraatheid van het bepalen van objecten tot onder de 2 cm (Schwarz, 2010). De Velodyne HDL-64E heeft een afstand-nauwkeurigheid kleiner dan 2 cm (Velodyne, 2010). Volgens Schwarz kan met de Velodyne vanuit een voertuig, bewegend met een snelheid van 65 km/u, een 15 cm groot voorwerp geïdentificeerd worden op een afstand van 50 meter en daar nog omheen navigeren. Al deze technologieën maken het erg interessant voor de keuze bepalingen omtrent het ‘trolley- dilemma’. Door al deze vooruitgang, is het dus mogelijk om jongeren en ouderen van elkaar te scheiden, op basis van lengte. Leeftijd is een ander geval, want dit gaat meer om de details, zoals de secundaire geslachtskenmerken, en zo nauwkeurig is de laser nog niet om dat te kunnen onderscheiden.
Op een afstand van 50 meter kunnen er met de laser personen worden herkend (Premebida, Carreira, Batista, Nunes, 2014). Door de wolk van punten die gecreëerd is door de LiDAR te classificeren, kan men objecten onderscheiden. Dit gaat in verschillende stappen: het verkrijgen van data, segmentatie, clusters onderscheiden en classificeren. Het verkrijgen van de data gebeurt door het omzetten van de datawolk van de LiDAR naar een elektronisch beeld. Bij de segmentatie wordt er onderscheid gemaakt tussen oppervlaktes en objecten. Vervolgens wordt er een algoritme op de punt clusters gezet, zodoende kunnen er verschillende objecten onderscheiden worden (Kidono, 2011). Gebruikmakend van dit en de verwachting van ego-motion, de beweging van de camera ten opzichte van de omgeving, kan LiDAR auto’s, fietsers en voetgangers onderscheiden van elkaar door hun onafhankelijke snelheid en grootte (Miyasaka, Ohama, Ninomiya, 2009).
Om bijvoorbeeld verkeersborden, -lichten en ook organismen te herkennen worden er camera’s gebruikt. Met behulp van conventional neural network wordt de computer in de AV geforceerd om de objecten in de omgeving te herkennen en te onthouden. Hoe vaker het een specifiek object ziet, hoe groter de nauwkeurigheid wordt - door het gebruik van lerende algoritmen. Met de camera zou de AV ook de persoonlijke wettelijke voorkeuren kunnen volgen.
Kortom, alle sensoren bij elkaar kunnen de verschillende objecten op en rondom de weg waarnemen en identificeren. Leeftijd is een lastig zoals gezegd een lastig geval, maar daar zou wel onderscheid tussen gemaakt kunnen worden door middel van lengte. Omdat het bij leeftijd vooral gaat om kinderen en ouderen. Het geslacht bepalen van de voetganger is nog een brug te ver voor de technologie van vandaag. Wat de technologie nu wel kan, is dieren en de hoeveelheid van mensen bepalen. Ook kan het de verkeersborden en -lichten interpreteren, zodat het de wet wel of niet kan naleven naar de voorkeuren van de bestuurder. De AV neemt nu de weggebruikers waar met de sensoren, maar hoe zien de andere gebruikers de AV op de weg?
3.
Interactie tussen verkeersgebruikers en autonome auto’s
Oogcontact is een moeilijke kwestie, aldus Tom van der Sande, onderzoeker aan de TU van Eindhoven (pers. comm., 17-01-2017). “Even snel iemand in de ogen kijken of ze je hebben gezien is iets wat een autonoom voertuig (nog) niet kan”. Niet alleen oogcontact maar ook andere non-verbale communicatie komt is lastig. Dit is waar het inschatten van menselijk handelen een belangrijk deel uitmaakt van het verkeer. Met AV’s wordt dit menselijke aspect weggenomen en vervangen door een computer- mens relatie. Door deep learning te implementeren in de computer van de auto, kunnen verschillende gebaren van de mens onderscheiden en begrepen worden, zoals bijvoorbeeld de uitgestoken hand van een fietser (Waymo, 2016). Voortdurend worden alle objecten om de AV in de gaten gehouden en berekent de computer hun positie en hun snelheid. Door te extrapoleren berekent de computer ook waar alle objecten zijn wanneer ze elkaar mogelijk tegen zouden kunnen komen.Het zou het idealiter zijn wanneer er überhaupt geen ongelukken zouden gebeuren wanneer er wordt gereden in een AV. Maar niet alle ongelukken zijn te voorzien door een AV en door een mens ook niet.
4.
Cognitieve en neurobiologische correlaten op morele besluitvorming
rondom ‘trolley dilemma’
In de cognitieve wereld bestaan er verschillende theorieën omtrent morele besluitvorming, waarvan er tot dusver nog geen enkele unaniem als waarheid wordt beschouwd. Een breed concept dat door de meerderheid erkend wordt, is het feit dat de mens cognitief twee systemen heeft waarmee situaties geëvalueerd kunnen worden, het emotionele systeem en het logische systeem (Kahneman, 2011). Het emotionele systeem is snel, automatisch, emotioneel en wordt in veel gevallen verwerkt door het onderbewustzijn. Het logische systeem is daarentegen langzaam, bewust, logisch, berekenend en kost de persoon moeite om te raadplegen. In verkeerssituaties waarin morele beslissingen gemaakt moeten worden, heeft vaak het emotionele systeem de overhand. De persoon moet namelijk op hoge snelheid onder tijdsdruk een beslissing maken. Of de bestuurder achteraf kan leven met deze beslissing wordt bepaald door het logische systeem. De persoon kan berekend beredeneren welke keuze de beste was geweest.
Deze logische beslissing wordt door de persoon gebaseerd op informatie die onder tijdsdruk wellicht niet kon worden waargenomen. Onderzoek van Kahneman en Tversky (2000) wijst uit dat dit soort logische beslissingen gemaakt worden aan de hand van het waarnemen en classificeren van de eigenschappen die de verschillende opties bij zich dragen. Deze eigenschappen worden gerangschikt aan de hand van de waarde die de persoon er aan hecht. Tot slot probeert het logische systeem met deze classificatie een voorkeur te creëren.
Binnen de neurobiologie is de morele besluitvorming een omstreden onderwerp. Er zijn een aantal hersengebieden die hiermee worden geassocieerd, maar er bestaan nog geen concrete neurale netwerken die deze in hun volledigheid kunnen verklaren. Door middel van single-neuron studies en imaging technieken worden de rollen van de hersengebieden steeds meer duidelijk, maar het grote geheel blijkt nog te complex om te bestuderen.
Cushman & Green (2001) hebben middels deze technieken waarnemingen gedaan die de veronderstelling dat de mens een logisch en een emotioneel denksysteem heeft ondersteunen. In hun experiment werd aan een groep respondenten twee soorten morele dilemma’s voorgelegd. Het eerste dilemma was het trolley dilemma waarbij de persoon de richting bepaald aan de hand van een schakelaar. In het tweede dilemma had de persoon de mogelijkheid om een trein te stoppen die op vijf onschuldige mensen afrijdt, door een ander persoon het spoor op te duwen. Tijdens het maken van de keuze werd de hersenactiviteit van de respondent gemeten en er bleek verschil in actieve hersengebieden bij de dilemma’s. Hersengebieden die geassocieerd worden met emoties bleken actiever bij het tweede dilemma. Emotie speelt dus een belangrijke rol bij het maken van morele keuzes.
5.
Morele keuzes, het “trolley-dilemma” en ethiek
Als een auto met 120 km per uur rijdt brengt dit risico’s met zich mee. Zo komt deze auto pas na 104 meter volledig tot stilstand (RIVM, z.d.). Als een auto – met zo’n lange remweg - plots moet remmen is dit van grote invloed op de gevolgen. Risico’s gelden voor zowel bestuurde auto’s als AV’s. Een AV zal dan ook te allen tijde - zonder supervisie van een menselijke bestuurder - risico’s moeten zien te mijden. Vooral als dit risico niet te vermijden is, krijgt de AV te maken met het maken van morele keuzes (Goodall, 2014). In zo’n situatie is het onduidelijk welke van de potentiële keuzes de goede is – de keuze is ambigu (Goodall, 2014). En zolang de kans bestaat op misvattingen in het waarnemen van objecten of op redeneerfouten is het belangrijk om ethische besluitvorming in AV’s onder de loep te nemen (Goodall, 2014). Daarnaast maken menselijke bestuurders ook constant morele keuzes. Een autobestuurder wijkt bij het passeren van een fietser uit om hem zo meer ruimte te geven. Degene op de fiets zal zich zo veilig voelen wanneer de auto langszij komt (Goodall, 2014).In veel onderzoek wordt voor moraliteit in AV’s het trolley-dilemma gebruikt - bedacht door de Britse filosoof Philippa Foot. Dit dilemma is populair omdat het aan de ene kant een lastig te maken keuze is en aan de andere is deze keuze voor mensen afhankelijk van contextuele verschillen (Goodall, 2014). In de originele variant van dit gedachte-experiment stevent een trolley (treinstel) af op vijf personen die vastgebonden zijn aan het spoor; ze kunnen geen kant op. Een actor staat naast een hendel waarmee hij de wissel om kan zetten waardoor het vijftal niet overreden zal worden. Het venijn zit hem echter in het feit dat met het omzetten van de wissel één ander persoon, liggend op het andere gedeelte van het spoor zal verongelukken. De vraag is nu wat de meest ethische beslissing is voor de actor? Laat hij vijf man overrijden of slechts één - weliswaar door zijn keuze om de hendel over te halen (Trolley Problem, 2016)? Een probleem als het trolley-dilemma kan vanuit verschillende (morele) invalshoeken worden belicht. Vanuit zo’n normatief perspectief kan dan bepaald worden of een handeling al dan niet goed is. Zoals Casebeer en Churchland (2003) bespreken, worden hier de voornaamste morele theorieën behandeld. De eerste is een stroming binnen de gevolgenethiek, namelijk het utilisme van Jeremy Bentham en John Stuart Mill. Deze ethiek schrijft voor dat men moet handelen naar het grootste geluk voor het grootst mogelijk aantal personen. De uitkomst – van bijvoorbeeld het trolley-dilemma - is moreel wanneer het grootst aantal mensen ongedeerd is gebleven. Het voordeel is dat deze theorie zich makkelijk laat vertalen naar een algoritme – het is immers gewoonweg een optelsom. Aan de andere kant is het wel een opgave om te bepalen waar deze optelsom uit bestaat. Een grote – duurdere - SUV beschermt haar inzittenden over het algemeen beter bij ongelukken dan een kleine auto. Zodra de AV handelt met deze kennis, worden de inzittenden van de grotere auto als het ware gestraft voor het aanschaffen van een overwegend veiligere auto. Dit voorbeeld laat zien dat billijkheid niet meegenomen wordt in de handelswijze van de AV (Goodall, 2014).
Een andere belangrijke theorie is de plichtenleer, ook wel deontologie genoemd. Deze ethische vorm heeft als uitgangspunt het stellen van absolute gedragsregels – (morele) normen. Deontologen vinden dat er geen “goed” bestaat als zodanig. Als iets slechts leidt tot een goede uitkomst, dan is dat alsnog slecht. Er is maar één ding dat goed zou kunnen zijn; dat is de intentie. Deze impliceert de aanvaarding van bepaalde morele wetten. Een handeling is dan ook alleen goed als je tegelijkertijd wilt dat iedereen op die manier zou handelen – de wet moet universeel kunnen worden gemaakt (“Deontologie”, 2016). Een voorbeeld van dat soort wetten – in de robotica – zijn de wetten van Asimov. De eerste van deze drie voorschriften bijvoorbeeld luidt als volgt: “Een robot mag een mens nooit letsel toebrengen of toelaten, door niet te handelen, dat een mens letsel toegebracht wordt” (“Isaac Asimov’s “three laws of robotics”, 2001). Het nadeel van deze ethiek is echter dat computers geprogrammeerde wetten letterlijk zullen vertalen naar handelingen. Er zal geen sprake zijn van (menselijk) verstandig ingrijpen in uitzonderingsgevallen, zoals uitwijken naar de vluchtstrook. Gezien de bovengenoemde eerste wet van Asimov, zou een AV vlak voor een ongeluk niet remmen omdat – wanneer de AV wel zou stoppen – de inzittende een hersenschudding op zou lopen (Goodall, 2014). Door niet te remmen gebeurt er in tweede instantie alsnog een ongeluk en dus problematisch. Het is dan ook onwaarschijnlijk of een bepaalde samenstelling van wetten voor elk soort situatie de juiste uitkomst kan bieden (Goodall, 2014). Om de tekortkomingen van zowel het utilistische als het deontologische gedachtengoed te verhelpen zou een AV uit kunnen gaan van een hybride raamwerk van de theorieën tezamen. Er kan zich een situatie voordoen waarin de AV dusdanig veel beperkingen opgelegd heeft gekregen, vanuit de deontologische gedachte, dat een van de beperkingen wel opgeheven moet worden. In zo’n geval zou een strenge beperking benadert kunnen worden als een losser voorschrift. Zodra de situatie onhoudbaar wordt is er de ruimte om deze beperking los te laten. Hiermee beschouwt de AV de situatie nu utilistisch. Met het loslaten van deze beperking gaan hoge kosten gemoeid in de utilistische optelsom. In deze berekening zal, ondanks het feit dat de AV nu een extra optie heeft - bijvoorbeeld uitwijken naar de andere rijbaan, dit niet gezien worden als een middel tot de juiste uitkomst (Gerdes & Thornton, 2016). Mensen zullen in zo’n benauwende situatie bijvoorbeeld sneller geneigd zijn te remmen (Green, 2013).
6.
Methode empirisch onderzoek
Om te onderzoeken of menselijke keuzes omtrent het trolley dilemma gesimuleerd kunnen worden door een computer, hebben wij 30 respondenten 128 vragen laten beantwoorden, verdeeld over twee delen. Het uiteindelijke doel van de data uit dit onderzoek is het bepalen van de systematiek van menselijke besluitvorming en of deze systematiek uiteindelijk in software geïmplementeerd kan worden. Op deze manier proberen we de beslissingen van de software te personaliseren aan de hand van het logische denksysteem per proefpersoon. In deel 1 werd aan de hand van de keuzes van de respondent een bepaalde waarde bepaald per aspect dat zich in de situatie bevond. In het tweede deel kreeg de respondent nog meer situaties voorgelegd, ditmaal echter een stuk complexer. Dezelfde vragen werden later aan een zelf geschreven computerprogramma aangeboden. Dit computerprogramma maakt een keuze op basis van de voorkeuren van de respondent, verkregen uit deel 1. Later werden deze resultaten van respondent en het computerprogramma vergeleken en verder geanalyseerd. De resultaten van de respondenten werden afgenomen met het programma Typeform. Het zelfgeschreven programma dat de voorkeuren bepaald en in deel 2 de keuzes maakt is geschreven in Python, gebruikmakend van Sublime Text®. Voorafgaand aan het onderzoek werden de respondenten geïnformeerd over het volgende: - De respondent kiest niet tussen het wisselen van de baan, slechts tussen het laten overleven van de objecten links of de objecten rechts. Deze informatie werd gegeven om de variabele “ingrijpen” zo neutraal mogelijk te houden. Over het algemeen wordt het actief ingrijpen in zo’n situatie zwaarder beoordeeld dan het passief laten gebeuren van een ongeluk. De objecten kunnen niet anticiperen of gewond raken.-
Wanneer er objecten zitten in de auto, wordt de respondent geacht te kiezen met de gedachte dat hij/zij zelf een van deze objecten is. Het eerste deel bestaat uit 88 vragen waarin de respondent dient te kiezen tussen 2 situaties die verschillen in een aantal factoren. De factoren waarin de situaties kunnen verschillen zijn als volgt: - jong (kinderen) - oud (bejaarden) - man (volwassen man) - vrouw (volwassen vrouw) - dier (honden) - kwantiteit (aantal mensen dat overleeft) - egoïsme (de voorkeur ligt bij het redden van jezelf) - wet (wel of niet de wet naleven)De reden dat er voor deze factoren gekozen is heeft te maken met de mogelijkheden van de software. Ook is er niet gekozen voor meer dan 8 factoren omdat dit het onderzoek dusdanig langer zou maken waardoor de proefpersoon zijn of haar interesse en concentratie kan verliezen.
Een voorbeeldvraag van het eerste deel is te zien in figuur 1. De factoren in dit figuur zijn gender en leeftijd. Alle 88 vragen van het eerste deel bevatten niet meer dan 3 verschillende factoren in de situaties en zijn relatief simpel. Ook is in dit deel van
het onderzoek elk aspect uitgezet tegen elk ander aspect.
Het tweede deel bestaat uit 40 complexere vragen waarin de situaties meerdere factoren bevatten. Deze situaties worden afgenomen door dezelfde respondenten en het zelf geschreven computerprogramma. Zoals eerder besproken is het de bedoeling van dit experiment om het logische denksysteem, zoals is besproken in sectie over cognitie en neurobiologie, van de proefpersoon te simuleren. Daarom is er in het experiment geen gebruik gemaakt van een tijdslimiet.
Onze programmatuur werkt aan de hand van een puntensysteem. Voor het bepalen van de voorkeuren voor de factoren per respondent krijgt elk aspect een score. Bij elke keuze die de respondent maakt, krijgen de factoren die de voorkeur kregen 1.0 punt erbij. Na het invullen van alle vragen werden de uiteindelijke scores gedeeld door het totaal aantal keren dat er gekozen kon worden voor deze factor. Uiteindelijk heeft elk aspect een voorkeur score tussen de 0.0 en 1.0, verschillend per respondent.
Wanneer het programma in deel 2 dezelfde dilemma’s voorgelegd krijgt als de respondent, maakt deze een keuze aan de hand van de voorkeurscores van de respondent uit deel 1. De situatie waarin de hoogste score overleeft, krijgt de voorkeur.
7.
Resultaten
Het programma benadert de keuzes van de proefpersoon gemiddeld met 70,167%. De beste benadering van de keuzes van een proefpersoon lag op 82,5% en de slechtste op 60%. Over het algemeen werd er meer waarde gehecht aan het laten overleven van kinderen en weinig aan ouderen en dieren. De gemiddelde waarde wegingen van de verschillende aspecten zijn te zien in figuur 2. In figuren 3 en 4 is te zien dat de scores van de factoren wet en egoïsme sterk verdeeld liggen onder de proefpersonen. De staven van de histogram zijn verdeeld per 0,2 score verschil. Elke staaf geeft dus de hoeveelheid personen weer dat binnen een bepaalde 0,2 score marge ligt. De
histogrammen van de andere factoren zijn te vinden in de appendix.
Factor Laagste Score Hoogste Score Gemiddelde Score Man 0,275862068966 0,551724137931 0,345977011494 Vrouw 0,346153846154 0,846153846154 0,542307692308 Dier 0,0434782608696 0,217391304348 0,068115942029 Kind 0,583333333333 1,0 0,863888888889 Egoïsme 0,16 0,96 0,592 Kwantiteit 0,269230769231 0,961538461538 0,698717948718 Wet 0,347826086957 0,95652173913 0,591304347826 Bejaard 0,0869565217391 0,478260869565 0,249275362319 Tabel 1 Weergave van de maximale score, minimale score en het gemiddelde per factor, zoals staat beschreven in de methodesectie.
Figuur 3 Weergave van de score verdeling van de proefpersonen voor de factor wet. Staaf breedte is 0,2
Figuur 4 Weergave van de score verdeling van de proefpersonen voor de factor egoïsme. Staaf breedte is 0,2
8.
Morele besluitvorming in autonome voertuigen
Neem de volgende case. Een AV komt hoe dan ook in botsing met een motorrijder, of de AV nou naar links of naar rechts uitwijkt. Wat deze keuze interessant maakt, is het feit dat een van de motorrijders een helm draagt. Voor de bestuurder maakt het geen verschil welke motorrijder hij aanrijdt. Maar de kans is groter dat de motorrijder met helm minder gewond raakt door een ongeluk dan de motorrijder zonder helm. Mocht het algoritme van de AV erop ingesteld zijn dat het dragen van een helm leidt tot minder schade, dan kiest de AV in dit scenario hoogstwaarschijnlijk voor het aanrijden van de motorrijder - mét helm. Maar is dit wenselijk? De motorrijder die geen helm droeg, komt er immers beter van af dan iemand die zich wel bekommerd om zijn veiligheid. Daarnaast wordt de helmdrager gestraft voor zijn verantwoordelijke gedrag. Deze keuze situeert zo’n ethische keuze waarvoor programmeurs komen te staan (Lin, 2016). Net als een auto met bestuurder zal een AV zich in veel verschillende soorten verkeerssituaties bevinden. In het gros van die gevallen is remmen of uitwijken een goede mogelijkheid – het voertuig en omstanders blijven ongedeerd. Zo hebben de auto’s van Tesla tezamen meer dan 300 miljoen kilometers gereden in Autopilot modus - wat betekent dat deze auto’s nagenoeg autonoom reden; waarbij slechts één persoon is omgekomen (Lambert, 2016). Er blijft dus wel een kans bestaan dat een AV bij een ongeluk betrokken is en dat slachtoffers onontkoombaar zijn. In zo’n situatie is het van belang dat de AV de meest optimale beslissing maakt om er zo voor te zorgen dat er zo min mogelijk schade wordt berokkend (Lin, 2016). Maar hoe worden de AV’s geprogrammeerd en wat zijn de juiste (morele) algoritmes voor de totstandkoming van de juiste beslissing? Kiest de AV op utilitaire wijze en verkiest de AV het laten verongelukken van de bestuurder boven het redden van een groter aantal andere personen? Of houdt de AV zich aan de wettelijke regels – naar een deontologisch model – en is de afloop van de gemaakte beslissingen vervolgens impliciet door die regels bepaalt? In de resultaten sectie hierboven blijkt immers dat men om beiden bovengemiddeld geeft.
Een zogenaamd crash-optimalisatie algoritme (Lin, 2016) moet in bepaalde complexe situaties systematisch discrimineren om een knoop door te hakken. Om een inschatting te maken van eventueel letsel en om naar een meer toepasbaar concept toe te werken, stellen Gerdes & Thornton (2016) het controlesysteem (figuur 5) voor, en dan een specifieke methode, namelijk optimal control, ooit ontwikkeld door Pontryagin. De voornaamste doelstelling van het controlesysteem is het kiezen van de juiste input (Control Input) (remmen, sturen etc.) om de gewenste doelen (goal) te bereiken. Het optimaliseren van het pad naar deze doelen gebeurt via de zogenaamde kostenfunctie – de inputfactoren zorgen voor een zo laag mogelijke cost (Gerdes & Thornton, 2016). Het doel zou bijvoorbeeld de route kunnen zijn welke de auto idealiter af zou willen leggen. Met een zo laag mogelijke cost minimaliseert het algoritme voor de afstand tussen het ideale pad en het daadwerkelijke pad waardoor het doel – de juiste route rijden - nagenoeg bereikt wordt. De kostfunctie kan echter ook als middel gelden om de cost te bepalen van ethische kwesties.
Neem de situatie in figuur 6. Een AV stevent af op een obstakel. Er zijn in dit geval drie opties: uitwijken naar links, naar rechts of de AV remt en komt tot stilstand. De auto evalueert in deze situatie welke optie het meest optimaal is. Als de AV een doorgetrokken streep als strenge beperking behandelt; dus niet uit kan wijken naar de vluchtstrook, en verder absoluut niet tegen het verkeer in zal rijden, dan zal de auto moeten remmen, met alle gevolgen van dien (achterop botsende auto’s
Figuur 5 Schematische weergave van een controlesysteem. Verkregen van Gerdes, J. C., & Thornton, S. M. (2016)
bijvoorbeeld). Maar in het geval dat deze beperkingen vrijer geïnterpreteerd mogen worden, zal de auto wél de mogelijkheid hebben om uit te wijken en zo wellicht tot een beslissing kunnen komen welke voor iedereen het veiligst is (Gerdes & Thornton, 2016).
Figuur 6 Weergave van een auto met drie keuzes. Verkregen van Gerdes, J. C., & Thornton, S. M. (2016)
9.
Discussie
Het trolley-dilemma is een sterk vereenvoudigde weergave van de werkelijkheid. Gezien de literatuur is dit aan de ene kant een slechte indicator voor real-life beslissingen. Aan de andere kant zegt onder anderen Tom van de Sande (pers. comm., 17-01-2017) dat in de meest optimale situatie het verkeer slechts uit autonome voertuigen bestaat waardoor ethische kwesties verleden tijd worden. Maar dit is echter verre van realistisch. Daarom is het ook van belang om onderzoek te blijven doen naar AV’s.Bij het reguliere trolley-dilemma is er sprake van tijdsdruk. Deze is in het experiment weggenomen om juist de keuze te meten die de bestuurder idealiter zou maken. Niet wat hij/zij instinctief zou doen. In de resultaten is te zien dat de factoren egoïsme en het volgen van de wet erg verschillen per persoon en dat dit doorslaggevend is voor de keuzes. Het zou interessant zijn om hier een vervolgonderzoek naar te doen. Of dit gemeten kan worden door de sensoren.
Iets dat in ons onderzoek niet is meegenomen is de leeftijd van de proefpersonen. De 30 respondenten hadden veelal een leeftijd tussen de 18 en 25. Ook zouden andere achtergronden van de proefpersonen onderzocht kunnen worden die eventueel effect kunnen hebben op de soort voorkeuren die iemand heeft. Enkele voorbeelden zijn sociale status, cultuur en leeftijd.
Wanneer de algoritmen en sensoren in de toekomst beter worden en er meer kennis is over de factoren waarop mensen hun morele keuzes baseren, is een gepersonaliseerde auto omtrent morele dilemma’s wellicht mogelijk.
10.
Conclusie
Uit de situatie met de motorrijders hierboven blijkt hoe complex het kan zijn om te bepalen welke handelingen moreel gezien juist zijn. Ook al lijkt het wettelijk gezien ongepast om te kiezen voor het aanrijden van de motorrijder met helm, vanuit een utilistische invalshoek lijkt dit wel de meest optimale uitkomst te bieden. Om deze kwesties dan ook zo goed mogelijk te kunnen benaderen zou het meest gunstige zijn om het beste van twee werelden te combineren - die van het utilisme en de deontologie. Echter blijkt uit het controlesysteem van Gerdes & Thornton (2016) hoeveel factoren er komen kijken bij het maken van een moreel acceptabele keuze en dus hoe complex dit is. Er moet zowel rekening gehouden worden met omgevingsfactoren, de mechaniek van de auto en gezien bovenstaand experiment ook de persoonlijke factoren van de bestuurder.Omgevingsfactoren kunnen tot op zekere hoogte herkend worden door een AV. Van de geteste factoren zijn met sensoren, de verschillende soorten objecten duidelijk te meten, maar om onderscheid te kunnen maken in de variëteit van de soorten schiet de technologie duidelijk nog te kort. Personen kunnen nu herkend worden op een schaal van 0.2cm nauwkeurigheid. Dus op basis hiervan zouden mensen kunnen worden herkend op lengte, wat zou kunnen correleren met leeftijd. Wanneer de kwestie vanuit een cognitief oogpunt wordt benaderd, zou de mens morele dilemma’s met behulp van het logische denksysteem moeten verwerken, om zo tot de meest humane oplossing te komen. In dit geval zou de logica van de menselijke denkwijze dus ook benaderd moeten kunnen worden door een computersysteem. Dit werd tot op zeker hoogte bevestigd door het empirische experiment. Hieruit kan gesteld worden dat de voorkeur voor uitkomsten in
verkeerssituaties van de mens tot op zekere hoogte door te voeren is in AV’s. Met het simpele algoritme gebruikt in het experiment werd gemiddeld al 70,16% van de fictieve situaties hetzelfde beantwoord door de computer als de mens. De scores van de factoren wet en egoïsme bleken het meest verdeeld tussen de proefpersonen. Gezien de verdeeldheid voor de factor wet blijkt een deontologische implementatie van morele besluitvorming lastig. De factor kwantiteit is bovengemiddeld hoog beoordeelt en een analoge toepassing hieraan - qua moraaltheorie - zou dan ook de utilistische zijn.
Referenties
- Anderson, J.M., Nidhi Kalra, Karlyn D. Stanley, Sorensen, P., Samaras, C., and Oluwatobi A., (2014), Autonomous Vehicle Technology: How to Best Realize Its Social Benefits, Santa Monica, Calif.: RAND Corporation, RB-9755-RC,. Verkregen van http://www.rand.org/pubs/research_briefs/RB9755.html - Van Arem, B., Van Driel, C. J., & Visser, R. (2006). The impact of cooperative adaptive cruise control on traffic-flow characteristics. IEEE Transactions on Intelligent Transportation Systems, 7(4), 429-436. - Atanacio-Jiménez, G., González-Barbosa, J., Hurtado-Ramos, J.B., Ornelas-Rodríguez , F.J., Jiménez-Hernández, H., García-Ramirez, T., and González-Barbosa, R., (2011) “LIDAR Velodyne HDL-64E Calibration Using Pattern Planes”, Int J Adv Robotic Sy, 2011, Vol. 8, No. 5, 70-82 - Bonnefon, J.F., Shariff, A., & Rahwan, I. (2016). The social dilemma of autonomous vehicles. Science, 352(6293), 1573-1576. - Committee on Army Unmanned Ground Vehicle Technology, 2002 - Cushman, F.A., and Greene, J.D., "Finding faults: How moral dilemmas illuminate cognitive structure." Social neuroscience 7.3 (2012): 269-279. - Craik, K. J. W. (1967). The nature of explanation. Cambridge, UK: Cambridge University Press - Deontologie (2016). verkregen op 30 januari 2017 op https://nl.wikipedia.org/wiki/Deontologie - Gao, P., Hensley, R., & Zielke, A. (2014). A road map to the future for the auto industry. McKinsey Quarterly, Oct. - Gerdes, J. C., & Thornton, S. M. (2016). Implementable Ethics for Autonomous Vehicles. In Autonomous Driving (pp. 87-102). Springer Berlin Heidelberg. - Goodall, N. J. (2014). Machine ethics and automated vehicles. In Road vehicle automation (pp. 93-102). Springer International Publishing. - Gray, K., Waytz, A., & Young, L. (2012). The moral dyad: A fundamental template unifying moral judgment. Psychological Inquiry, 23(2), 206-215. - Green, M (2013). Verkregen op 03-02-2017 van http://www.visualexpert.com/Resources/reactiontime.html - History. Verkregen op 7 januari 2017 van https://en.wikipedia.org/wiki/History_of_autonomous_cars - Isaac Asimov’s “three laws of robotics” (2001). Verkregen op 30 januari 2017 van http://www.auburn.edu/~vestmon/robotics.html - Kahneman, D. (2011). Thinking, fast and slow. Macmillan. - Kahneman, D., & Tversky, A. (2000). Choices, values, and frames. Cambridge University Press. - Kidono, K., Miyasaka, T., Watanabe, A., Naito T., and Miura, J., (2011) "Pedestrian recognition using high-definition LIDAR," 2011 IEEE Intelligent Vehicles Symposium (IV), Baden-Baden, 2011, pp. 405-410. - King, A.D., (1998) Inertial Navigation – Forty Years of Evolution, GEC REVIEW, VOL. 13, NO. 3, 1998 - Krisciunas, K., Carona, D., (2015), “At What Distance Can the Human Eye Detect a Candle Flame?”, verkregen van http://adsabs.harvard.edu/abs/2015arXiv150706270K op 28 januari 2017 - Lambert, F. (11 september 2016). Elon Musk sees 3x potential increase in safety with Tesla’s new Autopilot update - Lin, P. (2016). Why ethics matters for autonomous cars. In Autonomous Driving (pp. 69-85). Springer Berlin Heidelberg.- Maxime. (2014). Verkregen op 4 januari 2017, van https://nl.wikipedia.org/wiki/Maxime_(filosofie) - Miyasaka, T., Ohama, Y., and Ninomiya, Y., (2009) "Ego-motion estimation and moving object tracking using multi-layer LIDAR," 2009 IEEE Intelligent Vehicles Symposium, Xi'an, pp. 151-156. - Morris, D.Z. (2016, September 17). Google Self-Driving Car in Serious Crash in Mountain View Verkregen op 11 janauri 2017, van http://fortune.com/2016/09/25/crash-google-self-driving-car/ - National Coordination Office for Space-Based Positioning, Navigation, and Timing, Selective Availability, 2014. http://www.gps.gov/systems/gps/modernization/sa/, verkregen op 28 december 2016 - Premebida, C., Carreira, J., Batista, J., and Nunes, U., (2014) "Pedestrian detection combining RGB and dense LIDAR data," 2014 IEEE/RSJ International Conference on Intelligent Robots and Systems, Chicago, IL, 2014, pp. 4112-4117. - RIVM (z.d.). Snelheid, reactie en remweg. Verkregen op 30 januari 2017, van https://www.om.nl/onderwerpen/verkeer/handhaving-verkeer/snelheid/snelheid-reactie/ - Schwarz, B., (2010) LIDAR Mapping the world in 3D, Nature, Nature Photonics 4, 429 - 430 - Thrun, S., Montemerlo, M., Dahlkamp, H., Stavens, D., Aron, A., Diebel, J., Fong, P., Gale, J., Halpenny, M., Hoffmann, G., Lau, K., Oakley, C., Palatucci, M., Pratt, V., Stang, P., Strohband, S., Dupont, C., Jendrossek, L.-E., Koelen, C., Markey, C., Rummel, C., van Niekerk, J., Jensen, E., Alessandrini, P., Bradski, G., Davies, B., Ettinger, S., Kaehler, A., Nefian, A. and Mahoney, P., (2006), Stanley: The robot that won the DARPA Grand Challenge. J. Field Robotics, 23: 661–692. doi:10.1002/rob.20147 - Trolley Problem. (2016, December 19). Verkregen 3 januari 2017, van https://en.wikipedia.org/wiki/Trolley_problem - Urmson, C., Anhalt, J., Bagnell, D., Baker, C., Bittner, R., Clark, M. N., Dolan, J., Duggins, D., Galatali, T., Geyer, C., Gittleman, M., Harbaugh, S., Hebert, M., Howard, T. M., Kolski, S., Kelly, A., Likhachev, M., McNaughton, M., Miller, N., Peterson, K., Pilnick, B., Rajkumar, R., Rybski, P., Salesky, B., Seo, Y.-W., Singh, S., Snider, J., Stentz, A., Whittaker, W. “., Wolkowicki, Z., Ziglar, J., Bae, H., Brown, T., Demitrish, D., Litkouhi, B., Nickolaou, J., Sadekar, V., Zhang, W., Struble, J., Taylor, M., Darms, M. and Ferguson, D. (2008), Autonomous driving in urban environments: Boss and the Urban Challenge. J. Field Robotics, 25: 425–466 - Velodyne, High Definition Lidar HDL-64E S2 , Morgan Hill, Calif.: Velodyne Lidar, Inc., 2010. http://velodynelidar.com/lidar/products/brochure/HDL-64E%20S2%20datasheet_2010_lowres.pdf, verkregen op 28-12-2016 - Waymo. (2017). Verkregen op 11 januari 2017 van https://waymo.com - Yadron D., Tynan D. (2016). Tesla driver dies in first fatal crash while using autopilot mode. Verkregen op 11 januari 2017 van https://www.theguardian.com/technology/2016/jun/30/tesla-autopilot-death-self-driving-car-elon-musk
