Artificiële intelligentie en ethiek
Kobe Vermeire
Kenniscentrum Artificiële Intelligentie Erasmushogeschool Brussel Nijverheidskaai 170, 1070 Brussel
14 juni 2019
1 Nieuwe ethische uitdagingen door de technologische ontwikkelingen
Na de grote invloed van internet en mobiele toepassingen op onze maatschappij zullen
toepassingen van Artificiële intelligentie weldra alomtegenwoordig zijn, en een drijvende kracht zijn achter Industrie 4.0. Op dit ogenblik hebben deze verschillende technologische oplossingen al een grote invloed op ons en op de maatschappij. We zijn ons echter te weinig bewust van de impact van deze nieuwe technologie. Naast nieuwe ethische vraagstukken die ontstaan door de
ontwikkeling van bv. zelfrijdende voertuigen en killer robots is er ook een zachtere, minder zichtbare impact. Deze invisibility factor (Moor, 1985) maakt dat we ons te nonchalant opstellen tegenover het dagelijks gebruik van artificiële intelligentie bij het gebruik van zoekrobots. Maar ook de ontwikkelaars en producenten van nieuwe toepassingen hebben geen of te weinig procedures ingebouwd om antwoord te beiden op deze nieuwe ethische uitdagingen.
2 Artificiële intelligentie: een breed vakgebied
2.1 Wat verstaan we onder AI?
Russel en Norvig mappen de verschillende definities van AI vanuit vier benaderingen (2016). Al de verzamelde definities van AI handelen over machines, computers, computermodellen en agents die op menselijke wijze denken of handelen of op rationele wijze denken of handelen. Hieronder vallen zowel geprogrammeerde algoritmen, zoals IBM’s Deep Blue die Jeopardy speelt, als
zelflerende algoritmen, zoals Google’s AlphaGo die zelf het spel Go leert spelen. De technologie die onder AI valt is constant in ontwikkeling en mijlpalen uit het verleden worden snel als ‘eenvoudig’
gezien. Belangrijke actuele onderzoeksdomeinen van AI zijn computer vision, speech recognition en natural language processing.
We introduceren nu een aantal belangrijke begrippen die later inzicht geven in de mogelijke ethische gevaren en implicaties door het toepassen van AI.
2.2 Machine Learning
Computers kunnen door middel van Machine Learning (ML) specifieke taken uitvoeren zonder dat ze hiervoor een voorgeprogrammeerde instructieset krijgen. Ze gebruiken algoritmes om data te verwerken. Ze leren de spelregels of instructies zelf, door conclusies te maken op basis van patronen. Modellen worden zelf gevormd aan de hand van historische informatie. Deze training data wordt verwerkt, er worden patronen ontdekt in de data en de bevindingen worden in een (wiskundig) model gegoten. Dit model kan dan toegepast worden op nieuwe data.
Machine Learning wordt op basis van het proces verder opgedeeld in verschillende categorieën.
2.2.1 Supervised Learning
Bij Supervised Learning wordt, aan de inputzijde, de training data verzameld en door een mens van aantekeningen voorzien. De gewenste uitkomst is gekend en is in het leerproces opgenomen.
Eenmaal het model getraind is zal het toekomstige taken kunnen uitvoeren door de nieuw ingevoerde media te filteren, te ordenen, te groeperen en/of te genereren en als output te tonen.
Enkele voorbeelden van Supervised Learning zijn: het classificeren van beelden, het voorspellen van het weer, het herkennen van tekenen van huidkanker op medische beelden en het inschatten van risico’s bij leenovereenkomsten.
Bij Supervised Learning hebben we dus steeds een gelabelde training dataset nodig. Deze dataset bevat attributes (kopteksten), features (kolommen), observations (rijen), numerical of categorical values
(cellen).
Op basis van de gewenste uitkomst onderscheiden we twee types van supervised learning, respectievelijk classification, waarbij gelabelde data geclassificeerd wordt, en regression, waarbij trends worden voorspeld op basis van gelabelde data. Als voorbeeld nemen we de mogelijke verkoopprijs van een woning. Bij classification zal het model voorspellen of het vastgoed onder of boven de aanbevolen verkoopprijs zal presteren. Anderzijds is een voorspelling van de verkoopprijs een regression taak.
2.2.2 Unsupervised learning
Het is niet altijd mogelijk om het model te trainen met de manuele verwerking van de data door een persoon. Dankzij Unsupervised Learning is het mogelijk om een gepersonaliseerd model aan te maken, ook zonder gelabelde data. Unsupervised Learning wordt o.a. toegepast bij gepersonaliseerde aanbevelingssystemen in webshops, on demand video streaming diensten en gerichte marketing op sociale media.
Bij Unsupervised Learning wordt het model getraind door middel van het detecteren van groepen, clusters en patronen in ongelabelde data. De belangrijkste taken hierbij zijn clustering door density estimation en dimensionality reduction.
Door de opzet van het proces van Unsupervised Learning zijn er nadelen ten opzichte van Supervised Learning. Zo zijn er minder tot geen tests beschikbaar om de nauwkeurigheid af te toetsen. Door de gepersonaliseerde modellen zijn deze ook niet onderling te vergelijken. Dit maakt dat alles gebeurt in een minder controleerbare omgeving.
2.2.3 Reinforcement learning
Wanneer het vanwege de complexiteit onmogelijk is om tot een afgelijnd model te komen kan er Reinforcement Learning gebruikt worden. De invoer bestaat uit een state en action. De agent voert dit uit in een environment en de uitvoer is een reward en een representatie van de state. Het systeem streeft naar een zo hoog mogelijke reward. Meestal wordt er gebruik gemaakt van een combinatie van meerdere algoritmes. Als resultaat is enkel regression mogelijk, geen classification. Dankzij de feedback is er een grote(re) controle mogelijk over het gedrag binnen een context.
Voorbeelden van toepassingen zijn AI in games, zelfrijdende voertuigen en Google’s AlphaGo.
2.3 Deep Learning
Ook al is Deep Learning een onderdeel van Machine Learning, de mogelijkheden zijn verschillend ten opzichte van Machine Learning. Het is performanter, en de wijze van redeneren lijkt sterker op ons menselijke redeneringsproces. Deep Learning combineert een aantal algoritmes binnen een Artificial Neural Network. Enkel met behulp van Deep Learning en het gebruik van neurale netwerken kunnen we ooit evolueren naar echte (of strong) AI.
Een neuraal netwerk bestaat uit verschillende lagen waarlangs de data lineair passeert. Elke laag heeft een specifieke taak binnen het proces. Het resultaat van elke specifieke taak zal uitgedrukt worden in een percentage. Sommige lagen kunnen leesbare informatie teruggeven. Bij het herkennen van een kat zal de ene laag de oren kunnen herkennen en dit uitdrukken in een
percentage waarin het zeker is van de herkenning, en een andere laag zal de staart opsporen, maar er zijn ook lagen die zeer fijn of grof werk verrichten, waarbij de uitkomst niet interpreteerbaar is.
Ook al is de opbouw van een neuraal netwerk geïnspireerd op de werking van onze hersenen, het functioneert niet op dezelfde wijze. De uitkomst van een neuraal netwerk is een
waarschijnlijkheidspercentage. De wijze waarop het netwerk tot deze conclusie is gekomen blijft voor ons onzichtbaar. Daarom is de werking van de meeste neurale netwerken vergelijkbaar met een black box: we krijgen geen inzicht in de wijze waarop de besluitvorming tot stand komt.
Deep Learning is de huidige krachtigste variant van AI en heeft een paradigmaverschuiving veroorzaakt. Wanneer Deep Learning goed opgebouwd is kan het ontzettend krachtig zijn. Zo ervaarde men een vorm van creatief denken bij de spelletjes van AlphaGo. Maar Deep Learning kan ook heel snel volledig de mist in gaan.
2.3.1 Generative Adversarial Networks
Een belangrijke stap in unsupervised Machine Learning is een specifiek Deep Learning framework, genaamd Generative Adversarial Networks (Goodfellow et al., 2014). Hierbij spelen twee modellen onderling tegen elkaar in competitie: één generatief model tracht om zo goed mogelijk te presteren, en één discriminatief model dat tracht om te detecteren welke outputdata gegenereerd is door ML en welke output afkomstig is van de training data. Mogelijke toepassingsgebieden zijn
beeldmanipulatie en creatie, beveiliging, farmacie, maar ook het detecteren van risico in gezondheidszorg.
3 Aandachtspunten bij AI-toepassingen
Het is niet omdat machine learning gebaseerd is op data en statistiek dat het daardoor ook automatisch neutraal en zonder vooroordelen is. “Algoritms are opinions embedded in code”
(O’Neill, 2017). Zelfs als gevoelige data verwijderd is, en er een ‘neutraal’ proces doorlopen is, kan dit toch leiden tot discriminerende modellen. Discriminatie is bij wet verboden, en een toepassing ontwikkelen die discriminerend gedrag vertoond kan dus juridische gevolgen met zich
meebrengen. Het is belangrijk om voorzichtig met al de volgende elementen om te gaan.
3.1 Data
De data die gebruikt wordt moet integer en betrouwbaar zijn.
Dat het gebruik van zo veel mogelijk data beter is voor het resultaat is een foute veronderstelling.
Het trainen van een model door supervised learning is een proces van inductief leren, waarbij
particuliere feiten gebruikt worden om algemene stellingen af te leiden. Overfitting en underfitting zijn de twee belangrijkste oorzaken van slechte prestaties. Bij te veel data (of overfitting) worden ruis en willekeurige fluctuaties opgenomen als concepten binnen het model. Bij underfitting is het niet mogelijk om tot een model te komen. Door gebruik te maken van cross validation en een validation dataset om een getraind model te testen kunnen problemen worden vermeden of gedetecteerd.
Discriminerende data moet vermeden worden in een dataset. Dit is echter niet eenvoudig in de uitvoering. We moeten hierbij kijken naar de context en ons afvragen welke data echt essentieel is om tot de gewenste generalisatie te komen. Parameters die speciale aandacht vereisen zijn ras, etniciteit, religie, nationaliteit, geslacht, seksuele voorkeur, functiebeperking, burgerlijke staat, genetische eigenschappen, taal en leeftijd.
Maar ook afgeleide data kan (onrechtstreeks) discrimineren en is een belangrijk aandachtspunt. Zo is er een correlatie mogelijk tussen etnische afkomst en postcode. De postcode is een proxy
variabele voor etnische afkomst.
Bij het bouwen van een model is het belangrijk om proactief te handelen, zich bewust zijn van de cognitieve blinde vlekken in onze waarneming en menselijke vooringenomenheid te filteren uit de data. (Tensorflow, 2017)
3.1.1 Menselijke bias aanwezig in de data
Een historische dataset kan labels bevatten die gebaseerd zijn op vooringenomen en
discriminerende beslissingen. Zo gebruikte Amazon sinds 2014 een toepassing voor het screenen van cv’s. Het systeem bleek echter de voorkeur te geven aan mannelijke sollicitanten bij
technologische vacatures. (Reuters, 2018) Het model was getraind met een dataset bestaande uit sollicitaties en aanwervingen van de afgelopen 10 jaar. In deze historische input pikt het model het discriminerende gedrag op, maakt voorspellingen die discrimineren op basis van geslacht en bevestigt zo het gedrag uit het verleden. “Big data processes codify the past” (O’Neil, 2017).
Data kan ook vooroordelen bevatten die in het verleden geen probleem vormden, maar volgens de huidige normen niet meer aanvaardbaar zijn. Vooringenomenheid bij rapportering en selectie vertekenen de realiteit. We zijn geneigd om te overgeneraliseren en maken conclusie die gebaseerd zijn op informatie die te algemeen of niet specifiek genoeg is. We hebben het vooral moeilijker om verschillen te onderscheiden bij mensen die niet tot onze sociale groep behoren in vergelijking met in-groepleden. Hierbij schatten we de ‘anderen’ ook minder genuanceerd in. Impliciete en
expliciete stereotypering, vooroordelen en historische oneerlijkheid kunnen in de data aanwezig zijn.
Om de complexe wereld te begrijpen maken we als mensen gebruik van mentale modellen
(Norman, 2013). Zo heeft een formule 1 piloot bv. een veel complexer mentaal model van de werking van een motor dan de modale autobestuurder. Deze simplificaties gebruiken we dan om
verkeerdelijk impliciete associaties te maken (implicite bias). Het halo-effect en Horn-effect spelen ook mee, waarbij bv. fysiek aantrekkelijke mensen ook intelligenter worden ingeschat.
3.1.2 Incorrecte labels
Menselijke vooringenomenheid kan ook in de data sluipen tijdens het verzamelen en annoteren van de data. Vanwege cognitive bias wordt er dan afgeweken van een rationele redenering. Google waarschuwt voor deze menselijke beoordelingsfouten. (Tensorflow, 2017)
Insensitivity for sample size is het fenomeen waarbij er te weinig rekening wordt gehouden met de relatie tussen het betrouwbaarheidsniveau en de grootte van de steekproef. Bij Correspondence bias schrijven we gedrag bij anderen exclusief toe aan het karakter en bij onszelf exclusief aan de omstandigheden. We delen snel mensen op in groepen, en generaliseren individuele
eigenschappen naar de ganse groep. Er zijn nog twee specifieke vormen van deze group attribution bias. Personen die tot dezelfde groep behoren als de onze zullen we sneller een
voorkeursbehandeling geven. Dit fenomeen is In-group bias. Bij de ‘anderen’ zullen we individuën minder genuanceerd waarnemen, en vertrekken we vanuit stereotypen. Bij Bias blind spot zien we niet de impact van onze vooroordelen op ons eigen oordeel. Confirmation bias is de neiging om te zoeken, interpreteren, een voorkeur hebben en het herinneren van informatie die in
overeenstemming is met een reeds bestaande overtuiging of hypothese. Het zien van een verband
tussen twee ongerelateerde elementen, omdat dit past binnen de persoonlijke overtuiging, is het fenomeen van subjective validation. Maar ook correlatie kan verward worden met oorzakelijkheid.
Bij observer-expectancy bias worden deelnemers onbewust beïnvloed door de vooringenomenheid van de onderzoeker. Eenmaal we een keuze gemaakt hebben neigen we om ons te focussen op de positieve, keuzeondersteunende factoren van deze keuze, in Choice-supportive bias. Bij het maken van moeilijke keuzes is het neglect of probability het enkel in rekening brengen van de ernst van de (mogelijke) gevolgen en het over het hoofd zien van de waarschijnlijkheid. Dankzij
anecdotal evidence gebruiken we enkel anekdotische drogredenen in onze besluitvorming.
Statistisch bewijs wordt genegeerd en het vertrouwen in ons beoordelingsvermogen is te hoog als het ‘verhaal’ dat we zien in de onderzoeksresultaten de input bevestigen, ofwel de illusion of validity We kunnen ook de neiging hebben om voorkeur te geven aan geautomatiseerde uitkomsten, zelfs als er contradicties zijn in de informatie. Dit is de automation bias.
3.1.3 Sampling bias
Ook al is de data en labeling correct, dan nog moet de vraag gesteld worden of de data voldoende representatief is. Zo is het mogelijk dat bepaalde groepen of individuen onder- of
oververtegenwoordigd kunnen zijn. Rosamunde Van Brakel waarschuwt voor de gevaren van pre- emptive big data surveillance (Broeders et al., 2017). De techniek doet sterk denken aan de film Minority Report, waarbij men kan voorspellen wanneer en waar een delict zal plaatsvinden, met het oog op het vermijden van het strafbaar feit, voordat het heeft kunnen plaatsvinden. Huidige systemen die actief zijn, zoals predpol, baseren zich op arrestaties uit het verleden. Erger nog is het programma in de UK voor data-gedreven risico-profilering van kinderen.
Doordat minderheidsgroepen oververtegenwoordigd zijn in de statistieken ontstaat een vicieuze feedback loop. Correcte randomisatie is de enigste juiste werkwijze bij het verzamelen van de data.
Reporting bias wordt gebruikt om aan te geven dat mensen geneigd zijn om aandacht te hebben voor interessante details, en daarbij vergeten om de zaken die binnen de norm vallen te rapporteren. Bij online beoordelingen en helpfora is de kans groot dat de mensen die een extreme ervaring hebben ondervonden of een extreme mening hebben oververtegenwoordigd zullen zijn.
Data moet representatief zijn, of we spreken over coverage bias, een vorm van selection bias die inherent is aan enquêtes op sociale media. Andere vormen van bias die hieronder vallen zijn non- response bias waar we bv. een oververtegenwoordiging krijgen van deelnames op enquêtes binnen een bestaand klantenbestand, en dat klanten die verbonden zijn aan de concurrentie
ondervertegenwoordigd zullen zijn.
3.1.4 Onvolledige data
Voor garanties op een betere voorspelling, waarbij iedereen gelijke kansen krijgt, is het nodig features te verzamelen die de doelstelling zo sterk mogelijk ondersteund. Deze features mogen geen correlatie hebben met de beschermde attributes. (Hardt et al., 2016) Onder invloed van bv. privacy kunnen hierdoor cruciale gegevens ontbreken in een dataset. Bij een risicoanalyse voor het afsluiten van een autoverzekering kunnen we beschikken over gegevens zoals geslacht, leeftijd, vermogen van de motor van de wagen. Over de meest voorspellende risicoparameter, nl. rijstijl, kunnen we echter niet beschikken. Een verzekeringsmaatschappij zal leeftijd en geslacht gebruiken als proxy voor rijstijl. Een jonge mannelijke bestuurder met een defensieve rijstijl zal hierdoor een hogere premie moeten betalen dan een vrouw van gemiddelde leeftijd met een agressieve rijstijl, ook al rijden ze beiden met dezelfde wagen.
Indien een feature heel wat waarden mist is dit een belangrijke indicator dat deze dataset problemen kan hebben van representativiteit. Voordat deze dataset gebruikt kan worden is er voorzichtigheid geboden en moet er eerst gekeken worden naar de oorzaak van het ontbreken van de data.
Ook extreme en uitzonderlijke waarden moeten een waarschuwing zijn dat er een probleem kan opgedoken zijn tijdens het verzamelen van de data.
3.2 Model
Modellen die getraind zijn met discriminerende data kunnen negatieve feedback loops genereren die het discriminerende effect versterken. Cathy O’Neill (2017) beveelt aan om regelmatig het model up te daten en de training van het model van bij de start te plannen als een iteratief proces. Door het regelmatig updaten van een model kunnen deze feedback loops vermeden worden.
3.2.1 Classifiers
Bij supervised learning is het centrale doel om een classifier te bepalen met hoge accuraatheid.
3.3 Resultaat
De uitkomst van een algoritme bij gelijke input, minus de discriminerende factoren, moet steeds gelijk zijn. Het resultaat moet hierop op regelmatige basis gecontroleerd worden. Fouten moeten actief opgespoord worden. Door na te kijken voor wie het algoritme faalt kan de veroorzakende factor afgeleid worden.
3.4 Mogelijke oplossingen
Geen oplossing is het om automatisch het gevoelige attribute te verwijderen. Zolang er gecorreleerde data aanwezig blijft zullen deze proxies dezelfde discriminatie in het model introduceren. Maar het is ook mogelijk dat de proxy data tevens objectieve data bevat. Zo is een postcode mogelijk gerelateerd aan etniciteit, maar een postcode is ook een parameter in de bepaling van een vastgoedprijs. Indien mogelijk moet het discriminerende attribute en bijhorende proxie verwijderd worden.
Een andere mogelijke optie zou kunnen zijn om een apart model te voorzien specifiek voor de gevoelige groep(en). Dit is echter zeker geen oplossing want het gaat in tegen het basisprincipe dat iemand die over dezelfde kenmerken beschikt, exclusief het gevoelige attribute, ook tot dezelfde uitkomst moet komen.
Europese regelgeving, waaronder de GDPR, dragen bij aan de oplossing en het voldoen aan deze wetgeving verlaagt de kans tot discriminatie en verlies aan privacy.
3.4.1 De trainingdata corrigeren
Bestaande deep learning methoden werken goed met klassengebalanceerde gegevens of matig onevenwichtige gegevens in modeltraining. Het leren op basis van significant onevenwichtige trainingsgegevens is een uitdaging. (Dong et al., 2018) We kunnen de bias in de data corrigeren en balanceren door 1) de labels aan te passen, 2) door gebruik te maken van class resampling met synthetische samples, die de ondervertegenwoordiging van de minderheidsgroep teniet doen of het downsamplen van de meerderheidsgroep, 3) cost-sensitive learning door het toewijzen van hogere misclassificatiekosten aan de minderheidsklassen in vergelijking met de meerderheidsklassen of het regulariseren van het cross-entropieverlies 4) de gegevens om te zetten in een nieuwe
representatieve ruimte 5) individuele samples te dupliceren of te verwijderen.
Daarnaast kunnen ook beperkingen gebruikt worden bij het trainen van het model, waarbij anti- discriminatieve beperkingen worden opgelegd. (Calders en Žliobaitė, 2013). De volgende
oplossingen vallen buiten de scope van dit overzicht, maar als voorbeeld kan er een methode gebruikt worden dat als doel heeft om de clusterverdelingen zowel binnen als tussen de klassen (meer uitgesproken) te scheiden, zoals Cluster-based Large Margin Local Embedding (Huang, 2019) of de methode van Class Rectification Loss (Dong et al., 2018), met batchgewijze incrementele hard mining (het leren van een diepe representatie die de lokale featurestructuren van minderheidslabels insluit) van hard-positieven en hard-negatieven enkel uit de minderheidsattributenklassen.
4 Richtlijnen
4.1 Ethische richtlijnen voor betrouwbare AI
De Europese commissie heeft een visie op AI uitgezet die ethisch, veilig en cutting-edge AI ondersteund. Een expertengroep publiceerde in opdracht van deze Europese Commissie de vertaling van deze visie in richtlijnen. Betrouwbare AI heeft drie componenten: het moet rechtmatig, ethisch en robuust zijn.
4.1.1 Ethische principes
• Respect voor menselijke autonomie
• Voorkomen van schade
• Eerlijkheid
• Verklaarbaarheid 4.1.2 Sleutelvereisten
Deze sleutelvereisten moeten continu tijdens de volledige levenscyclus geëvalueerd en aangepast worden via technische en niet-technische methoden.
• Menselijke tussenkomst en toezicht
• Technische robuustheid en veiligheid
• privacy en gegevensbeheer
• transparantie
• diversiteit, non-discriminatie en eerlijkheid
• milieu en maatschappelijk welzijn
• verantwoordelijkheid
Verschillende bedrijven hebben deze richtlijnen vertaald naar instrumenten die binnen de dagelijkse werking gebruikt worden.
Bron: telefonica
4.2 Open source toolkits
4.2.1 IBM’s AI Fairness 360 toolkit
Het AI Fairness 360 Python-pakket bevat een uitgebreide set metrics voor datasets en modellen om te testen op bias, met uitleg omtrent deze metrics en algoritmen om bias in datasets en modellen te verminderen.
http://aif360.mybluemix.net
4.2.2 Pymetrics audit-AI
Een python bibliotheek dat fairness-aware machine learning algoritmes test en implementeert.
https://github.com/pymetrics/audit-ai
4.2.3 Aequitas
Aequitas is een open-sourcebias-toolkit voor data scientists, machine learning-onderzoekers en beleidsmakers om machine-leermodellen te controleren op discriminatie en bias, en om geïnformeerde en rechtvaardige beslissingen te nemen rond het ontwikkelen en inzetten van voorspellende tools.
https://github.com/dssg/aequitas
Referenties
Adadi, A., & Berrada, M. (2018). Peeking inside the black-box: A survey on Explainable Artificial Intelligence (XAI). IEEE Access, 6, 52138-52160.
Beutel, A., Chen, J., Zhao, Z., & Chi, E.H. (2017). Data Decisions and Theoretical Implications when Adversarially Learning Fair Representations. CoRR, abs/1707.00075.
Broeders, D., Schrijvers, E., van der Sloot, B., van Brakel, R., de Hoog, J., & Ballin, E. H. (2017). Big Data and security policies: Towards a framework for regulating the phases of analytics and use of Big Data. Computer law & security review, 33(3), 309-323.
Kim, B., Wattenberg, M., Gilmer, J., Cai, C., Wexler, J., Viegas, F., & Sayres, R. (2017). Interpretability beyond feature attribution: Quantitative testing with concept activation vectors (tcav).arXiv preprint arXiv:1711.11279.
Calders, T., & Žliobaitė, I. (2013). Why unbiased computational processes can lead to discriminative decision procedures. In Discrimination and privacy in the information society (pp. 43-57). Springer, Berlin, Heidelberg.
Craglia M. (Ed.), Annoni A., Benczur P., Bertoldi P., Delipetrev P., De Prato G., Feijoo C., Fernandez Macias E., Gomez E., Iglesias M., Junklewitz H, López Cobo M., Martens B., Nascimento S., Nativi S., Polvora A., Sanche. I., Tolan S., Tuomi I., Vesnic Alujevic L. (2018). Artificial Intelligence - A European Perspective. JRC.
Dong, Q., Gong, S., & Zhu, X. (2018). Imbalanced deep learning by minority class incremental rectification. IEEE transactions on pattern analysis and machine intelligence.
Goodfellow, I., Pouget-Abadie, J., Mirza, M., Xu, B., Warde-Farley, D., Ozair, S., ... & Bengio, Y.
(2014). Generative adversarial nets. In Advances in neural information processing systems (pp. 2672- 2680).
Google. (2019). Fairness | Machine Learning Crash Course. Geraadpleegd op 28 maart 2019, van Google Developers website: https://developers.google.com/machine-learning/crash-course/fairness/video- lecture
Gunning, D. (2017). Explainable artificial intelligence (xai). Defense Advanced Research Projects Agency (DARPA), nd Web. Geraadpleegd op 17 mei 2019
Hardt, M., Price, E., & Srebro, N. (2016). Equality of opportunity in supervised learning. In Advances in neural information processing systems (pp. 3315-3323).
High-Level Expert Group on AI (2019). Ethics guidelines for trustworthy AI. Geraadpleegd op 9 april 2019, van https://ec.europa.eu/newsroom/dae/document.cfm?doc_id=58477
Huang, C., Li, Y., Chen, C. L., & Tang, X. (2019). Deep imbalanced learning for face recognition and attribute prediction. IEEE transactions on pattern analysis and machine intelligence.
Johnson, D. G. (1985). Computer ethics. Englewood Cliffs (NJ).
McLuhan, M., & Fiore, Q. (1967). The medium is the message. New York, 123, 126-128.
Moor, J. H. (1985). What is computer ethics? Metaphilosophy, 16(4), 266-275.
Norman, D. (2013). The design of everyday things: Revised and expanded edition. Basic books.
O'Neil, C. (2017). Weapons of math destruction: How big data increases inequality and threatens democracy. Broadway Books.
Reuters. (2018, oktober 10). Amazon ditched AI recruiting tool that favored men for technical jobs.
The Guardian. Geraadpleegd op 12 maart 2019, van
https://www.theguardian.com/technology/2018/oct/10/amazon-hiring-ai-gender-bias-recruiting- engine
Russell, S. J., & Norvig, P. (2016). Artificial intelligence: a modern approach. Malaysia; Pearson Education Limited
Verbeek, P. P. (2011). Moralizing technology: Understanding and designing the morality of things.
University of Chicago Press.
Writing the Playbook for Fair & Ethical Artificial Intelligence & Machine Learning (Google I/O’19) - YouTube. (z.d.). Geraadpleegd op 20 mei 2019, van
https://www.youtube.com/watch?v=5pMQGT3O4CI
Tensorflow. (2019). Machine Learning and Human Bias. Geraadpleegd op 29 mei 2019, van https://www.youtube.com/watch?v=5pMQGT3O4CI&list=PL-
fEB469VBQZ6Nzv5Ja85sR6GVKm7js4T&index=18
