Versie: 2020
Verbeterd bestrijden van bias en discriminatie
in Kunstmatige Intelligentie
Een advies aan de Nederlandse overheid
Didier Dirks
11450916
26/06/2020
Begeleider: Loek Stolwijk
2e Examinator: Tom van Engers
Bachelorscriptie Informatiekunde
Faculteit der Natuurwetenschappen, Wiskunde en Informatica
Bachelor Thesis Didier Dirks 1
Voorwoord
U bekijkt de bachelor thesis ‘Verbeterd bestrijden van bias en discriminatie in Kunstmatige
Intelligentie’. Voor deze thesis is kwalitatief onderzoek gedaan naar risico’s van bias bij Kunstmatige
Intelligentie en het bestrijden hiervan.
Deze thesis is geschreven in het kader van mijn afstudeerproject
van de opleiding Informatiekunde aan de Universiteit van Amsterdam en heeft van februari 2020 tot
juli 2020 geduurd.
Gedurende dit proces heb ik enorm veel steun gehad aan mijn begeleider Loek Stolwijk. Samen met
Loek heb ik mijn onderzoeksvraag bedacht en daarnaast heeft Loek mij naar meerdere mensen
verwezen die mij hebben geholpen bij het onderzoek. Ik vond de exploratieve kwalitatieve
methodologie die ik heb gebruikt in mijn onderzoek lastig aangezien het minder houvast biedt dan een
kwantitatieve methode. Loek heeft mij echter alles hierover duidelijk gemaakt en stap voor stap begeleid
door dit proces.
Nu mijn onderzoek is afgerond kan ik zeggen dat ik tevreden ben met de uitkomsten. Graag wil ik mijn
begeleider bedanken voor zijn steun en begeleiding in dit proces. Bovendien wil ik ook de zes
respondenten die hebben meegewerkt aan dit onderzoek bedanken.. Door de gedetailleerde antwoorden
van de respondenten heb ik een uitgebreid antwoord kunnen formuleren op de onderzoeksvraag.
Als laatste wil ik mijn naasten bedanken. Bij vrienden kon ik altijd terecht voor wijze raad en door met
hen te discussiëren kwam ik zelf weer tot nieuwe inzichten. Ten slotte mogen mijn ouders niet ontbreken
in dit lijstje. Waarschijnlijk heb ik hen mateloos geïrriteerd met mijn eindeloze gesprekken over bias en
discriminatie, twee belangrijke thema’s van dit onderzoek. Toch hebben ze me blijvend gesteund en
geholpen om deze thesis tot een goed einde te brengen.
Ik wens u veel leesplezier toe.
Didier Dirks
Abstract
Kunstmatige Intelligentie (KI) heeft de potentie om het bedrijfsleven permanent te veranderen door op
grote schaal problemen op te lossen die mensen niet kunnen oplossen. KI algoritmes worden op veel
manieren toegepast, maar deze zijn zo goed geïntegreerd in ons dagelijks leven dat veel mensen zich
het gebruik hiervan niet realiseren. Daarentegen is het onderzoeksveld van KI nog vrij jong en kent het
ook probleemgebieden, waaronder bias. Dit houdt in dat KI niet altijd op een transparante en objectieve
manier werkt. Algoritmische bias houdt in dat het proces waarbij keuzes worden gemaakt door KI
algoritmes niet op een eerlijke manier verloopt. Door onregelmatigheden in datasets of algoritmes
kunnen datasets vooroordelen bevatten die in de data- analyse gereproduceerd worden. Hierdoor
kunnen er discriminerende effecten optreden en kan men bijvoorbeeld ten onrechte een bepaalde
eigenschap toegekend krijgen of andersom ten onrechte een eigenschap niet toebedeeld krijgen. Vaak
wordt gedacht dat computermodellen objectief zijn ten opzichte van de irrationele logica van de mens.
Nu blijkt echter steeds meer het tegendeel waar. Data-gedreven modellen repliceren menselijke
irrationaliteit en vergroten deze na verloop van tijd zelfs uit. Des te meer duidelijk wordt hierover, des
te meer de vraag opkomt naar een eerlijke behandeling door deze KI systemen. In deze thesis wordt
onderzocht in hoeverre de Nederlandse overheid dit probleem op dit moment aanpakt en of dit een
effectieve aanpak is. Er blijkt dat de huidige aanpak onvoldoende is en daarom wordt er onderzocht
welke maatregelen de overheid kan nemen om bias effectiever te bestrijden. Er wordt een voorstel
gepresenteerd bestaande uit vier maatregelen die zullen leiden tot eerlijkere algoritmes.
Bachelor Thesis Didier Dirks 3
Inhoudsopgave
Voorwoord ... 1
Abstract ... 2
Inhoudsopgave ... 3
1. Introductie ... 4
2. Achtergrond ... 6
2.1 Kunstmatige Intelligentie & Machine Learning ... 6
2.2 Discriminatie & Beschermde Persoonsgegevens ... 7
2.1 Bekende Cases van Bias ... 8
2.4 Ontstaan van Discriminatie bij ML ... 9
2.5 (Gebrek aan) Transparantie ... 11
3. Methode ... 14
3.1 Onderzoeksmethode ... 14
3.2 Kwalitatief Onderzoek ... 14
4 Resultaten ... 18
4.1 Huidige Nederlandse Wetgeving ... 18
4.2 Rol van de Overheid ... 22
4.3 Verbeterpunten Huidige Wetgeving ... 24
4.4 Verbetervoorstel aan Overheid ... 27
4.4.1
Non-biased by design ... 27
4.4.2
Bias Meten ... 30
4.4.3
Bewustzijn... 35
4.4.4
Ethiek ... 38
5 Conclusie ... 40
6 Discussie ... 42
Referenties ... 44
Appendix... 49
Interview 1: Tom van Engers ... 49
Interview 2: Rik Helwegen ... 58
Interview 3: Job Spierings ... 66
Interview 4: Rui Machado ... 73
Interview 5: Tjerk Timan ... 78
1. Introductie
We leven in een wereld waarin Kunstmatige Intelligentie (KI) een steeds prominentere rol speelt. KI
systemen worden op een steeds grotere schaal ingezet, met als gevolg dat het een ingrijpende invloed
heeft op de mens en zijn omgeving. Zo wordt het bijvoorbeeld gebruik in de zorg, waarbij het kanker
en tumoren kan detecteren en onderscheid kan maken tussen goedaardige en kwaadaardige varianten
hiervan (Esteva et al., 2017). Daarnaast wordt het zelfs gebruikt om bepaalde chirurgische operaties uit
te voeren (Hashimoto et al., 2018). De recommender systems van Netflix en YouTube bevelen hun
gebruikers elke dag weer nieuwe films en videos aan (Gomez-Uribe & Hunt, 2015). De
virtuele-assistenten zoals Apple Siri, Amazon Alexa en Google Home vergemakkelijken het dagelijks leven van
veel mensen, GPS applicaties, waaronder Google Maps en Waze, wijzen mensen de weg via de beste
of snelste route (Vasserman et al., 2015). Online zoekmachines kennen hun gebruikers zo goed dat voor
hen relevante informatie vaak binnen enkele kliks gevonden is (Dillahunt et al., 2015). Bovendien
worden KI algoritmes steeds meer gebruikt om belangrijke beslissingen te maken of ondersteunen. Dit
gebeurt bijvoorbeeld bij misdaad voorspelling en werving van nieuwe medewerkers. Op deze manier
hebben de algoritmes een directe invloed op de levens van personen (Barocas & Selbst, 2016; IBM,
2018).
KI heeft een grote potentie om het bedrijfsleven permanent te veranderen door problemen op grote
schaal op te lossen en cruciale keuzes te maken. KI algoritmes worden op veel manieren toegepast,
maar deze zijn zo goed geïntegreerd in ons dagelijks leven dat veel mensen zich het gebruik hiervan
niet realiseren. Daarentegen is het onderzoeksveld van KI nog vrij jong en kent het probleemgebieden
zoals privacy en GDPR (Mitrou, 2018), accuraatheid en willekeur (Ben-David, 2007), ethische
besluiten (Bostrom, 2014), werkloosheid (Ford, 2015) en machine bias (Barocas & Selbst, 2016).
Dit onderzoek zal zich richten op de machine bias. Dit houdt in dat KI niet altijd op een transparante
en objectieve manier werkt (Barocas & Selbst, 2016). Algoritmische bias houdt in dat het proces waarbij
keuzes worden gemaakt door KI algoritmes niet op een eerlijke manier verloopt. Door
onregelmatigheden in datasets of algoritmes kunnen datasets vooroordelen bevatten die in de data-
analyse gereproduceerd worden. Hierdoor kunnen er discriminerende effecten optreden en kan men
bijvoorbeeld ten onrechte een bepaalde eigenschap toegekend krijgen of andersom ten onrechte een
eigenschap niet toebedeeld krijgen.
Barocas & Selbst (2016) stellen dat er vaak wordt gedacht dat juist het gebruik van automatische
systemen om keuzes te maken objectiviteit en nauwkeurigheid bevordert ten opzichte van menselijke
beslissingen, terwijl deze systemen in werkelijkheid net zoveel, dan wel meer vooroordelen kunnen
bevatten dan mensen (Chen et al., 2018). Dit betekent dat als er in de data bepaalde vooroordelen
aanwezig zijn, deze herhaald en zelfs uitvergroot kunnen worden. KI algoritmes zijn slechts net zo goed
als de data waarop zij getraind worden (Howard & Borenstein, 2018). Deze bias is bovendien moeilijk
te ontdekken en identificeren vanwege het feit dat mensen zich niet ervan bewust zijn dat deze in de
Bachelor Thesis Didier Dirks 5
data voor kan komen (Chen et al., 2018). Bovendien leidt bias in KI-systemen op tot discriminatie van
bepaalde bevolkingsgroepen (Custers, 2013).
Het voorgaande illustreert de noodzaak van een oplossing om KI bias tegen te gaan. Dit leidt tot de
onderzoeksvraag; “Welke maatregelen kan de Nederlandse overheid nemen om bias in
Kunstmatige Intelligentie effectief te bestrijden?”
De subvragen van dit onderzoek zullen zijn:
-
Hoe dekt de huidige wetgeving rond discriminatie en privacy het probleem van bias?
-
Wat is de huidige rol van de Nederlandse overheid in het bestrijden van bias?
-
Op welke vlakken schiet de huidige aanpak van de Nederlandse overheid tekort bij het
bestrijden van bias?
-
Bestaan er de gaten in de wetgeving wat betreft het dekken van het probleem van bias?
-
Hoe kunnen deze gaten in de huidige Nederlandse wetgeving gevuld worden?
-
Welk advies kan er gegeven worden aan de Nederlandse overheid om het probleem van bias
effectief te bestrijden?
2. Achtergrond
2.1 KUNSTMATIGE INTELLIGENTIE & MACHINE LEARNING
Kunstmatige Intelligentie (KI), of Artificial Intelligence (AI), is “de wetenschap van het slim maken
van machines” (Russell & Norvig, 2016). KI beslaat een breed onderzoeksveld en bestaat als sinds de
jaren ’50. Zo schreef de Britse wiskundige Alan Turing (2004) al in 1951 een paper over dit fenomeen.
Er bestaan veel soorten KI, waarvan de meest succesvolle vorm van het laatste decennia machine
learning (ML) is (Alpaydin, 2016).
Door gebruik van ML hoeft de kennis van een systeem niet meer geleverd te worden door
onderzoekers. In tegenstelling tot het bekende proces van onderzoeken waarbij onderzoekers een
hypothese opstellen en deze verwerpen of aannemen, wordt bij ML simpelweg een grote dataset
geleverd en is het de taak van het algoritme om patronen te herkennen. De computer leert hierbij zelf
hoe het zo goed mogelijk de juiste output kan creëren (Alpaydin, 2016). Lehr & Ohm (2017) stellen
dat ML kan worden omschreven als “een geautomatiseerd proces van ontdekken van correlaties tussen
variabelen in een dataset, vaak bedoeld om voorspellingen te kunnen maken. ML is tegenwoordig zo
populair (Figuur 1; Alpaydin, 2016) doordat er zoveel data beschikbaar is gekomen. Vanwege deze
populariteit worden vaak de overkoepelende termen KI of Artificial Intelligence (AI) gebruikt om ML
aan te duiden (Alpaydin, 2016). In dit onderzoek zal om deze reden dan ook de term KI gebruikt worden
om zowel ML als KI in zijn geheel te beschrijven.
Juist deze zelflerende vorm van KI die, in tegenstelling tot andere vormen van KI, gebruik
maakt van inductieve leermethodes maakt het mogelijk om sub-symbolische kennis uit data te
ontdekken en repliceren. (
Kelley, 2003). Het is deze inductieve methode van het leren van
sub-symbolische kennis die het mogelijk maakt dat algoritmes bevooroordeelde keuzes maken. Ze hoeven
dus niet - bedoeld of
onbedoeld - handmatig geprogrammeerd zijn om bepaalde bevooroordeelde keuzes
Figuur 1: De populariteit van de zoekterm ‘machine learning’ op de zoekmachine van Google.De verticale as geeft hier de wereldwijde zoekfrequentie aan ten opzichte van het hoogste punt in het diagram voor de afgelopen vijf jaar. Dit figuur laat zien dat de zoekfrequentie voor de term ‘machine learning’ in de afgelopen 4 jaar is verviervoudigd.Bachelor Thesis Didier Dirks 7
te maken. Discriminatie kan hierbij een resultaat zijn van het dataverzamelingsproces zelf, in plaats van
een gevolg van programmeurs die bepaalde factoren ongepaste gewichten toewijzen. Deze
mogelijkheid is lang niet herkend door de meeste wetenschappers en beleidsmakers (Crawford &
Schultz, 2014).
2.2 DISCRIMINATIE EN BESCHERMDE PERSOONSGEGEVENS
Het dagelijks leven bestaat uit een groot aantal keuzes. Mensen beslissen met wie ze willen socialiseren,
waar ze naartoe gaan, wat ze eten, enzovoort. Met andere woorden, mensen "discrimineren" de hele
tijd, en vaak valt dit buiten de werkingssfeer van de discriminatiewetten. Deze wetten houden zich bezig
met keuzes die een individu minder voordelig behandelen in vergelijking tot anderen als gevolg van
een "moreel onacceptabele" overweging. Zonder twijfel zijn de meningen verdeeld over wat als moreel
onaanvaardbaar wordt beschouwd (Evelyn & Watson, 2012). Bovendien hoeft niet elke vorm van
differentiële behandeling als discriminerend te worden gezien. Een gedifferentieerde behandeling die
evenredig is en een legitiem doel nastreeft, mag niet discriminerend zijn (Moeckli, Shah, &
Sivakumaran, 2014).
Om het belang van het verbod op discriminatie vast te stellen, kan het nuttig zijn om te kijken
naar de basis van de mensenrechten. Alle leden van de menselijke familie hebben recht op dezelfde
rechten en vrijheden. Het verbod op discriminatie is een uitbreiding van een dergelijke mentaliteit. Het
Mensenrechtencomité van de Verenigde Naties stelt dat, “non-discrimination, together with equality
before the law and equal protection of the law without any discrimination, constitute a basic and general
principle relating to the protection of human rights” (UN Human Rights Committee, 1989). De VN
comités voor economische, sociale en culturele rechten beschouwen non-discriminatie als "essentieel
voor de uitoefening en het genot van economische, sociale en culturele rechten (UN Committee on
Economic, Social and Cultural Rights, 2009).
Hoewel ‘discriminatie’ een begrip is vaak gebruikt wordt in juridische documenten, bestaat er
nog geen algemene overeenstemming over de exacte betekenis ervan. Dit hangt af van de tijd, plaats en
perspectief. Zo kan er in een bepaald land anders worden gedacht over wat discriminerend is dan een
ander land (Dovidio, & Gaertner, 1986). Aangezien het lastig is om tot een eenduidige definitie van
discriminatie te komen wordt in dit onderzoek de definitie van het Europees Bureau voor de
grondrechten (FRA) gebruikt. Volgens het FRA kan de term "discriminatie" in grote lijnen worden
gedefinieerd als "een situatie waarin een individu op de een of andere manier wordt benadeeld op basis
van "één of meerdere beschermde gronden"” (European Union Agency for Fundamental Rights, 2018).
De beschermde gronden moeten hierbij aan twee voorwaarden voldoen: 1) “de beschermde grond
klassificeert personen in groepen met een significante kloof ertussen” en 2) “de beschermde grond is
een onveranderlijke eigenschap of bestaat uit een fundamentele keuze” (Khaitan, 2015). Gender,
geslacht, etnische afkomst, geaardheid en leeftijd behoren tot deze beschermde gronden, maar de
European Union Agency for Fundamental Rights (2018) benadrukt dat de lijst oneindig is zolang de
beschermde grond maar aan de twee voorwaarden voldoet. In dit onderzoek worden de termen
beschermde persoonsgegevens of beschermde eigenschappen gebruikt om aan deze beschermde
gronden te refereren.
Directe Discriminatie
Discriminatie kan op een directe of indirecte manier plaatsvinden. Er is sprake van directe discriminatie
wanneer iemand op basis van een van de beschermde eigenschappen ongunstiger wordt behandeld dan
een andere persoon in een vergelijkbare situatie wordt behandeld (Overheid, 1994).
Bij een
data-gedreven toepassing kan deze directe vorm van discriminatie optreden als een van die beschermde
eigenschappen expliciet is opgenomen in het model dat wordt gebruikt om een besluit te vormen
(Barocas & Selbst, 2016). Een voorbeeld hierbij is wanneer etnische afkomst als attribuut aanwezig is
een dataset aan de hand waarvan een algoritme bepaalt of iemand in aanmerking komt voor een lening.
Indirecte Discriminatie
Indirecte discriminatie treedt op wanneer een bepaalde beslissing neutraal lijkt te zijn, maar achter de
schermen personen aan de hand van een of meer gevoelige eigenschappen bijzonder benadeelt in
vergelijking met andere personen (Overheid, 1994).
Er is sprake van indirecte discriminatie als
personen met een bepaalde beschermde eigenschap een disproportioneel groot deel vormen van de
groep van benadeelde personen. Er wordt hierbij gelet op de mate van oververtegenwoordiging van de
benadeelde groep en of er continuïteit bestaat van een verschil in behandeling (European Union Agency
for Fundamental Rights, 2018).
Dit betekent dat er bij een data-gedreven toepassing indirecte
discriminatie kan optreden zelfs als er geen beschermde eigenschappen zijn opgenomen in de dataset.
Dit wordt verder uitgelegd onder het kopje Proxies van paragraaf 2.4.
2.3 BEKENDE CASES VAN BIAS
Een van de bekendste cases van een discriminerend KI algoritme is het COMPAS-algoritme wat in de
Verenigde Staten door rechters wordt gebruikt om de kans op recidive van een misdadiger in te schatten.
Het bedrijf ProPublica (2016) onderzocht het systeem in 2016 en stelde dat het systeem handelde op
basis van huidskleur; volgens hen werd de kans op recidive door systeem voor zwarte personen twee
keer zo hoog ingeschat als de kans voor witte personen. Northpointe, het bedrijf dat het COMPAS
systeem ontwikkelde, reageerde door te stellen dat de onderzoekers van ProPublica een fout hadden
gemaakt in hun analyse. Volgens Northpointe neemt het COMPAS systeem namelijk de huidskleur of
etniciteit van een misdadiger helemaal niet mee in de analyse (Dieterich et al., 2016). Dressel & Farid
(2018) weerleggen dit en stellen dat hoewel het COMPAS systeem niet de etniciteit meeneemt bij het
maken van keuzes, het systeem wel degelijk keuzes kan maken op basis van andere kenmerken, welke
gecombineerd met elkaar een hoge correlatie kunnen hebben met de etniciteit. Dit wordt ondersteund
door Chen et al., (2018), zij stellen namelijk dat enkel het verwijderen van bepaalde gevoelige
Bachelor Thesis Didier Dirks 9
kenmerken uit de dataset geen betrouwbare en juiste manier is om bias van KI algoritmes te
verminderen.
Dat naast de Verenigde Staten dit vraagstuk ook in Nederland aan de orde van de dag is blijkt
in februari 2020, wanneer een rechter de Nederlandse overheid verbiedt om gebruik te maken van het
SyRI systeem. Het ministerie van Sociale Zaken en Werkgelegenheid maakte sinds 2014 gebruik van
het Systeem Risico Indicatie (SyRI) (Kersten, 2020). Aan de hand van het SyRI systeem kan een grote
set data van burgers uit bepaalde wijken, vooral ‘probleemwijken’, worden geanalyseerd. Het systeem
berekent aan de hand van deze data bij welke burgers er een grote kans is dat zij fraude plegen met
uitkeringen, toeslagen, belastingen en arbeidswetten (Huisman, 2019).
De rechter oordeelde dat het SyRI systeem onvoldoende burgers beschermt tegen inbreuk op het
privéleven. Hiermee is het systeem in strijd met artikel 8 van het Europees Verdrag voor de Rechten
van de Mens (EVRM) (De Rechtspraak, 2020). Volgens de rechter is het systeem “onvoldoende
inzichtelijk en controleerbaar”; er is namelijk geen transparantie over hoe data wordt verwerkt en
geanalyseerd. Juist transparantie is in dit soort gevallen belangrijk, oordeelde de rechter, aangezien er
anders ‘’onbedoeld stigmatiserende en discriminerende effecten kunnen optreden” (De Rechtspraak,
2020). Hiermee doelde de rechter op de bias die bij KI voorkomt. De Staat stelt echter dat het geen
transparantie kan bieden over de werking van het systeem, uit angst dat men gaat proberen de algoritmes
te ontwijken (Royall, 2020).
2.4 ONTSTAAN VAN DISCRIMINATIE BIJ ML
Het toepassen van ML is per definitie een vorm van discriminatie. Het hele motief achter het gebruiken
van ML-toepassingen is namelijk een rationale basis creëren waarop personen kunnen worden
onderscheiden van elkaar en geclassificeerd in verschillende categorieën (Borocas & Selbst, 2016).
Niettemin heeft ML de potentie om ten onrechte subpopulaties minder gunstig te behandelen
aan de hand van wettelijk beschermde eigenschappen, zoals leeftijd, geslacht, etnische afkomst, etc., en
hen op systematische wijze te benadelen. In tegenstelling tot andere vormen van besluiten nemen, is het
herkennen van menselijke bias bij ML systemen lastig. Barocas & Selbst (2016) beschrijven de
volgende manieren waarop bias bij ML tot stand kan komen.
Onbedoelde bias
Zoals eerder beschreven leert ML aan de hand van voorbeelden. Wat een ML-model uiteindelijk leert
hangt dus af van de voorbeelden waaraan het is blootgesteld. De gegevens die als voorbeelden dienen,
staan bekend als 'trainingsgegevens', letterlijk, de gegevens die het model trainen om zich op een
bepaalde manier te gedragen. Het karakter van de trainingsgegevens kan op deze manier grote gevolgen
hebben voor de ‘lessen’ die een zelflerend model leert. Data waar een vorm van bias in zit leidt zo tot
discriminerende ML-systemen (Custers, 2013). Dit kan leiden tot twee scenario’s: De historical bias
en de sampling bias. Een bijkomend probleem in de data is de aanwezigheid van proxies, wat het
verwijderen van bias uit data lastig maakt.
Historical bias:
De historical bias ontstaat wanneer in de data waarop algoritmes getraind worden al een bepaalde bias
aanwezig is. Op deze manier beschikt deze data uit het verleden niet over de diversiteit die nodig is om
een eerlijk model te kunnen creëren en neemt het algoritme vooroordelen simpelweg over (Srivastava
& Rossi, 2018). Een voorbeeld is het automatische wervingssysteem van techbedrijf Amazon. Het
systeem was getraind op de cv’s van kandidaten die gesolliciteerd hadden bij het bedrijf de voorgaande
tien jaar, en omdat er in die tijdsperiode vrijwel alleen mannen waren aangenomen werden mannen
gezien als wenselijker voor bepaalde functies en werden de cv’s van vrouwen door het systeem
afgekeurd (Dastin, 2018).
Sampling bias:
De sampling bias ontstaat door disproportionele trainingsdata. Data wordt wereldwijd niet op een
gelijke manier gecreëerd. Mensen in ontwikkelingslanden genereren bijvoorbeeld veel minder data dan
de westerse samenleving, doordat zij minder toegang hebben tot de digitale middelen die het creëren
van deze data mogelijk maken, zoals smartphones en het internet. Op deze manier zijn sommige groepen
oververtegenwoordigd en andere juist ondervertegenwoordigd in de trainingsdata. Zo worden er
conclusies getrokken uit incorrecte, onvolledige of niet-representatieve data (Borocas & Selbst, 2016).
Als
illustratief
voorbeeld
refereert
Crawford
(2013)
aan
Street
Bump,
een
smartphonetoepassing voor inwoners van Boston die gebruik maakt van de ingebouwde sensors en
locatiegegevens van smartphones om te detecteren wanneer bestuurders rijden over kuilen in de weg.
Met de verzamelde data zou het bestuur van de stad vervolgens kunnen bepalen over welke kuilen het
vaakst werd gereden en welke dus als eerste gerepareerd moesten worden. Hoewel het op eerste gezicht
een effectieve aanpak lijkt, zit er bias in de verzamelde data. Er bestaat namelijk een ongelijke verdeling
van smartphones over de bevolking in verschillende delen van de stad. Uiteindelijk zou deze ongelijke
verdeling leiden tot ondervertegenwoordiging van kuilen in armere gemeenschappen en juist tot
oververtegenwoordiging in welvarende regio’s. Zo ontstaat er discriminatie van de arme mensen omdat
zij niet in staat zijn om problemen net zo effectief te melden als de rijkere inwoners.
Proxies
In het voorbeeld van het COMPAS werd al gezegd dat het verwijderen van bias niet zo eenvoudig is
als simpelweg de beschermde eigenschappen verwijderen uit de trainingsdata. Zelflerende algoritmes
die bewust deze attributen niet meewegen kunnen niettemin resulteren in minder gunstige beslissingen
voor minderheidsgroepen (Datta et al., 2017). Dit is mogelijk wanneer de criteria die relevant zijn voor
het maken van rationale keuzes ook werken als proxies voor lidmaatschap van zo’n subpopulatie. Met
Bachelor Thesis Didier Dirks 11
andere woorden, dezelfde attributen in een zelflerend model die zorgen voor een correcte voorspelling,
bijvoorbeeld de kans op het begaan van een misdaad, kunnen ook de criteria zijn die geslachten of
etnische achtergronden van elkaar onderscheiden (Borocas & Selbst, 2016).
Er kunnen onbedoeld en onbewust verbanden worden blootgelegd die een aanwijzing geven
over iemands etnische afkomst, geloofsovertuiging, seksuele geaardheid of een ander gevoelig
persoonsgegeven. Zo kunnen bepaalde attributen die zelf niet tot de categorie van gevoelige
persoonsgegevens behoren, bijvoorbeeld woonplaats, hiertoe wel gaan behoren wanneer ze met andere
gegevens worden gecombineerd. Algoritmes die uitsluitend gebruik maken van op eerste gezicht
objectieve attributen kunnen zo indirect nadelige effecten hebben voor bepaalde subpopulaties. Dit leidt
dan tot de eerder besproken indirecte vorm van discriminatie. Zo gebruiken financiële instellingen
postcodes of andere geografische data als indicatie voor kredietwaardigheid van klanten. Hierdoor
weigeren ze leningen of andere diensten aan mensen uit bepaalde regio’s. De postcode wordt dan een
indicator over het inkomen of de mogelijkheid om leningen terug te betalen (Barocas & Selbst, 2016).
Dit wordt ondersteund door het onderzoek van Žliobaitė & Custers (2016). Uit dit onderzoek
blijkt dat een zelflerend algoritme dat bedoeld is om het salaris van professoren in de VS te schatten,
nadeliger uitpakt voor vrouwen dan mannen, zelfs wanneer het enkel getraind is op de attributen
opleidingsniveau, functieniveau en anciënniteit en juist het attribuut gender is vermeden. Omdat
vrouwen over het algemeen lager scoren op functieniveau bestaat er een correlatie tussen deze
attributen. In dit model is functieniveau de proxy van gender.
Bedoelde bias
ML systemen maakt het ook mogelijk om met opzet te discrimineren omdat besluitvormers met
vooroordelen hun intenties kunnen maskeren door bewust gebruik te maken van de hiervoor genoemde
mechanismen (Borocas & Selbst, 2016).. Simpel gezegd kan elke vorm van hiervoor besproken
onbedoelde bias ook bewust worden ingezet om met opzet discriminatie te creëren. Zo kan het
verzamelen van trainingsdata bewust worden gestuurd om een bepaalde bias te genereren en ervoor
zorgen dat een ML-model regels voorstelt die minder gunstig zijn voor leden van beschermde
subpopulaties. Zelfs zonder toegang tot de beschermde attributen kunnen besluitvormers leden van
beschermde klassen onderscheiden en benadelen. Door middel van proxies kunnen deze beschermde
gegevens namelijk simpelweg worden gesimuleerd.
2.5 (GEBREK AAN) TRANSPARANTIE
Al sinds de introductie van KI-technologieën is men bang geweest voor het gebrek aan menselijke
empathie, het gebrek aan transparantie en oneerlijkheid die door de loop der jaren functies van mensen
overnemen (Reid, 2016). Deze angst is niet ongegrond, want KI systemen en algoritmes worden vaak
omschreven als black boxes of zwarte dozen (Pasquale, 2015). Er gaat data in en er komt een waarde
uit, maar het is vaak niet duidelijk wat er binnenin precies gebeurt. Zelfs door AI experts zijn KI
modellen moeilijk te begrijpen (Pasquale, 2015).
Dit levert ten eerste de vraag op of het wel ethisch verantwoord is om modellen die eigenlijk
niemand begrijpt te gebruiken voor belangrijke doeleinden. Daarnaast zorgt de opaciteit voor
wantrouwen. Om erop te kunnen vertrouwen dat bedrijven gerechtvaardigde beslissingen maken,
moeten deze besluiten die geproduceerd worden door KI applicaties uitgelegd en beargumenteerd
worden op zo’n manier dat de personen die hieraan zijn onderworpen begrijpen waarop de beslissing is
gebaseerd. Zonder deze vorm van transparantie is het niet duidelijk waarom bepaalde besluiten gemaakt
worden. Hierdoor weten mensen ook niet of er tegen hen gediscrimineerd wordt aan de hand van
gevoelige kenmerken als etniciteit, gender, geaardheid en leeftijd.
KI als Intellectual Property
Een bijkomend probleem wat transparantie bij KI-modellen vermindert is het gebruik van intellectuele
eigendomswetten. Tegenwoordig is alle klantgerelateerde data fundamenteel voor elk bedrijf. Deze data
is waardevol als bescherming van het eigen klantenbestand en kan daarnaast worden gebruikt als basis
voor het bepalen van strategieën en maken van marketingplannen (Atkins, 1996). Vanwege de waarde
van deze data worden in opkomende mate de algoritmes die gebruikt worden om deze data te
verzamelen en genereren door bedrijven beschermd voor het zicht van anderen in de vorm van
intellectual property (Bodó et al., 2017). Deze issue is relevant voor het onderzoek omdat er een mate
van transparantie nodig is voor de controle van KI systemen om te garanderen dat er geen bias optreedt
(Pasquale, 2015). Echter wordt er juist door het gebruik van intellectuele eigendomswetten extra
opaciteit gecreëerd.
KI systemen zijn vaak beschermd door intellectueel eigendomswetten en trade secrets (Bodó
et al., 2017). Het Europese Parlement definieert trade secrets als "informatie die geheim is omdat het
niet algemeen bekend of toegankelijk is, commerciële waarde heeft omdat het geheim is en er redelijke
stappen zijn ondernomen door de beheerders van de informatie om deze geheim te houden (Europese
Commissie, 2017). De bezitter van een trade secret, in dit geval algoritme, kan op deze manier elke
vorm van ongeoorloofde toegang verbieden (Europese Commissie, 2017). Door deze bescherming is
het voor regelgevers, journalisten en wetenschappers veel lastiger om zulke systemen te controleren en
onderzoeken. Dit maakt het bedrijven mogelijk om illegale algoritmes te gebruiken zonder dat dit
gecontroleerd en gehandhaafd kan worden. Om deze reden pleit Pasquale (2015) voor meer
transparantie als oplossing voor het “black box” probleem. Dit is in lijn met het oordeel van de rechter
die oordeelde dat het SyRI systeem van de overheid dermate weinig transparantie biedt dat er niet
gecontroleerd kan worden op onwettigheden (De Rechtspraak, 2020).
Daarentegen kan transparantie er ook voor zorgen dat mensen het algoritme gaan proberen te
ontwijken of sturen om er voor te zorgen dat er gunstigere resultaten uitkomen (Chander, 2016). Zo
stelt Google (2010) dat “als elk klein detail van het eigen pagerank algoritme algemeen bekend as, het
Bachelor Thesis Didier Dirks 13
veel makkelijker zou zijn voor kwaadwillende gebruikers om de zoekresultaten vol te ‘spammen’ met
irrelevante en frustrerende webpagina’s, waaronder porno en malware sites.
Er blijkt dat er een strijd is ontstaan tussen de bedrijven die gebruik maken van KI systemen aan
een kant en aan de andere kant de mensen die pleiten voor eerlijkheid bij deze systemen. Bedrijven
willen gebruik maken KI systemen want deze leveren geld op. Hierbij willen ze niet dat hun algoritmes
zomaar bekend worden gemaakt. Ten eerste kunnen andere bedrijven dan zomaar hun systemen
gebruiken of overnemen wat leidt tot meer concurrentie op de markt. Ten tweede kan iedereen dan de
algoritmes beïnvloeden of ontwijken en werken de algoritmes niet meer op een juiste manier. Hier
tegenover staan juist de ‘gewone’ gebruikers die op een eerlijke en gelijke wijze behandeld willen
worden.
3. Methode
In de volgende sectie worden de methoden beschreven die in dit onderzoek zijn toegepast. De keuze
voor kwalitatieve onderzoeksmethodologie wordt gemotiveerd, gevolgd door het ontwerp van de
interviews.. Daarna worden de proefpersonen die werden geïnterviewd beschreven en wordt de keuze
van respondenten gemotiveerd. Ten slotte wordt de analysemethode van de verzamelde gegevens
gepresenteerd.
3.1 ONDERZOEKSMETHODE
De belangrijkste onderzoeksmethodologie die in deze studie is toegepast, is kwalitatief onderzoek.
Kwalitatief onderzoek is een methode die gebruikt wordt voor exploratie van een probleemgebied, en
deze methode is geschikt om te gebruiken wanneer een dieper begrip van een specifiek fenomeen of
onderzoeksgebied zal worden onderzocht. Vaak wordt deze manier gebruikt om een complex en
belangrijk probleem waar nog weinig van bekendis meer inzichtelijk te maken (Creswell & Creswell,
2018). Aangezien KI een nieuwe, opkomende technologie is waar nog weinig van bekend is en hierdoor
het onderzoeksgebied dat in dit onderzoek wordt onderzocht zich in een relatief vroeg stadium bevindt,
heeft het onderzoek een exploratief karakter. Een kwalitatieve exploratieve methode kent relatief weinig
beperkingen en heeft een hoge flexibiliteit. Dit maakt het mogelijk om processen gedurende het
onderzoek aan de hand van de observaties aan te passen. Interviews zijn een veel voorkomende methode
voor het verzamelen van gegevens bij kwalitatieve onderzoeken. De primaire methode voor het
verzamelen van gegevens voor deze studie was semigestructureerd interviews. Semigestructureerde
interviews worden gekenmerkt door een aantal vragen die vooraf worden voorbereid, maar er is ook
ruimte voor vervolgvragen om meer details te verzamelen over een specifieke reactie of gebied
waarmee de respondent vertrouwd lijkt te zijn (Graziano and Raulin, 2013). Als aanvulling op de
kwalitatieve methode is er ook literatuuronderzoek uitgevoerd om bepaalde theorieën of termen die aan
bod kwamen tijdens de interviews verfijnen en detailleren.
In dit onderzoek is er voor gekozen om gebruik te maken van een inductieve methode. Het
onderwerp van het onderzoek bestaat nog niet heel lang en is er nog weinig over bekend uit eerder
onderzoek, wat betekent dat er weinig bestaand materiaal is waar op voortgebouwd kon worden. Om
deze reden is een kwantitatief onderzoek ongeschikt en zal dus in dit onderzoek gepoogd worden om
eigen inzichten op te doen en theorieën op te stellen aan de hand van inductie (Yu, 2006).
3.2 KWALITATIEF ONDERZOEK
Opzet
Voor het kwalitatieve onderzoek zijn zes experts op het gebied van kunstmatige intelligentie en
technologie & wetgeving geïnterviewd. Deze experts werden geselecteerd aan de hand van snowball
sampling. Bij deze methodologie is er begonnen met het interviewen van Tom van Engers, hoogleraar
Legal Knowledge Management aan de Universiteit van Amsterdam. Meneer van Engers is nauw
betrokken bij de studie Informatiekunde en heeft affiniteit met het onderzoeksveld. Daarna zijn Rik
Helwegen (alumnus Kunstmatige Intelligentie aan de UvA), Job Spierings (Head of Program bij
Bachelor Thesis Didier Dirks 15
onderzoeksorganisatie Waag), Cor Veenman (Senior Data Scientist bij TNO), Rui Machado (Data
Engineering Manager bij Facebook en Nike) en Tjerk Timan (Strategy & Policy Researcher bi TNO)
geïnterviewd.
Respondenten
De respondenten voor deze studie bestaan uit een combinatie van academici en werknemers in de
bedrijfswereld die actief zijn op het gebied van kunstmatige intelligentie. Aangezien de belangrijkste
onderzoeksmethode voor deze studie kwalitatief is, is een aantal personen zorgvuldig geselecteerd en
ondervraagd op een dieper en gedetailleerder niveau. De respondenten werden gekozen omdat werd
verwacht dat zij met hun kennis en expertise het begrip van de bestudeerde verschijnselen konden
vergroten. De selectie van de respondenten stond niet vast vanaf het begin en deze ontwikkelde zich in
de loop van het onderzoek, wat een gemeenschappelijke methodologie is in kwalitatieve onderzoeken
(Miles et al., 2014). De respondenten zijn gekozen op basis van een combinatie van aanbevelingen en
contacten van mijn begeleider. De geselecteerde deelnemers vertegenwoordigden zowel de
academische wereld als de werknemers uit de industrie. Deze keuze werd gemaakt om een zo breed
mogelijk scala aan perspectieven op de probleemstelling te verkrijgen. De geïnterviewden gaven
toestemming om deel te nemen met hun naam en rol, met uitzondering van een deelnemer die anoniem
wilde blijven, zie tabel 1. Vijf van de zes interviews zijn gehouden in het Nederlands. Het interview
met Rui Machado is op diens verzoek in het Engels gehouden.
Tabel 1: Respondenten
Geinterviewde Geslacht Organisatie Datum Duur Setting
Tom van Engers Man Universiteit van Amsterdam
10-04-2020 60 minuten Virtueel Skype Rik Helwegen Man Universiteit van
Amsterdam
30-04-2020 60 minuten Virtueel Zoom
Job Spierings Man Waag 1-05-2020 45 minuten Virtueel
Zoom
Cor Veenman Man TNO 12-05-2020 40 minuten Virtueel
Zoom Rui Machado Man Nike/Facebook 20-05-2020 45 minuten Virtueel
Zoom
Tjerk Timan Man TNO 08-06-2020 40 minuten Virtueel
Framatalk
Data verzamelen
De uitgevoerde interviews waren van semigestructureerde aard, met vragen rondom de thema’s huidige
wetgeving, rol van de overheid, proactieve oplossingsrichtingen, reactieve oplossingsrichtingen en rol
van de individu. De interviews zijn via digitale weg worden gehouden, via de computerprogramma’s
Skype en Zoom. Vooraf aan de interviews werd toestemming gevraagd om het interview op te nemen,
zodat later nauwkeurig een transcriptie van het gesprek geschreven kon worden. Tijdens het interview
zijn de opgestelde vragen gesteld, alsmede extra vragen die tijdens het interview voordeden. Daarnaast
werd tijdens het interview van alle antwoorden van de geïnterviewden aantekeningen gemaakt. Aan het
einde van elk interview werd aan de geïnterviewden gevraagd of zij contactpersonen konden aandragen
om een volgend interview mee te hebben. Na afloop is elk gesprek woord voor woord uitgeschreven
aan de hand van de opgenomen geluidsfragmenten. De transcripten zijn aan de geïnterviewden
opgestuurd ter validatie, met de vraag of zij konden bevestigen dat alles wat geschreven was klopte, of
desnoods kleine correcties doorgeven. Vijf van deze gevalideerde verslagen zijn aan dit document
toegevoegd als bijlage. De zesde wordt op verzoek van de respondent niet openbaar gemaakt. Hierna is
aan elke expert gevraagd of zij na afloop van het onderzoek bereid zouden zijn om feedback te geven
op de gevonden resultaten en conclusie. Door de interviewverslagen te laten goedkeuren kan de
betrouwbaarheid worden gewaarborgd en door na afloop de onderzoeksresultaten te laten beoordelen
door de experts wordt validiteit gegarandeerd. Door de methode in voldoende detail te beschrijven
ontstaat een hoge herhaalbaarheid.
Analyse
In het volgende stadium zijn de zes gevalideerde transcripten geïmporteerd in het computerprogramma
Atlas.TI om deze te kunnen analyseren. De eerste fase van de analyse bestaat uit het coderen van de
data. Dit houdt in dat er gedefinieerd wordt waar de data over gaat. Hierbij staan de codes niet van te
voren al vast, maar worden zij gecreëerd in het analyseproces (C
harmaz & Belgrave, 2007). In het
onderzoek is deze fase uitgevoerd met behulp van de software Atlas.TI. In
het computerprogramma is
per transcript stapsgewijs door de data gegaan en op elk relevant stuk tekst is een label geplakt, dit
wordt ook wel line-by-line coding genoemd (Charmaz & Belgrave, 2007). Het was hierbij belangrijk
dat de labels zo specifiek mogelijk waren, waardoor er zoveel mogelijk impliciete data expliciet werd
gemaakt.
Doordat er na dit proces veel verschillende codes zijn ontstaan, zijn er vervolgens op basis van
de onderlinge verbanden overkoepelende ‘Code Groups’ of categorieën gecreëerd. De codes met
vergelijkbare kenmerken werden zo gegroepeerd om alle data die relevant is voor een bepaald thema
samen te voegen. Zo zijn bijvoorbeeld de codes ‘bias meten’, ‘dataset repareren’, ‘discriminatie
verwijderen’, en ‘ondoorzichtig’ samengevoegd onder de overkoepelende categorie ‘bias bestrijden’.
Vanwege de iteratieve aard van de methodologie is er hierna weer stapsgewijs door alle
transcripten heen gegaan om te kijken of er nieuwe codes gevormd konden worden of dat stukken tekst
ook aan andere labels gehangen konden worden. Deze nieuwe codes zijn vervolgens weer onderling
met elkaar vergeleken en indien nodig aan bestaande of nieuwe Code Groups toegevoegd. Er is constant
geprobeerd om data met data, data met codes en codes met codes te vergelijken. Een overzicht van de
gecreerde Code Groups en bijbehorende codes is te zien in bijlage 5.
Uit de gecreëerde theorieën van de hiervoor besproken kwalitatieve analyse is, gecombineerd
met de resultaten uit het literatuuronderzoek, een conclusie getrokken. De conclusie en analyse van dit
onderzoek zijn hierna ter beoordeling opgestuurd aan alle geïnterviewden. Als laatste is de feedback
Bachelor Thesis Didier Dirks 17
van de experts, nieuwe vragen die zich voordeden en onduidelijkheden die zijn ontstaan na afloop van
het onderzoek vermeld in de discussie.
4.
Resultaten
In de volgende sectie worden de resultaten van het onderzoek gepresenteerd. De resultaten worden
gepresenteerd in vier verschillende secties: de huidige Nederlandse wetgeving, de rol van de overheid,
de verbeterpunten van de huidige wetgeving en als laatste een voorstel tot verbetering. In elk onderdeel
wordt geciteerd uit interviews met de experts en dit wordt opgevolgd door ondersteuning uit andere
literatuur.
4.1 HUIDIGE NEDERLANDSE WETGEVING
Als eerste is onderzocht op welke manier de huidige Nederlandse wetgeving de besproken issues
rondom machine bias bestrijdt. Zo kan worden bepaald of er iets verbeterd kan worden en welke issues
er spelen in de huidige wetgeving wat betreft bias bij algoritmes.
Directe Discriminatie
“Juridisch is het nu heel simpel, als jij vermoedt dat je gediscrimineerd wordt, dan kun je naar de rechter gaan. Discriminatie staat zo in de grondwet. Dat dat niet mag op seksuele geaardheid, leeftijd, geslacht, religie, etc. Een aantal van die topics wordt gewoon in de grondwet al genoemd. En daarnaast erkent Nederland de internationale mensenrechtenverdragen van de Verenigde Naties en ook daarin is discriminatie verboden.”
- Tom van Engers
Als er een vermoeden van discriminatie is, moet ten eerste worden beoordeeld of er sprake is van directe
discriminatie. Zoals eerder al besproken is hiervan sprake wanneer er op basis van een van de
beschermde persoonlijke eigenschappen onderscheid wordt gemaakt waardoor iemand ongunstiger
wordt behandeld dan iemand anders die zich in een vergelijkbare situatie bevindt (Overheid, 2020). In
het geval van KI systemen betekent dit dat er direct gediscrimineerd wordt als een of meer beschermde
persoonlijke eigenschappen deel uitmaken van de attributen die het algoritme gebruikt om keuzes te
maken.
Het is voor personen die vermoeden dat ze gediscrimineerd worden door zulke algoritmes wel
uitermate lastig om dit vast te stellen. Bij KI modellen spelen vaak een heleboel factoren een rol en een
bepaalde beslissing die zo’n systeem maakt is nooit gebaseerd op één specifiek kenmerk. Dit gebeurt
op basis van grote hoeveelheid variabelen. Het kan hierbij zo zijn dat een bepaalde variabele een
verboden grond is. Dit wil zeggen dat de beslissingen mede aan de hand van een beschermd
persoonsgegeven worden gemaakt, wat een vorm is van directe discriminatie. Dit zorgt ervoor dat het
voor (vermoedelijke) slachtoffers van een bepaald algoritme lastig is om deze directe discriminatie aan
te tonen, zonder dat zij zelf de werking van het algoritme kennen. Om discriminatie vast te stellen moet
namelijk worden bewezen dat diezelfde beslissing anders zou zijn uitgevallen voor iemand anders die
vergelijkbaar is aan het slachtoffer, maar niet hetzelfde discriminerende kenmerk bezit (Overheid,
2020). Heel letterlijk betekent dit dat er een voorbeeld gevonden moet worden van een persoon die in
alle opzichten behalve het beschermde persoonsgegeven identiek is aan het slachtoffer.
“Je moet een onderscheid maken tussen het feit of er wel of niet sprake van discriminatie en of dat gewenst is of niet. Maar dat kwalitatieve oordeel van die bias staat los van de statistische en objectief vast te stellen onderscheiden die we maken en dus die twee elementen moeten we van elkaar los trekken. Dat zijn aparte
Bachelor Thesis Didier Dirks 19 vraagstukken. Er is al heel veel onderzoek gedaan naar verschillen in salariëring van mannen en vrouwen en er blijkt ook in Nederland nog steeds een verschil te zijn. Als je zegt 'we nemen u aan, maar u bent vrouw en daarom krijgt u tienduizend euro minder per jaar'. Dat mag niet. Maar het kan best zijn dat als je gewoon kijkt naar hoeveel uren vrouwen maken en wat voor productiviteitscijfers ze halen, dat er misschien wel een gerechtvaardigd verschil is.”
- Tom van Engers
Als blijkt dat er daadwerkelijk een vorm van directe discriminatie optreedt moet hierna worden bepaald
of het wettelijk gerechtvaardigd is om dit bepaalde onderscheid te maken. Volgens de Nederlandse wet
is dit bijna nooit te rechtvaardigen, zelfs als er een objectieve statistische basis aanwezig is die zulke
onderscheiden ondersteunt (Lammerant et al., 2019). Het is bijvoorbeeld bij onderscheiden op basis van
geslacht enkel gerechtvaardigd om deze te maken in gevallen waarbij het geslacht bepalend is of als het
gaat om het beschermen van vrouwen (Overheid, 2020). De premieberekening van een autoverzekering
valt hier niet onder, dus geslacht mag niet worden opgenomen in een algoritme die de hoogte van de
premie van een autoverzekering bepaalt. Zelfs als een objectieve analyse aan zou tonen dat vrouwen
daadwerkelijk vaker ongelukken veroorzaken, zou deze discriminatie niet gerechtvaardigd zijn
(Overheid, 2020).
In andere gevallen ligt dit weer anders, zoals bij discriminatie op basis van leeftijd. Hiervoor is
de rechtvaardigingsgrond minder streng. Onderscheid op basis van leeftijd mag namelijk als het wordt
uitgevoerd voor een gerechtvaardigd doel en als er, om dit doel te bereiken, gebruik gemakt wordt van
passende en noodzakelijke middelen (Overheid, 2020). Zo kan discriminatie op basis van leeftijd bij
fysiek zware beroepen zoals brandweerman, piloot of politieman gerechtvaardigd zijn (Lammerant et
al., 2019).
Indirecte Discriminatie
“Als ik bijvoorbeeld een postcode weet, dan kan ik al in een bepaalde wijk zitten in een stad. En dat kan door proxy samenhangen met bepaalde etnische groep of met bepaalde inkomen strata en daarmee opleiding en IQ, enzovoorts. Of dat blijkt net een bepaalde plek te zijn in de biblebelt en dan heb ik een religieuze bias. Ik hoef religie helemaal niet als attribuut mee te nemen, maar als ik postcodegebieden meeneem dan kan ik dat toch meenemen omdat er een sterke correlatie bestaat tussen wat ik wel in mijn dataset heb en de attributen die ik niet meeneem, maar waar er een sterke correlatie mee bestaat.”
- Tom van Engers
Als er geen vorm directe discriminatie aanwezig is kan er echter nog wel een andere vorm van
discriminatie optreden, namelijk indirecte discriminatie. Dit betekent dat als er geen beschermde
persoonsgegevens zijn opgenomen in een KI algoritme, er nog wel moet worden bepaald of er sprake
is van indirecte discriminatie.
Deze vorm van discriminatie kan namelijk optreden als er geen
beschermde persoonsgegevens in het model zijn opgenomen, maar er een correlatie bestaat tussen de
in het model opgenomen attributen en de beschermde persoonsgegevens (Overheid, 2020)..
Net als bij directie discriminatie is het zo dat het slachtoffer in principe de vermoedelijke
discriminatie moet bewijzen. Deze bewijslast draait vervolgens om zodra het vermoeden van
discriminatie hard gemaakt wordt (Overheid, 2020). Dit kan in de vorm van statistische analyses die
laten zien dat het algoritme zorgt voor een onevenredige uitsluiting van personen met een van de
beschermde persoonsgegevens, zoals mensen van een bepaald geslacht of etniciteit.
Als statistisch gezien blijkt dat een bepaald algoritme personen met een van de beschermde
persoonsgegevens onredelijk benadeelt, zal het bedrijf of overheidsorgaan achter het algoritme ter
verdediging hiervoor een rechtvaardiging moeten aandragen (Overheid, 2020).
“Ik weet ondertussen dat er onderscheid wordt gemaakt tussen directe en indirecte discriminatie en dat ze over directe discriminatie wel redelijk hebben bedacht wat ze daar van vinden. Je mag niet iemands afkomst meenemen voor het bepalen of iemand een risico is. Maar indirecte discriminatie is nog een open mijnenveld. Dus wat gebeurt er nou als iemand in een bepaalde wijk gaat wonen of bij een bepaalde toko z'n boodschappen doet? Hoe ga je om met indirecte discriminatie? Dat is denk ik een hele nuttige discussie.”
- Rik Helwegen
Er bestaat voor indirecte discriminatie, in tegenstelling tot directe discriminatie en zoals Rik
beschrijft, geen gedetailleerd uitgewerkte uitzonderingsbepaling (Overheid, 2020). Er bestaat enkel een
algemene rechtvaardigingsgrond die beschrijft dat de discriminatie objectief gerechtvaardigd moet
worden door een legitiem doel. Bovendien moeten de middelen die gebruikt worden om dit doel
bereiken passend en noodzakelijk zijn (Overheid, 2020). Zodra er indirecte discriminatie wordt
vastgesteld moet er bewijs worden geleverd die het verband tussen de grond waarop het onderscheid
wordt gemaakt en het doel weergeeft. Ter voorbeeld: als in een bepaalde wijk, waar een
elektriciteitsbedrijf maatregelen treft om beschadiging en illegale stroom-aftap te voorkomen, blijkt dat
een groep mensen van een bepaalde etniciteit oververtegenwoordigd zijn betekent dit dat de
maatregelen van het elektriciteitsbedrijf die groep dus onevenredig benadelen. Het elektriciteitsbedrijf
moet vervolgens kunnen bewijzen dat in die wijk inderdaad beschadigingen zijn gedaan en dat er een
risico aanwezig is dat zich zal herhalen (Lammerant et al., 2019).
Ten tweede moet worden vastgesteld of de maatregelen van het elektriciteitsbedrijf een
passende en noodzakelijke oplossing om het doel te bereiken. Hierbij betekent ‘passend’ dat de
oplossing juist is om het doel te bereiken, maar dit doel hoeft echter niet volledig bereikt te worden. Het
probleem van het energiebedrijf hoeft zo niet helemaal opgelost te worden. Als een bepaalde oplossing
zorgt voor een aanzienlijke vermindering van schade of stroomaftap, is dat al genoeg om als passend te
worden gezien (Lammerant et al., 2019). ‘Noodzakelijk’ betekent hier twee dingen. Ten eerste mag het
doel niet worden bereikt met andere en minder ingrijpende oplossingen. Dit zorgt ervoor dat er altijd
voor de minst ingrijpende oplossing wordt gekozen. Ten tweede mogen de veroorzaakte nadelen niet
disproportioneel zijn in vergelijking tot het nagestreefde doel en bovendien mag de oplossing geen
buitensporige inbreuk maken op de belangen van de betrokkenen (Het Europese Hof, 2015).
Intellectual Property
“Die bedrijven hebben vaak een intellectueel eigendomsrecht op iets wat ze hebben gemaakt, of die zijn bang voor nabootsing door anderen. Of als je kijkt naar een toepassing bij een overheid: Als wij vertellen hoe wij
Bachelor Thesis Didier Dirks 21 kijken of er sprake is van fraude, dan gaat die zich iets anders gedragen, dan presenteren ze hun feitencomplex anders. Dat zijn allemaal dingen die natuurlijk waar zijn, maar volgens mij hoeven we het daar helemaal niet over te hebben”
- Tom van Engers
Het probleem van het intellectueel eigendomsrecht lijkt minder relevant. Het is namelijk zo dat zodra
er een vermoeden van discriminatie bestaat, er aan de organisatie achter het algoritme wettelijk kan
worden gevraagd om te bewijzen dat de beschermde eigenschap niet in het algoritme wordt gebruikt.
Als het (vermoedelijke) slachtoffer feiten kan aanvoeren die discriminatie doen vermoeden moet,
volgens de wetten voor gelijke behandeling, de verweerder kunnen aantonen dat het beginsel van gelijke
behandeling niet wordt geschonden (Overheid, 2020). Het kan zo zijn dat een bedrijf hier niet aan mee
wil werken en dus geen inzage wil geven in data of de werking van een algoritme, zoals hierboven al
beschreven. Het bedrijf loop dan echter het risico dat directe discriminatie wordt aangenomen, zelfs als
er geen verboden gronden in het beslismodel staan (Overheid, 2020). Een ondoorzichtig beleid kan er
zo voor zorgen dat directe discriminatie wordt aangenomen, en dit is iets wat bedrijven ontmoedigd om
op onverantwoordelijke manier met algoritmes om te gaan (Overheid, 2020).
4.2 ROL VAN DE OVERHEID
Naast de huidige situatie wat betreft wetgeving over discriminatie is het ook relevant om te kijken naar
de rol die de overheid en de politiek spelen in het bestrijden en handhaven van bias in KI algoritmes.
Uit meerdere interviews met de experts blijkt dat de overheid inmiddels zich bewust is van het bestaan
van bias en het probeert aan te pakken. Een van de respondenten, Job Spierings, zegt het volgende:
“Wat je eigenlijk ziet is dat de overheid nu midden in een ontwerpproces zit, waarin ze deels ook worstelen met hun rol en dingen probeert.”- Job Spierings
Daarnaast schrijft Minister voor Rechtsbescherming Sander Dekker in 2019 in een open brief aan de
tweede kamer het volgende:
“Het staat voor het kabinet voorop dat bij de verdere ontwikkeling en toepassing van data-analyses gebaseerd op algoritmes tegelijkertijd moet worden geïnvesteerd in de ontwikkeling van waarborgen die de … risico’s moeten beperken” (Dekker, 2019).
In dezelfde brief schrijft Dekker (2019) dat het kabinet vindt dat de huidige regelgeving onvoldoende
is toegespitst op de risico’s bij data-analyses en algoritmes. Om zoveel mogelijk deze risico’s,
waaronder het risico op de discriminerende effecten die kunnen volgen uit fouten in algoritmes en
datasets, te minimaliseren stelt Dekker (2019) dat het nodig is om bepaalde wettelijke waarborgen te
creëren.
Eerder al heeft het ministerie van Justitie bepaalde richtlijnen ontwikkeld voor het toepassen
van algoritmische analyses.12 Volgens Dekker (2019) zijn deze richtlijnen “relevant voor
data-analyses in brede zin en bevatten concrete en op de stand van de technologie afgestemde aanwijzingen,
bedoeld om het inzicht in, de transparantie en de kwaliteit van algoritmes en data-analyses door
overheidsinstanties te vergroten”. In een gesprek met Job Spierings blijkt dat hoewel dit zeker een stap
in de goede richting is, er veel kritiek is op deze richtlijnen:
“Die richtlijnen zijn afgelopen najaar naar de Tweede Kamer gestuurd en met dat naar de Kamer sturen zegt het ministerie van Justitie nu "Nu zijn ze geldend". Maar er is voor zover ik weet weinig of geen beleid op dit moment beschikbaar om ook te waarborgen dat die richtlijnen daadwerkelijk worden gebruikt en ingezet en dat je dat kan rapporteren. Niemand roept je tot de orde, dus de materiële betekenis daarvan is niet zo groot.”
- Job Spierings
“Ze zijn bezig met richtlijnen, onder andere vanuit Justitie en Veiligheid, voor het ethisch gebruik van algoritmes. Die worden ook nog aangepast op dit moment want daar was ook wel nog een hoop mis mee.”
- Rik Helwegen
Job Spierings heeft onderzoek gedaan en een rapport geschreven over de toepasbaarheid van de
richtlijnen in de praktijk bij de Politie en het UWV. Hij geeft aan dat het zeker goed is dat de overheid
een stap zet, maar dat duidelijk is dat die stap nog onvoldragen is en voor heel veel verbetering vatbaar
Bachelor Thesis Didier Dirks 23
is. Zoals hij ook in het rapport beschrijft vormen de richtlijnen een goed kader voor een gesprek, maar
zijn ze nog geen zelfstandig bruikbaar instrument. Met andere woorden je kunt er niet door vaststellen
of een algoritme een goed algoritme is of niet.
Toekomst
Naast de hiervoor besproken richtlijnen stelt Dekker (2019) dat het kabinet wil toewerken naar bepaalde
waarborgen die in wet vastgelegd kunnen worden, om zo de transparantie, kwaliteit en betrouwbaarheid
van data en algoritmes te verbeteren. In tegenstelling tot de niet-dwingende richtlijnen zouden deze
wettelijke waarborgen de handhaving van en het toezicht op algoritmes kunnen versterken, en
uiteindelijk moet dit ertoe leiden dat de mogelijke discriminerende effecten die kunnen volgen uit fouten
in datasets en algoritmes worden geminimaliseerd.
“Dus je ziet dat op dit moment overal in de wereld zijn mensen aan het nadenken zijn “wat is dat toch met die bias, willen we dat eigenlijk wel en wat moeten we eraan doen?” Het is een geruststellende gedachte dat mensen het een serieus probleem achten. Wij gaan dat nu voor BZK doen, die wil dat in Nederland ook hebben.”
- Tom van Engers
Hoe die waarborgen er precies uit gaan zien staat nog niet vast. Daar loopt op dit moment vanuit het
ministerie van Binnenlandse Zaken een onderzoek over. Hiervoor wordt ook inspiratie opgedaan vanuit
andere landen. In gesprek met Tom van Engers beschrijft hij een wetsvoorstel van the New York City
Council die als doel heeft de bias in algoritmen aan te pakken. Zo moeten ze worden onderworpen aan
een toets op bias en als dat niet gebeurt krijgt het bedrijf achter het algoritme een boete.
4.3 VERBETERPUNTEN HUIDIGE WETGEVING
Er blijkt dat de huidige Nederlandse wetgeving tekort schiet bij het handhaven en bestrijden van bias
bij KI algoritmes.
Geen controle op bias
“Je kunt gewoon met een beroep op mensenrechten en op het strafrecht kun je dat aanpakken. Alleen de vraag is: hoe is dat nou in de praktijk het geval? Ja, dat kun je doen op het moment dat jij dat vermoeden hebt of kennis hebt dat dat gebeurt. Maar meestal weet je dat niet. “
- Tom van Engers
Een van de allereerste tekortkomingen van de huidige wetgeving kwam hiervoor al veel naar voren.
Namelijk het feit dat een slachtoffer bij een vermoeden zelf naar de rechter moet stappen, zonder kennis
van een bepaald algoritme te hebben. Ten eerste betekent dit dat bedrijven vrij hun gang kunnen gaan
zonder gecontroleerd te worden op discriminerende algoritmes. Pas als er een vermoeden bestaat, er
actie wordt ondernomen en het vermoeden kan worden hard gemaakt wordt een onderzoek ingesteld.
Hoewel het wel wettelijk geregeld is dat bij een vermoeden de wederpartij moet bewijzen dat er niet in
strijd met de wet voor gelijke behandeling is gehandeld, gebeurt dit dus altijd pas achteraf, nadat de
discriminatie al heeft plaatsgevonden.
Ten tweede gaat de huidige wetgeving er, vooral bij indirecte discriminatie, vanuit dat wanneer
er door de organisaties achter de algoritmes met goede intenties wordt gehandeld, er geen sprake is van
discriminatie. De wet zegt namelijk dat discriminatie gerechtvaardigd is als er een passende en
noodzakelijke middelen worden gebruikt om een legitiem doel te bereiken. Echter zorgt, zoals al eerder
is besproken, een KI beslismodel voor onvoldoende objectiviteit. Zoals hiervoor besproken kan er
namelijk op verschillende manieren onbewust een bepaalde bias in een algoritme zijn geslopen. De
huidige wetgeving neemt deze echter niet in acht en gaat er zo vanuit dat zodra er een legitiem doel
wordt nagestreefd er geen discriminatie plaats kan vinden.
Gebrek aan objectief kader
“Wij zitten met smart te wachten op een objectieve aanpak, dus dat betekent dat we moeten nadenken over wat zijn dan de criteria als we over bias praten?”
- Tom van Engers
Als er vervolgens een vermoeden bestaat dat een bepaald algoritme discriminerend werkt, bestaat er
geen eenduidig objectief kader over wat er in welke situatie gerechtvaardigd is en wat niet. Meteen rijst
zich al de vraag of de resultaten van een algoritme gebruikt mogen worden om een bepaald onderscheid
te maken op basis van beschermde persoonsgegevens. Aan de basis van de rechtvaardiging van directe
of indirecte discriminatie ligt de vraag of het verschil in behandeling gedaan wordt aan de hand van een
objectief criterium. Bij het verschillend behandelen van personen is het dus de vraag of hierbij
statistische verschillen in data gelden als een voldoende objectief criterium en dus discriminatie
rechtvaardigen. Door verschillende opvattingen van directe discriminatie is de rechtspraak van het Hof
Bachelor Thesis Didier Dirks 25
van Justitie hier niet eenduidig in, en heeft verschillende zaken hierover niet op gelijke manier
afgehandeld (Lammerant et al., 2019).
Zo kwam dit thema naar boven in een recente zaak rond indirecte discriminatie bij het bestrijden
van witwassen door de Deense bank Jyske Finans. Hier oordeelde de Advocaat-Generaal dat er bij het
bestrijden van witwassen per persoon een geïndividualiseerde risicobeoordeling moet worden
opgesteld, waarbij statistische verschillen discriminatie aan de hand van een beschermd
persoonsgegeven niet rechtvaardigen (Lammerant et al., 2019). Dit thema kwam ook aan bod in een
andere zaak, waarbij een artikel uit het Europese wetboek ongeldig werd verklaard omdat deze in strijd
is met de non-discriminatiewetten. Dat artikel stond toe dat verzekeringsbedrijven verschillende
premies mochten berekenen in het geval dat geslacht een bepalende factor was. Met andere woorden,
hierdoor was directe discriminatie op basis van geslacht toegestaan. Dit artikel werd door Het Hof in
Luxemburg gezien als in strijd met non-discriminatiewetgeving en dus ongeldig verklaard. Volgens de
Advocaat-Generaal kan statistische data kunnen niet zomaar worden gebruikt om te differentiëren op
beschermde gronden (Lammerant et al., 2019).
“Er zijn natuurlijk attributen waarbij het voor de hand ligt dat die zouden kunnen worden gebruikt om onderscheid te maken en misschien wel een onderscheid wat niet gewenst is om te maken. Maar zelfs als je dat niet doet, dan kun je by proxy nog steeds andere attributen hebben die op zichzelf of in combinatie in feite tot subsets van een populatie komen en daarmee discriminerend werken en bias produceren in zo'n resultaat.”
- Tom van Engers
In de hiervoor beschreven zaken wordt duidelijk dat verschillende rechtbanken bij zowel directe
als indirecte discriminatie statistische data niet goedkeuren als rechtvaardiging voor een verschil in
behandeling op basis van een beschermd persoonsgegeven. Dit is, zoals Tom van Engers al aangeeft,
voor bepaalde attributen als geslacht, ras en afkomst heel duidelijk.
“Als jij een systeem gaat bouwen dat moet gaan helpen bij de politie, bij opsporingen enzovoorts, dan vinden wij gewoon niet dat je dan etniciteit mee mag nemen. En ook zijn proxies niet. Dat is gewoon een politieke, juridische, ethische keuze die we a priori gemaakt hebben.”
- Cor Veenman
