Gender Bias in Algoritmen: Bewustwording Binnen Nederlandse Organisaties
Bibi Kok 11063394 19-6-2020
Begeleider: mw. E.C. (Imke) Brummer MA
2e Examinator: mw. dr. J.A.C. (Jacobijn) Sandberg Bachelor scriptie Informatiekunde
Aantal woorden: 10.503
Faculteit der Natuurwetenschappen, Wiskunde en Informatica Universiteit van Amsterdam
Inhoudsopgave
Abstract.………...………...………...……….….3
Inleiding. .………...………...………...…………4
Hoofdstuk 1. Machine Learning………...………...………...…………6
Hoofdstuk 2. Bias in Algoritmen………...………...9
Hoofdstuk 3. Gender bias in Algoritmen………...………...……….12
Methode ………...………...………...17
Resultaten ..………...………...………..19
Oorzaken genderbias .………...………...……….19
Huidig bewustzijn in organisaties………...23
Huidige situatie rondom beleid..………..…………...25
Oplossingsperspectieven..………...……...………...26
Ontwikkelingen van het bewustzijn .……… ………...29
Discussie………...………...………...32
Literatuur………...………...………..………..35
Abstract
De aandacht voor machine learning in Nederlandse organisaties is de afgelopen jaren aanzienlijk gegroeid. Recentelijk is vastgesteld dat algoritmen gender bias kunnen bevatten en zo vrouwen systematisch achter kunnen stellen. In deze scriptie is onderzocht in hoeverre er sprake is van bewustwording in Nederlandse organisaties over gender bias in algoritmen. Om deze vraag te beantwoorden is onderzocht wat de oorzaken zijn van gender bias, hoe bewust organisaties zijn over gender bias en of organisaties gender bias proberen te voorkomen. Dit is onderzocht aan de hand van een combinatie van literatuuronderzoek en diepte-interviews met zes deelnemers die werkzaam zijn in het veld van kunstmatige intelligentie. Uit de resultaten bleek dat zowel genderongelijkheid in de maatschappij, als de ontwikkelaars van invloed zijn op het ontstaan van gender bias in algoritmen. Daarnaast bleek dat organisaties niet altijd op de hoogte zijn van het bestaan van genderbias in algoritmen, maar dat het bewustzijn hierover zich wel aan het ontwikkelen is. Ook werd vastgesteld dat er momenteel een gebrek aan beleid is rondom dit probleem, waardoor organisaties vaak zelf een beleid op stellen. Oplossingen van organisaties bleken gebaseerd op fairness, transparantie en het houden van menselijke toezicht en controle. Hoewel dit onderzoek een lage externe validiteit heeft, kan het wel een richting geven voor vervolgonderzoek.
Inleiding
De afgelopen jaren is het aantal toepassingen van kunstmatige intelligentie in de samenleving explosief toegenomen. Consumenten maken in huis gebruik van intelligent agents zoals Siri en Alexa, bedrijven laten zich kandidaten aanbevelen door algoritmen in sollicitatieprocedures en medici baseren beslissingen op de resultaten van image based machine learning (Erickson et al., 2017; Kodiyan, 2019; West et al., 2019).
Bovenstaande voorbeelden zijn toepassingen van een specifiek domein uit kunstmatige intelligentie genaamd machine learning. In dit domein leert een computer zelf patronen te herkennen uit een gegeven dataset, deze patronen worden algoritmen genoemd. Op basis van deze algoritmen kan een computer vervolgens voorspellingen maken over toekomstige data (Bini, 2018). Machine learning biedt bepaalde voordelen ten opzichte van menselijke prestaties: zo kunnen grotere hoeveelheden informatie efficiënter worden verwerkt, zonder dat vermoeidheid of verveling een rol zal spelen (Leavy, 2018; Mehrabi et al., 2019).
Fundamenteel in machine learning is het gebruik van correcte data. Het gebruik van incomplete, niet-representatieve of onbetrouwbare data leidt namelijk tot fouten in een voorspelling van een algoritme. Dit kan resulteren in onjuiste of vertekende beslissingen door de gebruiker van het algoritme (Cai & Zhu, 2015). Met het toenemend gebruik van machine learning in belangrijke organisaties zoals overheden en ziekenhuizen, kan daarmee ook de impact van dit soort onjuiste of vertekende beslissingen in de maatschappij toenemen (M&I Partners, 2020; Rijksoverheid, 2019).
Recentelijk is vastgesteld dat algoritmen systematisch specifieke individuen of groepen onjuist kunnen bevoordelen of benadelen (Bolukbasi et al., 2016; Buolamwini, 2018; Gonen & Goldberg, 2019). Deze vertekening van de realiteit wordt gedefinieerd als bias (Kay et al., 2015). Onderzoek heeft aangetoond dat algoritmen biases kunnen bevatten die in de maatschappij voorkomen, maar dat er ook tijdens het ontwikkelen van algoritmen nieuwe soorten biases ontstaan (Chouldechova & Roth, 2018; Howard & Borenstein, 2018). Steeds meer onderzoekers benadrukken daarom het belang van fairness in algoritmen (Chouldechova & Roth, 2018). Een algoritme is fair wanneer deze geen voorkeur voor of vooroordeel tegen bepaalde individuen of groepen heeft (Mehrabi et al., 2019).
Wanneer een algoritme een voorkeur voor of een vooroordeel tegen een bepaald geslacht heeft, bevat deze gender bias (Sun et al., 2019). Onderzoek naar bias en fairness in algoritmen toont aan dat vrouwen door algoritmen kunnen worden achtergesteld (Bolukbasi et al., 2016; Buolamwini, 2018; Kodiyan, 2019; Leavy, 2018). Zo hebben op machine learning
gebaseerde technologieën zoals gezichts- en spraakherkenning meer moeite met het herkennen van vrouwen dan mannen (Buolamwini, 2018; Tatman, 2017). Recentelijk zijn ook meerdere grote bedrijven beschuldigd van het toepassen van algoritmen die een gender bias bevatten in hun services. Vrouwen kregen bijvoorbeeld door bedrijven zoals Google en Facebook minder advertenties met goed betaalde banen aangeraden in vergelijking tot mannen (Ali et al., 2019; Datta et al., 2015).
Een probleem omtrent het opsporen van gender bias is dat dit zowel impliciet als expliciet kan ontstaan in een algoritme (Howard & Borenstein, 2018). Organisaties die algoritmen met gender bias toepassen zullen dit dus niet altijd opzettelijk doen. Wanneer gender bias in een algoritme niet wordt opgemerkt kan dit als gevolg hebben dat deze bias zich op grote schaal verspreidt in de maatschappij. Van belang is daarom dat er niet alleen een bewustzijn wordt gecreëerd over het bestaan van gender bias in algoritmen, maar ook over wat de oorzaken hiervan zijn. Het onderzoek van Yapo en Weiss (2018) toont aan dat hoewel het publieke bewustzijn over gender bias in algoritmen momenteel aan het groeien is in de Verenigde Staten, er op dit moment nog weinig beleid is rondom het ontwikkelen van algoritmen. Net als het onderzoek van Yapo en Weiss (2018) is het meeste onderzoek naar gender bias in algoritmen geschreven vanuit een Amerikaanse context (Bolukbasi et al., 2016; Gonen & Goldberg, 2019; Sun et al., 2019; Zhao et al., 2017). In deze scriptie wordt daarom onderzocht in hoeverre er sprake is van bewustwording over gender bias in gebruikte algoritmen in Nederlandse organisaties. Deze vraag is beantwoord aan de hand van de volgende drie deelvragen:
1. Wat zijn de oorzaken van gender bias in algoritmen?
2. Zijn Nederlandse organisaties zich bewust van het bestaan van gender bias in algoritmen?
3. Zijn Nederlandse organisaties bezig met het voorkomen of corrigeren van gender bias in hun algoritmen?
De deelvragen in deze scriptie worden beantwoord aan de hand van literatuur en kwalitatief onderzoek door middel van interviews. Voordat de deelvragen worden beantwoord wordt eerst een verdiepende uitleg gegeven over het concept van machine learning en de processen erachter. Daarna wordt op basis van literatuuronderzoek de eerste deelvraag over de oorzaken van gender bias in machine learning beantwoord. Vervolgens worden de resultaten van de interviews gebruikt om het antwoord op de eerste deelvraag aan te vullen en de laatste twee deelvragen te beantwoorden.
Hoofdstuk 1. Machine Learning
Om de oorzaken van gender bias in algoritmen te begrijpen, is het van belang dat de begrippen rondom machine learning duidelijk gedefinieerd zijn en dat ook het verschil tussen kunstmatige intelligentie en machine learning helder is. In de literatuur worden verschillende definities aangehaald voor beide begrippen, maar in dit onderzoek worden de onderstaande overkoepelende definities aangehouden.
Kunstmatige Intelligentie en Machine Learning
Kunstmatige intelligentie kan worden gedefinieerd als het onderzoeksgebied naar intelligent agents. Dit zijn apparaten die proberen de kans op een bepaald doel te maximaliseren met de hulp van waarnemingen uit hun omgeving (Bini, 2018). Om deze kansen te kunnen maximaliseren is het essentieel dat de apparaten het vermogen hebben om zich aan te passen aan hun omgeving (Howard & Borenstein, 2018). Elk mechanisme dat het besluitmakingsproces van een intelligent agent stuurt aan de hand van de omgeving is daarmee een onderdeel van kunstmatige intelligentie. Toepassingen hiervan kunnen variëren van fysieke – uit hardware bestaande – robots, tot software gestuurde chatbots op een platform (Nwana, 1996).
Een domein uit het onderzoeksgebied van kunstmatige intelligentie is machine learning. In het onderzoeksveld van machine learning leren apparaten aan de hand van een dataset een bepaald patroon te herkennen (Ashmore et al., 2019). Dit patroon wordt ook wel een algoritme genoemd. Een algoritme kan worden gebruikt om voorspellingen te maken over data waarbij niet alle gegevens bekend zijn. Hoe meer data wordt ingevoerd om een algoritme te ontwikkelen, hoe accurater deze vervolgens een voorspelling kan maken (Bini, 2018). Hierbij moet wel een kanttekening worden gemaakt: Het invoeren van meer data zal leiden tot een accuratere voorspelling op basis van de dataset maar heeft niet automatisch een accuratere voorspelling van de werkelijkheid tot gevolg.
Belangrijk om te onderscheiden is dat machine learning een onderdeel is van kunstmatige intelligentie, maar dat de nadruk in deze tak ligt op het zelflerende aspect van apparaten. In de volgende alinea wordt dieper ingegaan op hoe machine learning algoritmen zich verhouden ten opzichte van de werkelijkheid en data, en hoe deze twee interacteren met elkaar.
De Machine Learning Loop
Voor het bespreken van de oorzaken van gender bias in algoritmen en waar deze kunnen ontstaan in het ontwikkelproces, is de machine learning loop (zie Figuur 1) opgesteld. Dit model beschrijft het iteratieve proces achter het ontwikkelen van algoritmen. Daarnaast weergeeft dit model ook hoe algoritmen zich verhouden tot data en de werkelijkheid. De processen die hierin worden besproken zijn (1) Werkelijkheid naar data, (2) Data naar algoritme en (3) Algoritme naar werkelijkheid.
Figuur 1. De Machine Learning Loop
(1)Werkelijkheid naar Data
Het ontwikkelen van een algoritme begint met het verzamelen van data gebaseerd op de werkelijkheid. Afhankelijk van het uiteindelijke doel van het algoritme kunnen ontwikkelaars ervoor kiezen om deze data zelf te verzamelen, of al bestaande datasets te gebruiken (Ashmore et al., 2019).
Meestal wordt door de ontwikkelaars voor de laatste optie gekozen omdat het zelf verzamelen van data een tijdsintensieve taak kan zijn (Suresh & Guttag, 2019). Daarnaast is er in de afgelopen jaren een exponentiële groei geweest in de beschikbaarheid van door elektrische apparaten verzamelde data (Daas et al., 2014). Deze grote hoeveelheden data worden ook wel “Big Data” genoemd en bestaan vaak uit complexe en wisselende structuren (Iqbal et al., 2020). Met de groei van mogelijke toepassingen voor deze data in machine learning is het aanbod en de waarde van deze data de afgelopen jaren flink toegenomen (Cai & Zhu, 2015). Dit in tegenstelling tot het verleden, waarin data gecontroleerd werd en maar gelimiteerd beschikbaar was. Het toenemend aanbod maakt het lastiger om de methodologieën en technieken die zijn gebruikt voor het verkrijgen van de data te achterhalen. Het gevolg is dat ook de kwaliteit van de data lastig te verifiëren is (Rubin, 2014).
(2) Data naar Algoritme
Een vervolgstap is het verwerken van de verzamelde data, zodat deze kan worden gebruikt als input voor het ontwikkelen van een algoritme. In dit proces wordt onder andere de data homogeen gemaakt en krijgt het labels toegewezen (Ashmore et al., 2019).
Hierna wordt de data verdeeld in verschillende datasets, waaronder een training- en verificatie dataset. De data uit de trainingsdataset wordt gebruikt om het algoritme te ontwikkelen (Suresh & Guttag, 2019). Het doel hiervan is dat het algoritme de relatie uit de werkelijkheid kan repliceren op basis van het trainingsdata. Dit zal vervolgens worden getest aan de hand van de verificatie dataset. Het doel van deze verificatie is om te verzekeren dat het algoritme ook goed presteert op data die het nog niet eerder heeft gezien (Ashmore et al., 2019). Ten slotte zal het geverifieerde algoritme worden geïntegreerd in een systeem dat gebruikt wordt voor de uiteindelijke toepassing. De uitkomst van deze fase is dan ook een functionerend systeem op basis van het algoritme (Suresh & Guttag, 2019).
(3) Algoritme naar Werkelijkheid
Wanneer het algoritme verwerkt is in de uiteindelijke toepassing zal deze voorspellingen kunnen maken op basis van de verkregen inputdata. Deze voorspellingen kunnen vervolgens gebruikt worden door individuen of organisaties om beslissingen te nemen. Deze beslissingen kunnen verschillen in significantie en impact, maar hebben allemaal een invloed op de werkelijkheid (Oneto & Chiappa, 2020).
Een belangrijk concept in machine learning is feedback loops. Feedback loops vinden plaats wanneer een algoritme beslissingen neemt die invloed hebben op de input data die het in de toekomst zal ontvangen (Chouldechova & Roth, 2018; Ensign et al., 2017). Elke uitkomst van een voorspelling door het algoritme dient in dit geval dan ook weer als input voor het algoritme.
Hoofdstuk 2. Bias in Algoritmen
In het vorige hoofdstuk werd uitgezet dat het invoeren van meer data niet altijd zal leiden tot een accuratere voorspelling van de werkelijkheid. Toch wordt er vaak vanuit gegaan dat het gebruik van machine learning de objectiviteit en nauwkeurigheid van de voorspelling bevordert (Barocas & Selbst, 2018). Het blijkt echter dat algoritmen in werkelijkheid
minstens net zoveel bias kunnen bevatten als ‘mensen’ (Chen et al., 2018). Onderzoek toont aan dat menselijke biases in algoritmen terecht kunnen komen en vervolgens zelfs kunnen worden uitvergroot door het algoritme (Bolukbasi et al., 2016; Hu & Strout, 2018; Sun et al., 2019). In deze paragraaf wordt uiteengezet op welke manieren biases in algoritmen kunnen ontstaan. Aan de hand van de machine learning loop (zie Figuur 1) wordt geprobeerd om de verschillende typen bias te categoriseren op de plek waarin ze kunnen ontstaan in het model.
Net als voor de begrippen machine learning en kunstmatige intelligentie bestaan er voor bias verschillende definities in de literatuur. In deze scriptie zal bias worden gedefinieerd als het fenomeen “waarbij individuen, groepen of processen onjuist en systematisch ander individuen of groepen bevoordelen of benadelen”(Kay et al., 2015). Benadrukt moet worden dat bias een onderdeel is van het menselijk gedrag, en dat dit zowel bewust als onbewust besluitvormingsprocessen kan beïnvloeden. Het uitsluiten van de invloed van bias is daarom ook lastig omdat een bias zowel impliciet als expliciet kan worden gevormd gedurende een menselijk bestaan (Howard & Borenstein, 2018).
Algoritmen kunnen dus net als mensen ook bias bevatten, waardoor ze systematisch bepaalde individuen of groepen onjuist bevoordelen of benadelen. Bias kan op verschillende plekken in de machine learning loop in een algoritme terecht komen. Het artikel van Suresh en Guttag (2019) heeft een selectie gemaakt van biases die een algoritme mogelijk kunnen beïnvloeden. In Tabel 1 zijn deze biases op basis van dit artikel gecategoriseerd op de plek waarin deze ontstaan in de machine learning loop. Deze categorisatie is uitgevoerd met als doel het verhelderen van de definitie van de biases, maar staat niet altijd vast. Door de interactie van de processen in het model, kunnen biases soms ook op andere plekken in het model ontstaan of zelfs met elkaar overlappen (Mehrabi et al., 2019). Ter ondersteuning van Tabel 1 in de volgende alinea een algemene uitleg gegeven over hoe biases kunnen ontstaan in de machine learning loop.
Tabel 1.
Definities van de biases uit het artikel van Suresh en Guttag (2019)
Bias Definitie Plaats in de Machine
Learning Loop Historische
Bias
Deze bias vindt plaats als er een vorm van bias bevindt in de werkelijkheid. Als gevolg zal deze worden overgenomen in de data, zelfs wanneer deze foutloos wordt overgenomen.
(1) Werkelijkheid naar data
Measurement Bias
Deze bias ontstaat als het gevolg van de gekozen methode om de werkelijkheid te meten.
(1) Werkelijkheid naar data
Representatie Bias
Deze bias komt voor wanneer niet de volledige populatie gerepresenteerd is in de data. Dit zorgt ervoor dat het algoritme niet te generaliseren is naar de gehele populatie.
(1) Werkelijkheid naar data
Aggregatie Bias
Deze bias vindt plaats wanneer de datasets van verschillende subpopulaties onjuist worden samengevoegd. Dit resulteert in een algoritme dat geen goede voorspellingen voor de hele populatie kan doen.
(2) Data naar algoritme
Evaluatie Bias
Deze bias komt voor wanneer onjuiste
referentiekaders worden gebruikt om een algoritme te evalueren.
(2) Data naar algoritme
Deployment Bias
Dit vindt plaats wanneer het systeem onjuist wordt geïnterpreteerd door de gebruiker.
(3) Algoritme naar werkelijkheid
(1) Werkelijkheid naar Data
In dit proces wordt geprobeerd de werkelijkheid vast te leggen in een dataset. Er zijn veel factoren die deze vertaling van de werkelijkheid kunnen beïnvloeden. Zo is de data in de dataset afhankelijk van de historische context waarin deze is ontwikkeld, maar verdwijnt tegelijkertijd ook een deel van deze context bij het vertalen van de werkelijkheid naar de data (Sloane, 2019). Daarnaast brengt het vertalen van menselijk gedrag naar data uitdagingen met zich mee omdat het lastig is om dit objectief uit te voeren (Oneto & Chiappa, 2020). Dit heeft
als gevolg dat er ook menselijke biases terecht kunnen komen in de dataset (Chouldechova & Roth, 2018).
(2) Data naar Algoritme
In het vorige hoofdstuk is uiteengezet waarom het ontwikkelen van een algoritme vanuit data niet een volledig geautomatiseerd proces is. In dit proces worden namelijk beslissingen gemaakt door de ontwikkelaars van een algoritme, zoals het kiezen van een evaluatie methodologie of het definiëren van het doel van het algoritme. Het maken van deze keuzes kan leiden tot het ontstaan van bias in algoritmen (Suresh & Guttag, 2019).
(3) Algoritme naar Werkelijkheid
Vanaf het moment dat een algoritme geïntegreerd is in een systeem kan deze invloed hebben op de werkelijkheid. In deze interactie kunnen biases ontstaan, maar kunnen er ook bepaalde biases worden verergerd door het plaatsvinden van een feedback loop. Het probleem van een hiervan is dat het algoritme een eigen realiteit creëert: het model valideert zijn eigen beslissing door deze weer terug te geven als input. Dit kan als gevolg hebben dat een van oorsprong kleine bias wordt verergerd in de werkelijkheid door een machine learning algoritme (Hu & Strout, 2018).
Hoofdstuk 3. Oorzaken van Gender bias in Algoritmen
In dit hoofdstuk worden de oorzaken van gender bias in algoritmen besproken aan de hand van eerder onderzoek. Daarnaast wordt onderzocht of deze oorzaken overeenkomen met de biases uit Tabel 1. De oorzaken van gender bias worden net als de biases besproken aan de hand van de drie processen van de machine learning loop.
(1) Werkelijkheid naar Data
Het systematisch achterstellen van vrouwen gebeurt niet alleen door algoritmen, maar vindt ook plaats in de werkelijkheid. In de wereldwijde geschiedenis hebben mannen over het algemeen altijd meer macht en status gehad ten opzichte van vrouwen (Connor et al., 2016). Dit is een voorbeeld van genderongelijkheid, wat gedefinieerd kan worden als het hebben van ongelijke kansen tot bepaalde privileges of hulpbronnen op basis van geslacht (Dhar et al., 2018). Ook in de huidige maatschappij uit deze ongelijkheid zich nog steeds in ongelijke kansen voor vrouwen in economische participatie, educatie, zorg en politieke macht (World Economic Forum, 2019). Hoewel genderongelijkheid de afgelopen jaren wel is afgenomen, hebben mannen nog steeds op veel vlakken een hogere machtspositie ten opzichte van vrouwen (Connor et al., 2016).
In de bovenstaande alinea staat beschreven hoe genderongelijkheid voorkomt in de werkelijkheid. Dit betekent dat wanneer de werkelijkheid wordt vertaald naar data in de machine learning loop, genderongelijkheid ook in de data terecht kan komen. Dit betekent dat er historische bias uit Tabel 1 plaatsvindt: zelfs wanneer de werkelijkheid foutloos wordt overgenomen in de data kan deze genderongelijkheid bevatten omdat dit een onderdeel is van de huidige maatschappij. Een specifieke machine learning technologie waarbij deze vorm van bias is gevonden is Natural Language Processing (NLP).
In NLP bestaat de data die wordt gebruikt voor het ontwikkelen van een algoritme uit tekst. Een probleem met het gebruik van deze technologie is dat genderongelijkheid ook voorkomt in taal. Zo blijkt dat veel teksten seksistische stereotypen bevatten (Bolukbasi et al., 2016; Leavy, 2018). Seksisme is het hebben van attitudes en stereotypen die traditionele genderrollen en genderongelijkheid bekrachtigen (Zhu & Chang, 2020). Onderzoek toont aan dat seksisme verschillende uitingen van genderongelijkheid in stand houdt, zoals de ondervertegenwoordiging van vrouwen in wetenschap, management en politiek leiderschap (Zhu & Chang, 2020). Daarnaast blijkt dat in veel teksten vrouwen eerder worden beschreven
aan de hand van hun seksualiteit of uiterlijk, terwijl mannen eerder worden beschreven aan de hand van hun gedrag. Een voorbeeld hiervan uit de Engelse taal is dat wanneer vrouwen werken, dit vaak wordt benoemd in combinatie van hun geslacht zoals” “female lawyer” of “female judge”. Hiermee wordt geïmpliceerd dat dit niet is volgens bepaalde sociale verwachtingen (Sigley & Holmes, 2002). Genderongelijkheid is verder ook gevonden in het gebruik van metaforen en het ordenen van vrouwen in teksten ten opzichte van mannen (Leavy, 2018; Mills, 2002). Een gevolg van genderongelijkheid in teksten is dat het overgenomen kan worden in algoritmen, waardoor er vervolgens algoritmen met gender bias kunnen ontstaan.
Een voorbeeld van een toepassing van NLP met gender bias is geanalyseerd in het onderzoek van Kodiyan (2019). Het bedrijf Amazon gebruikte NLP voor het scannen van teksten in cv’s om zo de meest geschikte kandidaten te kunnen vinden voor openstaande functies. Aan de hand van de cv’s van eerdere succesvolle werknemers ontwikkelde Amazon een algoritme dat de belangrijkste kenmerken uit een cv zou kunnen herkennen en beoordelen. Tijdens het toepassen van dit algoritme werd ontdekt dat deze een voorkeur had voor mannelijke sollicitanten en dus gender bias bevatte.
Uit onderzoek bleek vervolgens dat er in het verleden veel meer mannen bij Amazon hadden gewerkt dan vrouwen. Dit betekende dat de data met cv’s van eerdere succesvolle werknemers voornamelijk bestond uit geschikte mannen. Het algoritme leerde zo zichzelf aan dat dit dus ook betere kandidaten waren voor de functie, en beoordeelde woorden gerelateerd aan het vrouwelijke geslacht als negatieve kenmerken. Voorbeelden van woorden die door het algoritme als negatief werden beoordeeld op een cv waren “womens chess club captain” of “women’s”, maar ook de namen van scholen waar alleen vrouwen kunnen worden aangenomen (Kodiyan, 2019).
Het voorbeeld van Amazon laat ook een andere bias zien die verbonden is met genderongelijkheid in de maatschappij; representatie bias. Zoals in Tabel 1 beschreven vindt dit plaats wanneer een algoritme wordt ontwikkeld op een dataset waarin niet de volledige populatie wordt gerepresenteerd. In het onderzoek naar Amazon dat in de vorige alinea werd genoemd, werden vrouwen dus ondervertegenwoordigd in de data die diende als input voor het algoritme. Ook hier kan genderongelijkheid aan worden verbonden. Omdat Amazon in het verleden een ongelijke man-vrouw verhouding had in het bedrijf, was er ook minder data beschikbaar van geschikte vrouwen voor het ontwikkelen van het algoritme.
Een andere toepassing van machine learning waarbij gender bias in algoritmen terecht kan komen door representatie bias is spraakherkenning. Verschillende onderzoeken tonen aan
dat spraakherkenning slechter vrouwenstemmen herkent dan mannenstemmen. Dit werd onder andere gevonden in spraakherkenning in auto’s, medische toepassingen en Google’s voice assistant (Howard & Borenstein, 2018; Tatman, 2017; West et al., 2019). Een van de oorzaken die wordt gegeven in Tatman (2017) is de scheve verhouding van het aantal mannen- en vrouwenstemmen in de data die wordt gebruikt voor het ontwikkelen van een algoritme. Één van de meest gebruikte dataverzamelingen van stemmen is TIMIT, die voor 69% uit mannelijke sprekers bestaat. Deze scheve verhoudingen gelden ook voor veel andere dataverzamelingen (Tatman, 2017).
(2) Data naar Algoritme
Zoals beschreven in de machine learning loop, maken ontwikkelaars bepaalde keuzes in dit proces die van invloed zijn op het algoritme. Hoewel programmeurs vaak proberen de objectiviteit te behouden door onafhankelijk van hun eigen lokale gebruiken, cultuur, kennis en context te werken, is het onmogelijk om hier volledig aan te ontkomen bij het maken van een algoritme (Porter, 1995). Ontwikkelaars beïnvloeden dit proces onder andere door hun eigen expertise, oordelen, beslissingen en belemmeringen. Algoritmen kunnen daarom nooit volledig worden gescheiden van de condities waarin ze zijn ontwikkeld (Geiger, 2014; Kitchin, 2017). Dit betekent dan ook dat algoritmen niet los kunnen worden gezien van hun ontwikkelaar.
De invloed van de ontwikkelaar op het algoritmen is relevant voor het ontstaan van gender bias tijdens het ontwikkelen van een algoritme uit data. Uit onderzoek blijkt namelijk dat meer dan 80% van de professoren in kunstmatige intelligentie mannelijk is. Daarnaast blijkt dat specifiek in het machine learning onderzoeksgebied maar 12% van de onderzoekers vrouwelijk is (West et al., 2019). Zowel in het werk- als onderzoeksveld is dan ook sprake van een tekort aan vrouwen. Dit tekort is een onderdeel van een groter probleem, namelijk het gebrek aan diversiteit in het werk- en onderzoeksveld van kunstmatige intelligentie (Myers-West et al., 2019). Beslissingen die worden gemaakt bij het ontwikkelen van een algoritme worden over het algemeen dus vanuit een mannelijk standpunt worden gemaakt. Dit terwijl de leidende onderzoekers in het veld van gender bias en kunstmatige intelligentie vaak vrouwelijk zijn, wat de suggestie geeft dat zij gender bias beter kunnen begrijpen en voorkomen (Leavy, 2018)
De invloed van de onderzoeker tijdens het ontwikkelen van een algoritme wordt aangetoond in het onderzoek van Buolamwini (2018). Dit onderzoek vond dat gezichtsherkenningstechnologieën gebaseerd op machine learning slechter werkten voor vrouwen dan voor mannen, en dat dit verschil nog groter werd wanneer vrouwen ook een
donkere huidskleur hadden (Buolamwini, 2018). Verantwoordelijk voor deze gender bias was evaluatie bias, eerder besproken in Tabel 1. Dit betekent dat er een verkeerd referentiekader wordt gebruikt om een algoritme te verifiëren (Mehrabi et al., 2019). Referentiekaders worden gebruikt om het best werkende algoritme uit te kiezen dat is ontwikkeld aan de hand van de trainingsdata. Het referentiekader in dit onderzoek bestond onder andere uit een verificatie dataset van foto’s met gezichten die het algoritme nog niet eerder had gezien. Één van deze verificatie datasets bevatte maar 25% vrouwen, waarvan slechts 4% een donkere huidskleur had. Witte mannen waren daarentegen de grootste subpopulaties in alle verificatie datasets. Het gevolg van dit onjuist gekozen referentiekader was dat wanneer een algoritme niet goed werkte voor (donkere) vrouwen, dit algoritme een minder slechte beoordeling kreeg ten opzichte van een algoritme dat niet goed werkte voor witte mannen. Zo ontstond er dus een algoritme dat veel slechter werkte voor (donkere) vrouwen dan voor witte mannen (Buolamwini, 2018). Suresh en Guttag (2019) koppelen de gender bias in dit algoritme ook aan representatie bias, omdat er sprake is van ondervertegenwoordiging van donkere vrouwen in de verificatie datasets.
Het artikel van Suresh en Guttag (2019) zet daarnaast uiteen hoe aggregatie bias een oorzaak kan zijn van gender bias in algoritmen. Zoals genoemd in Tabel 1 vindt aggregatie bias plaats wanneer er één algoritme wordt gebruikt voor groepen met verschillende conditionele verdelingen. In dit artikel wordt een medisch voorbeeld aangehaald uit het onderzoek van Herman en Cohen (2012). Wanneer algoritmen worden gebruikt om complicaties bij diabetespatiënten te voorspellen, is het van belang dat er verschillende algoritmen worden ontwikkeld voor mannen en vrouwen. De complicaties van diabetespatiënten verschillen namelijk per geslacht. Wanneer er geen onderscheid zal worden gemaakt, zal het algoritme zich aanpassen aan de dominante subgroep. Zoals eerder in dit onderzoek genoemd zijn mannen vaak de dominante subgroep in data ten opzichte van vrouwen. Dit leidt vervolgens tot onjuiste voorspellingen voor de overige subgroepen, vaak ten nadele van vrouwen (Suresh & Guttag, 2019)
(3) Algoritme naar Werkelijkheid
Hoewel er in dit proces ook bias kan ontstaan (zie Tabel 1), wordt in veel onderzoek het probleem van het ontstaan van feedback loops besproken. Dit kan leiden tot verergering van reeds bestaande gender biases in algoritmen. Dit vindt plaats wanneer gender bias in algoritmen invloed heeft op de werkelijkheid, wat vervolgens leidt tot een input voor het
algoritme. Voor algoritmen met gender bias betekent dit dat de nieuwe data met gender bias, opnieuw terecht komt in het algoritme. Dit kan als gevolg hebben dat een van oorsprong kleine bias juist wordt vergroot door een algoritme.
Een voorbeeld van een feedback loop die gender bias verergerd is het algoritme van het bedrijf Amazon dat eerder is genoemd (Kodiyan, 2019). Doordat het algoritme gender bias bevatte zou deze eerder mannen als geschikt beoordelen dan vrouwen. Een mogelijk gevolg hiervan zou zijn dat er ook daadwerkelijk meer mannen bij Amazon worden aangenomen ten opzichte van vrouwen. Hiermee zou de trainingsdata vervolgens alleen maar worden uitgebreid met nieuwe data van succesvolle mannelijke werknemers, wat de gender bias in het algoritme zal versterken.
Methode Deelnemers
Aan dit onderzoek hebben zes deelnemers vrijwillig meegedaan. Alle deelnemers zijn werkzaam in het veld van kunstmatige intelligentie. De belangrijkste karakteristieken van de deelnemers staan beschreven in Tabel 2. Zowel de namen van de deelnemers als de organisaties zijn geanonimiseerd omdat deze niet relevant zijn voor het onderzoek. Drie deelnemers hebben een functie in een commercieel bedrijf, de overige deelnemers zijn werkzaam in een onderzoeksinstelling. Doordat de deelnemers in hun functie ook samenwerken met andere organisaties, kunnen zij naast ervaringen in hun eigen organisatie ook ervaringen delen over andere organisaties. De deelnemers zijn geselecteerd op basis van hun LinkedIn profiel. Tijdens het selecteren van de deelnemers is gekeken naar het type organisatie waarin zij werkzaam waren, de opleidingsachtergrond en de huidige functie van de deelnemer. Vervolgens zijn de deelnemers online benaderd via e-mail of LinkedIn berichten met de vraag of zij wilden deelnemen aan een onderzoek over gender bias in algoritmen.
Tabel 2.
Karakteristieken van de deelnemers Pseudoniem Geslacht
(M/V)
Functie Type Organisatie
A Man Onderzoeker en professor kunstmatige intelligentie
Onderzoek- en onderwijsinstelling B Vrouw Verantwoordelijke voor kunstmatige
intelligentie en ethiek/Digitale analist
Commerciële
recruitment organisatie C Vrouw Onderzoeker en professor kunstmatige
intelligentie en de samenleving
Onderzoek- en onderwijsinstelling D Man Kunstmatige intelligentie analyticus Commerciële
organisatie E Man Onderzoeker kunstmatige intelligentie,
veiligheid en ethiek
Onafhankelijke onderzoeksinstelling F Vrouw Voorzitter kunstmatige intelligentie en
ethiek commissie binnen organisatie
Commerciële organisatie
Procedure
Vanwege de maatregelen omtrent Covid-19 konden de deelnemers alleen telefonisch of via Skype worden geïnterviewd. Voorafgaand aan het interview is aan de deelnemers toestemming gevraagd om het interview op te nemen. Het interview werd opgenomen via een laptop of een mobiele telefoon. De interviews duurden tussen de 25 en de 65 minuten.
De deelnemers zijn geïnterviewd aan de hand van vooraf opgestelde thema’s en vragen (zie Bijlage 1). De besproken thema’s waren (1) gender bias in algoritmen, (2) oorzaken van gender bias in algoritmen, (3) overheid en beleid, (4) organisaties en gender bias. Voor de deelnemers die werkzaam waren in het onderwijs was er ook nog het thema (5) onderwijs. De volgorde van de onderwerpen en de vragen werd aangepast afhankelijk van de antwoorden van de deelnemers.
Voor het analyseren van de interviews is de Grounded Theory van Glaser en Strauss (2017) toegepast om de onderzoeksvragen op een exploratieve wijze te kunnen beantwoorden. De interviews zijn opgenomen en vervolgens woordelijk getranscribeerd. Hierna zijn de interviews aan de hand van een combinatie van deductief en inductief coderen geanalyseerd in Atlas.ti versie 8.4. De deductieve codes die zijn gebruikt zijn gebaseerd op de drie onderwerpen van de deelvragen: oorzaken van gender bias, bewustzijn over gender bias, en de oplossingen. Inductieve codes zijn tenslotte toegewezen op basis van de antwoorden van de deelnemers.
Resultaten
De resultaten in deze paragraaf worden besproken in dezelfde volgorde als de drie onderwerpen uit de deelvragen: oorzaken van genderbias, het bewustzijn over gender bias en de oplossingen. Als eerste wordt besproken wat de deelnemers zien als de voornaamste oorzaken van gender bias in algoritmen. Deze antwoorden worden vervolgens vergeleken met de eerder besproken oorzaken uit het theoretisch kader. Daarnaast wordt aan de hand van de interviews een beeld geschetst van het huidige bewustzijn in organisaties. Hierbij wordt ook het huidig beleid rondom gender bias in algoritmen besproken. In de volgende paragraaf wordt uiteengezet hoe organisaties momenteel omgaan met gender bias in algoritmen en worden er ook nieuwe strategieën voorgesteld om gender bias in algoritmen tegen te gaan. Ten slotte worden de resultaten uit het interview geïntegreerd in het Seven-Phase Issue-Development Process Framework van Fink (1986). Hiermee worden de ontwikkelingen rondom het bewustzijn in Nederlandse organisaties worden besproken.
Oorzaken gender bias
Een verband dat door alle deelnemers wordt genoemd is het verband tussen het bestaan van biases in de maatschappij en het bestaan van biases in algoritmen. Het bestaan van gender bias in algoritmen zou voornamelijk een consequentie zijn van al bestaande biases uit de samenleving. Hierbij wordt de nadruk niet gelegd op de technologie als oorzaak van het probleem, maar op de menselijke geschiedenis en data. Deze oorzaak komt overeen met de eerder besproken definitie van historische bias in Tabel 1. Historische bias wordt hierin beschreven als het overnemen van als bestaande biases uit de werkelijkheid in de data die gebruikt wordt voor het ontwikkelen van een algoritme (Suresh & Guttag, 2019). Hoewel geen van de deelnemers de exacte termen gebruikt, komen de omschrijvingen en voorbeelden overeen met de besproken biases uit Hoofdstuk 3. Zo wordt er volgens Deelnemer E vaak onterecht van uitgegaan dat huidige processen in de maatschappij geen bias bevatten. Hij noemt de huidige sollicitatieprocedures als een voorbeeld hiervan:
“Op internet of op je cv moet je opgeven of je een man of een vrouw bent. Dit vinden wij heel normaal als we solliciteren. Maar als je zegt; we mogen geen onderscheid maken tussen mannen en vrouwen, dan kan je afvragen waarom je wel in moet vullen bij een gewone sollicitatieprocedure of je een man of vrouw bent. En wat nog veel vreemder is; of je getrouwd bent of niet getrouwd bent bijvoorbeeld. Je zult nu eigenlijk voor al die labels, al die dingen die
je nu al op een cv invult wanneer je het over gender bias hebt, af moeten vragen of we als samenleving het wel oké vinden dat werkgevers op basis van dergelijke labels selecteren.” (Deelnemer E)
Ook Deelnemer C maakt de vergelijking met de huidige maatschappij en gender bias in algoritmen. Hoewel zij beschrijft dat het moeilijk is om “hoofdoorzaken” te noemen voor gender bias in algoritmen, legt zij wel een verband met genderongelijkheid in de samenleving. Genderongelijkheid heeft volgens haar een lange historie, die uiteindelijk resulteert in minder beschikbare data over vrouwen, vrouwenlichamen en vrouwenlevens. Deze patronen in data worden vervolgens gerepliceerd in algoritmen, die daarom sterk samenhangen met de genderongelijkheid die zich in de samenleving bevindt. Net als in Hoofdstuk 3 wordt er door haar specifiek een verband tussen genderongelijkheid en gender bias in algoritmen gelegd. Dit zou leiden tot het ontbreken van informatie van vrouwen in data ten opzichte van mannen.
Naast dat Deelnemer C hiermee een voorbeeld geeft van historische bias, wordt hier ook een voorbeeld genoemd van representatie bias. Dit is in Tabel 1 beschreven als het niet goed representeren van de populatie in de dataset (Suresh & Guttag, 2019). Het onvoldoende beschikken over data van vrouwen kan leiden tot het onder representeren van vrouwen in datasets die worden gebruikt voor het ontwikkelen van algoritmen. In Hoofdstuk 3 zijn hier voorbeelden van genoemd uit de onderzoeken van Tatman (2017) en Buolamwini (2018) naar spraak- en gezichtsherkenning waarbij onvoldoende data beschikbaar was van vrouwen. Dit had als gevolg dat de toepassing ook minder goed op vrouwen werkte.
Ook het onderzoek van Kodiyan (2019) naar het algoritme van Amazon werd in Hoofdstuk 3 als voorbeeld genoemd. Dit algoritme koos door onder andere historische en representatie bias voornamelijk mannen uit in sollicitatieprocedures. Opvallend is dat de voorbeelden van zowel Buolamwini (2018) en Amazon bekend waren bij alle deelnemers en vaak zelf al werden aangehaald in het interview.
In Hoofdstuk 3 werden deze twee onderzoeken niet alleen verbonden met historische en representatie bias, maar ook met de invloed van de ontwikkelaars op algoritmen met gender bias. Algoritmen kunnen nooit volledig worden gescheiden van de condities waarin ze zijn ontwikkeld, en daarmee ook niet van de ontwikkelaar (Geiger, 2014; Kitchin, 2017).
Hoewel in de interviews meestal de nadruk wordt gelegd op de data die wordt gebruikt voor het ontwikkelen van een algoritme, worden de ontwikkelaars ook als een oorzaak van gender bias in algoritmen genoemd. Wanneer deze niet divers genoeg zijn, onder andere in
etniciteit en gender, heeft dit als gevolg dat beslissingen vanuit een bepaald perspectief worden genomen. Naast het overnemen van reeds bestaande biases kunnen er zo ook nieuwe biases ontstaan.
Overeenkomstig met de literatuur uit Hoofdstuk 3, wordt het gebrek aan diversiteit in technische sector genoemd. Zo haalt Deelnemer A het rapport van AI-now aan, dat het gebrek aan diversiteit in cijfers uitdrukt (Myers-West et al., 2019). Hij is van mening dat dit rapport ook te generaliseren valt naar Nederland. Opvallend is dat naast diversiteit, ook inclusiviteit als een belangrijk factor wordt genoemd. Het aannemen van een diverse groep ontwikkelaars is een onderdeel van de oplossing, maar deze groep daarna behouden blijkt vaak lastig. Deelnemer F bevestigt het belang van inclusiviteit door te noemen dat er momenteel een grote uitstroom is van vrouwen in de technische sector.
Het gebrek aan diversiteit in gender wordt door de meeste deelnemers bevestigd als oorzaak. Echter wordt ook de grote diversiteit in opleidingsachtergrond genoemd als een andere oorzaak voor het bestaan van gender bias. Dit is een nieuwe oorzaak die niet in de literatuur is gevonden. Deelnemers beschrijven hoe de huidige ontwikkelaars niet altijd de juiste opleiding hebben gehad om op een wetenschappelijke wijze algoritmen te kunnen ontwikkelen:
“Dat zijn programmeurs die helemaal niet bewust nadenken over de data die je nodig hebt om iets te trainen. Er zijn twee problemen hier: het ene probleem is dat programmeurs vaak niet snappen dat de keuze op welke data je traint al een expliciete keuze is, en het tweede
probleem is dat het niet helder is wanneer een algoritme goed of niet goed werkt.” (Deelnemer E)
“Op zich is diversiteit in achtergrond niet verkeerd, maar het is een wetenschap en als je kijkt naar hoe mensen het bedrijven gaan ze niet altijd wetenschappelijk te werk. … Je kijkt dan bijvoorbeeld naar of een steekproef een juiste afspiegeling is van de populatie. Heel veel mensen doen dat nu niet, die hebben zoiets van we maken een model er komt een score uit en het is goed.” (Deelnemer D)
Bovenstaande voorbeelden weergeven hoe het niet wetenschappelijk te werk gaan van ontwikkelaars uiteindelijk kan leiden tot onjuiste keuzes, die vervolgens kunnen leiden representatie bias.
Hoewel er in de bovenstaande argumenten specifiek de nadruk wordt gelegd op de verantwoordelijkheid van de programmeurs, is dit niet de visie van elke deelnemer. Deelnemer E geeft aan dat het hebben van een ethisch bewustzijn en wetenschappelijke kennis zeker van belang is. Tegelijkertijd merkt hij dat er momenteel zowel in Nederland als op Europees niveau, het idee heerst dat de verantwoording voor ethiek alleen ligt bij de ontwikkelaar. Zijn mening is dat de verantwoordelijkheid over het doel van een algoritme niet bij de ontwikkelaar moet liggen, maar bij de maatschappij. De samenleving moet aan de hand van wetgeving bepalen wat wenselijk is en wat niet, en dit moet vervolgens worden toegepast door ontwikkelaars.
Meerdere deelnemers benadrukken ook de gevolgen en risico’s van toepassingen gebaseerd op algoritmen met gender bias. Deze zouden namelijk de gender bias ook kunnen versterken door het gebruik van feedback loops. Zoals besproken in Hoofdstuk 1, vinden deze plaats wanneer een algoritme beslissingen neemt die invloed hebben op de toekomstige inputdata (Chouldechova & Roth, 2018; Ensign et al., 2017). Daarnaast wordt ook de schaal en de snelheid waarmee een algoritme kan worden toegepast als een groot risico gezien voor het verspreiden van gender bias in de werkelijkheid.
Niet alleen de negatieve gevolgen van gender bias in algoritmen worden genoemd. Deelnemer F beschrijft dat algoritmen ook impliciete gender bias zichtbaarder zouden kunnen maken. Soms zit bias zo verankerd in bepaalde processen of gedrag en wordt het juist blootgelegd door het gebruik van algoritmen. Zij geeft als voorbeeld de recruitment sector waarin veel algoritmen worden gebruikt. In deze sector is hierdoor al op meerdere plekken bias ontdekt en aangepakt:
“Een positief voorbeeld is dat op HR-gebied het nu heel hard gaat met het inzetten van kunstmatige intelligentie. Op dit moment wordt het in elke fase toegepast: van recruitment tot aannames, van ontwikkeling van mensen tot het afscheid nemen van mensen.
Je ziet dat daar heel veel voorbeelden zijn van hoe de technologie dat proces nu ondersteund. En ik denk dat dat ook een positief voorbeeld is waarin dit nu heel nadrukkelijk naar voren komt dat daar heel veel bias in zat, en dat dat nu actief iets mee wordt gedaan. Wat dat betreft is dat dus ook een sector waar het nu heel hard gaat en waar het dus ook een positieve versnelling kan geven, juist op gender.” (Deelnemer F)
Huidig bewustzijn in organisaties
Ook het bewustzijn van Nederlandse organisaties over gender bias is besproken in te interviews. Zij benadrukken dat de aandacht rondom het onderwerp kunstmatige intelligentie de afgelopen jaren is toegenomen, zowel in bedrijven als in het onderzoeksveld. Hier wordt met name het verband gelegd tussen de aandacht voor kunstmatige intelligentie en de
toename in toepassingen in de praktijk. Hierdoor komen steeds meer mensen ook in aanraking met mogelijke problemen die het met zich meebrengt, zoals bias. Systemen die autonoom beslissingen maken, moeten kunnen worden vertrouwd: deze moeten in staat zijn om zonder bias een beslissing te nemen.
Hoewel het onderzoekschap naar kunstmatige intelligentie en ethiek zich snel aan het ontwikkelen is, is dit niet altijd zo geweest. Deelnemer A spreekt over zijn eigen ervaring:
“Ik heb zelf sinds 2009 al aan dit onderwerp bias/discriminatie en kunstmatige intelligentie gewerkt. Dat was ook niet altijd even makkelijk, in de zin dat mensen het belang er niet van inzagen of dit waardeerde. Vooral ook omdat heel veel mensen toen nog het idee hadden, dat kunstmatige intelligentie niet iets menselijks kan zijn en dat het niet intelligent is, dat het neutraal is. Dat blokkeerde het idee van dat kunstmatige intelligentie systemen biases kunnen overnemen, propageren en verergeren. Nu is dat anders, maar het is rond 2015 pas groot geworden, toen is er een grotere aandacht ontstaan.” (Deelnemer A)
Hoewel er dus nu meer aandacht is voor gender bias in algoritmen in onderzoek, wordt dit wel genuanceerd:
“Ik ken ook veel collega’s die bezig zijn met onderzoek naar AI. Mensen zijn zich wel een beetje van bewust van bias, maar ik bedoel wel dat het twee verschillende werelden zijn. De mensen in de literatuur die er nu heel erg mee bezig zijn, die de nieuwste inzichten hebben, die zijn in de meeste organisaties nog niet echt doorgedrongen.” (Deelnemer C)
Hoewel Deelnemer C noemt dat het bewustzijn nog niet in veel organisaties is doorgedrongen wordt kunstmatige intelligentie in het algemeen wel omschreven als een “hot topic” voor bedrijven. Hiermee wordt bedoeld dat dit een onderwerp is waar veel bedrijven nu mee bezig zijn. Bedrijven willen graag met de trend meegaan door kunstmatige intelligentie toe te passen,
maar hebben soms niet eens een probleem wat zou moeten worden opgelost met deze technologie.
Bedrijven beschikken dan ook vaak niet over de juiste expertise om kunstmatige intelligentie daadwerkelijk toe te passen in hun bedrijf. Tegelijkertijd willen veel bedrijven graag innoveren en zijn er weinig regels en methoden waaraan ze zich moeten houden. Ze zijn vaak al tevreden als de systemen überhaupt werken, en kijken pas achteraf of het ook daadwerkelijk doet wat ze willen. Door deze vrijheid en het gebrek aan controle vanuit de overheid hebben bedrijven dus ook de ruimte om zich niet met gevolgen zoals gender bias in algoritmen bezig te houden. Deelnemers benoemen wel verschillen tussen grote en kleine bedrijven betreffende bewustwording van gender bias in algoritmen.
“Er zijn ook best wel wat kleine bedrijfjes die bezig zijn met overleven, die hebben veel minder tijd en ruimte om te overleven en dus dat de bugs (i.e. gender bias) gefikst worden.” Deelnemer C
Grotere bedrijven lopen vaak meer risico door de impact die hun toepassingen van kunstmatige intelligentie kunnen hebben. Ze kennen de voorbeelden van Amazon uit de media en willen dit voorkomen in hun eigen bedrijf. Kleinere bedrijven hebben vaak minder ruimte om hier mee bezig te zijn.
Ook het onderwijs wordt gezien als een belangrijk onderdeel van het bewustwordingsproces. Er is hier volgens de deelnemers die werkzaam zijn in het hoger onderwijs nog veel ruimte om te verbeteren. Op dit moment richt het curriculum van veel opleidingen zich nog te weinig op onderwerpen zoals gender bias, en ook docenten zijn zich nog niet voldoende bewust van het probleem. Deelnemers A en C vinden dat sommige docenten nog niet voldoende in staat om les te geven over dit soort onderwerpen. Beide noemen dat studenten vaak wel enige kennis hebben van ethische vraagstukken rondom kunstmatige intelligentie, hierin speelt ook media-aandacht vaak een rol.
Deelnemer F noemt ook nog een positieve ontwikkeling van de snelle groei rondom kunstmatige intelligentie. Doordat nu meer mensen te maken krijgen met technologie, ontstaat er ook steeds meer diversiteit in IT. Steeds meer beroepen, waaronder artsen en juristen passen dit soort technologieën toe. Zo kan er vanuit meer vakgebieden worden mee gedacht over de ontwikkelingen van kunstmatige intelligentie, waardoor er kwalitatief ook betere technologieën kunnen worden ontwikkeld in de toekomst.
Huidige situatie rondom beleid
In de vorige alinea werd aangegeven dat deelnemers vinden dat er een tekort is aan beleid en richtlijnen rondom kunstmatige intelligentie. Het gevolg hiervan is dat bedrijven veel vrijheid hebben in het ontwikkelen en toepassen van deze technologie. Dit leidt vervolgens tot
wanorde: bedrijven die zich volledig aan de wet houden, kunnen desondanks systemen
ontwikkelen die bias bevatten. Als reactie op dit tekort ontwikkelen veel organisaties vaak een eigen beleid of richtlijnen rondom kunstmatige intelligentie. Deelnemer D is met name
kritisch op de Nederlandse overheid en het huidige gebrek aan beleid:
“Ik weet dat de overheid zelf ook behoorlijke steken laat vallen hierin. Zij hebben ook een verantwoordelijkheid en die nemen ze ook niet echt. Het is makkelijk om wanneer er iets gebeurt met een bedrijf, heel hoog van de toren te blazen met dat het vreselijk is, maar zij hebben ook verantwoordelijkheid hierin. Zij hebben het ook laten liggen. Eigenlijk is kunstmatige intelligentie ook niet nieuw maar heeft het alleen de laatste jaren een hele grote vlucht genomen met rekenkracht en capaciteit. Kunstmatige intelligentie bestond al, eigenlijk had het hele denken hierover al lang bij de overheid op gang moeten komen. Ze lopen nu dus ook zwaar achter de feiten aan.” (Deelnemer D)
Het huidige beleid bestaat voornamelijk uit de Gender Data Protection Regulation (GDPR) en richtlijnen vanuit de Europese Commissie. Het huidige beleid is volgens hen te vrijblijvend en onvoldoende gericht op de recente ontwikkelingen in kunstmatige intelligentie. Daarnaast wordt ook de internationale aard van het probleem genoemd. Dit betekent dat zelfs bij het ontwikkelen van een Nederlands of Europees beleid er alsnog veel landen zijn die een andere wetgeving hanteren. Het rapport over global risks van het World Economic Forum (2020) wordt ook aangehaald in een interview als een bevestiging van de fragmentatie van het beleid. Dit rapport laat zien dat er momenteel meer dan 80 verschillende raamwerken worden aangeboden rondom het beleid van kunstmatige intelligentie. Deze raamwerken claimen allemaal een verschillende oplossing te bieden voor hetzelfde probleem. Het World Economic Forum beoordeelt deze fragmentatie dan ook als een wereldwijd probleem.
De problemen rondom beleid worden ook bevestigd door de geïnterviewde deelnemers die zelf werkzaam zijn in een commercieel bedrijf. Deze bedrijven hebben allen een eigen raamwerk of beleid opgericht rondom het onderwerp. Deelnemer F geeft aan dat er wel wat initiatieven bestaan die overkoepelend zijn in Nederland, maar geeft ook aan dat deze vaak
vrijblijvend zijn. Bijvoorbeeld de Nederlandse ICT-branche die een code voor ethiek en kunstmatige intelligentie heeft opgezet. Bedrijven zijn het onderling niet altijd eens in hoeverre het beleid zou moeten worden aangescherpt. Hoewel het positief wordt genoemd dat organisaties zelf nadenken wat de waarden en principes zijn van hun bedrijf, pleiten sommige organisaties juist voor meer controle vanuit de overheid. Daartegenover staan ook organisaties die juist pleiten voor vrijheid, zodat zij zelf de controle over hebben.
Oplossingsperspectieven
De oplossingen zijn opgesplitst in twee perspectieven. Als eerste zal het perspectief van bedrijven worden besproken. In de interviews noemden de deelnemers de belangrijkste punten uit het huidige beleid van hun eigen organisatie, of organisaties waarmee zij werken. Daarnaast wordt ook het perspectief van de onderzoekers besproken, zij geven hun mening over de huidige oplossingen en noemen mogelijke oplossingen voor in de toekomst.
Bedrijven
Zoals besproken in de vorige paragraaf richten veel bedrijven een eigen beleid of raamwerk op vanwege het gebrek aan een overkoepelend beleid. Dit geldt ook voor de bedrijven van de geïnterviewde deelnemers. Zo geeft Deelnemer B aan dat het belangrijk is om naar het doel van het algoritme te kijken. Zij noemt dat bias wiskundig gezien niet volledig te elimineren is uit data, omdat het gebaseerd is op gedrag van mensen. Zij richten zich daarom als bedrijf meer op het ontwikkelen van een algoritme dat beter werkt dan de huidige situatie. Deelnemer D legt uit hoe de organisatie waarin hij werkzaam is een raamwerk heeft opgericht dat zowel intern in het bedrijf als extern, voor andere bedrijven, kan worden gebruikt. Hierin staat niet letterlijk beschreven wat goed of fout is tijdens het ontwikkelen, maar wordt wel duidelijk waar moet worden opgelet en welke vragen moeten worden gesteld als organisatie. Ook Deelnemer F spreekt over hoe de organisatie waarvoor zij werkt een absoluut beleid heeft opgesteld met principes en dat die zijn verankerd in de organisatie. Daarnaast wordt hier zowel binnen al buiten de organisatie over gesproken:
“Er is een practitioner community opgesteld waarin over dit soort onderwerpen wordt gesproken, zowel binnen als buiten de organisatie. Dus niet alleen technische mensen maar juist ook mensen van de legal afdeling, communications, verschillende business takken die we hebben, verkooprollen, maar ook wel data scientist, designers en developers.
Zo kan gezamenlijk meer worden geleerd over kunstmatige intelligentie en ethiek, en zo kan vooral ook worden gekeken hoe we het willen toepassen. We komen maandelijks bijeen, hebben een online forum, en hebben manieren om binnen de organisatie contact te houden en dingen uit te wisselen om zo ook onze kennis op dit gebied gezamenlijk te vergroten. ” (Deelnemer F)
Hoewel bovenstaande bedrijven allemaal apart een beleid hebben opgericht, zijn er overeenkomsten te vinden in de oplossingen die de geïnterviewde deelnemers bespreken. In de volgende alinea’s zullen deze worden beschreven.
Een van deze overeenkomsten is dat organisaties voorafgaand aan het ontwikkelen van algoritmen al nadenken over hoe verantwoord om kan worden gegaan met kunstmatige intelligentie. Ook tijdens het proces moet dit worden gewaarborgd; tijdens het design en het ontwikkelen van de technologie moet hier aandacht worden blijven gegeven.
Overeenkomstig met de theorie komt ook het begrip fairness van algoritmen terug. Fairness in algoritmen vindt plaats wanneer algoritmen geen voorkeur voor of vooroordeel tegen bepaalde individuen of groepen heeft (Mehrabi et al., 2019). Het bedrijf van deelnemer B combineert dit met inclusiviteit van algoritmen, wat vervolgens wordt beschreven als kunstmatige intelligentie die individuen eerlijk behandelt en daarbij niet discrimineert en diversiteit en inclusiviteit in acht houdt. Ook Human Oversight wordt genoemd, dit houdt in dat de nadruk wordt gelegd op de controle en regie van mensen, en dat de technologie alleen mensen aanvult. Dit kan ook worden verbonden aan het belang van toezicht in een organisatie. Toezicht kan worden gepraktiseerd door bijvoorbeeld het aanstellen van een ethics board en het controleren van de mensen die algoritmen ontwikkelen.
Daarnaast wordt ook expliciet het belang van transparantie genoemd tijdens het ontwikkelen van een algoritme. Een algoritme is niet in elke situatie toepasbaar en dat moet erkend worden door de ontwikkelaar. Het opleggen van transparantie zou daarom een oplossing kunnen zijn. Er wordt voorgesteld dat niet alleen de input en de output van een algoritme bekend moet zijn, maar ook wie er aan het algoritme werken. Ontwikkelaars moeten verder transparant zijn over in welke situaties het model toepasbaar is. Zolang dit duidelijk wordt aangegeven, hoeft het geen probleem te zijn dat een algoritme alleen werkt voor een bepaalde populatie. De uitlegbaarheid van een algoritme wordt hier ook aan verbonden: het algoritme moet op een wetenschappelijke manier worden ontwikkeld en vervolgens ook uit te leggen zijn aan de gebruiker. Bedrijven moeten kunnen aantonen hoe
algoritmen werken en op basis van welke datasets deze ontwikkeld worden. Wanneer dit wordt benoemd kan op basis hiervan worden besloten in welke situaties een algoritme toepasbaar is. Deelnemers koppelen het belang van transparantie ook aan de huidige ontwikkelingen in het beleid. Zolang bedrijven transparant rapporteren, kunnen bij nieuwe wetgeving algoritmen achteraf worden gecontroleerd
Onderzoekers
In deze paragraaf worden de visies van de onderzoekers besproken en aan elkaar verbonden. In de interviews komt naar voren dat bedrijven vaak de nadruk leggen op het technische aspect, en daarbij het sociale aspect vergeten. De groeiende aandacht voor het onderwerp bias in algoritmen brengt opportunisme met zich mee; bedrijven zien een nieuw onderzoeksveld en willen dit oplossen zonder te beseffen dat het een probleem is met diepere wortels in de maatschappij.
“Het diepere probleem, of de diepere oplossing, dat is iets wat zonder kunstmatige intelligentie al moeilijk te creëren is. Als je het dan ook nog koppelt aan kunstmatige intelligentie dan willen mensen er al helemaal niet aan beginnen. Dus dan focussen ze zich op wat mogelijk is om het technisch op te lossen. Dus het minimaliseren van het risico in plaats van het maximaliseren van de kansen.” (Deelnemer A)
Organisaties focussen zich volgens Deelnemer A te veel op het technische aspect in plaats van het menselijke aspect van de oplossing. Vaak wordt dan bijvoorbeeld gekeken naar het verbeteren van datacollectie, maar niet naar het sociale menselijke probleem.
Deelnemer E benadert het probleem dan ook van een andere kant: Het doel van een intelligent systeem zou niet door de ontwikkelaar moeten worden verzonnen, maar door de maatschappij. Het huidige gebrek aan beleid wordt dan ook toegewezen aan het gebrek van begrip over wie deze verantwoordelijkheid heeft. Dit vertroebelt de discussies rondom deze onderwerpen. Als samenleving moet democratisch worden bepaald wat goed of fout is, en een programmeur moet vervolgens deze waarden hanteren tijdens het ontwikkelen. Dit is lastig omdat er dan in absolute termen moet worden uitgedrukt wat een systeem wanneer moet doen, terwijl dit meestal context afhankelijk is. Dit kan worden verbonden aan de mening van Deelnemer A, die dit ondersteunt met een voorbeeld van het recent ingestelde vrouwen quotum van Universiteit van Eindhoven. Dit quotum werd ingesteld zodat er meer vrouwen zouden
worden aangenomen. Hij noemt dat deze zou kunnen worden benaderd als een vorm van discriminatie, maar dan wel met een historische basis. Om meer vrouwen in deze top te krijgen moeten bepaalde waarden moeten worden vastgelegd in absolute termen. Dit wordt als controversieel gezien, maar zou volgens hem wel een mogelijke oplossing kunnen zijn.
Het aanpakken van beleid en wetgeving kan dus een deel van de oplossing zijn, maar hierbij moet er volgens de onderzoekers ook meer nadruk worden gelegd op samenwerking. De overheid zal volgens de onderzoekers bereid moeten zijn om samen te werken met wetenschappers. Ook binnen deze samenwerking moet meer focus komen op het samenbrengen van verschillende gebieden. Er wordt door Deelnemer E dan ook een transdisciplinaire aanpak voorgesteld. Deze maakt gebruik van visies en perspectieven uit verschillende bronnen en disciplines en integreert deze vervolgens tot een nieuw vakgebied (Stember, 1991). Voorgesteld wordt om specialisten uit verschillende velden zoals, juristen, wetgevers, programmeurs en ethici samen te laten komen. Wel wordt door de onderzoekers aangegeven dat een samenwerking lastig kan worden. Zo wordt genoemd dat de overheid geneigd is zelf naar oplossingen te zoeken, in plaats van experts van buitenaf in te schakelen. Tegelijkertijd betekent een transdisciplinaire aanpak ook dat specialisten van verschillende velden hun eigen rol als expert los moeten laten en zullen moeten luisteren naar anderen experts, ook dit wordt gezien als een lastige opgave.
De verantwoording wordt niet alleen gelegd bij de overheid en organisaties, maar ook bij het onderwijs. Er wordt gepleit om meer ethische aspecten van techniek in het onderwijs te integreren. In technische studies zouden ook sociale, juridische en ethische aspecten aan bod moeten komen. Tegelijkertijd zouden meer studies ook een basiskennis van algoritmen moeten integreren. Dit kan verbonden worden aan het eerdergenoemde gebrek van wetenschappelijke kennis door de ontwikkelaars, en zou een manier kunnen zijn om dit op te lossen.
Ontwikkeling van het bewustzijn
In een eerder onderzoek van Yapo en Weiss (2018) is de huidige situatie omtrent bewustwording van bias en machine learning in de Verenigde Staten onderzocht. In dit onderzoek werd gevonden dat hoewel het publiek bewustzijn aan het groeien is in
verschillende organisaties, dit nog niet terug te zien in het beleid rondom dit onderwerp. In dit artikel wordt de rol van bewustzijn over bias in algoritmen besproken aan de hand van het Seven Phase Issue-Development Process Framework van Fink (1986). Dit model is weergeven in Figuur 2, met een gedetailleerde beschrijving van de verschillende fases.
Volgens Yapo en Weiss (2018) bevindt de Verenigde Staten zich momenteel in fase 3: “Interest Group Development “. Dit houdt in dat er al een interesse is ontstaan voor het onderwerp (fase een) en dat de media zich ook al heeft uitgelaten over het onderwerp (fase twee). Fase drie, Interest Group Development, houdt in dat de interesse voor bias in
algoritmen vanuit het algemene publiek, bedrijven en de overheid aan het groeien is, maar dat er nog geen daadwerkelijke verandering in wetten of beleid zijn doorgevoerd zoals in fase vier. Dit is bijvoorbeeld terug te zien in de samenwerking van grotere bedrijven waaronder Amazon, IBM, Facebook en Google omtrent onderzoek in ethiek en inclusiviteit, zonder de intentie om de huidige wetgeving aan te passen (Yapo & Weiss, 2018).
Figuur 2. Het Seven-Phase Issue-Development Process Framework overgenomen uit Weiss (2014)
De interviews uit dit onderzoek schetsen een beeld van de huidige situatie in Nederland rondom het bewustzijn van gender bias in algoritmen. Vergelijkbaar met de Verenigde Staten lijkt Nederland ook in fase drie te zijn beland. Er is een exponentiële groei in aandacht naar het probleem vanuit bedrijven, onderzoeksinstellingen en de overheid. Bedrijven lijken zich momenteel bewust te worden van de mogelijke risico’s en gevolgen van het gebruik van algoritmen met gender bias. Tegelijkertijd is de aandacht nog niet overal een prioriteit. Het feit dat bedrijven zelf de ruimte hebben om te bepalen of ze zich bezighouden met gender bias in algoritmen, laat zien dat er momenteel nog onvoldoende beleid is rondom dit probleem.
Tegelijkertijd lijkt Nederland wel in transitie te zijn naar de volgende fase wanneer er naar de ontwikkelingen rondom het beleid van gender bias in algoritmen wordt gekeken. Hoewel in alle interviews wordt bevestigd dat er momenteel een tekort aan beleid is, wordt er wel benadrukt dat er veel ontwikkelingen gaande zijn vanuit de overheid. Deelnemers beschrijven dat deze vooruitgang ook een onderdeel kan zijn van het bewustwordingsproces. Er worden nu tegen problemen aangelopen die uiteindelijk kunnen leiden tot verbetering van de huidige situatie.
In verschillende interviews wordt deze ontwikkeling vanuit zowel Nederlands als Europees niveau benoemd. Een voorbeeld hiervan dat meerdere malen wordt aangehaald is het recent uitgebrachte white paper met richtlijnen rondom kunstmatige intelligentie van de Europese Commissie (European Commission, 2020). Ook bedrijven lijken zich bewust van deze transitie: zoals genoemd stellen bedrijven nu vaak eigen richtlijnen op. Niet alleen met de intentie om gender bias in algoritmen te voorkomen, maar om zo ook de mogelijk toekomstige sancties te kunnen voorkomen. Dit kwam in de interviews onder andere naar voren in de nadruk op het belang van transparantie. Zo kan achteraf ook worden gecontroleerd door de overheid of de algoritmen wel op een juiste manier zijn ontwikkeld.
Discussie
In deze scriptie is onderzocht in hoeverre er sprake is van bewustwording over gender bias in gebruikte algoritmen in Nederlandse organisaties. Dit is onderzocht aan de hand van drie verschillende deelvragen. Als eerste is onderzocht wat de oorzaken zijn van gender bias in algoritmen aan de hand van literatuuronderzoek en kwalitatief onderzoek door middel van interviews. In het literatuuronderzoek is gevonden dat gender bias op verschillende plekken in het ontwikkelproces in een algoritme terecht kan komen. Bij het vertalen van de werkelijkheid naar data kan gender bias in algoritmen terecht komen door historische en representatie bias. Zowel representatie bias als historische bias werden ook in de interviews als mogelijke oorzaken van gender bias in algoritmen genoemd.
In de literatuur is vervolgens ook een verband gevonden tussen deze biases en genderongelijkheid, een groter maatschappelijk probleem. Dit verband komt ook naar voren in de interviews, waarin genderongelijkheid eveneens als een huidig maatschappelijk probleem wordt genoemd. Dit soort problemen kunnen volgens de deelnemers worden gereflecteerd in algoritmen, wat zou kunnen leiden tot het ontstaan van gender bias. Daarnaast is in het literatuuronderzoek gevonden dat gender bias ook kan ontstaan tijdens het ontwikkelen van een algoritme. Doordat in dit proces bepaalde beslissingen worden genomen door de ontwikkelaars kan er vervolgens aggregatie bias of evaluatie bias ontstaan. Deze biases zouden kunnen leiden tot gender bias in een algoritme. Ook de feedback loop wordt als belangrijk beschouwd voor het in standhouden van gender bias. Dit kan als gevolg hebben dat een van oorsprong kleine bias juist wordt vergroot door een algoritme.
De rol van de ontwikkelaars komt ook terug in de interviews. Er is gevonden dat er een minderheid van vrouwen werkzaam is in de technische sector. Hierdoor worden beslissingen gemaakt over algoritmen vanuit een eenzijdig mannelijk perspectief. Naast het tekort aan vrouwen in de technische sector, wordt ook het gebrek aan wetenschappelijke kennis genoemd als oorzaak voor het ontstaan van gender bias in algoritmen. Dit zou er namelijk toe leiden dat data op een niet wetenschappelijk manier wordt verzameld bij het ontwikkelen van een algoritme.
Als tweede deelvraag is aan de hand van interviews onderzocht of Nederlandse organisaties bewust zijn van het bestaan van gender bias De afgelopen jaren is er een exponentiële groei geweest in de aandacht naar kunstmatige intelligentie. Bedrijven willen graag innoveren door deze techniek toe te passen maar bezitten niet altijd over voldoende kennis om dit ook daadwerkelijk te kunnen doen. Dit leidt ertoe dat bedrijven vaak al tevreden zijn met een
werkend systeem. Zo worden vervolgens de risico’s en gevolgen van de toepassing overzien, waaronder ook gender bias. Er wordt een verschil in bewustzijn tussen grotere en kleinere bedrijven genoemd. Grotere bedrijven zijn vaak beter op de hoogte van de risico’s van kunstmatige intelligentie en zijn zich daarom ook vaker bewust van gender bias. Kleinere bedrijven hebben meestal minder de ruimte om hier mee bezig te kunnen zijn.
Onderwijsinstellingen worden daarnaast ook als een belangrijk onderdeel gezien in het bewustwordingsproces. Hier is nog onvoldoende aandacht voor onderwerpen zoals gender bias. Ethiek zit nog niet goed verwerkt in het curriculum, en docenten bezitten vaak zelf onvoldoende kennis over dit onderwerp. Dit zou ook kunnen worden verbonden aan het tekort aan wetenschappelijke kennis van de ontwikkelaars.
Als laatste deelvraag is onderzocht of Nederlandse organisaties bezig zijn met het voorkomen of corrigeren van gender bias in hun algoritmen. Uit de interviews blijkt dat er op dit moment weinig beleid is vanuit de overheid rondom het voorkomen van gender bias in algoritmen. Dit leidt ertoe dat organisaties vaak een eigen beleid opstellen. Zo wordt momenteel op verschillende niveaus aan richtlijnen gewerkt die een oplossing zouden bieden voor het probleem, wat leidt tot fragmentatie. Overeenkomsten tussen de oplossingen uit de interviews zijn fairness in algoritmen, transparantie tijdens het ontwikkelen en het houden van menselijke toezicht en controle. De onderzoekers uit de interviews pleiten daarnaast voor een aanpak die minder kijkt naar het technische aspect van het probleem maar naar het sociale probleem in de maatschappij.
Voor het beantwoorden van de hoofdvraag in hoeverre er sprake is van bewustwording over gender bias in gebruikte algoritmen in Nederlandse organisaties, zijn de resultaten van dit onderzoek geïnterpreteerd aan de hand van het model van Fink (1986). Hieruit blijkt dat de interesse voor bias in algoritmen vanuit het algemene publiek, bedrijven en de overheid momenteel aan het groeien is, maar dat er nog geen daadwerkelijke verandering in wetten of beleid zijn doorgevoerd. Dit suggereert dat er momenteel een groeiende aandacht is naar het onderwerp, waardoor er ook veel ontwikkeling zit in de bewustwording van organisaties.
Het doel van dit onderzoek was om door middel van diepte-interviews verschillende perspectieven te belichten rondom de huidige situatie in Nederland. Zo kan mogelijk richting worden gegeven aan vervolgonderzoek. Het onderzoek heeft door het lage aantal deelnemers een lage externe validiteit, wat betekent dat de resultaten niet goed kunnen worden
