De effecten van algoritmische biases

De uiteindelijke effecten van biases in data-analyse hangen af van de mate waarin besluiten (al dan niet automatisch) gegrond worden op de uitkomsten van deze data-analyse. Als

638 De Hert, Lammerant & Blok 2017, p. 128-129.

639 Barocas & Selbst 2016, p. 692.

640 Zie hoofdstuk II, par. 2.

641 Zie daarover Custers 2013, p. 9-10.

642 Zie voor wat betreft het gevaar van datamining naar politieke voorkeur ook de probleemverkenning van de Staatscommissie parlementair stelsel 2017, p. 49 e.v.

643 De Hert, Lammerant & Blok 2017, p. 128-129.

III De (potentiële) impact van algoritmes op grondrechten in Nederland

de uitkomsten van analyse het te nemen besluit bepalen, dringt een bias in de data-analyse direct door in de levens van mensen. Maar ook als een algoritmisch voorbereide beslissing officieel door mensen wordt genomen, dreigt het gevaar dat biases het uiteindelijk te nemen besluit beïnvloeden. Het ontbreekt mensen immers veelal aan de kennis en het (technolo-gische) inzicht om discriminatie door algoritmes te herkennen.⁶⁴⁴Dit kan ingrijpende gevolgen hebben, zoals bij besluitvorming op basis van aanwijzingen door algoritmes in het veiligheidsdomein, bij sollicitatieprocedures, bij kredietverlening of bij het bepalen van de hoogte van verzekeringspremies. De in paragraaf III.2.2 gegeven voorbeelden laten dit al zien.

III.2.4 Grondrechtelijke aandachtspunten

Zoals eerder gezegd voert het te ver om in dit onderzoek in te gaan op alle mogelijke manieren waarop algoritmische besluitvorming in een Big Data-context kan leiden tot directe of indirecte discriminatie en op de mate waarin de huidige grondrechtencodificaties een antwoord bieden op de hierboven beschreven risico’s van discriminatie en ongerecht-vaardigde ongelijke behandeling. Niettemin kunnen enkele algemene opmerkingen worden gemaakt over potentiële grondrechtelijke aandachtspunten in dit verband.

Allereerst is van belang dat de codificaties van het gelijkheidsbeginsel en het discriminatie-verbod niet van toepassing zijn als de verzameling en analyse van data niet leidt tot bena-deling.⁶⁴⁵Dat betekent bijvoorbeeld dat een verzekeringsbedrijf gegevens over geslacht of etniciteit kan gebruiken voor het vaststellen van het verzekeringsrisico op bedrijfsniveau of om gemiddelde verzekeringspremies te berekenen. De regels inzake gelijke behandeling zijn pas van toepassing als sprake is van een concreet nadeel voor een groep of persoon ten opzichte van een andere groep of persoon zijn.⁶⁴⁶Door de ondoorzichtigheid en com-plexiteit van algoritmes zal voor veel mensen echter onduidelijk of zelfs onzichtbaar zijn of sprake is van een concrete benadeling, waardoor zij niet gemakkelijk zullen kunnen opkomen tegen een aantasting van hun recht op non-discriminatie. Met betrekking tot kredietscores stellen Pasquale en Citron bijvoorbeeld vast dat ‘credit bureaus may be laundering discrimination into black boxed scores, which are immune from scrutiny.’⁶⁴⁷ De ondoorzichtigheid van algoritmes beïnvloedt de mate waarin algoritmische discrimi-natie kan worden ontdekt en gecontroleerd. Een juridisch en grondrechtelijk relevant

644 Dit werd reeds kort aangestipt in hoofdstuk I, par. 5.1 en 5.2.

645 De Hert, Lammerant & Blok 2017, p. 125.

646 Zie nader hoofdstuk II, par. 2.1.1.

647 Citron & Pasquale 2014, p. 14.

146 Algoritmes en grondrechten

probleem is dan ook vooral gelegen in de sfeer van zichtbaarheid en bewijs van ongelijke behandeling.

Met name het intentioneel ‘maskeren’ van de werking van algoritmes is moeilijk aantoon-baar. Dit is des te problematischer, omdat er wel juridische betekenis uitgaat van de vraag of sprake is van een welbewust op een (al dan niet gemaskeerde) verdachte grond gebaseerd onderscheid en een onbewuste ongelijke behandeling. Bij intentionele discriminatie kan immers sprake zijn van strafbaar gedrag in de zin van de artikelen 137g en 429quater van het Wetboek van Strafrecht. Opzettelijke discriminatie valt onder artikel 137g Sr en wordt zwaarder bestraft dan strafbare discriminatie als omschreven in artikel 429quater Sr, omdat in deze laatste bepaling het opzetvereiste ontbreekt. Het maakt daarmee strafrechtelijk gezien uit of discriminatoire elementen bewust of onbewust in een dataset of algoritme zijn opgenomen.

Ook verder stelt algoritme-gedreven besluitvorming de nodige uitdagingen als het gaat om het gelijkebehandelingsrecht. In paragraaf III.2.1 is al opgemerkt dat, zodra onderscheid wordt gemaakt op individueel niveau, de vraag rijst welke regime de relevante rechtsver-houdingen bepaalt. Of specifieke wetgeving van toepassing is, hangt af van de gronden waarop onderscheid wordt gemaakt en het gebied waarop dit gebeurt. Big Data-toepassingen worden bijvoorbeeld veel gebruikt bij het verstrekken van verzekeringen en leningen. Voor zover sprake is van onderscheid op grond van geslacht geldt hiervoor de relevante EU-regelgeving,⁶⁴⁸maar dat is niet het geval als mensen blijken te worden benadeeld op grond van hun godsdienst of sexuele gerichtheid. De EU-richtlijn die ongelijke behandeling op deze gronden verbiedt heeft immers alleen betrekking op het terrein van de arbeid.⁶⁴⁹De AWGB is vanwege zijn toepasselijkheid op het aanbieden van goederen en diensten dan weer wel relevant, net als uiteraard algemene bepalingen als die van art. 1 Grondwet, art.

14 EVRM en art. 26 IVBPR. Hoewel die bepalingen geen heel concrete normen geven voor bepaalde typen van ongelijke behandeling gebaseerd op bepaalde gronden, kan vooral uit de rechtspraak vaak specifieker worden afgeleid of een bepaald onderscheid aanvaardbaar is. Deze algemene bepalingen kunnen dan ook dienen als ‘vangnet’ om een door algorit-metoepassingen ontstane discriminatie aan te pakken, ook als die niet concreet binnen het bereik van een specifiekere wet valt.

Het kwalificatieprobleem is niettemin relevant, omdat specifieke wetgeving, zoals in paragraaf II.2.2 besproken, meestal een hoger beschermingsniveau biedt bij directe

discri-648 Zie in het bijzonder HvJ 1 maart 2011, zaak C-236/09, ECLI:EU:C:2011:100 (Test-Achats), EHRC 2011/64 m.nt. Y. Thiery, NJ 2011/120 m.nt. M.R. Mok.

649 Zie hoofdstuk II, par. 2.2.

III De (potentiële) impact van algoritmes op grondrechten in Nederland

minatie. Dit is in die zin lastig dat het bij de toepassing van algoritmes bij Big Data-analyses

‘altijd gaat om een veelheid aan factoren’.⁶⁵⁰In de eerste plaats maakt dit het voor een slachtoffer lastig om aan te tonen dat een algoritmisch besluit rechtstreeks is gebaseerd op een verboden grond. Als geen inzicht wordt geboden in de dataset of de werking van een algoritme, zal het slachtoffer moeten aantonen dat een beslissing anders uitpakt voor iemand, die zich, op de verboden grond na, in exact dezelfde situatie bevindt als het slachtoffer. In de tweede plaats is het bijzonder moeilijk om directe discriminatie aan te tonen als verdachte gronden niet herkenbaar zijn, maar gewerkt wordt met ogenschijnlijk neutrale indicatoren die iets zeggen over bijvoorbeeld ras of godsdienst. In de derde plaats kan het direct betrekken van een bepaalde grond verwaterd raken als er nog veel meer variabelen worden betrokken in de besluitvorming, wat bij algoritme-gedreven besluitvor-ming bijna stelselmatig het geval is. Ook daardoor kan het moeilijk zijn om een daadwer-kelijk directe discriminatie aan te tonen en te profiteren van de rechtsbescherming die bijzondere gelijkebehandelingswetgeving op dit punt biedt.

In veel gevallen kan wel het leerstuk van indirecte discriminatie uitkomst bieden. Een individu dat zich benadeeld voelt door een door algoritme-gedreven besluit, kan bijvoor-beeld laten zien dat bepaalde algoritme-gedreven besluiten leiden tot disproportioneel nadelige resultaten voor een bepaalde groep. Zo kan iemand betogen dat een algoritme dat wordt gebruikt bij werving en selectie disproportioneel benadelend uitpakt voor vrouwen door te laten zien dat in een reeks van gevallen vrouwen stelselmatig worden afgewezen of niet op gesprek worden uitgenodigd. In dat geval moet de werkgever aantonen dat het redelijk is om zijn besluiten op basis van het algoritme te nemen. In deze gevallen zal het voor de betrokkene niet direct nodig zijn om de precieze bron van de discriminatie te lokaliseren (bijvoorbeeld de selectie van de dataset, het algoritme, of het lerende effect van een algoritme), maar kan hij (of zij) zich louter richten op de effecten ervan.

Hoewel het concept van indirecte discriminatie hierbij dus een oplossing kan bieden, is die zeker niet ideaal. Allereerst zijn er niet de voordelen die de specifiekere wetgeving over directe discriminatie heeft in termen van scherpe rechtvaardigheidseisen, rechtszekerheid, houvast voor werkgevers en aanbieders van diensten en goederen, en toetsbaarheid voor de rechter. Daarnaast werkt de constructie via indirecte discriminatie alleen goed wanneer er een voldoende groot aantal gevallen is om een discriminerend effecten te kunnen laten zien. De bewijslast die rust op de betrokkene is daarmee aanzienlijk.

Verder is in hoofdstuk II toegelicht dat het voor het gelijkebehandelingsrecht niet uitmaakt of een gediscrimineerde persoon daadwerkelijk beschikt over de kenmerken op grond

650 De Hert, Lammerant & Blok 2017, p. 125.

148 Algoritmes en grondrechten

waarvan hij of zij nadelig is behandeld.⁶⁵¹Discriminatie op grond van ‘vermeende’ per-soonskenmerken is ook verboden, net als discriminatie op grond van het associëren van een persoon met de persoonskenmerken van iemand anders.⁶⁵²Ook deze leerstukken zijn relevant voor het gebruik van Big Data-analyses. Ze impliceren bijvoorbeeld dat wanneer Facebook vacatureadvertenties afstemt op de vermeende homoseksualiteit van een gebruiker, sprake kan zijn van discriminatie, ook wanneer deze gebruiker zelf geen homoseksueel is. Hetzelfde geldt als een algoritme aandacht blijkt te besteden aan het feit dat een sollicitant misschien niet zelf chronisch ziek is, maar wel zorg draagt voor iemand anders met een chronische ziekte.⁶⁵³

III.3 Vrijheidsrechten

III.3.1 Inleiding

Hiervoor is ingegaan op de effecten van nieuwe, algoritme-gedreven technologieën voor de privacy en voor gelijkheidsrechten. Belangrijke effecten zijn er daarnaast voor de in hoofdstuk II onderscheiden andere vrijheidsrechten: de vrijheid van meningsuiting, de vrijheid van godsdienst, de demonstratievrijheid, de verenigingsvrijheid en het hieraan verwante kiesrecht. Hoewel deze grondrechten traditioneel vooral beschermen tegen inmenging door de staat, is duidelijk dat hieraan ook een zekere betekenis toekomt in verhoudingen tussen private spelers. Dit is van belang, nu blijkt dat onder meer Big Data-analyses door bedrijven een belangrijke rol kunnen spelen als het gaat om de uitoefening van de in hoofdstuk II beschreven vrijheidsrechten. In dit verband is ook van belang dat in hoofdstuk II is gebleken dat de staat zich niet alleen heeft te onthouden van onredelijke beperkingen van deze vrijheden, maar dat er ook positieve verplichtingen bestaan om ze actief te beschermen – ook tegen bedrijven of andere private actoren.

In deze paragraaf wordt nader ingegaan op de impact van nieuwe technologieën voor de uitoefening en bescherming van deze grondrechten. Daarbij wordt grofweg dezelfde volgorde van bespreking gehanteerd als in hoofdstuk II. Vermeldenswaard is dat de vrijheid van godsdienst en levensovertuiging hier niet afzonderlijk wordt besproken. Voor zover het daarbij gaat om het ‘forum internum’, dus de gewetensvrijheid en het recht om een godsdienst te hebben (zonder die te uiten), is deze vrijheid al even aan de orde gekomen in paragraaf II.2. Voor zover het gaat om het ‘forum externum’ zijn er veel dwarsverbanden

651 HvJ 17 juli 2008, zaak C-303/06, ECLI:EU:C:2008:415 (Coleman), EHRC 2008/108 m.nt. A.C. Hendriks, NJ 2008/501 m.nt. M.R. Mok, TRA 2008 m.nt. Veldman. Zie hoofdstuk II, par. 2.2

652 Zie nader hoofdstuk II.

653 Zie het in hoofdstuk II, par. 2.1.3 gegeven voorbeeld.

III De (potentiële) impact van algoritmes op grondrechten in Nederland

met de vrijheid van meningsuiting (bijvoorbeeld waar het gaat om het uiten van een godsdienst door het dragen van religieuze kleding of online religieuze uitingen), de vrijheid van vergadering, demonstratie of betoging (bijvoorbeeld waar het gaat om religieuze samenkomsten) of de vrijheid van vereniging (bijvoorbeeld waar het gaat om de erkenning of ontbinding van geloofsgemeenschappen). Uiteraard zijn er verschillen in regulering, zoals besproken in hoofdstuk II, maar deze verschillen zijn niet bijzonder relevant voor het onderhavige hoofdstuk.

III.3.2 Vrijheid van meningsuiting en vrijheid om informatie te ontvangen

Algoritmes hebben een potentieel grote impact op de vrijheid van meningsuiting in de digitale samenleving. Hieronder wordt ingegaan op een drietal belangrijke knelpunten die in dit kader van belang zijn: (1) aantasting van de pluriformiteit en diversiteit van informatie en het ontstaan van ‘filterbubbels’, (2) de mogelijkheden tot algoritmische censuur van digitale meningsuiting en (3) het chilling effect dat op kan treden door het Internet of Things (IoT) en de inzet van algoritmes in een Big Data-context. Daaraan voorafgaand wordt echter eerst een positief punt belicht, namelijk de toename van toegang tot informatie en van mogelijkheden om informatie te openbare en te verspreiden.

III.3.2.1 Vrijheid van meningsuiting en diversificatie van het media-aanbod