Organisatorische en maatschappelijk en context

Dergelijke vragen worden prangender naarmate processen in de samenleving verder digitaliseren en algoritmen in toenemende mate met elkaar interacteren. Algoritmen zijn dan steeds minder te zien als zelfstandig opererende software en meer als onderdelen van een groter systeem.36 Dat creëert het zogenaamde problem of many hands: als gevolg van de complexiteit van de gebruikte technologieën en de hoeveelheid actoren die betrokken zijn, is het vaak zeer moeilijk of zelfs onmogelijk om iemand verantwoordelijk te houden.37 In een complexe technologische, maatschappelijke en organisatorische context is niet altijd duidelijk waar de oorzaak van een fout ligt en wie daarvoor kan worden aangesproken. Ook hiervoor kan de casestudy naar zelfrijdende auto’s als illustratie dienen. In zelfrijdende auto’s werken verschillende algoritmen en sensoren samen. Door incorrecte sensordata of interpretatie van die data kan schade ontstaan. Schade kan echter ook het gevolg zijn van bijvoorbeeld foutieve informatie die de auto via communicatietechnologieën krijgt aangeleverd. Als in dergelijke situaties niet duidelijk is waar de oorzaak ligt van bijvoorbeeld een ongeluk en wie daarvoor kan worden aangesproken, dan is dat problematisch met het oog op rechtsbescherming.38

8.3 Organisatorische en maatschappelijk en context

De hierboven geïdentificeerde kansen en risico’s hangen voor een deel samen met het type algoritme dat wordt gebruikt. Verschillende typen algoritmen hebben immers hun eigen mogelijkheden en onmogelijkheden.39 De mate waarin kansen en risico’s zich voordoen en de gevolgen die zij hebben, is echter ook voor een belangrijk deel afhankelijk van het domein en de organisatorische en maatschappelijke context waarin algoritmen worden ingezet.40

35 Council of Europe 2018, p. 24.

36 Zie daarover ook par. 2.2.

37 Van de Poel e.a., Science and Engineering Ethics 2012, p. 50; Nissenbaum, Science and Engineering Ethics 1996, p. 25-42.

38 Zie par. 5.5.2.

39 Zie par. 2.1 over de verschillende typen algoritmen die we onderscheiden en wat de beperkingen zijn van deze typen algoritmen.

178 Zo is het doel waarvoor een organisatie een algoritme inzet van belang voor de risico’s die dat met zich brengt. In algemene zin kan worden gesteld dat het inzetten van algoritmen met een beschrijvend of diagnosticerend doel in potentie minder grote gevolgen heeft voor personen dan het inzetten van voorspellende en voorschrijvende algoritmen. Daarbij is uiteraard ook van belang hoe zelfstandig het algoritme opereert in het besluitvormingsproces. In bijvoorbeeld (volledig) zelfrijdende auto’s nemen algoritmen rechtstreeks, zonder menselijke tussenkomst, een beslissing. Algoritmen kunnen echter ook worden ingezet als onderdeel in een groter besluitvormingsproces waarin mensen de uiteindelijke beslissing nemen. Dit is bijvoorbeeld het geval als het algoritme informatie geeft of adviezen verstrekt die relevant zijn voor de te nemen beslissing. Daarbij kan gedacht worden aan de beslisondersteuningsalgoritmen die in de rechtspraak kunnen worden gebruikt of aan de algoritmen die online hate speech signaleren.

Ook de organisatorische context waarbinnen een algoritme wordt ingezet, is van invloed op (de mate) waarin risico’s zich voordoen. Als mensen die werken met de uitvoer van algoritmen niet voldoende in staat zijn om risico’s te herkennen, of zij onvoldoende ruimte hebben om die risico’s te voorkomen, dan vergroot dat de kans dat die risico’s zich daadwerkelijk verwezenlijken. Een voorbeeld daarvan kan gevonden worden in het domein van contentmoderatie door online platformen. In dat domein hebben de mensen die oordelen over online content slechts zeer beperkt de tijd om te besluiten over door algoritmen gesuggereerde te verwijderen content, wat de correctheid van genomen beslissingen niet ten goede komt.41 Ook kan gedacht worden aan rechters die door algoritmen gegenereerde adviezen op waarde moeten schatten, terwijl zij niet altijd voldoende weten over de manier waarop het systeem tot het betreffende advies gekomen is.42

De mate waarin risico’s zich verwezenlijken is ook afhankelijk van de mate waarin een organisatie invloed kan uitoefenen op de ontwikkeling en werking van een gebruikt algoritme. Algoritmen kunnen door een organisatie zelf worden ontwikkeld, maar ook door derden, of in het kader van een samenwerkingsverband. Gebruikte datasets kunnen uit de eigen organisatie of onderneming afkomstig zijn of extern worden ingekocht. Als data en/of algoritmen extern worden ontwikkeld dan kan het voor een organisatie lastiger zijn om bijvoorbeeld het risico op discriminatie te identificeren en te voorkomen. Voor de bescherming van persoonsgegevens is daarnaast van belang zijn hoe data worden opgeslagen en in hoeverre er wordt voortgebouwd op bestaande computercode en (cloud)platformen. Een organisatie kan dan ook afhankelijk worden van anderen voor de (correcte) werking van het algoritme. Uit de casestudy naar de rechtspraak volgt bijvoorbeeld dat de

41 Zie par. 4.2.2.

179 onafhankelijkheid van de rechterlijke macht in het gedrang kan komen als gebruikgemaakt wordt van externe datasets.43

Tot slot kan voor wat betreft de risico’s van algoritmische besluitvorming, een onderscheid gemaakt worden naar het type organisatie dat die algoritmen inzet. Voor overheidsorganisaties geldt dat zij burgers eenzijdig kunnen binden en burgers geen directe invloed kunnen uitoefenen op de inzet van algoritmen in besluitvormingsprocessen. Burgers worden dus per definitie geraakt door de risico’s die samenhangen met de inzet van algoritmen. Dat is formeel gezien anders als actoren in de private sector algoritmen inzetten, omdat iedere burger dan keuzevrijheid heeft ten aanzien van het gebruikmaken van bepaalde dienstverlening. Hierbij geldt wel dat de daadwerkelijke keuzevrijheid beperkt kan zijn door omstandigheden als (markt)macht van een onderneming,44 het belang van de dienstverlening voor de burger, en de wijze waarop de markt als geheel gebruikmaakt van (bepaalde) algoritmen in besluitvormingsprocessen.

8.4 Conclusie

In dit hoofdstuk hebben wij een overzicht gegeven van de kansen en risico’s die kunnen ontstaan als gevolg van de inzet van algoritmische besluitvorming. Kansen hangen vooral samen met de grote hoeveelheden gegevens die door algoritmen snel en nauwkeurig verwerkt kunnen worden. De inzet van algoritmen leidt dan ook tot efficiëntiewinst. Daarnaast kunnen er kansen zijn voor de verwezenlijking van de publieke waarden en belangen die in dit onderzoek centraal staan, maar zoals hiervoor is gebleken, zijn die kansen relatief abstract. De risico’s voor het verwezenlijken van deze publieke waarden en belangen zijn veel concreter.

Wel geldt dat bij de inzet van een algoritme zowel kansen als risico’s kunnen bestaan. Om de kansen van algoritmische besluitvorming te realiseren zullen tegelijkertijd ook andere betrokken publieke waarden en belangen geborgd moeten worden. Dat vergt veelal een integrale (beleids)afweging in het licht van onder meer de publieke waarden en belangen die spelen in een bepaald domein.

43 Zie par. 6.5.1.3.

181