Organisatorische en maatschappelijke context

Algoritmen staan niet op zichzelf, maar zijn ingebed in een bredere organisatorische en maatschappelijke context die hun inzet kleurt. Binnen een organisatie kunnen algoritmiten functioneren met verschillende gradaties van zelfstandigheid. Bij algoritmen met een beschrijvende of diagnostische rol wordt de uitvoer van het systeem veelal door een mens meegenomen in een verder besluitvormingsproces. In andere gevallen is menselijke tussenkomst minder vanzelfsprekend. Dat is bijvoorbeeld het geval bij voorspellende algoritmen of bij algoritmen die een bepaalde handeling voorschrijven. Naarmate de menselijke tussenkomst afneemt, neemt de rechtstreekse impact van het algoritme op rechtssubjecten vanzelfsprekend toe.66 Binnen organisaties kan de inzet van algoritmen een belangrijke rol spelen in het beter, nauwkeuriger of sneller laten verlopen van besluitvormingsprocessen, maar daarbij is het van belang om in het oog te houden dat algoritmen ook de dynamiek van processen binnen een organisatie kunnen veranderen. De gebruikte algoritmen interacteren immers met mensen en kunnen daarmee mogelijk ook invloed hebben op het gevoel van verantwoordelijkheid, controle en invloed van medewerkers van een organisatie.67 Het is daarom voor het inschatten van kansen en risico’s van de inzet van algoritmen in een concreet geval van belang dat er nadrukkelijk aandacht is voor de aard en kenmerken van de organisatorische context waarin algoritmen worden ingezet.

63 LeCun, Bengio & Hinton, Nature 2015, p. 436-444.

64 Goodfellow, Bengio & Courville 2016, hoofdstuk 1.

65 Wilks 2019. In de casestudy naar de rechtspraak (hoofdstuk 6) wordt hierop verder ingegaan.

66 Bijlage bij Kamerstukken II 2019/20, 26643, nr. 641, p. 4.

36 Daarnaast is het belangrijk om vast te stellen dat algoritmen worden ingezet in een samenleving waarin processen steeds verder digitaliseren en systemen aan elkaar worden gekoppeld. In deze maatschappelijke context vormen zogenaamde enabling technologies de basis voor veel innovatieve toepassingen en nieuwe vormen van gebruik.68 Een goed voorbeeld daarvan is het ontstaan van een Internet of Things, waarin niet alleen traditionele computers aan elkaar worden gekoppeld worden, maar ook tal van andere apparaten met het internet worden verbonden.69 Daarnaast is het door toegenomen rekenkracht van computers en toegenomen mogelijkheden om grote hoeveelheden informatie op te slaan, mogelijk geworden grote (big) dataverzamelingen te verwerken en daarop analyses los te laten.70 Deze ontwikkelingen maken het bovendien mogelijk om algoritmen op een zodanige wijze in te zetten dat er systemen ontstaan die taken kunnen uitvoeren die normaal gesproken een vorm van menselijke intelligentie vereisen. Er is dan sprake van (een vorm van) Kunstmatige (of Artificiële) Intelligentie (KI, of ook wel AI).71

De grotere verbondenheid van systemen, de bijbehorende interacties en de hoeveelheden data die daarmee gegenereerd en verwerkt worden, brengen nieuwe uitdagingen met zich. De context waarin systemen functioneren, wordt steeds complexer en daarmee minder overzichtelijk. Als systemen aan elkaar worden gekoppeld in een netwerk, kunnen zij van elkaar afhankelijk worden en elkaar beïnvloeden. Zo is in een netwerk van apparaten de beveiliging voor een groot deel afhankelijk van de zwakste schakel in het netwerk en bestaat er een risico op datalekken en hacks.72 Als algoritmen met elkaar interacteren kan dit tot onvoorspelbare resultaten leiden. Bovendien kan de koppeling van systemen leiden tot zogenaamde cascading failures, waarbij het falen van één systeem leidt tot het falen van de gekoppelde systemen. De risico’s die daarbij kunnen ontstaan, laten zich illustreren aan de hand van de flash crashes die zich in de financiële wereld hebben voorgedaan. Zo vond in 2010 een dergelijke crash plaats mede als gevolg van algoritmische beurshandel.73 Om verliezen te beperken, waren de algoritmen die in de beurshandel werden ingezet geprogrammeerd om aandelen te verkopen als beurskoersen in een bepaalde mate daalden. Toen op 6 mei 2010 de beurskoersen in New York daalden, leidde dat tot grootschalige automatische verkopen. Deze verkopen leidden tot verdere koersdalingen, die weer leidden tot nieuwe automatische verkopen. De beurskoersen herstelden zich, maar wie gedurende de flash crash verkocht, leed grote verliezen.74

68 Mitrou 2019, p. 16.

69 Ashton, RFID Journal 22 juni 2009.

70 Laney 2001.

71 Russell & Norvig 2010, hoofdstuk 1; Surden, Georgia State University Law Review 2019, p. 1307.

72 Alaba e.a., Journal of Network and Computer Applications 2017, p. 10-28; Weber, Computer Law & Security Review 2015, p. 618-627.

73 Zie over deze gebeurtenissen ook CFTC & SEC 2010.

37 2.3 Afsluitende opmerkingen

Algoritmen kunnen als gezegd worden onderscheiden op grond van de doelen waarvoor ze worden ingezet. Er kan in dat verband een onderscheid gemaakt worden tussen beschrijvende, diagnostische, voorspellende en voorschrijvende algoritmen. Ook verschilt de rol die algoritmen spelen bij het beslissen over personen en de wijze waarop zij dat doen. Algoritmen kunnen beslissingen nemen of ondersteunen op grond van individuele kenmerken of omstandigheden, maar zij kunnen ook door middel van profilering persoonskenmerken koppelen aan profielen op grond waarvan aannames worden gedaan over die persoon.

In dit hoofdstuk stond het verschil tussen regelgebaseerde algoritmen en zelflerende algoritmen centraal. In regelgebaseerde algoritmen worden de relevante variabelen en regels die de basis vormen van het algoritme van tevoren geprogrammeerd. De kwaliteit van de werking van dergelijke algoritmen hangt af van de mate waarin een op te lossen probleem kan worden omgezet in variabelen en regels. Regelgebaseerde systemen werken met name goed in relatief overzichtelijke domeinen waar het aantal mogelijke uitkomsten beperkt is. Regelgebaseerde algoritmen zijn, vanwege de voorgeprogrammeerde regels, echter niet in staat om om te gaan met onvoorziene scenario’s.

Waar in regelgebaseerde algoritmen dus de vooraf bepaalde variabelen en regels centraal staan, destilleren zelflerende algoritmen uit aangereikte data zelf variabelen, regels en modellen. De kwaliteit van de werking van zelflerende algoritmen is dan ook voor een groot deel afhankelijk van de kwaliteit van de data die het systeem aangereikt krijgt, en de mate waarin die data representatief zijn. Een belangrijk voordeel van zelflerende algoritmen is dat zij in staat zijn om zich te blijven ontwikkelen als zij op basis van meer of andere data getraind worden. Wel geldt daarbij dat zelflerende algoritmen doorgaans getraind worden met gegevens die betrekking hebben op het verleden. Een zelflerend algoritme zal dus ontdekte verbanden in gegevens over het verleden, ook toepassen op nieuwe gevallen, waarmee het algoritme dus in zekere zin het verleden op de toekomst projecteert. Dat kan onjuiste of onwenselijke besluitvorming in de hand werken als situaties veranderen.

Regelgebaseerde algoritmen hebben, vanwege hun voorgeprogrammeerde karakter, in het algemeen een grotere voorspelbaarheid dan zelflerende algoritmen. De invoer van dezelfde invoergegevens zal immers altijd tot dezelfde uitkomsten leiden. In een individueel geval is de uitkomst van een algoritme in beginsel uitlegbaar in voor mensen te begrijpen termen. Als voldoende technische transparantie wordt geboden kan de ‘redenering’ van een algoritme namelijk aan de hand van ingevoerde gegevens en toepassing van gebruikte regels gevolgd worden. Zelflerende algoritmen zijn daarentegen niet gebaseerd op geprogrammeerde regels, maar leggen (doorgaans statistische) verbanden in de data, zonder dat daarbij sprake hoeft te zijn van causale

38 of redengevende verbanden. Dat maakt de zelflerende systemen, zeker waar gewerkt wordt met dynamische modellen (dat wil zeggen modellen die zich gedurende de inzet van het systeem kunnen ontwikkelen), minder voorspelbaar en moeilijker uitlegbaar op een voor mensen te begrijpen manier. Zelflerende systemen kunnen in technologische zin wel transparant zijn door bijvoorbeeld de broncode en invoervariabelen, parameters en drempelwaarden die gebruikt zijn inzichtelijk te maken. Het bieden van dergelijke technische transparantie kan bijdragen aan de uitlegbaarheid van de werking van het algoritme, maar zelflerende algoritmen zijn tegelijkertijd veelal dusdanig complex dat het lastig en vaak ook onmogelijk is om daaruit de gronden voor een uitkomst in een individueel geval af te leiden.75 Er wordt op dit moment veel onderzoek verricht naar Explainable AI (‘XAI’). Het doel van dat onderzoek is om manieren te vinden om algoritmische beslissingen, en ook de gegevens die tot die beslissingen leiden, aan eindgebruikers en andere betrokkenen in niet-technische termen uit te leggen.76 Veelal wordt voor deze hogere uitlegbaarheid echter een prijs betaald in de vorm van een afname van de nauwkeurigheid van het systeem.77 Op dit moment is het maken van een afweging tussen uitlegbaarheid en nauwkeurigheid van zelflerende algoritmen dus veelal nog noodzakelijk.

Voor een goed begrip van de gevolgen van de inzet van algoritmen in besluitvormingsprocessen, kan niet worden volstaan met een bespreking van de technologische onderscheidingen en technologische beperkingen van de verschillende soorten algoritmen. Belangrijk is ook dat algoritmen met verschillende gradaties van zelfstandigheid functioneren in een bredere organisatorische context. Daarnaast worden algoritmen ingezet in een steeds verder digitaliserende samenleving, waarin systemen aan elkaar gekoppeld worden en er complexe netwerken van systemen ontstaan. Dit kan ertoe leiden dat de toepassing van combinaties van op zichzelf simpele algoritmen tot zeer moeilijk uitlegbare uitkomsten leidt. Naast dergelijke potentiële complexiteit van interacties, zijn algoritmen voor hun goede werking in de gedigitaliseerde samenleving steeds vaker afhankelijk van andere systemen, waarmee eventuele fouten steeds kunnen worden doorgegeven en een trapsgewijs falen kan ontstaan. Ook dat beïnvloedt de kansen en risico’s die samenhangen met de inzet van algoritmen in beslissingsprocessen.

75 Zie daarover Bijlage bij Kamerstukken II 2019/20, 26643, nr. 641, p. 5.

76 Adadi & Berrada, IEEE Access 2018, p. 52140.

39