Masterscriptie Informatierecht, Faculteit der Rechtsgeleerdheid
Geautomatiseerde besluitvorming: van human
in-the-loop naar human out-the-loop
Een onderzoek naar het recht op menselijke
tussenkomst als passende maatregel in het kader van
art. 22 AVG en art. 25 AVG
Naam: Gonnie Smelting
E-mailadres: gsmelting@gmail.com
Studentnummer: 12263389 Studie: Master Informatierecht
Begeleider: dhr. mr. M.Z. van Drunen Inleverdatum: Maandag 6 januari 2020 Aantal woorden: 12346 (incl. voetnoten)
Abstract
In deze masterscriptie is onderzoek gedaan naar het recht op menselijke tussenkomst als passende maatregel in het kader van art. 22 AVG en art. 25 Algemene Verordening Gegevensbescherming (AVG), wanneer betrokkenen worden onderworpen aan uitsluitend geautomatiseerde besluitvorming. Er is onderzoek gedaan naar de ratio van het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG, de juridische en praktische context van dit recht en hoe het zich verhoudt tot de verplichtingen van verwerkingsverantwoordelijken onder art. 25 AVG. Het onderzoek is verricht door middel van literatuuronderzoek, waarbij gebruik is gemaakt van descriptieve, normatieve, vergelijkende en evaluerende onderzoeksmethoden.
Uit het onderzoek blijkt dat als gevolg van digitalisering op het gebied van besluitvorming belangrijke beslissingen over het leven van betrokkenen in toenemende mate worden genomen door algoritmes in plaats van door mensen (van human ‘in-the-loop’ naar ‘out-the-loop’). Hierdoor komen fundamentele rechtsbeginselen, zoals menselijke waardigheid en persoonlijke autonomie onder druk te staan. Geautomatiseerde besluitvormingsprocessen kunnen leiden tot verlies van controle, objectivering van de mens, het maken van foutieve correlaties en het voorbij gaan aan ‘de omstandigheden van het geval’ tijdens het maken van een besluit. Het recht op menselijke tussenkomst beoogt betrokkenen tegen deze risico’s te beschermen door middel van een recht op menselijke tussenkomst, waarmee achteraf bezwaar kan worden gemaakt tegen het geautomatiseerde besluit.
Een belangrijke beperking van het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG is dat enkel individuele gevallen worden beschermd. Uit dit onderzoek blijkt dat er gegronde redenen zijn om aan te nemen dat dit recht daarom moet worden opgevat als een onderdeel van een groot framework aan rechten en plichten om betrokkenen te beschermen tegen de risico’s van gegevensverwerking, waaronder art. 25 AVG.
Uit het onderzoek kan worden geconcludeerd dat er op grond van art. 22 AVG en art. 25 AVG zowel voorafgaand, als achteraf menselijke tussenkomst moet worden toegevoegd aan het besluitvormingsproces. Op deze manier worden niet slechts individuele gevallen beschermd wanneer het kwaad al is geschied, maar worden betrokkenen ook preventief beschermd tegen de risico’s van uitsluitend geautomatiseerde besluitvorming.
Inhoud
INLEIDING...4 ONDERZOEKSDOELSTELLING... 5 ONDERZOEKSVERANTWOORDING...5 ONDERZOEKSOPZET...5 ONDERZOEKSMETHODE...6 HOOFDSTUK 1...8DE RATIO ACHTER HET RECHT OP MENSELIJKE TUSSENKOMST...8
1.1 DIGITALISERINGENBESLUITVORMING...8
1.1.1 Big-data... 9
1.2 BEGINSELEN...10
1.2.1 Menselijke waardigheid... 10
1.2.2 Persoonlijke autonomie... 11
1.3 FRICTIEPUNTENTUSSENDEBEGINSELENENGEAUTOMATISEERDEBESLUITVORMING...11
1.3.1 Verlies van controle... 11
1.3.2 Objectivering van de mens... 13
1.3.3 De omstandigheden van het geval... 15
1.4 HETRECHTOPMENSELIJKETUSSENKOMSTBUITENART. 22 AVG...17
HOOFDSTUK 2...19
DE JURIDISCHE CONTEXT VAN HET RECHT OP MENSELIJKE TUSSENKOMST...19
2.1 VERBODSBEPALING...19 2.2 ARTIKEL 22 AVG...20 2.2.1 Lid 1... 20 2.2.2 Lid 2... 23 2.2.3 Lid 3... 24 2.3 GEGEVENSBESCHERMINGSEFFECTBEOORDELING...25
2.4 PRIVACYBYDESIGN / PRIVACYBYDEFAULT....25
2.5 HETRECHTOPINFORMATIE...26
HOOFDSTUK 3...28
DE PRAKTISCHE CONTEXT VAN HET RECHT OP MENSELIJKE TUSSENKOMST...28
3.1 HETRECHTOPMENSELIJKETUSSENKOMST (POSTHOC)...28
3.1.1 De functie van het recht op menselijke tussenkomst (post hoc)...29
3.1.2 Het recht op menselijke tussenkomst (post hoc) als passende maatregel in de praktijk...30
3.2 HETRECHTOPMENSELIJKETUSSENKOMST (EXANTE)...31
3.2.1 De functie van het recht op menselijke tussenkomst (ex ante)...32
3.2.2 Het recht op menselijke tussenkomst (ex ante) als passende maatregel in de praktijk...32
3.3. DEAFWEGINGTUSSENHETRECHTOPMENSELIJKETUSSENKOMST (POSTHOC) EN (EXANTE)...33
3.3.1 Een combinatie van het recht op menselijke tussenkomst (post hoc) en (ex ante)...33
CONCLUSIE...36
Inleiding
De digitalisering van de samenleving, ook wel de vierde industriële revolutie genoemd, is in volle gang.1 Eén van de onderdelen hiervan is het toenemende gebruik van geautomatiseerde
besluitvormingsprocessen, waarbij een algoritme een besluit maakt in plaats van een mens. Dergelijke besluitvormingsprocessen worden steeds meer ingezet op belangrijke keerpunten in het leven van mensen. Een sollicitant die wordt afgewezen op basis van zijn persoonlijke kenmerken op zijn C.V., een krediet-aanvrager die geen krediet krijgt, omdat hij in een bepaald postcodegebied woont, een verzekeringnemer die een hogere premie moet betalen, omdat het algoritme hem aanmerkt als een risicovolle autobestuurder, dit zijn allemaal voorbeelden waarbij gebruik wordt gemaakt van een geautomatiseerd besluitvormingsproces.
Hoewel digitalisering veel kansen biedt, zoals het overnemen van werk wat mensen niet willen doen, het besparen van tijd en vermindering van de kosten, leiden innoverende technieken ook tot onrust in de maatschappij, met name op het gebied van veiligheid, ethiek, betrouwbaarheid en privacy.2 De gedachte heerst dat de toenemende inzet van
geautomatiseerde besluitvormingsprocessen op belangrijke momenten in het leven van mensen zal leiden tot verlies van menselijke waardigheid en persoonlijke autonomie.3 Er
bestaat dan ook een behoefte om een bepaalde mate van menselijke controle te behouden, door middel van een recht op menselijke tussenkomst, wanneer men wordt onderworpen aan uitsluitend geautomatiseerde besluitvorming.4
Art. 22 Algemene Verordening Gegevensbescherming (AVG) kan worden gezien als reactie op deze zorgen en biedt betrokkenen rechtsbescherming in de vorm van menselijke tussenkomst, wanneer zij worden onderworpen aan uitsluitend geautomatiseerde besluitvorming.5 De open formulering van art. 22 AVG roept echter vragen op wat betreft de
juridische context, als de praktische uitvoering van het recht op menselijke tussenkomst. De wettekst van de AVG geeft geen directe aanleiding over hoe dit recht geïnterpreteerd en uitgevoerd moet worden.6
1 Brkan, IJLIT 2019/27, p. 2.
2 Zarsky, Science, Technology & Human Values 2016/41, P. 127 – 130.
3 Advies EESC (PbEU 2017, C 288/01), par. 3.1 e.v.
4 Art. 22 lid 3 Verordening (EU) 2016/697.
5 Veale & Edwards, CLSR 2018/24, p. 399.
Onderzoeksdoelstelling
De open formulering van art. 22 AVG vraagt naar nadere invulling om aan betrokkenen de beoogde rechtsbescherming te bieden conform de ratio van art. 22 AVG. Het doel van dit onderzoek is om uit te vinden hoe het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG geïnterpreteerd en uitgevoerd moet worden om deze rechtsbescherming te behalen. De hoofdvraag van het onderzoek luidt:
‘’Op welke manier moet het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG
worden geïnterpreteerd om aan een betrokkene de beoogde rechtsbescherming te bieden onder art. 22 AVG, waarbij mede wordt gelet op de samenhang met de verplichtingen van verwerkingsverantwoordelijken onder art. 25 AVG?’’.
Onderzoeksverantwoording
In bovenstaande onderzoeksvraag wordt naast art. 22 AVG ook verwezen naar art. 25 AVG. Dit onderzoek zal zich namelijk naast de specifieke verplichtingen die gelden in het kader van geautomatiseerde besluitvorming, ook richten op de algemene verplichtingen van verwerkingsverantwoordelijken onder de AVG om betrokkenen rechtsbescherming te bieden. De reden hiervoor is dat art. 22 AVG niet in isolatie gezien kan worden. De AVG moet worden gelezen als een breed scala aan samenhangende rechten en plichten, met als gezamenlijk doel om de rechten en vrijheden van betrokkenen zo goed mogelijk te waarborgen.7
Onderzoeksopzet
Om tot een antwoord te komen op de hoofdvraag, zal in het eerste hoofdstuk begonnen worden met een korte uitleg welke verschuiving plaatsvindt op het gebied van besluitvorming als gevolg van digitalisering. Daarna zal onderzoek worden gedaan naar de ratio van het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG. Kort gezegd is art. 22 AVG een reactie op de zorgen dat geautomatiseerde besluitvorming de menselijke waardigheid en persoonlijke autonomie kan inperken. Nadat de achterliggende gedachte is onderzocht, zal worden uitgelegd waar het frictiepunt ligt tussen deze beginselen en uitsluitend geautomatiseerde besluitvorming. In deze sectie zal de aandacht liggen op de algemene frictiepunten. In specifieke gevallen kan geautomatiseerde besluitvorming ook leiden tot andere, specifieke gevolgen, maar gelet op de omvang van het onderzoek wordt daaraan geen aandacht besteed. Tot slot zal in dit hoofdstuk worden besproken waarom het recht op menselijke tussenkomst 7 Zie par 1.4.
ex. art. 22 lid 3 AVG niet in isolatie kan worden gezien, maar moet worden opgevat als een onderdeel van een groter framework om betrokkenen rechtsbescherming te bieden.
Vervolgens zal in het tweede hoofdstuk de juridische context van het recht op menselijke tussenkomst worden toegelicht. In dit hoofdstuk ligt de focus vooral op het verduidelijken van de situatie waarin betrokkenen recht hebben op menselijke tussenkomst. Er zal een ontleding van art. 22 AVG plaatsvinden, waarbij onderzoek wordt gedaan naar de reikwijdte van de open definities in de wetsbepaling en welke voorwaarden nodig zijn om het recht op menselijke tussenkomst uit te kunnen voeren. De focus ligt met name op het vaststellen van de reikwijdte van de definitie van een uitsluitend geautomatiseerd besluit. Tot slot wordt in dit hoofdstuk ook aandacht besteed aan andere voorwaarden waaraan de verwerkingsverantwoordelijken moet voldoen om het recht op menselijke tussenkomst mogelijk te maken. De verplichtingen van verwerkingsverantwoordelijken onder artikelen 13, 14, 25 en 35 AVG komen aan bod.
In het derde en tevens laatste hoofdstuk zal de focus verschuiven van de juridische context naar de praktische uitvoering van het recht op menselijke tussenkomst. In dit hoofdstuk zal het recht op menselijke tussenkomst ex. Art. 22 lid 3 AVG worden afgewogen tegen het recht op menselijke tussenkomst, wanneer het wordt gelezen als een onderdeel van het bredere framework, waarbij ook rekening wordt gehouden met art. 25 AVG. Voor beide interpretaties zal worden onderzocht wat de voor- en nadelen daarvan zijn op basis van de ratio van het recht op menselijke tussenkomst, de juridische context daarvan en de andere verplichtingen waaraan de verwerkingsverantwoordelijken moeten voldoen. Het hoofdstuk zal worden afgesloten met een aanbeveling over welke interpretatiemogelijkheid, of een combinatie daarvan, betrokkenen de meest volledige bescherming zal bieden tegen de risico’s van uitsluitend geautomatiseerde gegevensverwerking, zoals die zijn geschetst in de hoofdstukken daarvoor.
Onderzoeksmethode
Het gehele onderzoek wordt verricht door middel van literatuuronderzoek. Het eerste hoofdstuk zal voornamelijk normatief zijn, waarin onderzocht wordt wat de ratio is achter het recht op menselijke tussenkomst en hoe dit zich verhoudt tot geautomatiseerde besluitvorming. Daarnaast zal het hoofdstuk deels descriptief zijn, waar het gaat om de uitleg over waarom het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG niet in isolatie gezien kan worden, maar onderdeel is van een breder geheel wat als doel heeft betrokkenen rechtsbescherming te bieden.
In het tweede hoofdstuk zal het juridisch kader uiteen worden gezet. Daarbij wordt niet alleen gelet op het invullen van de open normen in art. 22 AVG, maar ook welke voorwaarden er onder andere artikelen nog meer nodig zijn om het recht op menselijke uit te kunnen voeren. Dit hoofdstuk is voornamelijk descriptief.
Het laatste hoofdstuk is deels evaluerend en deels vergelijkend opgesteld. Het zal bestaan uit een vergelijking tussen de mogelijke interpretaties van het recht op menselijke tussenkomst, zowel in isolatie als een onderdeel van een groter framework. Het hoofdstuk wordt afgesloten met een aanbeveling.
Hoofdstuk 1
De ratio achter het recht op menselijke tussenkomst
Hoewel digitalisering van de samenleving veel kansen biedt, zorgt het er ook voor dat belangrijke waarden en fundamentele rechtsbeginselen, zoals menselijke waardigheid en persoonlijke autonomie onder druk komen te staan.8 Art. 22 AVG beoogt deze beginselen tebeschermen door middel van een recht op menselijke tussenkomst.9 Enerzijds legt art. 22
AVG de verplichting op aan verwerkingsverantwoordelijken om een betrokkene niet te onderwerpen aan uitsluitend geautomatiseerde besluitvorming.10 Anderzijds erkent het ook
situaties waaronder het wel is toegestaan, met als voorwaarde dat er passende maatregelen worden getroffen om de betrokkene te beschermen, zoals het recht op menselijke tussenkomst.11 In dit hoofdstuk zal worden ingezoomd op de ratio van het recht op menselijke
tussenkomst. Daarvoor zal eerst kort uitleg worden gegeven over de huidige situatie en de eerdergenoemde beginselen. Vervolgens zal worden onderzocht waar de frictiepunten liggen tussen de praktijk en de ratio van het recht op menselijke tussenkomst. Tot slot zal worden uitgelegd dat dit recht echter meer is, gelet op art. 25 AVG, dan slechts een middel om individuele belangen te beschermen.
1.1 Digitalisering en besluitvorming
In toenemende mate wordt er gebruik gemaakt van geautomatiseerde besluitvormingsprocessen in bijna alle sectoren van de samenleving.12 Geautomatiseerde
besluitvorming houdt in dat een besluit niet door een mens, maar door een algoritme wordt genomen. Het algoritme, een wiskundige formule, wordt gevoed met data en geprogrammeerd vanuit een bepaalde doelstelling om een probleem op te lossen en een besluit te nemen.13 Algoritmes worden gebruikt bij verschillende kunstmatige intelligentie
technieken, maar in het kader van geautomatiseerde besluitvorming zijn ze vooral nuttig om
8 Vetzo, Gerards & Nehmelman 2018, p. 123.
9 Veale & Edwards, CLSR 2018/24, p. 399.
10 Art. 22 lid 1 Verordening (EU) 2016/697.
11 Art. 22 lid 2 jo. lid 3 Verordening (EU) 2016/697.
12 Noto La Diega, JIPITEC 2018/3, p.4.
informatie sneller te verwerken en sneller beslissingen te nemen. Dit is dan ook een belangrijke reden dat er steeds meer gebruik wordt gemaakt van dergelijke processen.14
Het toenemende gebruik van geautomatiseerde besluitvormingsprocessen leidt tot dehumanisatie en verlies van controle op het gebied van besluitvorming. Deze verschuiving wordt ook wel aangeduid als een verschuiving van human ‘in-the loop’, naar ‘on-the-loop’, naar ‘out-the loop’.15 Wanneer de mens volledig in controle is over de geautomatiseerde
systemen en zijn toestemming vereist is om bepaalde keuzes te maken en acties in te zetten, is er sprake van een ‘human in-the-loop’ situatie. ‘Human on-the-loop’ betekent dat een mens zijn beslissing baseert op grond van informatie die door het algoritme wordt gegenereerd. Indien er sprake is van volledige automatisering, waarbij een beslissing wordt genomen zonder menselijke tussenkomst, is er sprake van een ‘human out-the-loop’ situatie.16 Deze
laatste situatie verwijst naar het nemen van uitsluitend geautomatiseerde besluiten, waartegen betrokkenen op grond van art. 22 lid 1 AVG worden beschermd.
1.1.1 Big-data
De bovenstaande verschuiving is onder andere mogelijk geworden door de grote toestroom aan beschikbare data als gevolg van digitalisering.17 Steeds meer mensen zijn, al dan niet
bewust, online en laten veel data achter op het internet. Deze grote hoeveelheid beschikbare data wordt ‘big-data’ genoemd.18 ‘Big-data’ is voor bedrijven erg waardevol, omdat het hen
veel inzicht geeft in het gedrag van mensen en daar hun besluitvorming op af kunnen stemmen.19 Nadat de data is verzameld, worden hierop analyses losgelaten om
‘standaardprofielen’ op te maken. Met behulp van deze profielen kunnen besluiten worden gemaakt door algoritmes. Indien een besluit moet worden gemaakt over een betrokkene zal het algoritme de data over een betrokkene vergelijken met het standaardprofiel en op deze vergelijking het besluit baseren.20
Wanneer het algoritme niet in staat is een volledig profiel op te stellen over een betrokkene op basis van de beschikbare data, zal het de missende plekken in het profiel zelf proberen in te vullen.21 Op deze manier ontstaat er een profiel wat enerzijds is gebaseerd op
14 Van Breda, Computerrecht 2017/154, p. 223.
15 Kool, Timmer, Royakkers & Van Est, Rathenau Instituut 2017, p. 53-54.
16 Van der Hof & Hannema, P&I 208/6, p. 190 / Almada, ICAIL 2019, par. 3.
17 Advies EESC (PbEU 2017, C 288/01), par. 2.3 / Kool, Timmer, Royakkers & Van Est, Rathenau Instituut 2017, p. 53-54.
18 Van der sloot & Van Schendel, NJB 2019/44, p. 2 (online publiek).
19 Kool, Timmer, Royakkers & Van Est, Rathenau Instituut 2017, p. 69.
20 Kamarinou, Millard & Singh, Research Paper No. 247/2016, p. 2. / Noto La Diega, JIPITEC 2018/3, p. 4.
informatie die is achtergelaten door de betrokkene zelf (‘persoonlijke digitale voetafdruk’) en anderzijds is gebaseerd op informatie over een betrokkene die door het algoritme wordt gegeneerd.22 Het deel van het profiel wat is ingevuld door het algoritme zelf wordt een
‘data-schaduw’ genoemd. 23
1.2 Beginselen
De bovenstaande verschuiving leidt ertoe dat belangrijke rechtsbeginselen, zoals menselijke waardigheid en persoonlijke autonomie onder druk komen te staan. In onderstaande paragrafen zal uitleg worden gegeven over deze beginselen en waar het frictiepunt ligt met uitsluitend geautomatiseerde besluitvorming.
1.2.1 Menselijke waardigheid
Het beginsel van menselijke waardigheid is breed en kan op verschillende manieren worden opgevat. In sommige gevallen wordt het direct gerelateerd aan bestaande mensenrechten, maar soms wordt het ook gebruikt als een aanwijzing naar wat in een samenleving als rechtvaardig wordt gezien. In het algemeen wordt menselijke waardigheid opgevat als een bepaalde kwaliteit die kenmerkend is voor het menselijk leven.24 Zowel op nationaal,
Europees, als op mondiaal niveau zijn er fundamentele grondrechten vastgelegd die verwijzen naar het idee van menselijke waardigheid.25 Daarnaast neemt het beginsel ook een
centrale plaats in binnen de rechtspraak van het Europees Hof voor de Rechten van de Mens (EHRM).26
In het kader van geautomatiseerde besluitvorming ziet het begrip van menselijke waardigheid op de verhouding tussen mensen en computers.27 Het gaat daarbij vooral om het
vraagstuk in hoeverre de dehumanisatie die plaatsvindt door digitalisering wenselijk is en hoe mens en computers zich tot elkaar verhouden.28 Vooral wanneer het gaat om het inzetten van
geautomatiseerde besluitvormingsprocessen op belangrijke keerpunten in het leven van mensen, lijkt men sceptisch te zijn of geautomatiseerde besluitvorming in voldoende mate recht doet aan het beginsel van menselijke waardigheid.29 Aangezien het beginsel verwijst
22 Vetzo, Gerards & Nehmelman 2018, p. 124.
23 Kaminski, Southern California Law Review 2019/92, p.15.
24 Van Est, Gerritsen & Kool, Rathenau Instituut 2017, p. 27.
25 Zie o.a. art. 1 Gw, art. 14 EVRM en art. 1 UVRM
26 Zie o.a. ECLI:CE:ECHR:2002:0429JUD000234602, ECLI:CE:ECHR:2007:0320JUD000541003, ECLI:CE:ECHR:2007:0410JUD000633905 en ECLI:CE:ECHR:2010:0610JUD000030202.
27 Kool, Dujso, Van Est, Rathenau Instituut 2018, p. 14.
28 Nieuwenhuis, TvCR 2012/2, p. 141.
naar bestaande rechten, betekent het dat wanneer geautomatiseerde besluitvorming leidt tot frictie met menselijke waardigheid, de rechten die hieraan verbonden zitten hoogstwaarschijnlijk ook getroffen zullen worden.30
1.2.2 Persoonlijke autonomie
Naast menselijke waardigheid speelt het waarborgen van persoonlijke autonomie ook een belangrijke rol in het toenemende gebruik van geautomatiseerde besluitvorming. Deze beginselen liggen in lijn met elkaar.31 Voor beide beginselen geldt bovendien dat ze niet
alleen offline, maar juist ook online gelden.32 Waar de zorgen om menselijke waardigheid
echter meer gaan over de verhouding tussen mensen en computers, gaat het bij de zorgen omtrent persoonlijke autonomie er meer om hoeveel controle technologie mag hebben over belangrijke keerpunten in het leven van de mens.33
Persoonlijke autonomie houdt in dat men vrij moet zijn om bepaalde beslissingen over zichzelf te maken, zodat hij in staat is om zijn eigen identiteit ongehinderd te blijven behouden en ontwikkelen en controle te behouden over de keuzes die hiervoor belangrijk zijn.34 Het verwijst naar een bepaalde vorm van controle hebben over het eigen leven. Het
beginsel erkent de onafhankelijke verhoudingen in relaties tussen mensen onderling, maar ook tussen mensen en de rest van zijn omgeving.35
1.3 Frictiepunten tussen de beginselen en geautomatiseerde besluitvorming
In de bovenstaande paragrafen is kort uitgelegd dat er als gevolg van digitalisering een verschuiving plaatsvindt op het gebied van besluitvorming en welke beginselen hiermee onder druk komen te staan. In de onderstaande paragrafen zal verder onderzoek plaatsvinden naar de frictiepunten tussen deze verschuiving en de bovengenoemde beginselen.
1.3.1 Verlies van controle
In par. 1.1 is uitgelegd dat er een verschuiving plaatsvindt van ‘human in-the-loop’ naar ‘out-the loop’ op het gebied van besluitvorming.36 Dit is niet per se onwenselijk. Indien er sprake
is van ‘human on-the-loop’ kunnen geautomatiseerde besluitvormingsprocessen immers een
30 Van Est, Gerritsen & Kool, Rathenau Instituut 2017, p. 27.
31 Nieuwenhuis, TvCR 2012/2, p. 141
32 Kamerstukken II 2018/19, 26643, nr. 578, p. 4-5. 33 Kool, Dujso, Van Est, Rathenau Instituut 2018, p. 15.
34 Vetzo, Gerards & Nehmelman 2018, p. 53-54.
35 Report of COMEST on Robotics Ethics 2017, p. 50.
handige ondersteuning zijn, bijvoorbeeld wanneer zij helpen bij het opstellen van een medisch behandelplan van een patiënt op basis van zijn klachten of wanneer zij een veilige rijsnelheid van de auto aanbevelen op basis van de situatie waarin de auto zich op dat moment bevindt. In dit soort gevallen dienen geautomatiseerde besluitvormingsprocessen in beginsel als nuttig hulpmiddel om een beslissing makkelijker te makken.37
Het onderliggende algoritme zal op basis van de gegevens één of meerdere aanbevelingen doen, maar het daadwerkelijke besluit wordt in dergelijke gevallen nog steeds genomen door de mens. Wanneer een besluitvormer uit deze opties moet kiezen, wordt zijn keuzevrijheid wel beperkt, maar de beginselen van menselijke waardigheid en persoonlijke autonomie worden hier in zoverre gewaarborgd, omdat de uiteindelijke controle over de besluitvorming nog steeds in handen ligt van de mens en niet van een computer. Bovendien laat het zien dat in de verhouding tussen mensen en computers, meer waarde wordt gehecht aan het menselijke besluit dan aan het geautomatiseerde besluit, omdat de opties die voortvloeien uit het algoritme slechts dienen als ondersteuning om het menselijke besluit makkelijker te maken.38
1.3.1.1 Human out-the-loop
Wanneer de verschuiving echter nog verder gaat en er sprake is van een ‘human out-the-loop’ situatie, komen de beginselen van menselijke waardigheid en persoonlijke autonomie meer onder druk te staan.39 In deze situatie wordt het besluit namelijk volledig
geautomatiseerd genomen, zonder dat een mens daar invloed op kan uitoefenen. Ook dit is in beginsel niet zozeer onwenselijk als het gaat om besluiten welke geen rechtsgevolgen hebben voor betrokkenen of betrokkenen anderszins in aanmerkelijke mate kunnen treffen. Het gaat hierbij om geautomatiseerde handeling tijdens het besluitvormingsproces, welke geen invloed hebben op de redenen van het besluit. In dit geval is het niet erg dat de controle volledig wordt overgelaten aan computers, omdat het besluit geen ingrijpende gevolgen heeft.40
Het kan echter wel problematisch worden, indien dergelijke geautomatiseerde besluitvormingsprocessen worden ingezet op belangrijke momenten in het leven van de mens en de controle daarover volledig in handen komt te liggen van een computer.41 Een voorbeeld
hiervan is het gebruik van geautomatiseerde besluitvorming tijdens de toegang tot het arbeidsproces. De arbeidsomgeving wordt gezien als een belangrijke plek waarbinnen een
37 Van der Hof & Hannema, P&I 208/6, p. 190 38 Vaele & Edwards, CLSR 2018/34, p. 400.
39 Almada, ICAIL 2019, par. 3. 40 Roig, EJLT 2017/8, p. 2.
individu zich kan ontwikkelen.42 Tegenwoordig wordt er steeds meer gebruik gemaakt van
algoritmes om sollicitanten te selecteren. Dit gebeurt bijvoorbeeld door het laten maken van spelletjes door sollicitanten en het algoritme vervolgens op basis van de resultaten hiervan te laten beslissen of iemand over de juiste competenties bezit voor de baan, een algoritme dat op basis van iemands kenmerken op zijn C.V. bepaalt of hij wordt uitgenodigd voor een gesprek of het moeten opsturen van een filmpje op basis waarvan het algoritme beslist of iemand een geschikte kandidaat is voor de desbetreffende functie. Het algoritme wordt in dit geval gebruikt om bepaalde kwaliteiten of resultaten te herkennen en op basis daarvan sollicitanten te selecteren.43
Het inzetten van algoritmes op zulke momenten en de beslissing volledig overlaten aan deze algoritmes staat op gespannen voet met het beginsel van persoonlijke autonomie. Het algoritme heeft immers de volledige controle over een belangrijke beslissing in het leven van een individu, zonder dat daarbij de mens invloed op kan uitoefenen.44 Het besluit of
iemand wel of niet door een sollicitatieronde heen komt ligt immers in handen van een algoritme en niet in handen van de mens, terwijl het wel gaat om een belangrijk keerpunt in het leven van een individu. Deze gedachte is niet wenselijk, omdat deze vorm van besluitvorming belangrijke risico’s met zich mee kan brengen, welke hieronder verder zullen worden toegelicht.
1.3.2 Objectivering van de mens
Naast dat de verschuiving leidt tot verlies van persoonlijke autonomie, staat het ook op gespannen voet met het beginsel van menselijke waardigheid. Het toenemende gebruik van geautomatiseerde besluitvormingsprocessen is mede mogelijk gemaakt door de grote toestroom van ‘big-data’ waaruit profielen worden opgesteld om vervolgens het besluit op te kunnen baseren. Zoals uitgelegd in par. 1.1.1 zal het algoritme zelf de lege plekken in het profiel opvullen door middel van data-schaduwen.45 Dit zijn algoritmische presentaties over
het leven van een individu, welke erg gedetailleerd kunnen zijn, maar niet per se hoeven te kloppen.46 De reden hiervoor is dat het onmogelijk is om alle eigenschappen van de mens te
digitaliseren en vast te leggen in een algoritme. Dit is niet alleen het gevolg van een onjuiste of ontoereikende modellering van de dataset, maar is ook het noodzakelijke gevolg van de 42 Vetzo, Gerards & Nehmelman 2018, p. 136.
43 ‘Solliciteren bij een algoritme’, www.nrc.nl, mei 2018.
44 Hildebrandt, Forthcoming in Theoretical Inquiries of Law 2019/1, p. 26.
45 Almada, ICAIL 2019, par. 2.
menselijke persoonlijkheid, welke nooit volledig te voorspellen is.47 Hoewel het streven naar
een volledige dataverzameling over een betrokkene het doel is, zal dit onmogelijk zijn om te bereiken.48
Het gevolg hiervan is dat het belang van iemands digitale voetafdruk toeneemt.49
Wanneer het algoritme zelf gegevens gaat invullen, zal deze persoonlijke voetafdruk van een betrokkene namelijk het startpunt zijn om het profiel vanaf hier verder aan te vullen. Dit betekent dan ook dat in beginsel iemands persoonlijkheid wordt teruggebracht naar een verzameling van beschikbare data over hem als gevolg van digitalisering.50 Het terugbrengen
van iemands persoonlijkheid naar digitale feiten gaat voorbij aan de gedachte dat ieder mens uniek is en als zodanig behandeld moet worden en staat daarmee op gespannen voet met het beginsel van menselijke waardigheid. De digitale feitenverzameling over een betrokkene is immers niet volledig en kan bovendien onjuist zijn.
1.3.2.1 Identiteitsparadox
Wanneer het algoritme zelf gegevens gaat invullen met data-schaduwen, kan er een zogenaamde ‘identiteitsparadox’ ontstaan. Dit houdt in dat de betrokkene niet zijn eigen identiteit kan bepalen en zo de controle over zijn persoonlijke leven heeft, maar het algoritme de identiteit van die persoon bepaalt en daarmee de autonomie overneemt.51 Naast het belang
van de persoonlijke digitale voetafdruk, neemt ook het belang toe van de digitale voetafdruk van de groep waartoe de betrokkene behoort op basis van zijn online kenmerken, omdat zijn eigenschappen hiermee zullen worden vergeleken.52
Daarnaast kan ook het geval zich voordoen dat een betrokkene onder een heel verkeerd groepsprofiel wordt geschaad dan waar hij eigenlijk toebehoort. Iemands digitale voetafdruk geeft immers geen volledige weergave over iemands persoonlijkheid. Het risico wat daaruit volgt is dat het algoritme onjuiste correlaties gaat maken en daarop het besluit baseert, wat kan leiden tot een onjuiste uitkomst van de besluitvorming voor de betrokkene.53
Het frictiepunt tussen geautomatiseerde besluitvorming en de identiteitsparadox als gevolg van het invullen van een profiel met behulp van data-schaduwen, is verder toe te lichten aan de hand van het bovenstaande voorbeeld over de sollicitant met een handicap. Het 47 Almada, ICAIL 2019, par. 3. en Vetzo, Gerards & Nehmelman 2018, p. 134.
48 Hildebrandt, Forthcoming in Theoretical Inquiries of Law 2019/1, p. 91.
49 Vetzo, Gerards & Nehmelman 2018, p. 134-135.
50 Kool, Timmer, Royakkers & Van Est, Rathenau Instituut 2017, p. 60.
51 Vetzo, Gerards & Nehmelman 2018, p. 134
52 Cate, Kuner & Svantesson e.a., Articles by Maurer Faculty 2017, p. 2.
53 Kaminski, Southern California Law Review 2019/92, p. 15 / Zarsky, Science, Technology & Human Values 2016/41, P. 128
kan namelijk ook gebeuren dat de sollicitant zelf geen handicap heeft, maar dat het algoritme op basis van zijn keuzes in een spel of kenmerken op zijn C.V. suggereert dat de sollicitant wel een handicap heeft en daarom de sollicitant afwijst. In dit geval worden aan de betrokkene bepaalde groepskenmerken toegewezen, welke hij zelf niet noodzakelijkerwijs bezit. Het algoritme maakt in dit geval een onjuiste correlatie, wat ingrijpende gevolgen kan hebben voor de betrokkene. De betrokkene wordt namelijk op onterechte gronden belemmerd in zijn recht om zichzelf te ontwikkelen, wat ingaat tegen het idee van persoonlijke autonomie.54
In het bovenstaande geval is de betrokkene ‘slachtoffer’ van de kenmerken van een bepaald groepsprofiel, terwijl hij deze kenmerken zelf niet bezit.55 Uit rechtspraak van het
EHRM is af te leiden dat bescherming van de persoonlijke autonomie en menselijke waardigheid inhoudt, dat men niet mag worden uitgesloten van dit soort waardevolle opties, op grond van een verdachte classificatie.56
1.3.3 De omstandigheden van het geval
Een ander gevolg van de verschuiving die plaatsvindt, is dat er in de besluitvorming minder oog is voor de ‘omstandigheden van het geval’. Geautomatiseerde besluitvorming kan daarom afdoen aan het idee dat ieder mens uniek is en als zodanig behandeld moet worden, omdat er een besluit wordt genomen zonder dat er rekening wordt gehouden met de specifieke, niet door het algoritme voorziene, omstandigheden.57
Het inzetten van geautomatiseerde besluitvorming komt vaak voort uit het idee dat algoritmes meer objectieve besluiten kunnen maken dan de mens en daarmee de menselijke waardigheid wordt gediend. Menselijke besluiten zijn immers vaak gebaseerd, al dan niet bewust, op vooroordelen. Het hebben van vooroordelen is een onoverkoombare menselijke eigenschap.58 De aanname dat algoritmes niet over vooroordelen beschikken is echter niet
juist.59 Een algoritme wordt immers altijd gevoed met bepaalde data door mensen vanuit
bepaalde posities en doeleinden. Wanneer men het algoritme voorziet van onjuiste of ontoereikende data, dan zal de uitkomst van het algoritme ook onjuist of ontoereikend zijn.60
Dit betekent eigenlijk dat algoritmes grotendeels een wiskundige representatie zijn van
54 Vetzo, Gerards & Nehmelman 2018, p. 134
55 Vetzo, Gerards & Nehmelman 2018, p. 134.
56 Conclusie A-G, ECLI:EU:C:2008:415
57 Kaminski, Southern California Law Review 2019/92, p. 21.
58 Almada, ICAIL 2019, par. 3.
59 Kaminski, Southern California Law Review 2019/92, p. 11.
menselijke vooroordelen, omdat deze in het algoritme zullen worden geïmplementeerd. Het probleem is dat het algoritme zal denken dat de data waarmee het is gevoed ook de juiste data is, terwijl dit niet zo hoeft te zijn.61
Vooroordelen kunnen als negatief worden opgevat, maar dat hoeft niet per se. Als gelet op bovenstaand voorbeeld over de sollicitant met handicap zijn C.V. wordt gecheckt door een mens, bestaat er inderdaad een risico dat een mens met vooroordelen tegenover mensen met een handicap deze sollicitant (onterecht) zal afwijzen. Het kan echter ook de andere kant op uitpakken. Het hebben van vooroordelen zorgt ervoor dat de mens beschikt over bepaalde normen en waarden die een computer niet bezit, maar wat wel belangrijke factoren in de besluitvorming over een individueel geval kunnen zijn.62 Het bezitten van deze
eigenschappen wordt dan ook niet zozeer als iets negatiefs gezien in het kader van besluitvorming, maar als een belangrijke voorwaarde in het hebben van een bepaalde vorm van neutraliteit.63 Mensen kunnen in lastige kwesties rekening houden met de
omstandigheden van het geval en daarop het besluit aanpassen.64 Een algoritme kan dit niet,
omdat het algoritme enkel bezit over de data waarmee het is gevoed om het besluit op te baseren. Indien het algoritme wordt geconfronteerd met een specifiek geval, welke afwijkt van het standaardprofiel, is het voor het algoritme niet mogelijk om rekening te houden met de specifieke omstandigheden van het geval, omdat het hierover geen data beschikt.65
Wanneer het algoritme op basis van een C.V. concludeert dat een sollicitant gehandicapt is, maar het voor het algoritme niet duidelijk is om wat voor soort handicap het gaat, kan de sollicitant onterecht worden afgewezen, omdat er geen oog is voor zijn specifieke situatie. Indien het algoritme is geprogrammeerd om mensen met ‘een handicap’ af te wijzen, omdat uit historische data is gebleken dat deze groep slechter presteert of minder lang voor het bedrijf blijft werken, kan deze sollicitant mogelijk onterecht worden afgewezen. Het hebben van een handicap is namelijk niet noodzakelijkerwijs in alle gevallen evident aan het slechter presteren tijdens een baan of het minder lang aan een bedrijf vast blijven zitten.66
In dit geval heeft het algoritme geen aandacht voor de specifieke omstandigheden van het geval. Een mens zou in deze situatie kritischer naar het individuele geval kunnen kijken en een afweging maken of de sollicitant met een specifieke handicap in kwestie wel of niet geschikt is voor de functie.
61 Vetzo, Gerards & Nehmelman 2018, p. 142.
62 Almada, ICAIL 2019, par. 4.1.
63 Noto La Diega, JIPITEC 2018/3, par. 4.3.65 en par. 4.3.66
64 Brennan-Marquez & Henderson, J. Crim. L & Criminology 2019/109, p. 150 – 152. 65 Cate, Kuner & Svantesson e.a., Articles by Maurer Faculty 2017, p. 1 – 2.
Zolang het nog niet mogelijk is voor algoritmes om in bijzondere gevallen van besluitvorming rekening te kunnen houden met het de omstandigheden van het geval, zal uitsluitend geautomatiseerde besluitvorming voor deze specifieke gevallen op gespannen voet staan met de beginselen van menselijke waardigheid en persoonlijke autonomie en moeten er waarborgen zijn, zoals het recht op menselijke tussenkomst, om het individu hiertegen te beschermen.
1.4 Het recht op menselijke tussenkomst buiten art. 22 AVG
Gelet op het bovenstaande kan het recht op menselijke tussenkomst als een belangrijke waarborg worden beschouwd om de menselijke waardigheid en persoonlijke autonomie te beschermen in het kader van geautomatiseerde besluitvorming. 67 Het gebruik van algoritmes
voor besluitvorming kan leiden tot het verlies van controle, het risico van het leggen van onjuiste correlaties en het voorbij gaan aan de omstandigheden van het geval.
Het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG beschermt echter alleen het individuele belang, omdat het enkel ziet op individuele geautomatiseerde besluitvorming. Er bestaan evenwel gronden om aan te nemen dat het recht op menselijke tussenkomst moet worden opgevat als een onderdeel van een breder geheel aan regels, welke als gezamenlijk doel hebben om de rechten, vrijheden en gerechtvaardigde belangen van betrokkenen te beschermen wanneer hun gegevens worden verwerkt.68
Zoals art. 22 lid 3 AVG leest, is het doel van het recht op menselijke tussenkomst als passende maatregel om de rechten, vrijheden en gerechtvaardigde belangen te beschermen tegen de risico’s van uitsluitend geautomatiseerde gegevensverwerking, zoals die hierboven zijn beschreven. Het beschermen van de rechten, vrijheden en gerechtvaardigde belangen van betrokkenen is echter het centrale doel van de AVG en niet iets wat enkel door art. 22 AVG wordt beschermd.69
Dit idee blijkt onder andere uit de verplichting van verwerkingsverantwoordelijken onder art. 25 AVG. Daarin ligt besloten dat zij al vanaf de ontwerpfase (‘privacy by design’) en gedurende de gehele levensduur van de gegevensverwerking (‘privacy by default’), rekening moeten houden met de privacy van betrokkenen. Privacy moet voor hen een gegeven zijn. Het belang van art. 25 AVG vindt grondslag in het feit dat technologie een belangrijke rol speelt in het vormen van de maatschappij en dit als positief moet worden
67 Veale & Edwards, CLSR 2018/24, p. 399.
68 Kamniski, Berkeley Technology Law Journal 2019/34, p. 195. 69 Overweging 1 Verordening (EU) 2016/697.
gezien, omdat de maatschappij hierdoor ontwikkelt.70 Daar staat wel tegenover dat deze
ontwikkeling de mens moet helpen en niet moet belemmeren.71 Dit wordt benadrukt in
overweging 4 AVG: ‘’De verwerking van persoonsgegevens moet ten dienste van de mens
staan’’. Art. 25 AVG representeert een belangrijke mijlpaal in de inspanningen die worden
verricht richting een tijdperk waarin het belang van ‘verantwoordelijke’ digitalisering meer centraal komt te staan.72
Hoewel de ratio van art. 25 AVG verschilt van de ratio van art. 22 AVG, betekent dit niet dat deze artikelen los van elkaar gezien kunnen worden.73 Ze hebben immers hetzelfde
uiteindelijke doel, namelijk om betrokkenen te beschermen tegen de risico’s van gegevensverwerking. Individuele rechten, zoals art. 22 AVG, kunnen daarom niet in isolatie worden gelezen, maar dienen te worden opgevat als een onderdeel van een groter framework aan rechten en plichten, welke als gezamenlijk doel hebben om de rechten en vrijheden van betrokkenen te beschermen in het kader van gegevenswerking. Een individueel recht heeft pas bestaansrecht als het op deze manier wordt gelezen. Dit betekent dat zelfs wanneer het individuele recht nutteloos blijkt te zijn, de algemene verplichtingen dienen als vangnet om betrokkenen rechtsbescherming te bieden. 74
70 EDPS Opinion 5/2018, p. 2.
71 Overweging 4 Verordening (EU) 2016/697.
72 EDPS Opinion 5/2018, p. 3.
73 Kaminski, Southern California Law Review 2019/92, p. 24.
Hoofdstuk 2
De juridische context van het recht op menselijke
tussenkomst
Gelet op het voorgaande hoofdstuk kan het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG worden gezien als een weerspiegeling van de reactie van de zorgen in de maatschappij dat geautomatiseerde besluitvorming leidt tot inperking van menselijke waardigheid en persoonlijke autonomie. Als gevolg van een ruime formulering van art. 22 AVG is het echter onduidelijk wanneer een situatie van een betrokkene precies onder de reikwijdte van het artikel valt en wanneer hij aanspraak kan maken op rechtsbescherming op grond van deze wetsbepaling.75 Hier bestaat een tweestrijd. Aan de ene kant moet er vanwege rechtszekerheid
en werkbaarheid meer duidelijkheid zijn over deze open normen. Aan de andere kant moet de AVG dergelijke normen hanteren wegens het feit dat deze enigszins flexibel moeten zijn en geen te specifieke normen kan gebruiken, aangezien het in verschillende contexten en voor langere tijd toegepast dient te kunnen worden.76
In dit hoofdstuk zal de juridische context van het recht op menselijke tussenkomst uiteen worden gezet aan de hand van een ontleding van art. 22 AVG, waarbij ingezoomd wordt op reikwijdte van de gekozen formulering. Vervolgens zal uitgelegd worden welke voorwaarden er nog meer nodig zijn om het recht op menselijke tussenkomst uit te kunnen voeren.
2.1 Verbodsbepaling
Allereerst is het van belang om te benoemen dat een belangrijke voorwaarde voor de bescherming van betrokkenen in het kader van geautomatiseerde besluitvorming is, dat art. 22 AVG is geformuleerd als een verbodsbepaling.77 Art. 22 AVG spreekt van een ‘recht’
voor betrokkenen om niet te worden onderworpen aan uitsluitend geautomatiseerde besluitvorming, tenzij een uitzondering van toepassing is.78 Dit houdt in dat
verwerkingsverantwoordelijken in beginsel verplicht zijn om betrokkenen niet te onderwerpen aan uitsluitend geautomatiseerde besluitvorming en daarmee een actieve 75 Almada, ICAIL 2019, par. 1.
76 Cate, Kuner, Svantesson, Lynskey & Millard, Articles by Maurer Faculty 2017/2634, p. 2.
77 Noto La Diega, JIPITEC 2018/3, par. 4.1.47.
onthoudingsplicht hebben.79 Dit was anders in de Privacyrichtlijn (1995) waarin in art. 15 een
soortgelijk recht was geformuleerd, maar dit juist een verzetsrecht inhield en geen verbodsbepaling.80 De gekozen formulering van art. 22 AVG in de vorm van een
verbodsbepaling benadrukt het doel van de AVG om de positie van betrokkenen te versterken, omdat er van hen geen actieve houding wordt verwacht.81 Deze benadering wordt
ook door Werkgroep 29 (‘WP29’) aangehouden.82
De ratio achter de verbodsbepaling is dat het niet wenselijk is om betrokkenen te onderwerpen aan geautomatiseerde besluitvorming en de gevolgen die dat kan hebben.83 In
het voorgaande hoofdstuk is onderzocht dat uitsluitend geautomatiseerde besluitvorming kan leiden tot verlies van controle op belangrijke keerpunten in het leven van mensen, het objectiveren van de mens, het leggen van onjuiste correlaties en het nemen van besluiten zonder dat daarbij rekening wordt gehouden met de omstandigheden van het geval. Aangezien dit kan leiden tot ernstige en ingrijpende gevolgen voor de betrokkenen, is het belangrijk voor betrokkenen dat zij in beginsel niet aan dergelijke besluitvorming worden onderworpen.84
2.2 Artikel 22 AVG 2.2.1 Lid 1
In art. 22 lid 1 AVG is bepaald dat een betrokkene het recht heeft om niet worden onderworpen aan een (i) besluit, dat (ii) uitsluitend geautomatiseerd is, als hier voor hem (iii) rechtsgevolgen aan zijn verbonden of het besluit hem anderszins in aanmerkelijke mate treft. Hieruit kunnen dus een drietal voorwaarden worden afgeleid.
(i) Besluit
Allereerst moet er sprake zijn van besluit. Deze voorwaarde geeft meestal niet veel problemen. Er is al snel sprake van een besluit. In ieder geval is bepaald dat een besluit in de
79 Dit verbod ziet niet op een algmeen verbod op profileren. Slechts de beslissing die gemaakt kan worden op basis van profileren kan onrechtmatig zijn. Zie: Richtsnoeren inzake geautomatiseerde individuele
besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 23.
80 Art. 15 Richtlijn 95/46/EG, Brkan, IJLIT 2019/27, p. 5. / Roig, EJLT 2017/8, p. 2.
81 Zie: Brkan 2017, International Journal of Law and Information Technology, p. 5 / Finck, Max Planck
Institute for Innovation and Competition Research Paper No. 19-01, p.1. / Van Breda, Computerrecht 2017/154,
p. 224. / Van der Hof & Hannema, P&I 2018/6, p.192-193
82 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 23.
83 Overweging 71 Verordening (EU) 2016/697.
zin van art. 22 lid 1 AVG een bredere reikwijdte heeft dan een besluit in de zin van art. 1:1 Awb.85 De reden hiervoor is dat de AVG niet alleen van toepassing is op publieke sectoren,
maar ook private sectoren.86
(ii) Uitsluitend geautomatiseerd
Problematischer wordt het om vast te stellen of er sprake is van een ‘uitsluitend geautomatiseerd besluit’. De reikwijdte van art. 22 lid 1 AVG is beperkt geformuleerd. De gekozen formulering suggereert immers dat er geen sprake mag zijn van ook maar een beperkte vorm van menselijke tussenkomst gedurende het besluitvormingsproces om onder het toepassingsbereik van het eerste lid te vallen.87 De vraag is echter of een strikte
interpretatie wenselijk is in het licht van de rechtsbescherming van betrokkenen.
Wanneer een dergelijke strikte interpretatie wordt gehandhaafd is het erg makkelijk om als verwerkingsverantwoordelijke de verplichting onder art. 22 lid 1 AVG te omzeilen door het toevoegen van slechts een kleine, nietszeggende vorm van menselijke tussenkomst. Dit zal de gewenste rechtsbescherming voor betrokkenen sterk verminderen.88 Voor de uitleg
van een ‘uitsluitend geautomatiseerd besluit’ lijkt het daarom met name relevant om te kijken naar de invloed en de mate van controle van de menselijke tussenkomst in het besluitvormingsproces.89 WP29 geeft hierover enkele richtlijnen.90
Allereerst wordt het van belang geacht of de resultaten van het systeem routinematige worden toegepast, zonder dat de menselijke tussenpersoon daar enige invloed op heeft of op kan uitoefenen. Wanneer dit wel het geval is kan art. 22 AVG gemakkelijk worden omzeild door slechts het toevoegen van een niet betekenisvolle vorm van menselijke tussenkomst.91
Omgekeerd valt daaruit af te leiden dat de menselijke tussenpersoon wel slechts een betekenisvolle rol kan hebben in het besluitvormingsproces. In dat geval moet worden vastgesteld of de menselijke tussenpersoon bevoegd en bekwaam is om het besluit substantieel aan te passen.92
85 Jak & Bastiaan, NJB 2018/2102, p. 2 (online publiek).
86 Par. 4.5 UAVG (MvT)
87 Van der Hof & Hannema, P&I 2018/6, p.192. / Finck, Max Planck Institute for Innovation and Competition Research Paper No. 19-01, p.7-8.
88 Almada, ICAIL 2019, par. 2.
89 Van der Hof & Hannema, P&I 2018/6, p.192.
90 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 24-25.
91 Veale & Edwards, CLSR 2018/24, p. 400.
De menselijke tussenpersoon moet een meer dan slechts symbolische rol vervullen om de verplichting onder art. 22 lid 1 AVG te omzeilen.93 Deze symbolische handeling wordt
in de literatuur ook wel aangeduid als ‘rubber stamping’, omdat dit gaat over handelingen welke in principe ook automatisch kunnen worden uitgevoerd en geen betrekking hebben op de reden achter de besluitvorming.94 Pas wanneer de menselijke tussenpersoon aan het
uiteindelijke besluit substantieel iets kan veranderen, is er geen sprake meer van een ‘uitsluitend geautomatiseerd besluit’ in de zin van art. 22 lid 1 AVG.95 In dat geval is het
geautomatiseerde besluit slechts een ondersteunende stap in het proces van menselijke besluitvorming (human on-the-loop), wat niet verboden wordt door art. 22 lid 1 AVG.96
Hiervan is ook sprake als de menselijke tussenpersoon slechts een keuze hoeft te maken tussen verschillende uitkomsten, welke zijn gegenereerd door het geautomatiseerde besluitvormingsproces, ondanks dat de daadwerkelijke beslissingsruimte dan beperkt is. De uiteindelijke beslissing wordt niet geautomatiseerd genomen, wat kan leiden tot een substantieel andere uitkomst dan wanneer deze geautomatiseerd zou zijn genomen. De verschillende opties kunnen immers in belangrijke mate van elkaar verschillen.97
Een ‘uitsluitend geautomatiseerd besluit’ in de zin van art. 22 lid 1 AVG wordt, om betrokkenen meer rechtsbescherming te bieden, dus ruimer opgevat dan zoals de formulering in eerste instantie doet vermoeden. Menselijke tussenkomst tijdens het besluitvormingsproces is toegestaan, zolang het gaat om een symbolische handeling en de tussenpersoon het besluit niet substantieel kan veranderen.
(iii) Gevolgen
De laatste voorwaarde van art. 22 lid 1 AVG is dat het besluit rechtsgevolgen heeft voor de betrokkene of het besluit hem anderszins in aanmerkelijke mate treft. Onder rechtsgevolgen wordt in ieder geval door WP29 verstaan: ‘de consequenties voor de rechten van een
betrokkene of een verandering in diens juridische status’.98 Het vaststellen van de
rechtsgevolgen van een besluit is eenvoudiger dan of een besluit de betrokkene anderszins in
93 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 24.
94 Brkan, IJLIT 2019/27, p. 9. / Kaminski, Berkeley Technology Law Journal 2019/34, p. 201 Veale & Edwards, CLSR 2018/24, p. 400.
95 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 24.
96 Brkan, IJLIT 2019/27, p. / Veale & Edwards, CLSR 2018/24, p. 400-401.
97 Almada, ICAIL 2019, par. 2.
aanmerkelijke mate treft, omdat deze laatste gevolgen moeilijker meetbaar zijn.99 Hierover
heeft WP29 beslist dat om vast te stellen of een besluit de betrokkene anderszins in aanmerkelijke mate treft, de uiteindelijke beslissing de mogelijkheid moet hebben om substantieel de omstandigheden, keuzes en/of het gedrag van een betrokkene te kunnen beïnvloeden, het besluit een langdurig of blijvend effect heeft op de betrokkene, of in het uiterste geval leiden tot uitsluiting of discriminatie van het individu.100 Zelfs wanneer er niks
verandert aan de wettelijke rechten van de betrokkene, kan het besluit een betrokkene dus wel op een andere manier dermate ernstig treffen dat het besluit onder de reikwijdte van art. 22 lid 1 AVG valt en zo de betrokkene alsnog rechtsbescherming toekomt. 101
WP29 benadrukt wel dat het voor deze soort gevolgen lastig is om de grens te bepalen wanneer een besluit een betrokkene anderszins in aanmerkelijke mate treft.102 De gevolgen
kunnen immers erg subjectief worden opgevat. Wat voor invloed situatie A heeft op betrokkene B, kan op betrokkene C een hele andere impact hebben en anders worden ervaren. WP29 stelt dat de drempel om aan te nemen of er sprake is van ‘aanmerkelijke mate’ gelijk moet zijn met de mate waarin een betrokkene wordt getroffen bij een besluit waaraan rechtsgevolgen verbonden zijn. Wat betreft de beoordeling van een besluit dat een betrokkene ‘anderszins in aanmerkelijke mate treft’ lijkt het in ieder geval van belang dat de gevolgen welke onbelangrijk zijn vanuit een objectief oogpunt uitgesloten worden van dit soort gevolgen.103 Het voorbeeld van de sollicitant met een handicap die wordt afgewezen zonder
dat daarbij sprake is van een menselijke tussenkomst valt onder deze categorie gevolgen.104
Andere voorbeelden kunnen zijn het weigeren van een krediet of toegang tot de gezondheidszorg zonder menselijke tussenkomst.105
2.2.2 Lid 2
De verbodsbepaling in art. 22 lid 1 AVG is geen absoluut verbod.106 Art. 22 lid 2 AVG
bepaalt dat het verbod niet van toepassing is, indien het geautomatiseerde besluit (a) 99 Veale & Edwards, CLSR 2018/24, p. 400-401. / Van Breda, Computerrecht 2017/154, p. 225. /
100 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 25-26.
101 Van der Hof & Hannema, P&I 2018/6, p. 195. / Veale & Edwards, CLSR 2018/24, p. 400-401.
102 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 25.
103 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 25.
104 Overweging 71 Verordening (EU) 2016/679.
105 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 26.
noodzakelijk is voor de uitvoering van een overeenkomst tussen de verwerkingsverantwoordelijke en de betrokkene, (b) het een wettelijke verplichting is of (c) het besluit berust op uitdrukkelijke toestemming van de betrokkene.
Indien de verwerkingsverantwoordelijke kan aantonen dat hij een gerechtvaardigde aanspraak kan maken op uitzonderingsgrond sub (a) of (c) dient hij menselijke tussenkomst als passende maatregel te treffen om de rechten en vrijheden van de betrokkene te beschermen. Een succesvol beroep op deze uitzonderingsgronden kan echter alleen als de geautomatiseerde verwerking in geval van sub (a) strikt noodzakelijk is voor de uitvoering van de overeenkomst of in geval van sub (c) op uitdrukkelijke toestemming berust van de betrokkene. Voor de eerste uitzonderingsgrond betekent dit dat er echt geen andere mogelijkheid beschikbaar is om de overeenkomst uit te voeren.107 In het geval van sub (c)
betekent het dat er geen enkele twijfel over mag bestaan dat de betrokkene willens en wetens toestemming heeft gegeven voor de verwerking van zijn persoonsgegevens in kader van geautomatiseerde besluitvorming.108 Aangezien deze vereisten erg streng zijn kan het voor
verwerkingsverantwoordelijken lastig zijn om hier in de praktijk een succesvol beroep op te doen. Deze drempel voor verwerkingsverantwoordelijken biedt betrokkenen weer meer rechtsbescherming.
2.2.3 Lid 3
Indien een verwerkingsverantwoordelijke zich succesvol beroept op een uitzonderingsgrond, is hij verplicht om op grond van art. 22 lid 3 AVG passende maatregelen te treffen ter bescherming van de rechten en vrijheden en gerechtvaardigde belangen van de betrokkene. De maatregelen welke ten minste moeten worden getroffen zijn (i) het recht op menselijke tussenkomst van de verwerkingsverantwoordelijke, (ii) het recht voor de betrokkene om zijn standpunt kenbaar te maken en (iii) het recht voor de betrokkene om het besluit aan te vechten. Uit overweging 71 AVG blijkt dat deze maatregelen zijn bedoeld ter bevordering van een behoorlijke en transparante verwerking.109
Wat voor overige maatregelen exact als passend kunnen worden beschouwd is niet geheel duidelijk.110 De formulering van art. 22 lid 3 AVG geeft echter al aan dat het recht op
menselijke tussenkomst als passende maatregel kan worden beschouwd (‘ten minste’). Er zal 107 Brkan 2017, International Journal of Law and Information Technology, p. 17 / Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 25-26.
108 Richtsnoeren inzake toestemming overeenkomstig Verordening 2016/679, april 2018, p. 20-21.
109 Van Breda, Computerrecht 2017/154, p. 226.
daarom niet verder worden ingegaan op het vraagstuk wanneer een maatregel als passend kan worden beschouwd in het kader van art. 22 lid 3 AVG.
2.3 Gegevensbeschermingseffectbeoordeling
Indien een verwerkingsverantwoordelijke niet zeker weet of zijn verwerking onder de reikwijdte van art. 22 AVG valt, kan hij een gegevensbeschermingseffectbeoordeling uitvoeren.111 In het kader van art. 22 AVG dient de verwerkingsverantwoordelijke tijdens de
gegevensbeschermingseffectbeoordeling vast te stellen in welke mate en wanneer er sprake is van menselijke tussenkomst tijdens de besluitvorming.112
Een gegevensbeschermingseffectbeoordeling kan in dit geval niet alleen nuttig zijn om vast te stellen of de verwerking onder de definitie van een ‘uitsluitend geautomatiseerd besluit’ valt, maar ook of het besluit de betrokkene anderszins in aanmerkelijke mate treft. Er kan onderzocht worden wat voor impact het besluit heeft op de betrokkene, waarbij gelet moet worden op de aard en omvang van de persoonsgegevens, de context en de doeleinden van de verwerking en de bronnen van het risico.113 Wanneer uit de beoordeling blijkt dat de
verwerking een verhoogd risico inhoudt voor de betrokkene, moet de beoordeling ook de getroffen of nog te treffen maatregelen bevatten welke genomen zullen worden om dit risico te beperken.114
2.4 Privacy by design / privacy by default.
Een gegevensbeschermingseffectbeoordeling dient voorafgaand aan de verwerking uitgevoerd te worden zodat er van tevoren passende maatregelen kunnen worden genomen om de risico’s van de verwerking te beperken en de rechten, vrijheden en gerechtvaardigde belangen van de betrokkenen te beschermen. Deze verplichting kan samen worden gelezen met art. 25 AVG, waarin is bepaald dat verwerkingsverantwoordelijken al vanaf de ontwerpfase rekening moeten houden met de privacy van betrokkenen.115
Art. 25 AVG regelt de verplichting van verwerkingsverantwoordelijken om al in een zo vroeg mogelijk stadium rekening te houden met de privacy van betrokkenen en dit door te voeren en hierop toe te zien gedurende de hele levensduur van gegevensverwerking door
111 Art. 35 Verordening (EU) 2016/697.
112 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 25-26.
113 Overwegingen 83 en 84 Verordening (EU) 2016/697.
114 Overweging 90 Verordening (EU) 2016/697.
middel van privacy ‘by design’ en ‘by default’.116 Bij dergelijke maatregelen valt te denken
aan het beperken van de opslagperiode en toegankelijkheid van data, pseudonimisatie en de meest privacy-vriendelijke instellingen hanteren als standaardinstellingen voor een betrokkene.117
2.5 Het recht op informatie
Naast de bovenstaande verplichtingen is het informeren van betrokkenen over de verwerking van hun persoonsgegevens met als doel geautomatiseerde besluitvorming ook een belangrijke voorwaarde om het recht op menselijke tussenkomst goed uit te kunnen oefenen.118
Verwerkingsverantwoordelijken zijn op grond van art. 13 lid 2 sub f en art. 14 lid 2 sub g AVG verplicht om de betrokkene op een specifieke, eenvoudige toegankelijke manier hierover te informeren.
Aangezien algoritmes erg complex en niet transparant zijn kan het moeilijk zijn voor de verwerkingsverantwoordelijke om een betrokkene hierover op een eenvoudige manier te informeren. Het is voor leken, en soms zelfs voor experts, moeilijk te begrijpen hoe het algoritme werkt en tot een bepaald besluit is gekomen.119 Ze worden daarom ook wel
omschreven als ‘black-boxes’.120 Complexiteit mag echter geen reden zijn om het recht op
informatie te weigeren.121
Het recht op informatie is juist een belangrijk middel om betrokkenen te beschermen tegen de complexiteit van algoritmes, nu deze een steeds grotere rol spelen in het nemen van belangrijke besluiten over de mens.122 Het goed informeren van betrokkenen versterkt hun
positie en biedt hen meer rechtsbescherming tegen de mogelijke risico’s welke gepaard gaan met uitsluitend geautomatiseerde besluitvorming.123 Het is daarom belangrijk dat het voor
een betrokkene duidelijk is of hij wordt onderworpen aan geautomatiseerde besluitvorming en hoe een bepaalde beslissing tot stand is gekomen.
Aangezien de complexiteit van het algoritme het lastig kan maken om vast te stellen hoe het besluit tot stand is gekomen, is door WP29 beslist dat om de werking van het algoritme te begrijpen, het niet nodig is om de technische werking ervan uit te leggen aan
116 Art. 25 lid 1 en 2 Verordening (EU) 2016/697. 117 Overweging 78 Verordening (EU) 2016/697.
118 Veale & Edwards, CLSR 2018/24, p. 399 – 400. / Almada, ICAIL 2019, par. 3.1.
119 Brkan 2017, IJLIT 2019/27 p. 20-21.
120 Burrel, Big Data & Society 2016/3, p. 4 – 5.
121 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 30.
122 Kool, Timmer, Royakkers & Van Est, Rathenau Instituut 2017, p. 70.
betrokkenen. Betrokkenen dienen geïnformeerd te worden met nuttige informatie over de onderliggende logica, welke ten grondslag ligt aan het geautomatiseerde besluitvormingsproces. Deze benadering laat zien dat WP29 de voorkeur geeft aan meer algemene uitleg van het recht op informatie, namelijk dat in dit recht een recht op uitleg ligt besloten. 124
Hoewel ook de verplichting om nuttige informatie te verstrekken ruimte open laat voor verschillende interpretatiemogelijkheden, is door WP29 beslist dat uit deze informatie duidelijk moet blijken voor een betrokkene wat de ratio achter een besluit is en welke voorwaarden daarbij in acht zijn genomen, zonder dat daarbij noodzakelijk altijd in hoeft worden gegaan op een complexe uitleg van de werking van het gebruikte algoritme.125 De
informatie moet worden gezien als een manier om de inzichtelijkheid van de besluitvorming te vergroten, zodat het voor betrokkenen beter mogelijk is om de juistheid en rechtmatigheid van de verwerking te controleren.126 Alleen wanneer zij op correcte wijze zijn geïnformeerd
zullen zij de achterliggende gedachte van de besluitvorming kunnen begrijpen en aanspraak kunnen maken op de rechtsbescherming die hen toekomt in het geval van geautomatiseerde besluitvorming.127
124 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 30-32. / Jak & Bastiaans, NJB 2018/2102, p. 4-5.
125 Veale & Edwards, CLSR 2018/24, p. 399-400.
126 Van Breda, Computerrecht 2017/154, p. 228.
Hoofdstuk 3
De praktische context van het recht op menselijke
tussenkomst
In de voorgaande hoofdstukken is onderzoek gedaan naar de ratio achter het recht op menselijke tussenkomst en de juridische context daarvan. Daarnaast zijn ook verplichtingen van verwerkingsverantwoordelijken buiten art. 22 AVG toegelicht, welke verband houden met de juridische context van het recht op menselijke tussenkomst.
In dit hoofdstuk zal verder ingezoomd worden op het recht op menselijke tussenkomst als passende maatregel in de praktijk en hoe dit recht geïnterpreteerd en uitgevoerd moet worden. Daarbij zal allereerst worden ingegaan op een nauwe interpretatie van het recht op menselijke tussenkomst, als alleen wordt gekeken naar art. 22 AVG (post hoc). Vervolgens zal het recht op menselijke tussenkomst in een breder perspectief uiteen worden gezet, waarbij ook wordt gelet op andere verplichtingen van de verwerkingsverantwoordelijke (ex
ante). Tot slot zal een afweging plaatsvinden tussen de verschillende
interpretatiemogelijkheden om een aanbeveling te kunnen doen, welke optie het beste is om betrokkenen te beschermen tegen de risico’s van geautomatiseerde besluitvorming.128
3.1 Het recht op menselijke tussenkomst (post hoc)
In par. 2.1 is uitgelegd dat art. 22 lid 1 AVG in beginsel als verbodsbepaling kan worden gelezen. Verwerkingsverantwoordelijken mogen betrokkenen slechts in bepaalde uitzonderingsgevallen onderwerpen aan uitsluitend geautomatiseerde besluitvorming. Indien een beroep kan worden gedaan op een van de uitzonderingsgronden, wordt het recht op menselijke tussenkomst als minimum te treffen maatregel gegeven om de rechten en vrijheden van de betrokkene te beschermen. Deze wijze van formulering duidt erop dat het recht op menselijk tussenkomst wordt gezien als een post hoc reactie.129
Deze interpretatie houdt in dat menselijke tussenkomst plaatsvindt, pas nadat het besluit tot stand is gekomen. Deze aanname is logisch wanneer men kijkt naar de reikwijdte van de definitie ‘uitsluitend geautomatiseerde besluitvorming’. Zoals in par. 2.2 is uitgelegd, mag er tijdens een uitsluitend geautomatiseerd besluitvormingsproces wel een vorm van
128 Zie par 1.3 e.v.
menselijke tussenkomst plaatsvinden, zolang deze tussenpersoon maar niet de mogelijkheid heeft om het besluit substantieel te veranderen. Het mag slechts gaan om een symbolische handeling, anders valt de verwerking niet meer onder de reikwijdte van een ‘uitsluitend geautomatiseerd besluit’. Uitgaande van deze reikwijdte en gelet op de ratio van art. 22 lid 3 AVG, zou het recht op menselijke tussenkomst alleen achteraf zinvol zijn om betrokkenen rechtsbescherming te kunnen bieden conform art. 22 AVG, omdat de verwerking anders buiten het toepassingsbereik van de verbodsbepaling zou vallen.130
Uit het eerste hoofdstuk is immers gebleken dat het recht op menselijke tussenkomst kan worden gezien als een middel om de menselijke waardigheid en persoonlijke autonomie te beschermen tegen de mogelijke ingrijpende gevolgen van geautomatiseerde besluitvorming. Dit kan ertoe leiden dat er mogelijk een substantieel ander besluit tot stand komt als gevolg van menselijke tussenkomst, dan wanneer het besluit volledig geautomatiseerd was genomen en in stand was gebleven.131 Indien het recht op menselijke
tussenkomst in een dergelijk geval eerder in het besluitvormingsproces zou plaatsvinden, zou de verwerking buiten de reikwijdte van art. 22 lid 1 AVG vallen, waardoor betrokkenen geen aanspraak meer hebben op het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG. Dit zou de rechtsbescherming van betrokkenen ernstig te niet doen.132
3.1.1 De functie van het recht op menselijke tussenkomst (post hoc)
Het recht op menselijke tussenkomst interpreteren als post hoc reactie, biedt een betrokkene de mogelijkheid om bezwaar te maken tegen het besluit wat over hem is gemaakt en waar rechtsgevolgen aan zitten verbonden of hem anderszins in aanmerkelijke mate heeft getroffen.133 In deze context kan het recht op menselijke tussenkomst worden opgevat als een
middel om de rechtsgeldigheid en de relevantie van het besluit te beoordelen en de impact daarvan op een betrokkene. Anderzijds is het direct een vorm van kwaliteitscontrole op het algoritme om te kijken of het besluit op de juiste voorwaarden is gebaseerd.134
Wanneer uit de beoordeling blijkt dat de betrokkene te kort is gedaan in zijn rechten en vrijheden door het geautomatiseerde besluit, kan de menselijke tussenpersoon het besluit veranderen om de situatie te herstellen of beter te maken voor de betrokkene. Bij deze
130 Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, februari 2018, p. 24.
131 Kool, Timmer, Royakkers & Van Est, Rathenau Instituut 2017, p. 53-54. 132 Veale & Edwards, CLSR 2018/24, p. 400-401.
133 Almada, ICAIL 2019, par. 4.1.
