wordt het gezien als een middel om achteraf bezwaar te maken tegen het besluit en het besluit indien nodig te veranderen. Uit par. 3.1.2 volgt dat de grootste nadelen hiervan zijn dat de rechtsbescherming pas plaatsvindt als de (rechts)gevolgen van het besluit de betrokkene al hebben geraakt, het slechts individuele belangen beschermt en de betrokkene afhankelijk is van meer factoren om zijn rechtsbescherming te krijgen. Het recht op menselijke tussenkomst eerder in het besluitvormingsproces laten plaatsvinden kan deze nadelen mogelijk preventief wegnemen. Door het recht op menselijke tussenkomst al tijdens de ontwerpfase in te roepen kunnen potentiële risico vroegtijdig aan het licht worden gebracht en hier maatregelen tegen worden genomen, zodat de kans kleiner is dat de betrokkene negatief wordt getroffen door de
149 Almada, ICAIL 2019, par. 3.
150 Kaminski, Southern California Law Review 2019/92, p. 22.
gevolgen van een geautomatiseerd besluit. Toch is ook dit geen volledige garantie dat een betrokkene nooit op foutieve gronden wordt getroffen in zijn rechten en vrijheden, wanneer hij wordt onderworpen aan uitsluitend geautomatiseerde besluitvorming.
Een combinatie van het recht op menselijke tussenkomst post hoc en ex ante lijkt dan ook de manier om betrokkenen de best mogelijke rechtsbescherming te bieden in het kader van geautomatiseerde besluitvorming.152 Dit zal er namelijk voor zorgen dat wanneer het
recht op menselijke tussenkomst in isolatie van art. 22 AVG nutteloos blijkt te zijn, bijvoorbeeld omdat de verwerkingsverantwoordelijke niet voldoet aan zijn informatieverplichting en daarom de betrokkene niet weet dat hij wordt onderworpen aan geautomatiseerde besluitvorming, de algemene verplichting van een verwerkingsverantwoordelijke ex. art. 25 AVG om in de basis rekening te houden met de privacy van betrokkenen, alsnog een vangnet is om de rechten, vrijheden en gerechtvaardigde belangen van betrokkenen te beschermen.153 Andersom geldt dat wanneer een
verwerkingsverantwoordelijke zijn verplichtingen ex. art. 25 AVG niet na komt, met als gevolg dat een geautomatiseerd besluit rechtsgevolgen heeft of de betrokkene anderszins in aanmerkelijke mate treft, er door middel van het recht op menselijke tussenkomst als post
hoc reactie nog altijd een mogelijkheid is om het besluit te heroverwegen en indien nodig te
herzien.
Uit het voorgaande kan daarom worden afgeleid dat de ene mogelijkheid niet per definitie beter is dan de ander, maar dat een combinatie van de mogelijkheden betrokkenen de meest volledige rechtsbescherming zal bieden wanneer zij worden onderworpen aan uitsluitend geautomatiseerde besluitvorming. Op deze manier worden betrokkenen niet slechts in individuele gevallen beschermd tegen de risico’s van uitsluiteind geautomatiseerde besluitvorming, maar wordt er ook preventief meer aandacht besteed aan de rechtsbescherming van betrokkenen tegen deze risico’s. Ondanks dat beide wetsbepalingen een andere ratio hebben, dienen ze uiteindelijke wel hetzelfde gemeenschappelijk doel, namelijk het beschermen van de rechten, vrijheden en gerechtvaardigde belangen van betrokkenen. Door het recht op menselijke tussenkomst op te vatten als zowel een individueel, als een algemeen recht, zal dit doel het beste kunnen worden bereikt.
152 Kaminski, Southern California Law Review 2019/92, p. 29. 153 Zie par. 1.4.
Conclusie
In dit onderzoek stond de vraag centraal op welke manier het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG moet worden geïnterpreteerd om aan betrokkenen de beoogde rechtsbescherming te bieden conform de ratio van deze wetsbepaling, wanneer zij worden onderworpen aan uitsluitend geautomatiseerde besluitvorming, maar waarbij mede rekening wordt gehouden met de algemene verplichtingen van verwerkingsverantwoordelijken onder art. 25 AVG om betrokkenen rechtsbescherming te
bieden in het kader van gegevensverwerking. De aanleiding van dit onderzoek was de open formulering van art. 22 AVG, welke geen duidelijke richtlijnen geeft over zowel de juridische context, als de praktische uitvoering van het recht op menselijke tussenkomst. Aan de ene kant zijn de open normen in de AVG van belang, omdat ze hierdoor flexibel zijn en voor langere tijd mee kunnen gaan. Aan de andere kant is het voor de rechtszekerheid van belang dat er duidelijkere richtlijnen bestaan over de reikwijdtes van deze normen, zeker nu geautomatiseerde besluitvorming steeds meer terrein wint in bijna alle sectoren van de samenleving.
Uit het eerste hoofdstuk is gebleken dat er als gevolg van digitalisering een verschuiving plaatsvindt op het gebied van besluitvorming van ‘human in-the-loop’ naar ‘human out-the-loop’. Dit houdt in dat besluiten in toenemende mate worden gemaakt door algoritmes in plaats van door mensen. Deze verschuiving is niet per se onwenselijk, wanneer het enkel gaat om besluiten welke geen ingrijpende gevolgen hebben voor een individu. Indien geautomatiseerde besluitvormingsprocessen echter worden ingezet om besluiten te maken over een betrokkene waaraan rechtsgevolgen zijn verbonden of hem anderszins in aanmerkelijke mate treft komen hierdoor belangrijke beginselen, zoals menselijke waardigheid en persoonlijke autonomie onder druk te zijn. Deze beginselen houden in dat ieder mens uniek is en als zodanig behandeld moet worden en vrij moet zijn om zijn eigen identiteit ongehinderd te blijven ontwikkelen. Geautomatiseerde besluitvorming staat hiermee op gespannen voet, omdat deze vorm van besluitvorming kan leiden tot het verlies van controle over belangrijke beslismomenten in het leven van de mens, objectivering van een individu, het leggen van onjuiste correlaties en het voorbijgaan aan de specifieke omstandigheden van het geval tijdens het maken van een besluit.
De reden hiervoor is dat de data die een algoritme over een betrokkene bezit nooit volledig is vanwege de werking van het algoritme en het feit dat de menselijke persoonlijkheid nooit volledig te voorspellen is. Dit leidt ertoe dat het algoritme zelf gaat proberen om door middel van data-schaduwen het profiel over een betrokkene volledig te maken, maar dat gaat voorbij aan de gedachte dat ieder mens uniek is en de controle over iemands identiteit komt hiermee in handen van een algoritme. Daarnaast kan een betrokkene hierdoor aan een verkeerde groep worden gekoppeld, waar hij slechts op basis zijn van zijn online kenmerken lijkt bij te horen, waardoor onjuiste correlaties kunnen worden gemaakt. Bovendien is het algoritme technisch niet in staat om rekening te kunnen houden met de omstandigheden van een specifiek geval, wat wel een belangrijke afwegingsfactor is in onze samenleving.
Het recht op menselijke tussenkomst ex. art. 22 lid 3 AVG wordt gezien als een middel om betrokkenen tegen deze risico’s te beschermen door hen de optie te bieden om achteraf bezwaar te maken tegen de uitkomst van het geautomatiseerde besluit. Dit recht beschermt echter wel enkel individuele gevallen. In hoofdstuk 1 is uiteengezet waarom art. 22 AVG niet in isolatie gezien kan worden, maar onderdeel is van een breed scala aan rechten en plichten om betrokkenen te beschermen. Uitgaande van deze gedachte worden niet zozeer individuele gevallen beschermd, maar worden betrokkenen in het algemeen vanaf een zo vroeg mogelijk stadium beschermd tegen de mogelijke risico’s die gepaard kunnen gaan met uitsluitend geautomatiseerde besluitvorming. Deze gedachte komt voort uit het idee dat art. 22 AVG in samenhang moet worden gelezen met art. 25 AVG, waarvan de ratio zich bevindt in het idee dat digitalisering ten dienste moet staan van de mens.
Nadat de ratio is onderzocht, is in hoofdstuk 2 de juridische context beschreven van het recht op menselijke tussenkomst aan de hand van een ontleding van art. 22 AVG. Daaruit is gebleken dat art. 22 AVG als een verbodsbepaling is geformuleerd, wat inhoudt dat verwerkingsverantwoordelijken betrokkenen niet mogen onderwerpen aan geautomatiseerde besluitvorming, tenzij een uitzonderingsgrond van toepassing is en zij dit kunnen aantonen. Daarnaast is door WP29 beslist dat het toevoegen van slechts een symbolische menselijke handeling niet voldoende is om deze verplichting te omzeilen. Dit zou de rechtsbescherming van betrokkenen immers ernstig teniet doen.
Vervolgens is in dit hoofdstuk onderzoek gedaan naar andere voorwaarden waaraan moet worden voldaan om het recht op menselijke tussenkomst uit te kunnen voeren. Daaruit is gebleken dat gelet op de formulering van art. 22 lid 3 AVG, het belangrijk is dat betrokkenen goed worden geïnformeerd over de gronden en gevolgen van de geautomatiseerde besluitvorming, omdat het voor hen vaak moeilijk te begrijpen waarom zij hieraan worden onderworpen en op welke voorwaarden het besluit tot stand is gekomen. Indien verwerkingsverantwoordelijken falen in deze verplichting, zal het voor betrokkenen lastig zijn om hun recht op menselijke tussenkomst in de vorm van een mogelijkheid tot bezwaar uit te kunnen voeren.
In het laatste hoofdstuk is verder ingezoomd op het recht op menselijke tussenkomst in de praktijk, door het recht op menselijke tussenkomst zoals bedoeld in art. 22 lid 3 AVG te vergelijken met een recht op menselijke tussenkomst als uit wordt gegaan van de gedachte dat deze verplichting onderdeel is van een groter framework om betrokkenen rechtsbescherming te bieden, zoals dat uiteen is gezet in het eerste hoofdstuk.
Uit deze vergelijking is gebleken dat gelet op de ratio van het recht op menselijke tussenkomst, de reikwijdte van art. 22 AVG en de verplichtingen onder art. 25 AVG, een combinatie van een recht op menselijke tussenkomst zowel voorafgaand, als achteraf toevoegen aan het besluitvormingsproces de meeste volledige rechtsbescherming biedt aan betrokkenen. Op deze manier kan het recht op menselijke tussenkomst worden ingezet om betrokkenen al in een vroeg stadium te beschermen tegen de mogelijke risico’s van geautomatiseerde besluitvorming, vooral omdat het meeste menselijke werk in dit stadium plaatsvindt en fouten daarom makkelijker te herstellen zijn. Dit is echter geen garantie dat het algoritme altijd feilloze besluiten zal nemen. Het recht op menselijke tussenkomst als middel van bezwaar kan dan in individuele gevallen alsnog worden ingezet om bezwaar te maken tegen de uitkomst van een geautomatiseerd besluit, mits verwerkingsverantwoordelijken zich ook goed houden aan de verplichting om betrokkenen zo goed en helder mogelijk te informeren. Indien zij dit niet doen zullen betrokkenen zich er niet van bewust zijn of en waarom zij onderworpen aan uitsluiteind geautomatiseerde besluitvorming en kunnen zij geen aanspraak maken op het recht op menselijke tussenkomst.
Een combinatie van beide interpretatiemogelijkheden zal ertoe leiden dat wanneer een beroep op de ene wetsbepaling faalt, de andere wetsbepaling als vangnet dient en ervoor zorgt dat betrokkenen alsnog worden beschermd tegen de risico’s welke gaan gepaard met uitsluitend geautomatiseerde besluitvorming.
Literatuurlijst
BoekenVetzo, Gerards & Nehmelman 2018
M. Vetzo, J. Gerards & R. Nehmelman, Algoritmes en grondrechten, Den Haag: Boom Juridisch 2018.
Artikelen in tijdschriften
M. Almada, ‘Human intervention in automated decision-making: Towards the construction of contestable systems’, Forthcoming, 17th International Conference on Artificial Intelligence and Law (ICAIL 2019), p. 1 -10.
Brennan-Marquez & Henderson J. Crim. L. & Criminology 2019/109
K. Brennan-Marquez & S. E. Henderson, ‘Artificial Intelligence and Role-Reversible Judgment’, Journal of Criminal Law & Criminology 2019/109, afl. 2, p. 138 - 164
Brkan IJLIT 2019/27
M. Brkan, ‘Do algorithms rule the world? Algorithmic Decision-Making in the framework of the GDPR and beyond’, International Journal of Law and Information Technology 2019/27, p. 1 - 29.
Burrel Big Data & Society 2016/3
J. Burrel, ‘How the machine ‘thinks’: understanding opacity in machine learning algorithms’, Big Data & Society 2016/3, afl. 1, p. 1 – 12.
Cate, Kuner & Svantesson Articles by Maurer Faculty 2017/2634
F. H. Cate, C. Kuner, D.J.B. Svantesson, O. Lynskey & C. Millard, ‘Machine Learning with Personal Data: Is Data Protection Law Smart Enough to Meet the Challenge?’, Articles by Maurer Faculty, 2017/2634, p. 1 – 3.
Hildebrandt, Forthcoming in Theoretical Inquiries of Law 2019/1
M. Hildebrandt, ‘Privacy As Protection of the Incomputable Self: From Agnostic to Agnostic Machine Learning’, Forthcoming in Theoretical Inquiries of Law 2019/1, p. 1 – 33.
Jak & Bastiaan, NJB 2018/2102
N. Jak & S. Bastiaans, ‘De betekenis van de AVG voor geautomatiseerde besluitvorming door de overheid’,
NJB 2018/12, afl. 4, p. 1 – 10.
Kaminski Southern California Law Review 2019/92
M. Kaminski, ‘Binary Governance: Lessons from the GDPR’s Approach to Algorithmic Accountability’, Southern California Law Review 2019/92, afl. 6, p. 1- 88.
Kaminski, Berkeley Technology Law Journal 2019/34
M. Kaminski, ‘The Right to Explanation, Explained’, Berkeley Technology Law Journal 2019/34, afl. 1, p. 1 – 30.
Nieuwenhuis TvCR 2012/2
A.J. Nieuwenhuis, ‘De kernrechtbenadering bij grondrechten’, Tijdschrift voor Constitutioneel Recht 2012/2, p. 138 – 159.
Noto La Diega JIPITEC 2018/3
G. Noto La Diega, ‘Against the Dehumanisation of Decision-Making – Algorithmic Decisions at the Crossroads of Intellectual Property, Data Property, and Freedom of Information’, Journal of Intellectual Property,
Information Technology and Electronic Commerce Law 2018/3, p. 1 – 34.
Roig, EJLT 2017/8.
A. Roig, ‘Safeguards for the right not to be subject to a decision based solely on automated processing (Article 22 GDPR)’, European Journal of Law and Technology, 2017/8, afl. 3, p. 1-17.
Van Breda 2017/154
B. van Breda, ‘Profilering in de AVG: nieuwe regels, voldoende bescherming?’, Computerrecht 2017/154, afl. 4, p. 223-229.
Van der Hof & Hannema 2018/6
S. van der Hof & T.S.P. Hannema, ‘Veilig opgroeien in een wereld vol algoritmes’, Privacy en Informatie 2018/6, afl. 6, p. 191-198.
Van der sloot & Van Schendel, NJB 2019/2776
B. van der Sloot & S. van Schendel, ‘De juridische randvoorwaarden van een data-gedreven samenleving’, Nederlands Juristenblad 2019/44, p. 2774 – 2873.
Veale & Edwards 2018/34
M. Veale & L. Edwards, ‘Clarity, surprises, and further question in the Article 29 Working Party draft guidance on automated decision-making and profiling’, Computer Law & Security Review 2018/34, p. 398-404.
Zarsky 2016/41
T. Zarsky, The Trouble with Algorithmic Decisions: An Analytic Road Map to Examine Efficiency and Fairness in Automated and Opaque Decision Making’, Science, Technology & Human Values 2016/41, afl. 1, p. 118 – 132.
Research Papers
Finck 2019
M. Finck, ‘Smart Contracts as a Form of Solely Automated Processing Under the GDPR’, Max Planck Institute for Innovation and Competition Research Paper No. 19-01.
Kamarinou, Millard & Singh 2016
D. Kamarinou, C. Millard & J. Singh, ‘Machine Learning with Personal Data: Profiling, Decisions and the EU General Data Protection Regulation’, Queen Mary School of Law Legal Studies Research Paper No. 247/2016.
Kaminski 2019
M. Kaminski, ‘Algorithmic Impact Assessments under the GDPR: Producing Multi-Layered Explanations’, U of Colorado School of Law Research Paper No. 19 – 28.
Rapporten
Rathenau Instituut 2017
L. Kool, J. Timmer, L. Royakkers & R. van Est, ‘Opwaarderen - Borgen van publieke waarden in de digitale samenleving’, Den Haag, Rathenau Instituut 2017, bijlage bij Kamerstukken II 2018/19, 26643, nr. 578.
Rathenau Instituut 2017
R. van Est, J.B.A. Gerritsen & L. Kool, ‘Human rights in the robot age: Challenges arising from the use of robotics, artificial intelligence, and virtual and augmented reality – Expert report written for the Committee on Culture, Science, Education and Media of the Parliamentary Assembly of the Council of Europe (PACE), The Hague: Rathenau Instituut 2017
Rathenau Instituut 2018
L. Kool, E. Dujso & R. van Est, ‘Doelgericht digitaliseren – Hoe Nederland werkt aan een digitale transitie waarin mensen en waarden centraal staan’, Den Haag: Rathenau Instituut 2018.
United Nations Educational, Scientific and Cultural Organization 2017
Report of World Commission on the Ethics of Scientific Knowledge and Technology (COMEST) on Robotics Ethics, Documentnummer: SHS/YES/COMEST-10/17/2 REV. Paris, 14 September 2017.
Europese Unie:
Economisch en Sociaal Comité 2017
Opinie van het Economisch en Sociaal Comité over kunstmatige intelligentie – de gevolgen van kunstmatige intelligentie voor de (digitale) eengemaakte markt, de productie, consumptie, werkgelegenheid en samenleving (initiatiefadvies) (2017/C 288/01)
European Data Protection Supervisor 2018
Groep Gegevensbescherming Artikel 29 2018
Richtsnoeren inzake geautomatiseerde individuele besluitvorming en profilering voor de toepassing van Verordening (EU) 2016/679, vastgesteld op 3 oktober 2017, zoals laatstelijk gewijzigd en vastgesteld op 6 februari 2018.
Groep Gegevensbescherming Artikel 29 2018
Richtsnoeren inzake toestemming overeenkomstig Verordening 2016/679, vastgesteld op 28 november 2017, laatstelijk herzien en vastgesteld op 10 april 2018.
Europese rechtspraak:
EHRM 29 april 2002
ECLI:CE:ECHR:2002:0429JUD000234602 (Pretty / Verenigd Koninkrijk).
EHRM 20 maart 2007
ECLI:CE:ECHR:2007:0320JUD000541003 (Tysiac / Polen)
EHRM 10 april 2007
ECLI:CE:ECHR:2007:0410JUD000633905 (Evans / Verenigd Koninkrijk)
EHRM 10 juni 2010
ECLI:CE:ECHR:2010:0610JUD000030202 (Jehova’s Whitnesses of Moscow / Rusland)
EHRM 17 juli 2018