Live gezichtsherkenning door de politie
De menselijke waardigheid als startpunt voor regulering
Arlette Meiring 11002166
arlette.meiring@student.uva.nl
Informatierecht
Universiteit van Amsterdam
Begeleider: dhr. mr. Max van Drunen 24 juli 2020
Woorden: 13.455 (incl. voetnoten, excl. voorblad, samenvatting, inhoudsopgave en bibliografie)
1
Samenvatting
Gezichtsherkenning is een inmiddels veelgebruikte methode bij de opsporing van strafbare feiten. Wereldwijd gebruiken politiediensten systemen om verdachten, die op enige wijze op beeld zijn vastgelegd en van wie de identiteit onbekend is, te identificeren door middel van een fotovergelijking binnen een strafrechtelijke databank. Een relatief nieuw fenomeen is de toepassing van gezichtsherkenningssoftware op live videobeelden in de openbare ruimte. De Nederlandse politie past vooralsnog geen live gezichtsherkenning toe, in tegenstelling tot haar collega’s in het Verenigd Koninkrijk. De Britse methode zou echter de toekomst van Nederland kunnen zijn. Ook hier begint de maatschappelijk-politieke discussie daarover op gang te komen. In deze scriptie wordt betoogd dat live gezichtsherkenning door de politie botst met de kern van het recht op bescherming van persoonsgegevens: de menselijke waardigheid. Het beginsel van menselijke waardigheid staat centraal in de plannen van de Europese Unie voor kunstmatige intelligentie en digitale technologieën. In het debat over live gezichtsherkenning zou dit beginsel daarom het ethisch en juridisch uitgangspunt moeten zijn.
De studie splitst het concept van menselijke waardigheid op in drie onderdelen: het verbod op instrumentalisering van de mens, de erkenning van persoonlijke subjectiviteit en de eerbiediging van individuele autonomie. Per onderdeel wordt uiteengezet aan welke normatieve vereisten een strafrechtelijke verwerking van persoonsgegevens dient te voldoen. Vervolgens wordt geanalyseerd op welke wijze(n) live gezichtsherkenning inbreuk maakt op deze drie aspecten van waardigheid.
Het huidig regelgevend kader, met name de Wet Politiegegevens, blijkt onvoldoende toegerust om de fundamentele risico’s van live gezichtsherkenning weg te nemen. Aanvullende materiële en procedurele waarborgen zijn daarom noodzakelijk. Aan de hand van de voorgaande normatieve en pragmatische analyse worden daartoe concrete voorstellen gedaan.
2
Inhoudsopgave
Inleiding ... 4
I. Introductie ... 4
II. Het motief achter (live) gezichtsherkenning door politie ... 4
III. Wetenschappelijke en maatschappelijke relevantie ... 5
IV. Analytisch kader ... 5
V. Onderzoeksvraag ... 6
VI. Methodologie en structuur ... 7
Hoofdstuk 1. De werking van gezichtsherkenningstechnologie en de toepassing daarvan door de politie ... 8
1.1 Inleiding... 8
1.2 Een vorm van kunstmatige intelligentie ... 8
1.3 Definities ... 9
1.4 Gezichtsherkenning in politiecontext ... 11
1.4.1 Nederland: niet-live ... 11
1.4.2 Verenigd Koninkrijk: live ... 12
1.5 Live vs. niet-live ... 14
Hoofdstuk 2. Normatief kader: menselijke waardigheid bij de verwerking van persoonsgegevens ... 16
2.1 Inleiding... 16
2.2 Menselijke waardigheid als fundament van gegevensbescherming ... 16
2.3 De vereisten van menselijke waardigheid ... 17
2.3.1 Waardigheid als eer: de mens als doel oftewel een verbod op instrumentalisering ... 18
2.3.2 Waardigheid als eer: erkenning van subjectiviteit ... 18
2.3.3 Waardigheid als autonomie: behoud van controle ... 20
2.4 Voorwaarden voor effectuering van menselijke waardigheid ... 21
2.4.1 Erkenning van subjectiviteit bij ADM: menselijke tussenkomst ... 21
2.4.2 Individuele controle: transparantie ... 24
2.5 Tussenconclusie ... 25
Hoofdstuk 3. Risico’s bij live gezichtsherkenning door de politie afgezet tegen risico’s bij niet-live herkenning ... 26
3.1 Inleiding... 26
3.2 Risico’s voor de onverdachte burger ... 26
3.2.1 Ontkenning van subjectiviteit en instrumentalisering: het gezicht als barcode ... 26
3
3.3 Risico voor de gezochte verdachte: ontkenning van subjectiviteit door geautomatiseerde
besluitvorming ... 31
3.4 Tussenconclusie en implicaties ... 32
Hoofdstuk 4. Het huidig wettelijk kader ... 34
4.1 Inleiding... 34
4.2. Het verzamelen van gezichtsafbeeldingen: Wetboek van Strafvordering ... 34
4.3 Het toepassen van gezichtsherkenningstechnologie: Wet Politiegegevens ... 35
4.3.1 Technologieneutraal ... 35
4.3.2 Noodzakelijkheid ... 35
4.3.3 Strenger regime voor bijzondere politiegegevens ... 36
4.3.4 Bescherming tegen uitsluitend geautomatiseerde besluitvorming ... 36
4.3.5 Zwakkere transparantievereisten ... 37
4.3.6 Géén onderscheid tussen verdachten en niet-verdachten ... 38
Hoofdstuk 5. Een nieuw juridisch kader? ... 39
5.1 Inleiding... 39
DEEL I: EVALUATIE HUIDIG WETTELIJK KADER ... 39
5.2 Wetboek van Strafvordering: bevoegdheid voor verzameling ontbreekt ... 39
5.3 Wet Politiegegevens: waarborgen zijn onvoldoende gedetailleerd ... 39
5.3.1 Waarborgen tegen ontkenning van subjectiviteit & instrumentalisering bij niet-verdachten ... 39
5.3.2 Waarborgen tegen ontkenning van autonomie bij niet-verdachten ... 42
5.3.3 Waarborgen tegen ontkenning van subjectiviteit bij de gezochte verdachte ... 42
5.4 Tussenconclusie ... 43
DEEL II: CONCRETE WAARBORGEN ... 43
5.5 Invulling subsidiariteit en proportionaliteit (onvermijdelijkheid) ... 43
5.6 Strengere transparantieverplichtingen ... 44
5.7 Omstandigheden voor zinvolle menselijke interventie en leidende rol AP ... 45
5.7.1 Menselijke interventie ... 45
5.7.2 Autoriteit Persoonsgegevens ... 46
Conclusie ... 47
Ten slotte… ... 48
4
Inleiding
I. Introductie
Techgiganten Amazon, IBM en Microsoft kondigden medio juni aan de ontwikkeling en verkoop van gezichtsherkenningssoftware in te dammen.1 De drie bedrijven zullen, al dan niet
tijdelijk, geen herkenningsprogramma’s meer beschikbaar stellen aan politiediensten. Het gebruik van de technologie binnen de politiesector wekt maatschappelijke zorgen op over discriminatie en grootschalige overheidssurveillance. In een online statement dringt Amazon aan op strengere regels voor “ethisch gebruik van gezichtsherkenningstechnologie”.2 De beslissing van het Amerikaanse bedrijfsleven is tevens kenmerkend voor de sentimenten op het Europese continent. De Commissie Burgerlijke Vrijheden en de Europese Privacytoezichthouder riepen recent op tot een moratorium op het politiegebruik van gezichtsherkenning3 respectievelijk op live herkenning in openbare ruimtes.4 Het Bureau voor de grondrechten constateerde bovendien dat 80% (!) van de Europeanen haar gezichtsgegevens niet met overheidsinstanties wil delen.5 Alles overziend lijkt live gezichtsherkenning door de
politie uit den boze. Toch is dit in Londen sinds februari 2020 de realiteit en wordt in andere
landen voorzichtig geëxperimenteerd.6 Ook de Nederlandse politie sluit live gezichtsherkenning voor de toekomst niet uit.7
II. Het motief achter (live) gezichtsherkenning door politie
Systemen voor gezichtsvergelijking kunnen bijdragen aan de bestrijding van criminaliteit. De identiteit van een verdachte van een misdrijf kan snel worden achterhaald door na te gaan of zijn foto reeds voorkomt in een referentiedatabank. Door toepassing van gezichtsherkenningssoftware op live camerabeelden kunnen verdachten zelfs ter plekke worden gelokaliseerd en aangehouden. Het systeem ziet meer dan het menselijk oog en heeft slechts enkele seconden nodig. Dat de techniek voordelen heeft voor opsporing staat hier dan ook niet ter discussie.
1 Hijink, NRC 11 juni 2020.
2 The Amazon Blog: Day One, 10 juni 2020. 3 Committee LIBE 2020, p. 6.
4 EDPS Opinion 4/2020, p. 7, 20.
5 Twitter, @EURightsAgency 3 maart 2020. 6 Le Loux & Otto 2019.
5
III. Wetenschappelijke en maatschappelijke relevantie
Toch is de technologie op zijn zachtst gezegd controversieel; in de juridisch-wetenschappelijke literatuur is reeds veel geschreven over de risico’s ervan. Onlangs publiceerde het Wetenschappelijk Onderzoek- en Documentatiecentrum (WODC) een omvangrijk onderzoeksrapport over privacyinbreuken bij gezichtsherkenning door private partijen8 en gaf de Autoriteit Persoonsgegevens (AP) voorlichting aan supermarkten.9 Echter, het fenomeen van
live gezichtsherkenning door de overheid is wetenschappelijk relatief onderbelicht.10 En dat terwijl hierover wel degelijk discussie gaande is, ook in Nederland.11 Deze scriptie wil daarom een wetenschappelijke bijdrage leveren aan het debat omtrent de risico’s van live gezichtsherkenning door de politie en hoopt daarbij handvatten te bieden voor de toekomstige regulering daarvan.
IV. Analytisch kader
Gegevensbescherming
Deze studie analyseert live gezichtsherkenning vanuit het recht op bescherming van persoonsgegevens. Het gegevensbeschermingsrecht heeft zich in de loop der jaren sterk ontwikkeld. Gezichtskenmerken zijn uiterst gevoelige persoonsgegevens en de verwerking daarvan is primair onderwerp van gegevensbeschermingswetgeving. Voor diepgaande analyses van de invloed van live gezichtsherkenning op andere grondrechten, zoals de vrijheid van meningsuiting, het recht op non-discriminatie en het recht op privéleven, wordt verwezen naar de bestaande literatuur.12
8 Keymolen e.a., (WODC) 2020. 9 Autoriteit Persoonsgegevens 2020.
10 De politie is volgens de Minister van Veiligheid en Justitie wel bezig met een rechtsverkennend onderzoek, zie
Kamerbrief 20 november 2019, p. 5. Dit najaar zal aan de KU Leuven een onderzoek worden gestart naar gezichtsherkenning in de openbare ruimte, zie: https://www.rug.nl/rechten/news/archief/2020/catherine-jasserand-breeman-ontvangt-marie-sklodowska-curie-individual-fellowship.
11 Kamerstukken II 2019/19, 30 821, nr. 90 (AO Nationale Veiligheid); Kamerstukken II 2019/20, 35 300 VI, nr.
64 (Motie); Bits of Freedom, Dossier Gezichtsherkenning,
https://www.bitsoffreedom.nl/dossiers/gezichtsherkenning/.
12 Zie voor een overzicht van de grondrechten die het meest worden getroffen: FRA 2019, p. 23-32. Over (met
6
Menselijke waardigheid
De focus van het onderzoek ligt op het fundament van het recht op bescherming van persoonsgegevens: de menselijke waardigheid. Waar de huidige literatuur zich vooral richt op de frictie met afzonderlijke gegevensbeschermingsbeginselen als juistheid, doelbinding en beveiliging van persoonsgegevens,13 gaat deze scriptie terug naar de vóórvraag: is deze verwerking menswaardig? Waardigheid van het individu is het ultieme beginsel dat alle grondrechten beogen te beschermen. Zo staat ‘de mens’ nadrukkelijk centraal in de plannen van de Europese Commissie voor kunstmatige intelligentie14 en beschouwt de Europese Privacytoezichthouder ethiek en waardigheid als dé sleutelwoorden in de regulering van nieuwe technologieën.15 Vanuit verschillende hoeken van de samenleving klinkt reeds de klacht dat gezichtsherkenningstechnologie een inbreuk vormt op deze ‘kern’ van fundamentele rechten en vrijheden.16 Een onderzoek naar live gezichtsherkenning vanuit het oogpunt van menselijke
waardigheid past daarom goed binnen de actuele politiek-maatschappelijke discussie.
Vergelijking met niet-live gezichtsherkenning
De hypothese van het onderzoek is dat bestaande waardigheidsbezwaren tegen biometrische technologieën worden versterkt door de live-context waarin zij worden toegepast. Door de gehele scriptie heen zal live gezichtsherkenning daarom worden afgezet tegen de niet-live toepassing van de technologie.
V. Onderzoeksvraag
Gelet op het voorgaande luidt de onderzoeksvraag als volgt:
“Welke waarborgen zouden, gelet op het beginsel van menselijke waardigheid zoals geïnterpreteerd in de context van gegevensverwerking, moeten worden ingebouwd om de bijzondere risico’s van live gezichtsherkenning door de politie te ondervangen, en in hoeverre voorziet de huidige Nederlandse wetgeving in deze waarborgen?”
13 O.a. Groep Gegevensbescherming Artikel 29, Advies 3/2012, p. 20-21; FRA 2019, p. 24-25;
Jasserand-Breeman 2019 (hergebruik van biometrische gegevens door de politie).
14 Europese Commissie White Paper On Artificial Intelligence, COM(2020) 65.
15 EDPS Opinion 4/2015, p. 14; zie ook EDPS, ‘Choose Humanity: Putting Dignity back into Digital’, 2018;
Europese Groep Ethiek (EAG) 2018, p. 1.
16 EDRi, p. 22-23; La Quadrature du Net 2019; RTL Nieuws, ‘CDA en D66 kritisch over gezichtsherkenning:
7
VI. Methodologie en structuur
Het onderzoek bevat zowel descriptieve, normatieve als evaluerende componenten. Hoofdstuk 1 geeft definities en vergelijkt het proces van niet-live gezichtsherkenning (Nederland) met dat van live-herkenning (case study: het Verenigd Koninkrijk). Hoofdstuk 2 bespreekt het concept van menselijke waardigheid als fundament van het recht op bescherming van persoonsgegevens en inventariseert de relevante normatieve eisen die daaruit voortvloeien. Het toetsingskader bestaat uit theorieën uit de literatuur, toelichtingen bij gegevensbeschermingswetgeving en opinies van gegevensbeschermingsautoriteiten en deskundigengroepen. Op grond daarvan zet hoofdstuk 3 in detail uiteen waarom het politiegebruik van live gezichtsherkenningssystemen in de openbare ruimte problematisch is. Hoofdstuk 4 geeft vervolgens een overzicht van de geldende Nederlandse regels die de live inzet van de technologie zouden kunnen reguleren. Hoofdstuk 5 maakt ten slotte de balans op: Deel I evalueert het huidig wettelijk kader, waarna Deel II concrete waarborgen voorstelt die dit kader moeten aanvullen. Er wordt afgesloten met een conclusie.
8
Hoofdstuk 1. De werking van gezichtsherkenningstechnologie en de
toepassing daarvan door de politie
1.1 Inleiding
Dit hoofdstuk is primair bedoeld om inzicht te geven in de werking van gezichtsherkenning. Daarnaast worden de wijzen waarop de politie deze technologie binnen de opsporing kan toepassen beurtelings besproken: niet-live (Nederland) en live (Verenigd Koninkrijk). Op basis daarvan wordt bepaald op welke punten live gezichtsherkenning zich onderscheidt van niet-live herkenning. In hoofdstuk 2 en 3 zal blijken dat die verschillen bepaalde bezwaren met zich meebrengen.
De Nederlandse politie gebruikt thans een systeem waarbij opsporingsfoto’s van verdachte personen in het Centrum van Biometrie worden vergeleken met foto’s van in het verleden aangehouden personen. Toepassing van de software op live videobeelden op straat is daarbij dus niet aan de orde. Om een idee te krijgen van de manier waarop live gezichtsherkenning zich in Nederland zou kunnen ontwikkelen wordt een blik geworpen op het Verenigd Koninkrijk.17 Anders dan bijvoorbeeld de Chinese of Amerikaanse politie, die live herkenning op vrij indringende en structurele wijze inzetten, zijn de Britten gehouden aan de strenge Data Protection Act 2018 die een implementatie is van de Europese Richtlijn Politiegegevens.18 Het ligt daarom sterk voor de hand dat de Nederlandse politie zich door het Britse model zal laten inspireren.
1.2 Een vorm van kunstmatige intelligentie
Gezichtsherkenningssoftware is een vorm van kunstmatige intelligentie (KI), een systeem dat menselijke cognitieve functies nabootst en door analyse van haar omgeving in staat is om zelfstandig actie te ondernemen.19 De motor van het systeem is een
gezichtsherkenningsalgoritme. Algoritmen zijn voorgeprogrammeerde stappenplannen die een machine volgt om een bepaalde uitkomst te genereren.20 Op basis van die uitkomst worden
vervolgens besluiten genomen.
17 Zie eenzelfde methode van internationale oriëntering in Keymolen e.a. 2020, p. 8, 57. 18 N.B. Deze nationale wet blijft ook na de Brexit-overgangsperiode gelden.
19 COM(2018) 237, p. 1.
9
1.3 Definities
Hieronder is een overzicht opgenomen van de belangrijkste terminologie die in deze scriptie wordt gehanteerd:
▪ Gezichtsherkenning – “de automatische verwerking van een digitale afbeelding van het gezicht van een persoon ten behoeve van de identificatie, authenticatie/verificatie of categorisering van die persoon”:21
- Automatische verwerking: gezichtsherkenning is een geautomatiseerd proces dat uit
twee fasen bestaat, te weten (1) het verkrijgen van een gelaatsafbeelding en (2) het uitvoeren van een gezichtsvergelijking. Deze processen kunnen los van elkaar bestaan (i.e. een eerder gemaakte afbeelding wordt geïmporteerd in een gezichtsherkenningssysteem) of geïntegreerd zijn (de camera analyseert de beelden direct).22 Het vergelijkingsproces gaat als volgt. Eerst wordt de verkregen
afbeelding omgezet/genormaliseerd in een leesbare digitale weergave. Een gezichtsherkenningsalgoritme extraheert bepaalde kenmerken uit die afbeelding, zoals de afstand tussen de ogen of de huidtextuur, en creëert daarmee een wiskundige voorstelling van het gezicht (biometric template; gezichtsafdruk). Daarna meet het algoritme de overeenkomsten tussen deze kenmerken en een verzameling kenmerken die eerder in het systeem is opgeslagen.23 Dit resulteert uiteindelijk in een lijst van mogelijke matches voorzien van scores die de mate van overeenkomsten aangeven.24
- Van een digitale afbeelding van het gezicht: foto’s van het gezicht zijn onder
omstandigheden te kwalificeren als biometrische gegevens.
o Biometrische gegevens zijn “persoonsgegevens die het resultaat zijn van een specifieke technische verwerking met betrekking tot de fysieke, fysiologische, of gedragskenmerken van een natuurlijke persoon op grond waarvan de
21 Groep Gegevensbescherming Artikel 29, Advies 02/2012, p. 2. 22 Kamerbrief 20 november 2019, p. 1-2.
23 Algoritmen hebben verschillende manieren van vergelijken. Zie voor een meer gedetailleerde uitleg daarvan
Introna en Nissenbaum 2010, p.16-17.
24 Groep Gegevensbescherming Artikel 29, Advies 02/2012, p. 2-3; Introna en Nissenbaum 2010, p. 15-20;
10
eenduidige identificatie van die persoon mogelijk is of bevestigd wordt”.25
Foto’s vallen alléén onder de definitie van biometrische gegevens wanneer ze worden verwerkt met behulp van technische middelen die unieke identificatie of authenticatie mogelijk maken.26
Gezichtsherkenningssoftware is een technisch middel waardoor identificatie van een op beeld vastgelegd persoon mogelijk is; ook al vindt daadwerkelijke identificatie in het betreffende geval niet plaats. Omdat bij het proces van gezichtsherkenning álle afbeeldingen worden onderworpen aan herkenningssoftware kwalificeren deze dus als biometrische gegevens.27
- Identificatie, verificatie of categorisering: gezichtsherkenningstechnologie kan voor
verschillende doeleinden worden ingezet. Deze studie richt zich op het gebruik door de politie ter identificatie van een verdachte door de vergelijking van gezichtsafdrukken van burgers in de publieke ruimte met een gezichtsafdruk van de verdachte (“een-op-veel-matching”).
▪ Volledig geautomatiseerde besluitvorming – het nemen van besluiten met technologische middelen en zonder menselijke tussenkomst.28 Hieronder wordt tevens verstaan het besluitvormingsproces waarbij de menselijke tussenkomst niet ‘zinvol’ is.29
▪ Besluit – verwijst in deze scriptie naar (1) de beslissing dat de door het systeem gegeneerde match geloofwaardig is en interventie moet plaatsvinden (i.e. staandehouding van de gelokaliseerde persoon, eventueel gevolgd door aanhouding) en (2) de beslissing dat de door het systeem gegeneerde match ongeloofwaardig is en interventie moet uitblijven.30
25 Artikel 1 onder s Wet Politiegegevens; vgl. artikel 4 onder 14 AVG. 26 Overweging 51 AVG.
27 Vgl. Autoriteit Persoonsgegevens 2020, p. 2; zie ook Cardiff High Court 2019, r.o. 133.
28 Groep Gegevensbescherming Artikel 29, Richtsnoeren geautomatiseerde besluitvorming 2017, p. 9. 29 Ibid., p. 24-25; zie ook Wagner 2019, p. 111.
11
1.4 Gezichtsherkenning in politiecontext
1.4.1 Nederland: niet-live
Sinds 2016 maakt de Nederlandse politie gebruik van gezichtsherkenningssoftware ‘Catch’. Het systeem wordt ingezet bij de opsporing van verdachten van misdrijven, niet van overtredingen.31 In 2019 heeft de politie door het systeem 98 personen kunnen opsporen. Of de herkenningen uiteindelijk hebben geleid tot veroordelingen is niet bekend.32
Referentiedatabank
De software bedient zich van een databank met zo’n 1,3 miljoen foto’s33 van personen die worden of werden verdacht van een strafbaar feit. In uitzonderlijke gevallen mag ook worden gezocht in de vreemdelingendatabase met zo’n 7 miljoen foto’s.34 De wettelijke basis voor het aanleggen en gebruiken van deze databases voor de opsporing is neergelegd in artikel 55c lid 2 t/m 4 van het Wetboek van Strafvordering.
Systeem-input, voorbereiding en verwerking
Voor de inzet van de software is geen machtiging nodig van de rechter-commissaris.35 Via beveiligingscamera’s, sociale media en observatie-eenheden van de politie krijgt het Centrum voor Biometrie foto’s of stills van bewegende beelden van onbekende personen binnen. Catch vergelijkt het biometrisch profiel van het gezicht op de opsporingsfoto met de profielen van verdachten uit de database. Na de vergelijking geeft het systeem een overzicht van de gezichten met de meeste overeenkomsten inclusief schaalscore.
Waarborgen alvorens actie wordt ondernomen: dubbele controle
Na de vergelijking wordt de machine-gegenereerde kandidatenlijst voorgelegd aan een getrainde expert. Als deze op basis van een “holistische waarneming”36 oordeelt dat inderdaad sprake is van een match met één van die kandidaten, wordt de match in kwestie getoond aan twee andere experts die de match onafhankelijk van elkaar beoordelen. Als de experts niet tot
31 Le Loux & Otto 2019.
32 Waarlo en Verhagen 2020; Hulsen 2020. 33 Kamerbrief 10 september 2019, p. 3.
34 Aanhangsel van de Handelingen, nr. 584, 2019/2020, p. 1. 35 Aanhangsel van de Handelingen, nr. 3932, 2018/2019, p. 5. 36 NU.nl (video) 9 maart 2020.
12
dezelfde conclusie komen, wordt de meest conservatieve conclusie gerapporteerd.37 De procedure van dubbele menselijke verificatie is zo ingericht om het risico op false positives, dus onterecht aangenomen matches, te verkleinen en de rechten van betrokkenen te beschermen.38
1.4.2 Verenigd Koninkrijk: live
Waar in Nederland automatische gezichtsherkenning beperkt blijft tot het Centrum voor Biometrie, vindt in het Verenigd Koninkrijk real-time herkenning plaats in winkelgebieden en tijdens evenementen. Wanneer een onbekende verdachte langs de camera loopt en het systeem een waarschuwingssignaal afgeeft, kan deze in de menigte worden gelokaliseerd en aangehouden. Ook voortvluchtige veroordeelden of vermisten kunnen op deze manier worden opgespoord. Tot op heden werken twee lokale politie-eenheden, de South Wales Police (SWP) en London’s Metropolitan Police Service (MPS), met live gezichtsherkenning. De inzet van de technologie geschiedt bij beide diensten volgens een vergelijkbaar procedé. Er is geen sprake van structurele aansluiting van de technologie op een cameranetwerk, maar de politie coördineert afzonderlijke ‘operaties’ waarbij zij de technologie op bepaalde plekken en voor bepaalde tijd op live videobeelden toepast. De bijzondere opsporingspraktijk was in 2019 onderwerp van onderzoek door de Britse privacytoezichthouder (ICO)39 en een rechtszaak bij
het Cardiff High Court.40
Referentiedatabank
De databank die tijdens een operatie wordt doorzocht is altijd onbepaald: zij wordt immers op het moment zelf gevormd door burgers die toevallig de camera passeren. Dat kunnen er duizenden zijn, afhankelijk van plaats, tijdstip en periode van filmen. De aantallen zijn groot, zo stelde het Cardiff High Court vast. Geschat werd dat het gezichtsherkenningssysteem van de SWP tijdens twee grote evenementen zo’n 21.5000 respectievelijk 44.5000 gezichten had gescand.41 Gemiddeld genomen verwerkt een systeem vijf gezichten per frame, 10 frames per seconde. Gezichtsprofielen die geen ‘match’ opleveren worden in beginsel direct verwijderd.42
37 Kamerbrief 10 september 2019, p. 5; zie ook Kamerbrief 20 november 2019, p. 2-3; Kist NRC 19 februari 2018.
38 Kamerbrief 20 november 2019, p. 2-3. 39 ICO 31 oktober 2019.
40 Cardiff High Court 4 september 2019 (Bridges v. South Wales Police). 41 Cardiff High Court 2019, r.o. 36.
42 MPS Standard Operating Procedure, p. 13-14; SWP Standard Operating Procedures, p. 15. N.B. Profielen van
13
Systeem-input
Van tevoren stelt de politie een lijst op van personen die worden gezocht. Beide politie-eenheden streven naar een op maat gemaakte watchlist voor iedere afzonderlijke operatie, gebaseerd op de doelen en locatie van de inzet.43 In een gebied waar veel geweld plaatsvindt, wordt bijvoorbeeld alleen gezocht naar personen verdacht van geweldsdelicten.44 Toch constateerde de Britse toezichthouder dat dit ‘maatwerk’ in de praktijk vaak te wensen overlaat en alle verdachten op de lijst worden gezet om de pakkans te vergroten.45
Voorbereiding: installatie camera’s, informatieverstrekking
Nadat locatie, tijdstip en watchlist zijn vastgesteld, kan de operatie van start. Een autobusje dient als controlecentrum met daarin agenten (operators) die de live beelden van op of nabij het busje geïnstalleerde camera’s in de gaten houden.46 Uitgangspunt van beide
politie-eenheden is dat de Zone of Recognition duidelijk wordt aangeduid door middel van waarschuwingsborden en dat ook het busje markeringen bevat.47 In haar onderzoeksrapport
stelde de toezichthouder echter vast dat de informatieverstrekking in de praktijk niet zo effectief is. Waarschuwingsborden zijn te klein en daardoor niet zichtbaar in een drukke omgeving vol visuele afleiding. Of de borden zijn zo geplaatst dat het publiek ze pas opmerkt nádat zij reeds zijn vastgelegd door de camera’s.48 Verder zijn de autobusjes niet altijd duidelijk gemarkeerd.49 Het belang van informatieverstrekking wordt in paragraaf 2.4.2 nader toegelicht.
De verwerking
Tijdens het filmen genereert de software continu percentages die de mate van overeenkomst tussen voorbijgangers en de foto’s op de watchlist aangeven. Bij een potentiële match – bijvoorbeeld bij een overeenkomst van 80% of meer, dit is een vooraf in te stellen drempelwaarde50 – geeft het systeem een waarschuwingssignaal aan de politieambtenaren in het busje.
43 MPS DPIA, p.42; SWP DPIA 2018, p. 20. 44 ICO 2019, p. 15.
45 Ibid., p. 16.
46 Ibid. 2019, p. 11; Fussey en Murray 2019, p. 117.
47 MPS Standard Operating Procedure, p. 4-5; MPS LFR Guidance Document, p. 21; SWP Standard Operating
Procedures v12, p. 6, 8-9.
48 ICO 2019, p. 28-29; Fussey en Murray 2019, p. 99. Overigens schrijven onafhankelijke onderzoekers dat dit
laatste voor de MPS slechts gold voor één operatie; in de andere gevallen stonden de borden zo gepositioneerd dat het individu die het bord bestudeert niet zichtbaar was voor de camera, zie Fussey en Murray 2019, p. 95.
49 ICO 2019, p. 26-27. 50 DPIA MPS, p. 10, 26.
14
Waarborgen alvorens actie wordt ondernomen: menselijke blik
Naar aanleiding van het waarschuwingssignaal beoordelen de agenten in het busje of inderdaad sprake is van een match. Wanneer zij tot de conclusie komen dat de match geloofwaardig is, wordt het signalement van de gematchte persoon doorgespeeld aan de agent(en) op straat. Deze maakt vervolgens nog een eigen beoordeling. Het is uiteindelijk aan de straatagent die beslist of hij de persoon benadert.51 Snelheid is geboden, want de persoon kan binnen enkele seconden weer in de menigte zijn verdwenen.52
Van de South Wales Police is bekend dat zij in deze fase gebruik maakt van een ‘stoplicht-systeem’. De straatagent ontvangt kleurcodes die op basis van beschikbare informatie over de verdachte de urgentie en het type interventie aangeven. Rood wijst op onmiddellijke interventie in verband met een groot risico voor de openbare veiligheid (e.g. een terroristische dreiging); oranje wijst op verdachten die worden gezocht op grond van verdenking van ernstige misdrijven; en groen wijst op verdachten die bekend zijn bij de politie maar geen direct gevaar vormen.53
1.5 Live vs. niet-live
Uit het voorgaande kan worden geconcludeerd dat de Britse vorm van live gezichtsherkenning door de politie zich onderscheidt van niet-live herkenning door voornamelijk vier factoren:
(1) De mogelijkheid om een verdachte van een afstand (en mogelijk ongemerkt) te
lokaliseren – bij succesvolle live herkenning weet de politie direct waar de verdachte
zich bevindt;
(2) De referentiedatabank – bij niet-live herkenning vergelijkt het systeem de opsporingsfoto met gezichtsprofielen van mensen die eerder verdacht zijn geweest van misdrijven (strafrechtsketendatabank). Bij live herkenning wordt de opsporingsfoto vergeleken met profielen van burgers die de camera in de publieke ruimte passeren (‘live databank’);
(3) De continue en ongerichte toepassing van de software – dit raakt aan het verschil in referentiedatabank. Bij niet-live herkenning wordt min of meer ‘gericht’ vergeleken,
51 ICO, p. 11; MPS Standard Operating Procedure, p. 11; Cardiff High Court 2019, r.o. 33. 52 Vgl. MPS LFR Guidance Document, p. 28.
15
namelijk met personen die ooit zijn verdacht van een ernstig misdrijf. Bij live-herkenning wordt standaard een analyse gemaakt van eenieder die de camera passeert, waarbij het overweldigende deel van de mensen niet van enig strafbaar feit wordt verdacht;
(4) De snelheid waarmee politie-interventie plaatsvindt na kennisneming van de bevindingen van het systeem – bij niet-live herkenning wordt de uitkomst van het systeem tot tweemaal toe gecontroleerd door experts alvorens de vervolgstappen worden bepaald. Bij live herkenning moeten agenten direct beslissen: aanhouden of niet?
16
Hoofdstuk 2. Normatief kader: menselijke waardigheid bij de verwerking
van persoonsgegevens
2.1 Inleiding
Live gezichtsherkenning is onderworpen aan de regels inzake gegevensbescherming. Immers, het doorlopend op videobeeld monitoren van personen54 alsmede het toepassen van
gezichtsherkenningstechnologie op die beelden zijn automatische verwerkingen van persoonsgegevens. Het gegevensbeschermingsrecht staat niet op zichzelf, maar wordt geacht hogere belangen te dienen waaronder een evenwicht in machtsverhoudingen en zelfbeschikking door het individu.55 Die belangen zijn weer terug te voeren naar een alomvattend beginsel: menselijke waardigheid. In dit hoofdstuk wordt toegelicht welke normatieve eisen uit dit beginsel voortvloeien in het kader van de verwerking van persoonsgegevens. Tevens wordt gekeken naar de voorwaarden om deze eisen te effectueren.
2.2 Menselijke waardigheid als fundament van gegevensbescherming
Ieder mens heeft een intrinsieke waarde die door anderen moet worden geëerbiedigd.56 Menselijke waardigheid is niet alleen een recht op zichzelf57 maar vormt tevens de hoeksteen van alle grondrechten, inclusief het recht op bescherming van persoonsgegevens.58 Deze link werd in 1983 al gelegd door het Duitse Constitutionele Hof59 en heeft nadien steun gevonden in de literatuur.60
Ook wanneer de politie persoonsgegevens verwerkt, dus in de strafrechtelijke sfeer, is menselijke waardigheid het uitgangspunt. Hierbij wordt wel een onderscheid gemaakt tussen
verdachte en onverdachte personen. Hoewel een van een strafbaar feit verdacht persoon qua
intrinsieke waarde gelijk is aan ieder ander, wordt over het algemeen aangenomen dat met de persoonsgegevens van niet-verdachte personen “extra zorgvuldig”61 moet worden omgegaan.
Volgens Europese privacytoezichthouders verdient deze groep “specifieke bescherming”62 en
54 Vgl. HvJ 11 december 2014, C-212/13 (František Ryneš), r.o. 25.
55 De Hert and Gutwirth 2009, p. 5; zie met name Lynskey 2015 over controle. 56 McCrudden 2008, p. 723.
57 Artikel 1 Handvest; artikel 1 UVRM.
58 Toelichting bij Artikel 1 van het Europees Handvest van de Grondrechten, 2007.
59 Bundesverfassungsgericht 15 december 1983, 1 BvR 209/83 (Census-uitspraak) r.o. 143-144, 147.
60 Zie Floridi 2016, p. 307; Lynskey 2015, p. 129 (met kritiek); Tzanou 2017, p. 29-31; EDPS Opinion 4/2015, p.
12; Rouvroy en Poullet 2009, p. 53-54.
61 Antwoorden op Kamervragen, 35300-VI, 20 november 2019, p. 40. 62 Groep Gegevensbescherming Artikel 29, Advies 1/2013, p. 3.
17
zijn expliciete waarborgen nodig om te verzekeren dat hun gegevens proportioneel worden gebruikt.63 De hierna te bespreken vereisten van menselijke waardigheid dienen met andere woorden strikter te worden toegepast wanneer de politie gegevens van onverdachte personen verwerkt.
2.3 De vereisten van menselijke waardigheid
Wanneer is een verwerking van persoonsgegevens mensonwaardig? Menselijke waardigheid is een ruim begrip met verschillende context-afhankelijke interpretaties. Op basis van filosofische literatuur en jurisprudentie maakt Van Toor64 in zijn proefschrift een onderscheid tussen ‘waardigheid als eer’ en ‘waardigheid als autonomie’. Deze tweedeling biedt houvast en is eveneens terug te vinden in de literatuur over gegevensbescherming. Sommige schrijvers leggen de nadruk op de onthoudingsplicht van de verwerkingsverantwoordelijke en beschrijven waardigheid in termen als ‘integriteit’ en ‘respect’ voor de betrokkene.65 Anderen stellen juist
de capaciteiten van de betrokkene centraal en beschrijven waardigheid in termen als ‘empowerment’, ‘autonomie’ en ‘informationele zelfbeschikking’.66
De benaderingen vormen twee kanten van dezelfde medaille: beide vertrekken vanuit het grondbeginsel dat een mens nooit mag worden behandeld als een object.67 Bekend rechtsfilosofe Martha Nussbaum onderscheidt zeven vormen van objectificatie van de mens, te weten instrumentalisering, ontkenning van autonomie, ontkenning van handelingsbekwaamheid, inwisselbaarheid, gewelddadigheid, eigendom en ontkenning van subjectiviteit.68 Vanuit het perspectief van gezichtsherkenning zijn met name de eerste twee categorieën en de laatste categorie relevant. De drie verboden worden hierna in positieve zin, dus als vereisten van menselijke waardigheid, één voor één uitgewerkt.
63 Groep Gegevensbescherming Artikel 29, Advies 1/2014, p. 22 (punt 5.10); EDPS Opinion 2012, p. 56; vgl.
EDRi 2020, p. 24.
64 Van Toor 2017, p. 148-150. 65 De Hingh 2018.
66 Rouvroy en Poullet 2009; EDPS Opinion 4/2015, p. 12-13;
67 Zie o.a. Royakkers e.a. 2018, p. 136; Council of Europe Explanatory Report 2018, punt 10; EDPS Opinion
4/2015, p. 12.
18
2.3.1 Waardigheid als eer: de mens als doel oftewel een verbod op instrumentalisering
Het idee dat het gebruik van een mens puur als instrument mensonwaardig is, gaat terug tot het Categorisch Imperatief van Kant (1785): “Handel zo, dat je het menszijn (…) altijd tegelijkertijd als doel, en nooit louter als middel ziet”.69 Instrumentalisering hoeft dus niet
bezwaarlijk te zijn – Nussbaum noemt als voorbeeld het gebruik van je geliefde als hoofdkussen op bed70 – maar de grens wordt overschreden wanneer iemand hoofdzakelijk of uitsluitend als middel wordt behandeld.71 Althans, voor zover diegene daar zelf niet mee akkoord gaat. Voorstanders van ‘instrumentaliserende praktijken’ als vrijwillige orgaanverkoop of draagmoederschap zien waardigheid als een paternalistisch principe en stellen in plaats daarvan de keuzevrijheid centraal.72 Het voert te ver voor deze scriptie om de exacte verhouding tussen instrumentalisering en autonomie uit te diepen. Hier volstaat dat instrumentalisering en ontkenning van de menselijke autonomie vaak hand in hand gaan.73
Bovenstaande imperatief kan eveneens worden toegepast op de positie van betrokkenen tijdens de verwerking van persoonsgegevens. In de literatuur wordt wel verondersteld dat persoonsgegevens inherent zijn verbonden aan het individu.74 Floridi schrijft: “My” in “my
data” is not the same as “my” in “my car”, it is the same “my” as in “my hand”, because personal information plays a constitutive role of who I am and can become”.75 Gelet op de nauwe relatie tussen data en de mens kan het standpunt worden ingenomen dat ook persoonsgegevens niet mogen worden gebruikt puur als middel ten behoeve van de doeleinden van een ander. Temeer geldt dit voor biometrische gegevens, nu deze naar hun aard onlosmakelijk zijn verbonden met het menselijk lichaam of het menselijk gedrag. Het instrumentele gebruik van biometrische gegevens is daardoor nóg bezwaarlijker dan het gebruik van minder persoonlijke gegevens als een naam of e-mailadres.
2.3.2 Waardigheid als eer: erkenning van subjectiviteit
Een tweede vereiste van menselijke waardigheid is dat een mens nooit wordt behandeld als een object zonder persoonlijkheid of gevoelens, maar als een wezen met innerlijke subjectiviteit. In
69 Uit Nyholm 2016, p. 358. 70 Nussbaum 1995, p. 265 71 Ibid.
72 Verplaetse en Delmotte 2017, p. 43-46. 73 Zie Nussbaum 1995, p. 259-260.
74 EDPS Opinion 4/2015, p. 12 (“intrinsic link”); EDPS Ethics Advisory Group 2018, p. 30. 75 Floridi 2016, p. 308.
19
dit verband dringt de discussie over geautomatiseerde gegevensverwerking c.q. -besluitvorming zich op (ook wel aangeduid als automated decision-making of kortweg ADM).76
Het basisprincipe is dat de intrinsieke waarde van de mens niet door technologie wordt beperkt. Een onafhankelijke EU-groep van deskundigen op het gebied van kunstmatige intelligentie (KI) stelt dat men het recht heeft om door kunstmatige systemen te worden behandeld als “morele subjecten, niet slechts objecten die kunnen worden ontleed, gesorteerd, becijferd, gedreven, geconditioneerd of gemanipuleerd.”77 KI behoort de menselijke integriteit
en het gevoel van identiteit te respecteren, en de capaciteiten van mensen te vergroten.78 Verwerkingsactiviteiten die individuen behandelen als loutere verzamelingen van informatie of wiskundig calculeerbare objecten moeten daarom worden voorkomen.79
Sommige schrijvers beschouwen geautomatiseerde gegevensverwerking als mensonterend omdat computers mensen alleen op mechanische wijze kunnen benaderen en waarnemen als een gegevensstructuur.80 Hieraan ten grondslag ligt het filosofische idee dat
bepaalde aspecten van de menselijke persoonlijkheid niet in data en computermodellen zijn te beschrijven.81 Deze zienswijze wordt niet door iedereen gedeeld. Zarsky stelt dat eventuele
problemen met automatisering eerder moeten worden gezocht in het risico op fouten of een gebrek aan transparantie dan in aantasting van waardigheid.82 Bovendien is automatisering in de huidige moderne wereld veelal de norm geworden.
Toch zitten hier wel degelijk grenzen aan. Processen waarbij algoritmen belangrijke
besluiten83 nemen over burgers zónder dat op enig moment sprake is van een menselijke blik, zijn wettelijk verboden (zie hoofdstuk 4). De Europese Commissie lichtte dit verbod in 1990 toe met het argument dat burgers én gebruikers van de systemen anders hun controle en invloed zouden verliezen.84 Dit autonomie-aspect van menselijke waardigheid komt in de volgende paragraaf aan de orde. Het verbod kan echter ook goed worden uitgelegd vanuit het oogpunt van waardigheid als menselijke subjectiviteit. Computerwetenschapper en KI-onderzoeker Stuart Russell meent dat de mens, door het geven van zeggenschap aan machines, zichzelf
76 Araujo e.a. 2020, p. 1-2.
77 Onafhankelijke Deskundigengroep 2019, p. 13. 78 COM(2019) 168, p. 3.
79 Cohen 2000, p. 1423; Almada 2019, p. 3. 80 Jones 2017, p. 231-231.
81 Zie Hildebrandt 2019, p. 93, 96; Van Ditmars 2018. 82 Vgl. Zarsky 2013, p. 1552; Zarsky 2012, p. 98-99.
83 Bijvoorbeeld met rechtsgevolgen of met gevolgen voor werk, financiën, onderwijs en gezondheidszorg. Zie
Groep Gegevensbescherming Artikel 29 Richtsnoeren geautomatiseerde besluitvorming 2017, p. 25-26.
84 Bygrave 2001, p. 18; zie Europese Commissie, COM(90) 314 final – SYN 287, p. 29 en COM(92) 422 final –
20
degradeert tot een ‘tweederangs-wezen’.85 De scène uit de science-fiction film Elysium waarbij een robot beslist over de vrijlating van een menselijke gevangene vindt hij ronduit een “een aanval op de menselijke waardigheid”. Bygrave, hoogleraar op het gebied van recht en technologie, vindt het eveneens een “belediging” voor de waardigheid van de betrokkene wanneer deze wordt beoordeeld door een machine terwijl een redelijk verwachting of rechtvaardiging daarvoor ontbreekt.86 Het principe van waardigheid-als-eer impliceert dus dat, indien het om cruciale beslissingen gaat, een mens het recht heeft om te worden beoordeeld een medemens en niet door een machine.87
2.3.3 Waardigheid als autonomie: behoud van controle
Ten slotte houdt menselijke waardigheid in dat een mens niet ongeoorloofd wordt beknot in zijn autonomie. Binnen het gegevensbeschermingsrecht spreekt men van ‘informationele zelfbeschikking’. Het begrip is in het leven geroepen door het Duitse Hof als essentieel onderdeel van de menselijke waardigheid. Het houdt in dat eenieder in beginsel het recht heeft om zelf te beslissen over de openbaarmaking en het gebruik van zijn persoonsgegevens.88
Zelfbeschikking veronderstelt een zekere mate van onafhankelijkheid die iemand alleen kan verwezenlijken wanneer hij controle heeft over zijn omgeving en over zichzelf, inclusief zijn persoonsgegevens.89 Het idee van controle en invloed door de betrokkene zit diep verankerd in gegevensbeschermingsrechtelijke instrumenten zoals de AVG en Conventie 108,90 de rechtspraak van het Europees Hof voor de Rechten van de Mens (EHRM)91 en aanbevelingen van de Europese Commissie.92 Controle maakt individuen weerbaar tegen machtige overheden en bedrijven en vermindert het risico op ongewenste beïnvloeding.93
Het recht op controle en informationele zelfbeschikking is niet absoluut. Het Duitse Hof erkende in 1983 al dat doelen van algemeen belang – zoals opsporing en
85 Russell 2019. 86 Bygrave 2001, p. 19.
87 Zarsky 2017, p. 1016-1017; Zarsky 2013, p. 1551-1552.
88 Bundesverfassungsgericht 15 december 1983, 1 BvR 209/83, r.o. 147. 89 Rouvroy en Poullet 2009, p. 51-52.
90 Zie overweging 7, 75 en 78 AVG; overweging 51 en 61 Richtlijn 2016/680; de preambule van Conventie 108
en de Explanatory Report bij het Protocol tot wijziging van Conventie 108 onder punt 10.
91 De Hert en Gutwirth noemen verschillende uitspraken over toegang tot persoonlijke documenten (Gaskin),
verwijdering van gegevens (Leander) en verzameling van gegevens in de opsporing (Amann en
Segerstedt-Wiberg), zie De Hert en Gutwirth 2009, p. 19-20.
92 Europese Commissie 2012, p. 2.
21
criminaliteitsbestrijding – kunnen meebrengen dat het recht door derden mag worden beperkt, mits de beperking is gebaseerd op de wet, duidelijk voorzienbaar en proportioneel is.94
2.4 Voorwaarden voor effectuering van menselijke waardigheid
2.4.1 Erkenning van subjectiviteit bij ADM: menselijke tussenkomst
Een onwaardige behandeling van burgers door machines kan worden voorkomen door binnen het geautomatiseerde besluitvormingsproces menselijke controle en toezicht in te bouwen, oftewel door een “human-in-the-loop” te brengen.95
2.4.1.1 Gevaar: de achteloze gebruiker?
Maar, met de loutere toevoeging van een mens aan het algoritmische besluitvormingsproces is het waardigheidsprobleem nog niet opgelost. Wanneer een algoritme een uitkomst genereert, zoals een voorspelling of aanbeveling, moet de gebruiker daarop reageren. Het risico bestaat dat de gebruiker de uitkomst als vaststaand feit beschouwt en niet meer tot een zelfstandige beoordeling overgaat. Dit verschijnsel staat in de gedragswetenschappelijke literatuur bekend als ‘automation bias’96 of ‘control problem’.97 Een beslissing gebaseerd op een automatisch
proces waarbij menselijke invloed en beoordeling minimaal is, is de facto een beslissing van de computer. Kotsoglou en Oswald spreken in dit verband van “de lange arm van het algoritme”98 en Wagner kwalificeert deze besluiten als “quasi-geautomatiseerd”. 99
Parasuraman en Manzey noemen drie oorzaken die bijdragen aan het ontstaan van
automation bias: de menselijke neiging om zo min mogelijk cognitieve inspanning te leveren
tijdens besluitvormingsprocessen; de afname van het verantwoordelijkheidsgevoel wanneer een besluit met meerdere personen (dus ook een machine) wordt genomen; en het overmatige vertrouwen van gebruikers in automatische systemen.100 Onderzoek wijst uit dat mensen
KI-systemen doorgaans als ‘experts’ beschouwen die de taak beter kunnen uitvoeren dan zijzelf en
94 Bundesverfassungsgericht 15 december 1983, 1 BvR 209/83, r.o. 148-149. 95 Onafhankelijke Deskundigengroep 2019, p. 19; Jones 2017.
96 Parasuraman en Manzey 2010, p. 390 e.v. 97 Zerilli e.a. 2019.
98 Kotsoglou en. Oswald 2020. 99 Wagner 2019, p. 110-111.
22
die altijd onafhankelijke, rationele en onbevooroordeelde resultaten geven.101 Uiteraard is dat niet het geval, want machines worden voorgeprogrammeerd door mensen.
De mate van bias is afhankelijk van verschillende factoren. De presentatie van de systeemuitkomst speelt een rol: hoe specifieker de aanbeveling voor een bepaalde actie en hoe ongenuanceerder deze wordt ingekleed (‘de kans is groot/klein’), des te sterker de bias.102 Een andere factor is de betrouwbaarheid van het systeem. Naarmate de kwaliteit van de resultaten verbetert, zal de gebruiker meer geneigd zijn te handelen conform de uitkomst van het systeem en steeds minder actief monitoren wat er gebeurt.103 Ten slotte wordt de mate van bias sterk beïnvloed door de specifieke context waarin de taak wordt uitgeoefend. Zo kan een gebrek aan tijd of vaardigheden deze versterken.104 Een ander voorbeeld genoemd in de literatuur is de situatie waarin een organisatie gebruikers heeft bevolen om het systeem altijd te volgen zodat het beter kan worden afgesteld. 105 In beide contexten zijn er weinig tot geen prikkels om het
systeem niét te volgen.
2.4.1.2 Richtsnoeren voor zinvolle menselijke controle
Het is dus zaak ervoor te zorgen dat de gebruiker niet slechts een stempel zet op een door de computer genomen besluit maar kritisch is en daadwerkelijk invloed uitoefent. Het algoritme moet de gebruiker ondersteunen, niet de menselijke beoordeling vervangen.
De vraag is hoe automation bias kan worden voorkomen of ten minste verminderd. Uit onderzoek is bijvoorbeeld gebleken dat training van de gebruikers effect heeft: door hen te confronteren met fouten van de computer wordt bovenmatig vertrouwen in het systeem getemperd.106 Op basis van theoretische kaders uit de literatuur,107 richtsnoeren van de EU- Deskundigengroep voor kunstmatige intelligentie108 en mededelingen van de Europese Commissie109 is hierna een beknopte lijst samengesteld met richtsnoeren voor zinvolle
menselijke controle en toezicht op KI-systemen. Bij de formulering van de concrete waarborgen voor live gezichtsherkenning in hoofdstuk 5 wordt hierop teruggegrepen.
101 Council of Europe (MSI-NET) 2017, p. 7; zie ook Araujo e.a. 2020, p. 3. 102 Parasuraman en Manzey 2010, p. 396; Oswald 2018, p. 14-15.
103Zerilli e.a. 2019, p. 561, 563; zie ook Dechesne 2019, p. 21; Europese Commissie COM(92) 422 final – SYN
287, p. 26; in Babuta, Oswald en Rinik 2018, p. 14.
104 Council of Europe (MSI-NET) 2017, p. 8; Wagner 2019, p. 114; Babuta, Oswald en Rinik 2018, p. 13;
Parasuraman en Manzey 2010, p. 395-397. 105 Zie Wagner 2019, p. 110-111. 106 Bahner e.a. 2008. 107 Wagner 2019. 108 Onafhankelijke Deskundigengroep 2019, p. 32-33, 36-38. 109 COM(2020) 65, p. 18-25.
23
Gebruikerscontrole algemeen
- In geval van een wisselwerking tussen het KI-systeem en de beslissingen van menselijke eindgebruikers (e.g. door middel van aanbevolen handelingen) beoordeelt de verwerkingsverantwoordelijke of het systeem het beslissingsproces van de eindgebruiker mogelijk op een onbedoelde manier beïnvloedt;
- Gebruikers behouden hun volledige en effectieve zelfbeschikking en er zijn zinvolle mogelijkheden voor menselijke keuze.110
Inrichting van procedures
- Het is duidelijk wie de human in control is en wat de momenten of hulpmiddelen voor menselijke interventie zijn. Zo kan bijvoorbeeld worden bepaald dat de uitkomst van een KI-systeem altijd worden herzien en bekrachtigd door een mens.
Bevoegdheid, kennis, vaardigheden
- De persoon of personen die controle uitoefenen is bevoegd om een uitkomst te wijzigen en dient dit ook regelmatig te doen; 111
- De mens is voldoende gekwalificeerd om controle uit te voeren. Gebruikers van een systeem moeten “kennis en hulpmiddelen ontvangen om KI-systemen te kunnen begrijpen en er in bevredigende mate mee te kunnen omgaan”;112
- De gebruiker is op de hoogte van de mogelijkheden en beperkingen van het systeem, de omstandigheden waaronder het goed functioneert en het verwachte niveau van nauwkeurigheid.113
Transparantie richting de gebruiker
- De uitkomsten van het systeem zijn eenvoudig te interpreteren;114
- De gebruiker kan een begrijpelijke verklaring opvragen voor de redenen dat een systeem een bepaalde keuze heeft gemaakt.115
110 Onafhankelijke Deskundigengroep 2019, p. 14-15; COM(2019) 168, p. 4. 111 Onafhankelijke Deskundigengroep 2019, p. 19.
112 Ibid., p. 19; zie ook Dechesne 2019, p. 20. 113 COM(2020) 65, p. 20.
114 Onafhankelijke Deskundigengroep 2019, p. 37. 115 Ibid.
24
Door voornoemde criteria in acht te nemen wordt de subjectiviteit van de betrokkene bij geautomatiseerde besluitvorming (ADM) bewaard. In de volgende paragraaf wordt gekeken naar de algemene voorwaarde voor behoud van menselijke controle: transparantie.
2.4.2 Individuele controle: transparantie
Onmisbaar voor de uitoefening van effectieve controle over de eigen persoonsgegevens is kennis van de gegevensverwerking. Wie niet op de hoogte is dat zijn of haar persoonsgegevens worden verwerkt, kan uiteraard weinig doen om de verwerking te beïnvloeden of daartegen op te komen.116 Met betrekking tot de verwerking van biometrische gegevens kan bovendien worden betoogd dat transparantie noodzakelijk is vanuit het idee dat een mens controle moet kunnen uitoefenen over het eigen lichaam.117 Waardigheid-als-autonomie impliceert zodoende dat op de verwerkingsverantwoordelijke een (inspannings-)verplichting rust om betrokkenen voorafgaand en tijdens elke fase van de verwerking adequaat te informeren.118
Transparantie en opsporing gaan echter zelden goed samen. Een verplichting tot volledige transparantie zou elke vorm van surveillance natuurlijk zinloos maken.119 Het EHRM
staat geheime overheidssurveillance dan ook toe, onder de voorwaarde dat politiediensten de betrokkenen na afloop daarvan in kennis stellen mits het onderzoek daardoor niet wordt geschaad.120 Ex ante kennisgeving is niet vereist.
Niet geheel duidelijk is of deze ruime afwijkmogelijkheid evenzeer geldt wanneer de politie zeer gevoelige gegevens verwerkt, zoals biometrische gegevens. Privacytoezichthouders lijken te menen van niet. In 2012 schreef de Artikel 29-Werkgroep dat biometrische gegevens niet buiten medeweten van de betrokkene mogen worden verzameld121 – al volgde uit die opinie niet dat dit ook onverkort geldt in strafrechtelijke context. De Britse toezichthouder stelt daarentegen expliciet dat waarschuwingsborden voor live politieherkenning duidelijk en goed moeten zijn weergegeven.122 Ook de Europese privacytoezichthouder schrijft in zijn meest recente opinie dat “biometrische identificatie op afstand door publieke instanties” altijd 116 Oostveen 2018, p. 111; overweging 57 uit het OECD Privacy Guidelines Explanatory Memorandum 2013;
Felzmann e.a. 2019, p. 3-4, 9; Coudert 2009, p. 153.
117 Gates 2011, p. 136.
118 Van Toor 2017, p. 150; Groep Gegevensbescherming Artikel 29, Richtsnoeren transparantie 2017, p. 6. N.B.
de rechtbank Den Haag sprak recentelijk zelfs over een recht om te worden geïnformeerd, zie Rb Den Haag 5 februari 2020, ECLI:NL:RBDHA:2020:1878 (SyRI), r.o. 6.60.
119 FRA Handbook 2018, p. 283.
120 Eskens e.a. 2016; EHRM 6 september 1978, nr. 5029/71 (Klass), r.o. 57-58; onder meer herhaald in EHRM 4
december 2015, nr. 47143/06 (Zakharov v. Russia); zie ook Raad van Europa Aanbeveling 1987, Beginsel 2.2.
121 Groep Gegevensbescherming Artikel 29, Advies 3/2012, p. 15-16. 122 ICO 2019, p. 25-26.
25
transparant behoort te zijn.123 Daarnaast kan worden beargumenteerd dat de ongemerkte verzameling van biometrische gegevens niet strookt met het beginsel van behoorlijke/eerlijke gegevensverwerking (fairness).124 Fairness houdt mede in dat persoonsgegevens niet op geheel onverwachte wijze worden verwerkt.125 Het overkoepelende beginsel laat bovendien ruimte voor een meer holistische interpretatie van de verwerkingsactiviteit en voor ethische reflectie.126 Vanuit dat perspectief kunnen striktere informatieverplichtingen ten aanzien van biometrische gegevens wel degelijk worden gelegitimeerd, zéker wanneer het onverdachte personen betreft die zich op de openbare weg bevinden.
2.5 Tussenconclusie
Concluderend impliceert menselijke waardigheid een verbod op objectificatie van de mens. In de context van de verwerking van persoonsgegevens betekent dit in concreto dat verwerkingsverantwoordelijken: 1. persoonsgegevens niet louter mogen gebruiken als middel voor hun eigen doeleinden (verbod op instrumentalisering); 2. betrokkenen niet mogen behandelen als ‘informatiestructuren’ of anderszins lijdende voorwerpen (erkenning van subjectiviteit); en 3. betrokkenen niet zomaar de controle over hun gegevens uit handen mogen nemen (erkenning van individuele autonomie). In het bijzondere geval van geautomatiseerde besluitvorming moeten, in het kader van erkenning van menselijke subjectiviteit, voorwaarden worden geschapen voor zinvolle controle en toezicht door een medemens. Controle en autonomie kunnen worden geëffectueerd door het betrachten van transparantie. Tot slot wordt in herinnering gebracht dat in strafrechtelijke context de persoonsgegevens van niet-verdachte personen extra bescherming behoeven. Bovenstaande uitgangspunten zullen in het volgende hoofdstuk worden toegepast op de bijzondere praktijk van live gezichtsherkenning door de politie.
123 EDPS Opinion 4/2020, p. 21. 124 Vgl. Kindt 2013, p. 426-427.
125 EDPB Guidelines 4/2019, p. 16; overweging 42 Richtlijn 2016/680 laatste zin; vgl. overweging 60 AVG. 126 Vgl. Clifford en Ausloos 2018, p. 186.
26
Hoofdstuk 3. Risico’s bij live gezichtsherkenning door de politie afgezet tegen
risico’s bij niet-live herkenning
3.1 Inleiding
Live gezichtsherkenning op de openbare weg wordt vaak geassocieerd met totalitaire regimes en ‘Big Brother’-praktijken. Het schrikbeeld is China, waar mensen op basis van gezichtsherkenning per sms een bekeuring kunnen krijgen voor oversteken door rood licht.127
Privacyorganisaties vrezen voor eenzelfde massasurveillance in Europa.128 Naast de inbreuk op
het privéleven zijn er zorgen over de soms behoorlijk foutmarges bij systemen.129 Stel dat al
deze nadelen afwezig zouden zijn, dat wil zeggen, de techniek is 100% accuraat en constante monitoring door heel Nederland is verboden: dan nóg is er een bezwaar. Ook bij foutloze en incidentele gezichtsherkenning kan men zich afvragen of het wenselijk is dat burgers op straat tot in de huidporiën worden bekeken door een machine aangestuurd door de overheid. Dit bezwaar is principieel en te herleiden tot het beginsel van menselijke waardigheid. In het hiernavolgende komen de bijzondere risico’s aan bod die de live toepassing van gezichtsherkenning meebrengt ten opzichte van de niet-live praktijk (Catch). Paragraaf 3.2 bespreekt twee problemen van live herkenning die met name onverdachte burgers treffen. Paragraaf 3.3 behandelt de impact op de gezochte verdachte die op straat wordt gesignaleerd.
3.2 Risico’s voor de onverdachte burger
3.2.1 Ontkenning van subjectiviteit en instrumentalisering: het gezicht als barcode
Het eerste risico wordt mooi samengevat door Lotte Houwing, adviseur en onderzoeker bij Bits of Freedom. In een blog over gezichtsherkenning schreef zij: “Vinden wij het acceptabel om te worden gereduceerd tot wandelende barcodes?”130 Hierin liggen eigenlijk twee vraagstukken
besloten, te weten over de aanvaardbaarheid van biometrie per se (i.e. het verworden tot een barcode oftewel ontkenning van de menselijke subjectiviteit) en de aanvaardbaarheid van het politiegebruik van de biometrische gegevens voor opsporingsdoeleinden (i.e. het scannen van de barcode oftewel instrumentalisering van het individu).
127 NU.nl, 14 juni 2019. 128 Houwing 13 mei 2020.
129 National Institute of Standards and Technology (NIST) 2019. 130 Vertaling uit het Engels, zie Houwing 29 januari 2020.
27 3.2.1.1 Niet-live gezichtsherkenning
De digitalisering van de mens is al langer onderwerp van discussie. Biometrische technologieën zetten uiterst persoonlijke aspecten van het menselijke lichaam – de vinger, de iris, het gezicht – om in een digitale code die als identificator fungeert. Het betreffende lichaamsdeel wordt door een machine verwerkt tot een informatiestructuur, opgeslagen en weergegeven in een bestandje van een aantal bytes.131 Deze bestandjes worden daarna door derden gebruikt.
Tegenstanders van biometrie beschouwen deze ‘informatisering’ van het lichaam als vernederend of anderszins bezwaarlijk vanuit het oogpunt van lichamelijke integriteit en waardigheid. Zij hekelen de vereenvoudiging van de mens tot een soort biologische handtekening waardoor men zich vervreemd zou voelen van het eigen lichaam.132 Biometrische gegevens kunnen immers nooit de essentie, de persoonlijkheid van het individu bevatten.133 Overigens gáát het daar bij gezichtsherkenning ook helemaal niet om; de technologie is bedoeld om personen te identificeren, niet om het innerlijk van de persoon achter het gezicht te analyseren.134 Andere schrijvers vinden de genoemde bezwaren “overdreven empathisch”135 of benadrukken dat biometrische gegevens juist waardigheid kunnen teruggeven aan bijvoorbeeld vluchtelingen zonder identiteitspapieren.136 Bestaande wetgeving (hoofdstuk 4) laat zien dat in Europa en Nederland voor een middenweg is gekozen: de politie mag slechts biometrische gegevens verwerken wanneer dit ‘strikt noodzakelijk’ is.
Inmiddels verwerkt de politie al jaren biometrische gegevens van verdachten met Catch. Kennelijk wordt deze toepassing door de wetgever en de maatschappij niet als (onevenredig) mensonwaardig beschouwd. Het feit dat de verwerking hoofdzakelijk verdachten van zware misdrijven betreft – ook al staat niet vast dat deze mensen de misdaden ook daadwerkelijk hebben gepleegd! – speelt vermoedelijk een rol.
3.2.1.2 Live-probleem: ongerichtheid
Kwalijker wordt het echter wanneer gezichtsherkenning live op straat plaatsvindt. In deze setting wordt immers de afbeelding van de gezochte verdachte niet ‘gericht’ vergeleken met het portret van mensen die eerder met politie in aanraking zijn gekomen. In tegendeel: van iedere gewone burger die de camera passeert, wordt een biometrisch profiel gemaakt en vergeleken
131 Brey 2004, p. 18-19. 132 Mordini 2009, p. 301.
133 National Consultative Ethics Committee (Frankrijk) 2007, p. 5. 134 Gates 2011, p. 20.
135 Mordini 2009, p. 302.
28
met de profielen op de watchlist. De passanten vormen aldus de live databank, waarbij 99% van de mensen van geen enkel strafbaar feit wordt verdacht.137 Door hun gezicht te scannen worden zij echter wel degelijk als potentiële verdachten gezien.138 Elk gezicht is puur een bron van informatie, een object van onderzoek, geanalyseerd om de persoon als gezochte verdachte uit te sluiten. Live gezichtsherkenning creëert feitelijk een virtuele en zeer indringende opsporingsconfrontatie.139
In dit verband moet worden gewezen op de klachten die zijn geuit tegen ‘Clearview’. Niet lang geleden kwam naar buiten dat dit bedrijf een databank van zo’n 3 miljard sociale media-foto’s had aangelegd en deze onder meer aan opsporingsdiensten beschikbaar stelde. De Minister van Justitie gaf toen aan het “niet wenselijk” te vinden om “ongericht een dergelijke verzameling van online foto’s aan te leggen om vervolgens te dienen als vergelijkingsmateriaal voor opsporingsfoto’s.”140 Deze redenering kan evenzo worden toegepast op de praktijk van
live gezichtsherkenning. Waarom zou het ongericht live vergelijken van opsporingsfoto’s met duizenden onschuldige burgers, potentieel de gehele Nederlandse bevolking, wél wenselijk zijn? De Commissie Koops rapporteerde in 2018 al het volgende: “Hoe breder en ongerichter de toepassing van gezichtsvergelijking (…), des te zwaarder de toets zal moeten zijn over de toelaatbaarheid daarvan.”141 Een dergelijke toets hebben de rechters van het Cardiff Court in elk geval niet aangelegd.142
3.2.1.3 Conclusie van de vergelijking
De risico’s van ontkenning van subjectiviteit en van instrumentalisering die min of meer inherent zijn aan de technologie van gezichtsherkenning, worden door de ongerichte live toepassing op onverdachte burgers aanzienlijk vergroot. Het staat compleet haaks op het uitgangspunt van extra zorgvuldigheid bij de strafrechtelijke gegevensverwerking van niet-verdachte personen (paragraaf 2.2).
137 Vgl. Cardiff High Court 2019, r.o. 36: “The overwhelming majority of persons whose biometrics are captured
and processed by SWP using AFR Locate are not suspected of any wrongdoing.”
138 Kindt 2018, p. 528.
139 Vgl. ‘The perpetual Line-Up’, Georgetown Privacy & Technology 2016. 140 Kamerbrief 20 april 2020, p. 2.
141 Commissie modernisering opsporingsonderzoek 2018, p. 191.
142 Zij overwogen enkel dat de watchlists doelgericht waren (r.o. 104); dit laat echter onverlet dat de
29
3.2.2 Ontkenning van autonomie: verlies controle over het eigen gezicht
Bovenop de barcode-problematiek komt dat de onverdachte burger door live gezichtsherkenning op straat geen controle meer heeft over het eigen gezicht. Uit de praktijk blijkt namelijk dat mensen vaak geen weet hebben dat ze worden gefilmd en automatisch vergeleken. De keuzevrijheid om te bepalen dat hun biometrische gegevens worden verwerkt is daardoor ingeperkt.
3.2.2.1 Niet-live gezichtsherkenning
Het zij opgemerkt dat keuzevrijheid bij niet-live gezichtsherkenning door Catch ook ontbreekt. De personen wier gezichtsafbeeldingen zijn opgenomen in de strafrechtsketendatabank kunnen immers niet voorkomen dat de politie met Catch een zoekopdracht doet.
3.2.2.2 Live-probleem: gebrek aan transparantie
Maar, aan de mensen op straat kan die keuze in principe wél worden gegeven, en dat moet. De beslissingsvrijheid wordt hen echter ontzegd wanneer de politie hen niet informeert over de aanwezigheid van camera’s aangesloten op gezichtsherkenningssoftware.
Het typische argument van geheime inlichtingendiensten dat informatieverstrekking leidt tot ‘berekenende’ verdachten kan ook hier worden opgeworpen. Een onafhankelijk onderzoeksrapport naar live gezichtsherkenning door de Londense politie beschrijft een voorval waarbij een persoon na het zien van het informatiebord zijn muts omlaag trok om zijn gezicht te bedekken. Dit werd door de dienstdoende politieagent als verdacht gedrag aangemerkt. Hij sprak de man aan en scande diens gezicht met een mobiel apparaat. Het leverde een positieve match op en de verdachte werd gearresteerd.143 Weer twee andere individuen waren in eerste instantie de Zone of Recognition ingelopen, maar renden daarna hard een zijstraat in. Na een achtervolging werden ook zij gearresteerd wegens drugs-gerelateerde misdrijven.144 Deze incidenten laten zien dat informatieverstrekking mogelijk leidt tot het ‘misgrijpen’ van de politie – al zijn de verdachten uit bovengenoemde voorbeelden juist gepakt. Het achterhouden van informatie over de inzet van live gezichtsherkenning is aanlokkelijk, zo laat een uitspraak van een politieambtenaar van de South Wales Police zien: “(…) it may be more appropriate to
encourage attendance by not disclosing deployment specifics so that an individual is more likely to attend and be detained.”145
143 Fussey en Murrary 2019, p. 103. 144 Ibid., p. 104.
30
De algemene opvatting is dus dat ex ante transparantie en de hierdoor gecreëerde keuzemogelijkheid voor een gezochte verdachte om zich aan gezichtsherkenning te onttrekken, niet bevorderlijk is voor de effectiviteit van het systeem. Het risico is dat de politie daardoor zo veel mogelijk ongemerkt zal willen opereren. Dat dit een reëel gevaar is, blijkt wel uit het in hoofdstuk 1 aangehaalde rapport van de Britse privacytoezichthouder. Daarin concludeerde hij dat waarschuwingsborden m.b.t. live gezichtsherkenning vaak te klein zijn of zich bínnen het gefilmde gebied bevinden. Ook zijn de controlebusjes niet of niet goed gemarkeerd. Dee rechters van het Cardiff High Court achten het zeer aannemelijk dat een groot aantal personen zich niet bewust is van de technologie wanneer zij de camera’s passeert.146
Het argument van ‘heimelijkheid-creëert-effectiviteit’ geldt tot op zekere hoogte, maar de vraag is hoe ver de politie hierin mag gaan. Het is evident dat live gezichtsherkenning minder bezwaarlijk is wanneer een voortvluchtige terrorist kan worden opgespoord en levens kunnen worden gered. Maar in de andere gevallen? Burgers die niets te maken hebben met enig strafbaar feit en zich onschuldig op straat begeven, verliezen de zeggenschap over het meest persoonlijke deel van hun lichaam. Vanuit de gedachte om controle terug te krijgen147 ontstaan
over de hele wereld initiatieven waarbij make-up, speciale kleding en petten met led-lampjes de werking van gezichtsherkenningscamera’s en -software moeten dwarsbomen.148 Gelet op de opvattingen van privacytoezichthouders en het beginsel van fairness zijn die initiatieven goed te begrijpen.
3.2.2.3 Conclusie van de vergelijking
Kort gezegd vergroot live toepassing wederom een reeds bestaand risico van gezichtsherkenningstechnologie. Bij het niet-live systeem Catch kunnen personen opgenomen in de strafrechtsketendatabank geen invloed uitoefenen, maar door de live toepassing in combinatie met een (aannemelijk) gebrek aan transparantie zijn het nu ook duizenden
onverdachte personen die de controle over hun gezicht verliezen.
146 Ibid., r.o. 40; zie ook Groep Gegevensbescherming Artikel 29, Advies 3/2012 p. 25. 147 BBC 18 maart 2020 (video op 00:18).
