Ontkenning van autonomie: verlies controle over het eigen gezicht

Bovenop de barcode-problematiek komt dat de onverdachte burger door live gezichtsherkenning op straat geen controle meer heeft over het eigen gezicht. Uit de praktijk blijkt namelijk dat mensen vaak geen weet hebben dat ze worden gefilmd en automatisch vergeleken. De keuzevrijheid om te bepalen dat hun biometrische gegevens worden verwerkt is daardoor ingeperkt.

3.2.2.1 Niet-live gezichtsherkenning

Het zij opgemerkt dat keuzevrijheid bij niet-live gezichtsherkenning door Catch ook ontbreekt. De personen wier gezichtsafbeeldingen zijn opgenomen in de strafrechtsketendatabank kunnen immers niet voorkomen dat de politie met Catch een zoekopdracht doet.

3.2.2.2 Live-probleem: gebrek aan transparantie

Maar, aan de mensen op straat kan die keuze in principe wél worden gegeven, en dat moet. De beslissingsvrijheid wordt hen echter ontzegd wanneer de politie hen niet informeert over de aanwezigheid van camera’s aangesloten op gezichtsherkenningssoftware.

Het typische argument van geheime inlichtingendiensten dat informatieverstrekking leidt tot ‘berekenende’ verdachten kan ook hier worden opgeworpen. Een onafhankelijk onderzoeksrapport naar live gezichtsherkenning door de Londense politie beschrijft een voorval waarbij een persoon na het zien van het informatiebord zijn muts omlaag trok om zijn gezicht te bedekken. Dit werd door de dienstdoende politieagent als verdacht gedrag aangemerkt. Hij sprak de man aan en scande diens gezicht met een mobiel apparaat. Het leverde een positieve match op en de verdachte werd gearresteerd.143 Weer twee andere individuen waren in eerste instantie de Zone of Recognition ingelopen, maar renden daarna hard een zijstraat in. Na een achtervolging werden ook zij gearresteerd wegens drugs-gerelateerde misdrijven.144 Deze incidenten laten zien dat informatieverstrekking mogelijk leidt tot het ‘misgrijpen’ van de politie – al zijn de verdachten uit bovengenoemde voorbeelden juist gepakt. Het achterhouden van informatie over de inzet van live gezichtsherkenning is aanlokkelijk, zo laat een uitspraak van een politieambtenaar van de South Wales Police zien: “(…) it may be more appropriate to

encourage attendance by not disclosing deployment specifics so that an individual is more likely to attend and be detained.”145

143 _{Fussey en Murrary 2019, p. 103.} 144 _{Ibid., p. 104.}

30

De algemene opvatting is dus dat ex ante transparantie en de hierdoor gecreëerde keuzemogelijkheid voor een gezochte verdachte om zich aan gezichtsherkenning te onttrekken, niet bevorderlijk is voor de effectiviteit van het systeem. Het risico is dat de politie daardoor zo veel mogelijk ongemerkt zal willen opereren. Dat dit een reëel gevaar is, blijkt wel uit het in hoofdstuk 1 aangehaalde rapport van de Britse privacytoezichthouder. Daarin concludeerde hij dat waarschuwingsborden m.b.t. live gezichtsherkenning vaak te klein zijn of zich bínnen het gefilmde gebied bevinden. Ook zijn de controlebusjes niet of niet goed gemarkeerd. Dee rechters van het Cardiff High Court achten het zeer aannemelijk dat een groot aantal personen zich niet bewust is van de technologie wanneer zij de camera’s passeert.146

Het argument van ‘heimelijkheid-creëert-effectiviteit’ geldt tot op zekere hoogte, maar de vraag is hoe ver de politie hierin mag gaan. Het is evident dat live gezichtsherkenning minder bezwaarlijk is wanneer een voortvluchtige terrorist kan worden opgespoord en levens kunnen worden gered. Maar in de andere gevallen? Burgers die niets te maken hebben met enig strafbaar feit en zich onschuldig op straat begeven, verliezen de zeggenschap over het meest persoonlijke deel van hun lichaam. Vanuit de gedachte om controle terug te krijgen147 _ontstaan

over de hele wereld initiatieven waarbij make-up, speciale kleding en petten met led-lampjes de werking van gezichtsherkenningscamera’s en -software moeten dwarsbomen.148 Gelet op de opvattingen van privacytoezichthouders en het beginsel van fairness zijn die initiatieven goed te begrijpen.

3.2.2.3 Conclusie van de vergelijking

Kort gezegd vergroot live toepassing wederom een reeds bestaand risico van gezichtsherkenningstechnologie. Bij het niet-live systeem Catch kunnen personen opgenomen in de strafrechtsketendatabank geen invloed uitoefenen, maar door de live toepassing in combinatie met een (aannemelijk) gebrek aan transparantie zijn het nu ook duizenden

onverdachte personen die de controle over hun gezicht verliezen.

146 _{Ibid., r.o. 40; zie ook Groep Gegevensbescherming Artikel 29, Advies 3/2012 p. 25.} 147 _{BBC 18 maart 2020 (video op 00:18).}

31

3.3 Risico voor de gezochte verdachte: ontkenning van subjectiviteit door geautomatiseerde besluitvorming

Het derde en laatste waardigheidsprobleem ziet speciaal op de verdachte die door het systeem wordt herkend, geïdentificeerd en gearresteerd. Zijn of haar waardigheid komt in het geding wanneer arrestatie plaatsvindt zonder dat daaraan een zinvolle menselijke beoordeling vooraf is gegaan.

Algoritmische systemen worden in de politiesector meestal gezien als ‘beslissingsondersteunend’.149 _{Zo ook bij de gezichtsherkenningssoftware: de straatagent, zo}

benadrukt ook de Britse toezichthouder, neemt de uitkomst van het algoritme in overweging maar maakt uiteindelijk zelf de beslissing tot staandehouding of aanhouding.150 Er is nog weinig onderzoek gedaan naar de invloed van algoritmisch hulpmiddelen op het besluitvormingsproces in de politiepraktijk,151 _{maar men onderkent dat automation bias ook bij live}

gezichtsherkenning mogelijk is.152 _{Het risico is dat de straatagent in feite een software-suggestie}

opvolgt zonder daarbij zelf een zinvolle beoordeling uit te voeren.

3.3.1 Niet-live gezichtsherkenning

Niet-live gezichtsherkenning heeft als voordeel dat er in principe onbepaalde tijd is om de uitkomst van de software door mensen te laten nakijken voordat tot aanhouding wordt overgegaan. In hoofdstuk 1 is beschreven hoe het Catch-proces dubbele menselijke controle kent waarbij een match door getrainde personen, onafhankelijk van elkaar, wordt geïnspecteerd. Hiermee worden niet alleen fouten van het systeem ondervangen, maar wordt tevens de menselijkheid teruggebracht in een besluitvormingsproces dat gevolgen heeft voor de vrijheid van individuen.

3.3.2 Live-probleem: snelheid

Die tijd ontbreekt bij live gezichtsherkenning. Hier moeten snel beslissingen moet worden genomen, anders is de persoon alweer in de menigte verdwenen. Op basis van een waarschuwingssignaal dat sprake is van een mogelijke match, moet een agent binnen enkele seconden bedenken: erop af of niet. Er is geen tijd voor een goede beoordeling en al helemaal niet voor een grondige dubbele check. Door de tijdsdruk is het risico op quasi-geautomatiseerde

149 _{Babuta, Oswald en Rinik 2018, p. 13.} 150 _{ICO 2019, p. 30}

151 _{Babuta, Oswald en Rinik 2018, p. 13.}

32

besluitvorming groot. Een ongenuanceerde weergave van de systeemuitkomst (paragraaf 2.4.1.1) zoals een kleurcode kan bovendien bijdragen aan automation bias. Wie neemt immers het risico dat hij door het negeren van een ‘red’ of ‘amber-alert’ een potentiële terrorist of gezochte moordenaar laat lopen? Voor straatagenten is dit eigenlijk geen keuze meer.

Hoewel de Britse toezichthouder ervan uitgaat dat nog geen sprake is van volledig geautomatiseerde besluitvorming, wijst ook hij op het gevaar van de voortschrijdende technologie. Betere algoritmische resultaten kunnen leiden tot een verminderde behoefte aan een menselijke beoordeling. De toezichthouder waarschuwt dan ook dat politie-eenheden niet al te zeer op de gezichtsherkenningstechnologie gaan leunen.153

3.3.3 Conclusie van de vergelijking

Waar bij niet-live herkenning ruimte is voor uitgebreide menselijke beoordeling, is dit bij de live toepassing niet het geval. Aanhoudingen dreigen daarom quasi-geautomatiseerd te worden verricht.