H
et rechterlijk gebruik van het algoritmisch
risicotaxatie-instrument COMPAS bij de
straftoemeting.
Is de uitspraak State v. Loomis verenigbaar met het recht op
een eerlijk proces als beschreven in artikel 6 EVRM?
Naam: Farnoush Tabeian
Email: Farnoush.Tabeian@student.uva.nl Studentnummer: 10845925
Master Publiekrecht: Mastertrack Staats- en Bestuursrecht Begeleider: Prof. dr. L.F.M. (Leonard) Besselink Inleverdatum: 23 juli 2020
COMPAS “CORE” Risk and Needs Assessment
Bendelid Buurtcriminaliteit Verveling Gearresteerde vrienden Buurtstabiliteit Gescheiden ouders School schorsingen Financieel Droefheid Woede Crimineel denken Bron variabelen: Northepointe Inc. via Angwin e.a., ProPublica.org 23 mei 2016. Ontwerp illustratie: F. TabeianINHOUDSOPGAVE
INHOUDSOPGAVE 2
LIJST VAN DEFINITIES 4
LIJST VAN AFKORTINGEN 7
H o o f d s t u k 1 8
1. INLEIDING 8
§ 1.1 Plato’s grot en de strafrechter ...8
§ 1.2 Aanleiding van het onderzoek ...10
§ 1.3 Onderzoeksvraag en plan van behandeling ...11
§ 1.4 Onderzoeksdoel en methodologische verantwoording ...12
H o o f d s t u k 2 1 4 2. STATEV LOOMIS 14 § 2.1 De feiten ...14
§ 2.2 Toepassing van de COMPAS’ risicotaxatie ...14
§ 2.3 Weergave van het recidiverisico ...15
§ 2.4 Het recht op due process ...16
§ 2.5 Kritiek op het gebruik van algoritmische hulpinstrumenten ...18
§ 2.5.1 Dataveillance en het scoringsdilemma ...18
§ 2.5.2 (Legal) black box ...19
§ 2.5.3 Debiasing instrumenten? ...22
H o o f d s t u k 3 2 4 3. DEANALOGEWIJZEVANSTRAFTOEMETING 24 § 3.1 Het opleggen van een straf ...24
§ 3.2 Rechterlijke competenties ...24
§ 3.3 Rechterlijke vrijheid bij de strafoplegging ...25
§ 3.4 Strafdoelen ...27
§ 3.5 Non-algoritmische straftoemetingsinstrumenten ...27
§ 3.5.1 Oriëntatiepunten LOVS ...28
§ 3.6 Verschillen in rechtsbescherming: common law-traditie VS civil law-traditie ...29
H o o f d s t u k 4 3 1 4. HETRECHTOPEENEERLIJKPROCES: ART. 6 EVRM 31 § 4.1 Inleiding ...31
§ 4.2 Rule of Law en de doorwerking van het EVRM ...31
§ 4.2.1 Strekking en reikwijdte ...33
§ 4.2.2 Vereisten ...34
§ 4.3 Toegang tot de rechter ...34
§ 4.3.1 Beperking op het toegangsrecht: waiver ...35
§ 4.4 Onpartijdig en onafhankelijk gerecht dat bij de wet is ingesteld ...37
§ 4.4.1 Onpartijdigheid ...39
§ 4.4.2 Onafhankelijkheid ...42
§ 4.5 Onschuldpresumptie (artikel 6 lid 2 EVRM) ...44
§ 4.6 Verdedigingsrechten (artikel 6 lid 3 EVRM) ...48
§ 4.6.1 Het recht op informatie (lid 3 onder a) ...48
§ 4.6.2 Voldoende tijd en faciliteiten ter voorbereiding van de verdediging (lid 3 onder b) ...49
§ 4.7 Het recht op een eerlijke behandeling (artikel 6 lid 1 EVRM) ...50
§ 4.7.1 Equality of Arms en het recht op een procedure op tegenspraak ...50
§ 4.7.2 Het recht op een rechterlijke motivering ...54
H o o f d s t u k 5 5 8 5. TOETSINGAANHETRECHTOPEENEERLIJKPROCES 58 § 5.1 Inleiding ...58
§ 5.2 Toegang tot de rechter ...58
§ 5.4 Onschuldpresumptie ...61
§ 5.5 Verenigbaarheid met de verdedigingsrechten (artikel 6, lid 3 EVRM) ...63
§ 5.6 Equality of Arms en het recht op een procedure op tegenspraak (artikel 6 lid 1 EVRM) ...64
§ 5.7 Het recht op een rechterlijke motivering ...68
C O N C L U S I E 7 1
JURISPRUDENTIELIJST 75
LIJST VAN DEFINITIES
Agent. Een intelligent computersysteem dat gestuurd wordt op data en handelend kan optreden.
Algoritme. Systematisch stelsel voor het uitvoeren van rekenkundige bewerkingen en de volgorde daarvan. A.I.. Artificial Intelligence, Engelse term voor kunstmatige intelligentie.1 Het eerste AI-onderzoeksvoorstel stamt uit 1956 afkomstig van een groep wetenschappers van Dartmouth College. Het vertrekpunt was de hypothese dat een 2
machinetaak ook kan worden gesimuleerd door een geautomatiseerde calculator. Er is geen precieze omschrijving van AI, maar het komt neer op een parapluterm voor intelligente gecomputeriseerde systemen die oplossingen kunnen aandragen en zich geheel zelfstandig weten aan te passen aan veranderende omstandigheden. De neurale 3
netwerken zijn onderling verbonden en weten nieuwe kennis te genereren door verborgen verbanden te ontdekken in datasets. 4
Bias. Engelse term voor vooringenomenheid waarbij men van tevoren in ongelijke mate neigt om voor of tegen
een bepaalde zienswijze, persoon of groep te zijn.
Black box-probleem. Hierbij kan er weliswaar ‘onder de motorkap’ worden gekeken om te bezien op welke positie
bepaalde schakelaars hebben gestaan, maar niet kan worden uitgelegd waarom er een bepaalde voorspelling is gedaan.5
Bot. Computerprogramma dat zelfstandig een routinetaak uitvoert.
COMPAS. Correctional Offender Management Profiling for Alternative Sanctions.
Cross-validation. Een vorm van onderzoek waarbij een voorspellend model op performance wordt getest door te
beoordelen hoe de resultaten van een algemene statistische analyse zich verhouden tot een individuele dataset. 6
Cognitive enhancement. Extensie van kennis.
Data bias. Gekleurde vooringenomen datasets. Gegevens kunnen bijvoorbeeld onder een bepaald politiek klimaat
op bepaalde discriminatoire gronden zijn geregistreerd middels een aanpassing van de zoekvariabelen. Vervolgens kunnen de vooringenomen datasets worden verankerd in een vorm van geautomatiseerde besluitvorming, waarbij de computer kan beslissen of iets al dan niet wordt toegekend op grond van bepaalde voorwaarden (variabelen). 7
Datamining. Het doorzoeken van onoverzichtelijke hoeveelheden data met behulp van algoritmes, waarbij er
patronen en verbanden in de gegevens zichtbaar worden. Vergelijkbaar met datamining is profiling, waarbij algoritmes 8
persoons- of groepsprofielen opstellen door eigenschappen (attributes) van een bepaald persoon of een groep te
Omwille van de leesbaarheid zal ik de Engelse term gebruiken en de afkorting AI in plaats van KI 1
aanhouden.
McCarthy e.a., AI Magazine 2006, vol. 27, nr. 4, p. 12-14. 2
T. Simonite, ‘The WIRED Guide to Artificial Intelligence’, WIRED.com 2 januari 2018. 3
Vetzo & Gerards 2019, Computerrecht 2019/3, afl. 1, p. 11. 4
A. Bleichner, ‘Demystifying the Black Box That is AI’, Scientific American 9 augustus 2017. 5
‘Cross-Validation’, techopedia.com 17 mei 2017.
6
Lammerant e.a. 2017, p. 124. 7
Custers 2017, p. 29. 8
verzamelen. Door middel van datamining, profiling en micro-targeting kan de persoonlijkheid van elke willekeurige 9
internetgebruiker worden achterhaald, wat vervolgens betekent dat diens toekomstig gedrag in belangrijke mate kan worden voorspeld. 10
Dataveillance. Volgens de Van Dale de “voortdurende controle op de onlineactiviteiten van burgers door de
overheid” (Engelse term).
Deep learning. Een gevorderde vorm van machine learning. Deep learning houdt in dat het algoritme gelijkenissen
vertoont met het menselijk brein doordat informatie door neurale netwerken wordt verwerkt. De input data vloeit langs verschillende diepere lagen en komt bij wijze van destillatie tot een eenduidige voorspelling. Zo’n neuraal netwerk model bestaat uit miljoenen (soms triljoenen) schakelaars (knobs) dienend als parameters die onderling verbonden zijn. Het intelligente deel van ‘AI’ duidt op een zelf-programmerend vermogen om van fouten te leren. 11
Dit gebeurt door de betreffende schakelaars bij te stellen, maar kan ook zonder menselijke tussenkomst worden bewerkstelligd met deep learning zodat het eigen systeem zichzelf aanvult en verbetert. Dat proces is dermate ingewikkeld dat er vaak wordt gesproken van het black box-probleem.
Evidence-based. Houdt in dat de werkzaamheid van een bepaalde benadering berust op wetenschappelijk
onderzoek (of bewijs).
Gecentraliseerd internet. Huidige vorm van internet, waarbij nagenoeg al het internetverkeer langs centrale servers van met name de ‘Big Four’ (Google, Facebook, Amazon en Apple) techbedrijven stroomt. Het nadeel van een gecentraliseerd systeem is dat de grootste techbedrijven en overheden controle hebben over de diensten en de servers. Zij slaan verhullende gebruikersdata op en minen data.
Gedecentraliseerd internet. De bedoeling van decentralisatie is dat de gebruikers zelf beschikken over de controle van hun data, waarbij de dataoverdracht en dataopslag worden beveiligd met encryptie. Een risico van 12
geëncrypte gegevens zonder enige externe controle is de grote eigen verantwoordelijkheid voor de encryptiesleutel: verlies daarvan betekent dat de data voorgoed verloren gaat.
Gedragsfactoren. Elementen afkomstig uit menselijk gedrag die verband houden met persoonlijkheid, een bepaalde situatie of ontstaan als reactie op de omgeving. Gedragsfactoren die in de rekenmodellen van de 13
gedragsdeskundigen worden gemeten zijn eveneens bruikbaar in een algoritmisch model.
Machine bias. Onjuiste vooronderstellingen aanwezig in machine learning systemen. Vooroordelen die leven in de
samenleving en hun weerklank vinden in de politiek, kunnen zo doorwerken in de verzamelde gekleurde datasets waarmee het AI systeem wordt gevoed. Een negatieve feedbackloop zou daaruit kunnen resulteren waardoor de onjuiste bias wordt versterkt ten nadele van bijvoorbeeld etnische minderheden.
Machine learning. Wanneer een algoritme promoveert tot een meer futuristisch AI-systeem door toepassing van
zelflerende technieken. Machine learning houdt in dat de computer op basis van (eerdere) dataresultaten middels geheel zelflerende statistische technieken in staat is om het eigen presteren te verbeteren. Bij de zelfrijdende auto 14
zorgt machine learning dat de auto kan opmaken wat er zich in zijn omgeving afspeelt. Een juridisch voorbeeld is de robot Xiaofa die sinds 2017 procespartijen en rechters kan bijstaan in Beijing’s High People’s Court bij zo’n 30.000
Vetzo, Gerards & Nehmelman 2018, p. 21-22. 9
‘Predicting psychological traits from digital footprints – 47th St. Gallen Symposium’, 10
StGallenSymposium YouTube.nl 15 mei 2017.
Zie ook: T. Simonite, ‘The WIRED Guide to Artificial Intelligence’, WIRED.com 2 januari 2018. 11
T. Simonite, ‘Life on the DWeb’, WIRED Magazine 2019, January issue, p. 12-13. 12
Khosrowpour 2013, p. 80. 13
Khosrowpour 2013, p. 579. 14
juridische vraagstukken. Volgens de Chinese persvoorlichter zal Xiaofa een verlaging van proceskosten opleveren en de efficiëntie in de rechtspleging verbeteren. 15
PSI. Pre-sentencing investigation.
Robotics. De wetenschap en techniek die zich bezighoudt met het ontwerpen, vervaardigen en toepassen van
robotische technologie. Parapluterm voor verschillende disciplines als elektronica, informatica, kunstmatige intelligentie. 16
Trackers. Bot waar de meeste gebruikte websites van zijn voorzien om daarmee het surfgedrag van
internetgebruikers te volgen. Trackers zijn erop gericht om data over onze persoonlijkheid en voorkeuren vast te 17
leggen met als doel het kunnen aanbieden van zeer persoonlijke advertenties die de gebruiker over de streep kunnen trekken om meer aankopen te doen. 18
‘Robot gives guidance in Beijing court’, ChinaDaily.com.cn 13 oktober 2017. 15
Khosrowpour 2013, p. 787. 16
Englehardt & Narayanan, in: CCS ’16 Proceedings of ACM 2016, p. 1388-1401 (online, publiek). 17
T. Simonite, ‘Largest Study of Online Tracking Proves Google Really Is Watching Us All’ 18
LIJST VAN AFKORTINGEN
AI Artificial Intelligence
AGI Artificial General Intelligence
AIV Adviesraad Internationale Vraagstukken CBS Centraal Bureau voor de Statistiek
Crim. Justice Behav. Criminal Justice & Behavior
COMPAS Correctional Offender Management Profiling for Alternative Sanctions DSM-IV-TR Diagnostic and Statistical Manual of Mental Disorders
EESC Europees Economisch en Sociaal Comité EHRM Europees Hof voor de Rechten van de Mens
EU Handvest Handvest van de grondrechten van de Europese Unie EVRM Europees Verdrag voor de Rechten van de Mens
Geo. L. J. The Georgetown Law Journal Harv. L. Rev. Harvard Law Review
IVBPR Internationaal Verdrag inzake Burgerrechten en Politieke Rechten
JIPITEC Journal of Intellectual Property, Information Technology & Electronic Commerce Law LOVS Landelijk Overleg Vakinhoud Strafrecht
NbSr Sdu Nieuwsbrief Strafrecht
N.C.J.L & Tech North Carolina Journal of Law & Technology NJB Nederlands Juristenblad
NJFS Nederlandse Jurisprudentie Feitenrechtspraak Strafzaken O&A Overheid & Aansprakelijkheid
PbEU Publicatieblad van de Europese Unie PMC Private Military Company
PMLR Proceedings of Machine Learning Research
PROMIS Project Motiveringsverbetering in Strafvonnissen PSIR Pre-Sentencing Investigation Report
RISc Recidive inschattingsschalen RvR Raad voor de Rechtspraak Stan.L. Rev. Stanford Law Review SyRI Systeem Risico Indicatie
U. Pa. L. Rev. University of Pennsylvania Law Review Wash. L. Rev. Washington Law Review
Wet RO Wet op de rechterlijke organisatie
H o o f d s t u k 1
1. INLEIDING
§ 1.1 Plato’s grot en de strafrechterIn Plato’s grot allegorie ziet een geketende groep binnen de grot indirect beelden van alles wat zich buiten de grot afspeelt, via schaduwen die door het vuur worden geworpen op de grotwanden. 19 Nadat een van de groepsleden zich vrij weet te krijgen en naar buiten stapt, merkt hij dat hij al die tijd slechts een deel van de werkelijkheid heeft gekend. Er is mijns inziens een vergelijking te trekken met de strafrechter die op het punt staat een strafbeslissing te nemen ten aanzien van de verdachte. De strafrechter beslist op basis van hetgeen hem middels het strafdossier en ter zitting 20 ter kennis is gekomen. Daarbij probeert hij een inschatting te maken van de kans dat de verdachte eventueel zal recidiveren in de nabije toekomst. De mate van recidive schat de rechter doorgaans 21 in met behulp van adviezen van gedragsdeskundigen, die zich op hun beurt verlaten op risicotaxatie-instrumenten. Deze instrumenten hebben zich in de loop der tijd ontwikkeld tot 22 algoritmen die het werk aanzienlijk versnellen. Een algoritme is volgens de Dikke Van Dale een ‘systematisch stelsel voor het uitvoeren van rekenkundige bewerkingen en de volgorde daarvan’. Er zijn verschillende soorten algoritmen die worden geprogrammeerd om uiteenlopende functies te vervullen. 23
Het is niet ondenkbaar dat er in de komende decennia verschillende datasets en applicaties aan elkaar worden gelinkt waardoor een gevorderd algoritmisch systeem alle mogelijke gegevens met betrekking tot het delict en de verdachte verwerkt tot een eindrapport. Het eindrapport is bestemd voor de strafrechter die voor de straftoemetingsbeslissing staat. In het eindrapport vindt hij een risicotaxatie waarin het toekomstig handelen van de verdachte wordt gewaardeerd op basis van diens justitiële verleden. Anticiperend op de voorspelde criminele toekomst van de verdachte, kan de rechter ertoe worden bewogen om een hogere straf aan de verdachte op te leggen dan hij aanvankelijk van plan was.
Leitmotiv achter het gebruik van big data en slimme algoritmes in de rechtspleging is met name het
verbeteren van efficiëntie, veiligheid en dienstverlening. Op basis van het homo economicus-24 argument en marktwerking in de rechtspraak, kan worden gesteld dat een verdere toename van het
Plato 2003, VII 514A–520A, p. 377-387. 19
Waar in deze scriptie ‘hem’ resp. ‘hij’ staat aangeduid, kan ook ‘haar’ ‘resp. ‘zij’ worden gelezen. 20
Artikel 43a Sr biedt de mogelijkheid om de straf met een derde te verhogen indien de verdachte 21
binnen een periode van vijf jaar na een eerdere soortgelijke veroordeling de mist ingaat. Harte 2017, NJB 2017/1799, afl. 33, p. 2386.
22
Zo is hét schoolvoorbeeld van een algoritme met een zoekfunctie, de pater familias van het internet: 23
Google.
Zie ook de motie van kamerlid Verhoeven nr. 117 (32761), Handelingen II 2017/18, nr. 90, item 3. 24
gebruik van technologische hulpmiddelen binnen de rechterlijke praktijk onvermijdelijk is. Dat houdt grof gezegd in dat efficiënte en kostenbesparende alternatieven het telkens zullen winnen van duurdere tijdrovende processen. Het aandeel van de rechterlijke macht in de afdoening van strafzaken neemt steeds verder af. Dit heeft zowel te maken met een dalende trend van geregistreerde criminaliteit, als met de verdubbeling in de afdoening van strafzaken door het OM sinds 2007. De mindering in strafzaken levert bovendien een financieel probleem op voor de 25 rechtspraak, gezien het feit dat de financiering van de rechtspraak gelinkt is aan het aantal zaken dat voor de rechter komt. 26
Toch zijn automatiseerbare opsporingstaken niet op één lijn te trekken met een rechterlijke taak als het opleggen van een vrijheidsbenemende straf. Het ontnemen van de vrijheid van burgers geschiedt vooralsnog op grond van artikel 15 van de Grondwet louter bij wet door de rechter die de rechtmatigheid van de vrijheidsontneming toetst aan de wet. Men zou kunnen stellen dat juist een menselijke — en dus feilbare — rechter bevoegd moet blijven om een intuïtief eindoordeel te geven over strafbare menselijke gedragingen zoals deze genormeerd zijn in een democratisch tot stand gekomen strafwetgeving, omdat dat is wat wij hebben afgesproken. Een zeker streven naar objectiviteit en gelijkheid blijft echter inherent aan het recht. Technologische ontwikkelingen kunnen de kans op menselijk falen, zoals rechterlijke dwaling of onbewust aanwezige vertekeningen, aanzienlijk beperken. Bovendien hoeft de rechter niet te vrezen voor zijn positie nu juist de creatieve menselijke taken (hoogstwaarschijnlijk) niet door robots kunnen worden overgenomen. Aangezien efficiëntie en doelgerichtheid behoren tot de programmeer-doelstellingen van artificial intelligence-systemen (hierna: AI), zal de mens kunnen uitblinken in het maken van fouten en omwegen. Het is de inefficiëntie die hem in staat stelt om onverwachte ontdekkingen te kunnen doen. Alhoewel het zeer interessant is om te bediscussiëren in welke mate technologische 27 ontwikkelingen bijdragen aan objectievere rechtspraak, valt dat thema helaas buiten het bestek van dit voorliggende onderzoek.
Centraal in dit onderzoek staat het rechterlijk gebruik van een algoritmisch hulpinstrument ten behoeve van de strafoplegging. Aan de strafoplegging en de eventueel daaropvolgende vrijheidsontneming gaat een eerlijk proces vooraf. Het gebruik van algoritmes bij de straftoemeting verschilt wezenlijk van het algemene(re) gebruik van algoritmes op andere juridisch inhoudelijke vlakken, zoals het beoordelen van de schuldvraag of de redelijkheid en billijkheid. Enerzijds is het gebruik van algoritmische straftoemetingsinstrumenten aan te moedigen, voor zover het gebruik de rechter in staat kan stellen om een beter geïnformeerd besluit te nemen bij de straftoemeting. Immers, datatechnologie kan worden beschouwd als een vorm van cognitive enhancement voor de rechter, te weten: een directe extensie van zijn kennis. Een vollediger beeld van de verdachte kan het straffen 28
‘Minder verdachten voor de rechter’, Rechtspraak.nl 15 oktober 2018 (online, publiek). 25
M. Kuiper & M. Lievisse Adriaanse, ‘Steeds minder zaken voor de rechter’, NRC.nl 14 april 2019. 26
Zoals de onbedoelde ontdekking van het eerste antibioticum penicilline door Alexander Fleming. 27
In de medische wereld heeft AI-onderzoek er voor gezorgd dat het risico op borstkanker met een 28
nauwkeurigheid van 99% wordt voorspeld doordat medische gegevens en mammogrammen wel dertig keer sneller dan artsen kunnen worden geïnterpreteerd. Zie S. Griffiths, ‘This AI software can tell if you're at risk from cancer before symptoms appear’, WIRED.com 26 augustus 2016.
op maat nader preciseren en de kans op fouten verkleinen. Anderzijds is de poging om uit Plato’s grot te treden middels het gebruik van dergelijke middelen niet geheel zonder risico’s. Gevaren als grondrechtenschendingen, dataveillance, bevooroordeelde algoritmes en vervlakking van de rechtspraak liggen op de loer. Aldus moet de nodige voorzichtigheid worden betracht om te voorkomen dat fundamentele rechten van de verdachte in het gedrang komen. Het onterecht langer inperken van de vrijheid van de verdachte, ongeacht een verkeerde inschatting van de recidivekans door het algoritme of de rechter, staat haaks op het recht op vrijheid. Vrijheidsontneming is alleen toegestaan indien iemand ‘op rechtmatige wijze is gedetineerd na veroordeling door een daartoe bevoegde rechter’. In het navolgende zal aan bod komen of er nog kan worden gesproken van een 29 rechtmatige wijze van veroordeling wanneer de rechter kennis heeft genomen van een ondoorzichtig algoritmisch hulprapport.
§ 1.2 Aanleiding van het onderzoek
Het hierboven geschetste scenario strookt al grotendeels met de huidige strafrechtspraktijk in een aantal staten van de Verenigde Staten. Daar is het gebruik van algoritmes door zogenoemde
sentencing courts, die zijn belast met de strafoplegging, onder vuur komen te staan. De staat
Wisconsin is de voorloper in het gebruik van evidence-based instrumenten bij de strafoplegging. 30
Evidence-based houdt in dat de werkzaamheid van een bepaalde benadering berust op
wetenschappelijk onderzoek. Een rechtvaardiging van het gebruik van dergelijke algoritmische instrumenten kan bijvoorbeeld worden gevonden in het belang van de bescherming van de publieke veiligheid. Van een nauwkeurige risicotaxatie van de kans op recidive kan immers een preventieve werking uitgaan. Een Amerikaanse studie waarin 1,36 miljoen voorlopige hechtenis zaken werden onderzocht, bevestigde dat de computer een nauwkeurigere schatting kan maken in het voorspellen van vluchtgevaar of recidive van de verdachte, dan de rechter. Het is echter de vraag of het 31 beoogde doel van ‘recidivebestrijding’ een inbreuk op de fundamentele rechten van de verdachte kan rechtvaardigen. 32
De aanleiding van het onderwerp is de in 2016 gewezen uitspraak in de zaak van Eric Loomis. 33 Voor het Supreme Court van Wisconsin stelde de verdachte Loomis dat het straftoemetingsproces in strijd was met het constitutioneel recht op due process. Het recht op due process kan grof gezegd worden vergeleken met het fundamentele recht op een eerlijk proces zoals neergelegd in het Europees Verdrag voor de Rechten van de Mens (hierna: EVRM). Het Amerikaanse gerecht had volgens Loomis ten onrechte een risicobeoordelingsrapport in beschouwing genomen bij het toemeten van de straf, omdat het desbetreffende rapport op een ondoorzichtige wijze was opgesteld
Artikel 5 lid 1 onder a EVRM. 29
Inmiddels zijn er soortgelijke ontwikkelingen op gang gekomen in de Amerikaanse staten Kentucky, 30
Ohio, Pennsylvania, Arizona en Oklahoma, waar het gebruik van dergelijke instrumenten verplicht is gesteld. In de staten Idaho, Louisiana en West Virginia hebben de gerechten de keuze om algoritmische instrumenten te gebruiken, zie: State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 23-24.
Završnik, ERA Forum 2020, vol. 20, p. 571. 31
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 1-3. 32
State v. Loomis, 881 N.W.2d 749 (Wis. 2016).
door een algoritmisch instrument. In de Loomis-zaak werd het algoritmische risicotaxatie-instrument genaamd ‘COMPAS’ gebruikt, een algoritmisch product afkomstig van een particulier bedrijf. COMPAS produceert risicotaxatie rapporten ter berekening van de kans op: I) het niet verschijnen op de rechtszitting, II) het vluchtgevaar en, III) herhalingsgevaar. Deze risicokansen 34 worden vervolgens door de rechter meegewogen bij het bepalen van de strafhoogte en het soort straf dat zal worden opgelegd. Het COMPAS-rapport zou bovendien ook van doorslaggevende invloed kunnen zijn op het bedrag van de eventuele borgsom en op het al dan niet schorsen van de voorlopige hechtenis. Het hoogste gerecht van Wisconsin achtte deze vorm van straftoemeting bij 35 wijze van COMPAS toelaatbaar. Het is de rechter toegestaan om een ondoorzichtig risicotaxatie-36 instrument te gebruiken dat geheel door een algoritme is opgesteld om de recidivekans mee te wegen bij de straftoemetingsbeslissing. De geboden oplossing van het Wisconsin Supreme Court bestond uit een toevoeging van een kennisgevingsdocument aan het eindrapport waarmee de rechter voortaan wordt gewaarschuwd voor de gebruiksrisico’s van COMPAS. Daarvan is de 37 achtergrondgedachte dat de beslissende rechter middels dat document zich bewust kan worden van de gebreken van COMPAS, zodat met die bewustwording toekomstige grondrechtenschendingen kunnen worden voorkomen. Hierbij moet worden aangetekend dat het hooggerechtshof van 38 Wisconsin twee aanvullende eisen stelt aan het COMPAS-gebruik: 1) de rechter dient onafhankelijk tot zijn oordeel te zijn gekomen en, 2) de rechter gebruikt het algoritmisch instrument uitsluitend ter aanvulling op dat oordeel.
§ 1.3 Onderzoeksvraag en plan van behandeling
In de Loomis-zaak zijn bepaalde constitutionele gebreken aan het licht gekomen bij het gebruik en bij de verantwoording van het straftoemetingsalgoritme COMPAS. De onderzoeksvraag luidt als volgt:
Hoe verhoudt de rechterlijke toepassing van het algoritmische straftoemetingsinstrument COMPAS in State v. Loomis zich tot de vereisten van het recht op een eerlijk proces zoals neergelegd in artikel 6 EVRM?
De indeling van de hoofdstukken is als volgt. Om te beginnen wordt de uitspraak State v. Loomis besproken in hoofdstuk 2 voor een beter begrip van de te bespreken problematiek. In het tweede hoofdstuk worden de argumenten van Loomis en de kritiek op de zaak vanuit de (internationale) rechtswetenschappelijke hoek in kaart gebracht. In hoofdstuk 3 zal een verkennende blik worden geworpen op de wijze van straffen in Nederland. Alhoewel er zal worden gedoken in het Nederlands
COMPAS staat voor Correctional Offender Management Profiling for Alternative Sanctions. Niet te verwarren 34
met het Nederlandse ‘Compas’ databanksysteem dat tot 1999 door het open in gebruik werd genomen ter ondersteuning van het strafproces.
Winkelhorst 2018, p. 161. 35
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 87-93. 36
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 100. 37
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 105. 38
strafrecht, blijft de focus van het onderzoek liggen op de grondrechtelijke hoofdvraag. De hoofdvraag wordt gesteld in het kader van de ontwikkelingen van het gebruik van AI in het recht.
Vanuit een machtskritisch perspectief is het interessant om de verschillen in de sterkere rechtsbeschermende rol van de Nederlandse rechter te vergelijken met de meer beperkte rol van de Amerikaanse rechter in het strafproces (§ 3.6). 39
In hoofdstuk 4 wordt aangevangen met doorwerking van het EVRM in ons rechtssysteem, waarna de strekking en reikwijdte van het recht op een eerlijk proces worden besproken (§ 4.2). De deelrechten die voortvloeien uit artikel 6 EVRM, worden uitgewerkt in § 4.3 t/m § 4.7. Vervolgens kan de
Loomis-zaak worden beoordeeld in hoofdstuk 5, met toepassing van het wettelijk kader van het recht
op een eerlijk proces. Daarin worden de besproken deelrechten stapsgewijs langsgelopen om zo de conformiteit van het rechterlijk handelen in de Amerikaanse zaak te toetsen aan het wettelijk kader van artikel 6 EVRM zoals dat mede door het EHRM is bepaald.
§ 1.4 Onderzoeksdoel en methodologische verantwoording
Over het thema ‘algoritmes en het recht’ is veelvuldig geschreven in de Engelstalige (rechts-)literatuur. Dit actuele thema en de invloed op rechterlijke (straf)beslissingen is echter relatief nieuw in de Nederlandse rechtsliteratuur. Tot op heden vormt het boekwerk van Vetzo, Gerards en Nehmelman uit 2018 (Algoritmes en grondrechten), de meest uitvoerige Nederlandse studie naar de algemene effecten van algoritme-gedreven technologieën op de bescherming van grondrechten. Aangezien de bovengenoemde auteurs zich zeer beperkt uitlaten over de strafrechtelijke waarborgen van het recht op een eerlijk proces in relatie tot algoritmische besluitvorming, tracht dit onderzoek in die leemte te voorzien. In deze masterscriptie zal worden voortgeborduurd op de specifieke 40 strafrechtelijke waarborgen van het recht op een eerlijk proces in verhouding tot een reeds (in de Verenigde Staten) toegepast gebruik van een algoritmisch straftoemetingsinstrument door de strafrechter. De spraakmakende Amerikaanse Loomis-zaak biedt houvast ten behoeve van een concrete toetsing aan het hier geldende fundamentele recht op een eerlijk proces. Er is gekozen voor deze uitspraak omdat de constitutionaliteit van de inzet van dergelijke algoritmische instrumenten in deze zaak voor het eerst ter discussie stond.
Het onderzoeksdoel is om het bekritiseerde gebruik van het algoritmisch risicotaxatie-rapport COMPAS, welke de straftoemeting beïnvloedt, te beoordelen op conformiteit met het recht op een eerlijk proces voor de verdachte. De meest in het oog springende aspecten van de Loomis-zaak worden getoetst aan het theoretisch kader van artikel 6 EVRM. Het betreft een juridisch dogmatisch onderzoek waarin de gehanteerde methode enerzijds bestaat uit het bestuderen van de Nederlandstalige- en Engelstalige rechtsliteratuur en anderzijds uit jurisprudentieonderzoek. De rechtsliteratuur is van belang voor de verkennende beschrijving in de wijze waarop straffen worden toegemeten en om het wettelijk toetsingskader van het recht op een eerlijk proces uit te kristalliseren.
Rademaker 1996, p. 178 e.v. 39
Vetzo, Gerards & Nehmelman 2018, p. 119-121. 40
Voor wat betreft het jurisprudentieonderzoek ligt de nadruk op een bespreking en analyse van hetgeen door het Europees Hof voor de Rechten van de Mens (hierna: EHRM) is bepaald inzake artikel 6 EVRM. In de Straatsburgse jurisprudentie is het wettelijk kader van het recht op een eerlijk (straf)proces nader ingevuld en gepreciseerd. Uiteraard zal de Amerikaanse zaak State v. Loomis, waarin het gebruik van COMPAS ter discussie is gesteld geheel worden uitgewerkt. Een beschrijving van enkele empirische studies is onvermijdelijk aangezien de centrale vraag het rechterlijk gebruik betreft van een algoritmisch hulpinstrument bij de straftoemeting. Tevens zal een blik worden geworpen op Nederlandse- en Amerikaanse jurisprudentie, voor zover dat relevant is ter beantwoording van de hieronder geformuleerde centrale vraag. Overigens is ter verheldering van de informatietechnologische aspecten rondom dit onderwerp een uitvoerige lijst van definities opgenomen voor de geïnteresseerde lezer.
Rademaker stelt dat er in de digitale strafrechtspleging zowel geredeneerd kan worden vanuit een
crime control-perspectief als vanuit een due process-perspectief. Uit de Loomis-uitspraak zal met 41 name het crime control-perspectief blijken aangezien er steeds vanuit wordt gegaan dat de rechter erbij gebaat is om met zoveel mogelijk informatie tot een vonnis te kunnen komen. Het mogen 42 treden uit Plato’s grot hoeft echter niet louter te zijn toebedeeld aan de rechter. Ter verwezenlijking van het recht op een eerlijke behandeling zou een kennisneming van alle informatie ook moeten toekomen aan de procespartijen en met name de verdachte. De gekozen invalshoek is in het onderliggende onderzoek daarom om het onderwerp vanuit het due process-perspectief te benaderen.
Rademaker 1996, p. 2-15. 41
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 72-73.
H o o f d s t u k 2
2. STATE V LOOMIS
43§ 2.1 De feiten
Eric Loomis werd begin 2013 gearresteerd voor zijn rol in een zogeheten drive-by-shooting waarbij het doel is om iemand te liquideren door vanuit een rijdende auto op het doelwit te schieten. In dit 44 geval was Eric Loomis de bestuurder van de auto volgens de openbare aanklager van de Amerikaanse staat Wisconsin. Voor zijn aandeel in de drive-by-shooting kreeg Loomis de volgende vijf feiten ten laste gelegd: 1) roekeloze gevaarzetting waardoor de veiligheid in het gedrang is gekomen, 2) poging om aan de verkeersregelaar te ontsnappen, 3) het zonder toestemming van de eigenaar gebruiken van een voertuig, 4) het bezit van een vuurwapen als eerder veroordeelde misdadiger, 5) het bezit van een jachtgeweer met korte loop. Los van het feit dat Loomis voor elk 45 van de ten laste gelegde delicten als medepleger werd aangemerkt, bleek er ook sprake te zijn van herhaalde strafbare feiten zodat elk van de delicten in straf werden verzwaard wegens recidive.
In het Amerikaanse strafrecht kan er een ‘plea bargain’ worden aangegaan met de openbare aanklager die de verdachte in ruil voor het opgeven van zijn recht op een proces (door schuld te bekennen), tegemoet treedt door bijvoorbeeld een korting op zijn strafduur te geven. Loomis 46 ondertekende een dergelijke plea bargain en bekende schuld aan twee van de minst ernstige feiten. Te weten het negeren van de verkeersagent en het besturen van een auto zonder toestemming van de eigenaar. In de plea overeenkomst werd vastgelegd dat de overige feiten niet zullen worden vervolgd, maar wel als ‘read-in charges’ zouden worden meegenomen bij de strafoplegging. De redenering hierachter is dat de rechter niet is gebonden aan de termen van de plea deal. In diverse vonnissen is besloten dat de rechter pas tot ‘proper sentencing’ kan komen nadat hij kennis heeft genomen van de aard van het delict, het karakter en de gedragspatronen van de verdachte.47
§ 2.2 Toepassing van de COMPAS’ risicotaxatie
Aldus worden bij de strafoplegging alle aanklachten in beschouwing genomen om tot een straf te komen. De rechter wordt bij zijn straftoemetingsoordeel geïnformeerd bij wijze van evidence-based rapporten. Deze bestaan enerzijds uit het pre-sentencing investigation-rapport (hierna: PSI-rapport) en anderzijds het risicotaxatie-rapport COMPAS. Het PSI-rapport wordt voorafgaand aan de
State v. Loomis, 881 N.W.2d 749 (Wis. 2016). 43
State v. Loomis, 881 N.W.2d 749 (Wis. 2016). 44
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 11-12. 45
Zie hier het formulier ‘Plea Questionnaire/Waiver of Rights’ waarmee de verdachte verklaart afstand 46
te doen van zijn rechten.
State v. Frey, 343 Wis.2d 358, 817 N.W.2d 436 (Wis. 2012), ¶ 37-49. 47
strafoplegging opgesteld waarbij een reeks aan factoren worden onderzocht als zijnde recidive voorspellende factoren. Het gaat dan om eerdere veroordelingen van de verdachte, maar ook zijn inkomen, (mentale) gezondheid, opleiding, werkgeschiedenis, familiesituatie, geslacht en etniciteit spelen een rol. Welk gewicht er aan elk van de factoren wordt toegekend is een mysterie voor 48 zowel de verdachte, als de openbaar aanklager maar zelfs voor de rechter (!). Naast het PSI rapport krijgt de rechter zoals gezegd ook een risicotaxatie-rapport gepresenteerd waarin het recidive-risico van de verdachte is berekend door het algoritmischproduct COMPAS. In de onderliggende zaak zette Loomis vraagtekens bij de constitutionaliteit van de werking van COMPAS. Loomis had namelijk geen recht op inzage in het PSI-rapport dat verbonden is aan COMPAS. Door de rechter werd daarover opgemerkt dat het COMPAS risicoscore-rapport wel kan worden ingezien en betwist. In 2014 werd het gebruik van COMPAS rapporten als hulpmiddel bij de straftoemeting 49 goedgekeurd door het court of appeals (de hoger-beroepsinstantie van Wisconsin) in State v.
Samsa. Loomis’ grootste bezwaar zag juist op de ondoorzichtige wijze waarop de COMPAS 50 rapporten tot stand komen. De makers van COMPAS van het particuliere bedrijf Northepointe, weigerden te openbaren hoe de risicoscores worden bepaald en hoe zwaar elk van de recidive-risico factoren wegen. Welke calculaties er zijn gemaakt en op basis van welke input-data bleef 51 onbekend. Uit de uitspraak blijkt dat COMPAS zich baseert op informatie uit een interview met de verdachte bestaande uit 21 vragen, in combinatie met diens strafblad. Bovendien heeft de staat 52 Wisconsin een voor ieder vrij toegankelijke website waarin alle criminele antecedenten van veroordeelden op naam doorzoekbaar zijn en daarmee reeds behoren tot het publieke domein. Niet 53 alleen privacygevoelige gegevens zoals het geboortedatum en de adresgegevens worden prijsgegeven, maar ook de persoonsgegevens van de politieagent die de verdachte heeft gearresteerd zijn opgenomen.
§ 2.3 Weergave van het recidiverisico
In de Loomis zaak voorspelde COMPAS het recidiverisico door middel van een staafdiagram bestaande uit drie staven welke de historische, de algemene en de gewelddadige recidive-risicoscore becijferen waarbij 1 staat voor een lage score en kan oplopen tot 10. Van groot belang is dat de 54 risicoscores worden voorspeld door een algemene vergelijking te trekken met vergelijkbare verdachten die een soortgelijk strafblad hebben. Loomis is aldus in een bepaalde datagroep geplaatst zonder enige individualisatie. Hierdoor heeft het veel weg van een geautomatiseerde vorm van stereotypering waarbij bepaalde kenmerken worden veralgemeniseerd om vervolgens te worden
Hamilton, Berkeley Journal of Criminal Law 2015, vol. 20, afl. 1, p. 75-132. 48
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 52-53. 49
State v. Samsa, 859 N.W.2d 149 (Ct.App.2014). 50
Het in 1989 opgerichte bedrijf Northpointe onderging een naams- en imagoverandering in 2016 en 51
heet sindsdien Equivant.
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 13. 52
‘Wisconsin Supreme Court and Court of Appeals Access (WSCCA)’, wcca.wicourts.gov/case. 53
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 14. 54
toegeschreven aan een individu. Het gevolg van die categorisering in een soortgelijke groep daders is dat zij collectief worden gestraft. Als toelichting op het rapport heeft het hooggerechtshof acht geslagen op Northpointe’s ‘2015 Practitioner’s Guide to COMPAS’ waarin stond dat de 55 risicoscores niet zijn bedoeld om te bepalen of en hoe zwaar er gestraft moet worden, maar aangeven voor welke verdachten er eventuele interventies nodig zijn. COMPAS verleent ook 56 ondersteuning bij de penitentiaire besluitvorming, bijvoorbeeld inzake de plaatsing en het beheer van gevangenen en het inplannen van behandelingen. Daarnaast is er een ‘separate needs’ beoordeling waarin staat of de verdachte woon-, werk- of drugsproblemen heeft. Desondanks legde de rechter in eerste aanleg (het circuit court) de hoge recidive-risicoscores van COMPAS aan de straftoemeting ten grondslag, inclusief de read-in charges die de rechter als ware feiten beschouwde zonder dat Loomis daar bezwaren tegen kon inbrengen. Het circuit court zag vanwege het ‘hoge’ recidiverisico geen optie om een voorwaardelijke straf op te leggen en veroordeelde Loomis tot een totaal van zes jaar onvoorwaardelijke gevangenisstraf.
§ 2.4 Het recht op due process
Het voornaamste probleem dat zich aandient bij de toepassing van het algoritmische straftoemetingsinstrument COMPAS speelt rondom het recht op due process. De centrale rechtsvraag in de onderliggende zaak is dan ook of het gebruik van de COMPAS risico-taxatie een schending van het constitutionele recht op due process oplevert doordat het eigendomsrecht van COMPAS’ de verdediging ervan weerhoudt om diens validiteit aan de kaak te stellen ofwel omdat er onderscheid wordt gemaakt op grond van geslacht. 57
Het recht op due process en het verbod op discriminatie op grond van geslacht vloeien voort uit de constitutionele rechten van de verdachte. Het vijfde amendement van de Amerikaanse constitutie luidt: “No person shall be (…) compelled in any criminal case to be a witness against himself, nor
be deprived of life, liberty, or property, without due process of law (…)”. Het ‘due process’-recht is
de enige bepaling die twee keer voorkomt in de Amerikaanse constitutie. Onder het veertiende amendement vindt het recht op life, liberty en property ook een due process-bescherming.
Loomis stelde dat zijn recht op due process door inzet van COMPAS is geschonden om de volgende drie redenen waarvan in de jurisprudentie is bepaald dat zij deel uit maken van het recht op due
process: 58
I. Schending van het recht om veroordeeld te worden op grond van correcte informatie omdat COMPAS’ methodologie niet door de verdachte zijn te onderzoeken vanwege beschermde bedrijfsbelangen.
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 54 en ¶ 69.
55
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 69. 56
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 6. 57
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 34 en deel IV. 58
II. Schending van het recht op een geïndividualiseerd strafvonnis. III. Een onrechtmatig onderscheid op grond van geslacht.
Bij het court of appeals werden Loomis’ argumenten in een rechtsvraag gegoten en ook in de onderliggende uitspraak van het Supreme Court van Wisconsin behandeld. Daarbij is ook de private aard van Northepointe’s product COMPAS aan de orde gesteld, nu dat aspect de verdachte ervan weerhoudt om nader onderzoek te kunnen verrichten naar de wetenschappelijke geldigheid van COMPAS. Loomis trok de proportionaliteit van COMPAS in twijfel door verschillende studies aan te halen die zijn uitgevoerd in opdracht van andere Amerikaanse staten. Zo worden minderheden 59 bijvoorbeeld vaak de dupe van sociaal-economische factoren zoals onderwijs en gezinsfactoren die buiten hun invloedssfeer vallen. Zij krijgen in dat geval een vals positieve uitkomst, namelijk een hoog recidivegevaar terwijl dat niet het geval is. Andersom komt het vaak voor dat blanke verdachten onterecht een laag recidive-risicoscore krijgen, een vals negatieve fout. Een criminologische studie uit 2008 wees uit dat COMPAS’ het recidiverisico nauwkeuriger is te voorspellen bij blanke misdadigers dan bij de zwarte misdadigers. Een uitgebreid onderzoek van 60 viervoudig Pulitzerprijswinnaar ProPublica legde de vele gebreken bloot die kleven aan COMPAS door data van 10.000 verdachten te analyseren. ProPublica concludeerde dat de machine bias leidt 61 tot vertekeningen van het algoritme ten opzichte van de groep zwarte verweerders zonder eerdere veroordelingen.In een voetnoot van de uitspraak is te lezen dat zelfs de openbaar aanklager toegeeft dat er geen feilloze AI instrumenten zijn en dat COMPAS’ een middelmatige betrouwbaarheidsscore heeft (rond .50-.73).62
Het Wisconsin Supreme Court zag de oplossing voor de problematiek rondom COMPAS in de verplichting om voortaan alle COMPAS risicobeoordelingsrapporten te doen vergezellen van een schriftelijke waarschuwing omtrent de getrouwheid van het rapport. De volgende vijf 63 waarschuwingen worden (vrij vertaald) toegevoegd aan COMPAS rapporten.
1. Gezien de (intellectuele) eigendomsrechten geeft COMPAS geen informatie vrij over het gewicht dat aan elk van de risicofactoren wordt toegekend of over de manier waarop de risicoscores vastgesteld worden.
2. Omdat COMPAS’ risicoscores zijn gebaseerd op groepsdata, kunnen zij groepen van hoog risico verdachten identificeren en geen individuele risicoscore bij de verdachte berekenen.
De eis van subsidiariteit zou zo ook wel eens in het geding kunnen komen, indien er minder 59
ingrijpende middelen beschikbaar zijn om hetzelfde doel te bereiken (te denken aan therapeutische behandelingen om recidive op lange termijn tegen te gaan).
Fass e.a., Crim. Justice & Behavior 2008, vol. 35/1095, 1100-01. 60
J. Angwin e.a., ‘Machine Bias: There’s Software Used Across the Country to Predict Future Criminals. 61
And It’s Biased Against Blacks’, ProPublica.org 23 mei 2016 (zoekterm: ‘Machine bias’). State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 59, voetnoot 32.
62
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 66 en ¶ 100. 63
3. De risicobeoordeling bestaat uit een vergelijking tussen de verdachte met een sample op landelijk niveau, terwijl er geen cross-validation onderzoek bestaat dat ziet op de bevolking 64 van Wisconsin.
4. Bepaalde onderzoeken over COMPAS roepen de vraag op of er geen sprake is van een disproportionele indeling van minderheden in de categorie van hoger risico recidivisten.
5. Er moet op worden toegezien dat risicobeoordelingsinstrumenten regelmatig op nauwkeurigheid worden bijgesteld met het oog op veranderingen in de bevolking. 65
In de eigen woorden van het Supreme Court van Wisconsin: “These cautions will enable sentencing
courts to better assess the weight to be given to the COMPAS risk scores, circumventing potential due process violations”. 66
§ 2.5 Kritiek op het gebruik van algoritmische hulpinstrumenten § 2.5.1 Dataveillance en het scoringsdilemma
In de Chinese stad Shenzen wordt op een Black Mirroriaanse wijze geëxperimenteerd met AI 67 ‘flitspalen’ die burgers registreren wanneer zij een rood stoplicht negeren. Met het maatschappelijk onwenselijke gedrag van diegenen die het roodlicht negeren kan direct worden afgerekend door hun gezicht af te beelden op een groot scherm langs de weg. Burgers die vaker dan vijf keer ‘recidiveren’ komen in de overheidsdatabase terecht waarna ze op een zwarte lijst worden geplaatst. Winkelhorst noemt dit ‘law & order’ management. Een dergelijke scoringsmaatschappij hoeft niet even zichtbaar 68 te zijn zoals in Shenzen, maar kan middels een subtielere vorm dataveillance plaatsvinden. De variabelen die door beleidsactoren worden aangevinkt om bepaald handelen te surveilleren kunnen uiteindelijk doorsijpelen in de strafrechtelijke behandeling van een zaak. Prins en Van der Roest stellen dat het scoringsdilemma inherent is aan het gebruik van AI-systemen doordat: “[…] de
analyses worden gebaseerd op geselecteerde criteria en aannames en [...] foutmarges worden geaccepteerd.''. Prins en Van der Roest noemen ook andere problematische punten zoals het gebrek 69 aan transparantie in de gehanteerde criteria en het feit dat de gebruikte persoonsgegevens niet altijd accuraat en up-to-date zijn. Daarnaast kunnen gegevens in een geheel andere context worden gebruikt
Cross-validation is een vorm van onderzoek waarbij een voorspellend model op performance wordt 64
getest door te beoordelen hoe de resultaten van een algemene statistische analyse zich verhouden tot een individuele dataset. Zie ‘Cross-Validation’, techopedia.com 17 mei 2017.
Die rol is weggelegd voor de jurisdicties die ervoor kiezen om risico-analyse instrumenten te 65
gebruiken. State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 64. State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 105.
66
Black Mirror is een Britse televisieserie (scifi technothriller) van Charlie Brooker met als centraal 67
thema de duistere bijwerkingen van technologische ontwikkelingen in onze nabije toekomst. Winkelhorst 2018, p. 177.
68
Prins & Van der Roest, NJB 2018/206, afl. 4, p. 265. 69
dan de context waarin ze aanvankelijk zijn vergaard. Het transparantie-argument in de Loomis zaak 70 wint aan belang omdat het gebruik van gekleurde datasets voor de strafmaat, zonder openbaring van de datasets die zijn gewogen, eventueel ook schendingen op andere fundamentele rechten zou kunnen opleveren. Uiteraard is het bovengenoemde het gevaar van datasurveillance en het scoringsdilemma 71 een urgente kwestie dat in eerste instantie door de politiek dient te worden opgepakt. De rechter kan 72 de wetgever terugfluiten indien de rechter een grondrechtenschending vaststelt na toetsing aan hoger recht. Zo is dat recentelijk gedaan door de Haagse rechtbank inzake het wettelijk instrument Systeem Risico Indicatie (SyRI). De rechtbank oordeelde dat de inzet van SyRI ter opsporing van fraude, een 73 ontoelaatbare inbreuk maakt op het recht op respect voor het privéleven zoals beschreven in artikel 8 EVRM. 74
Prakken schrijft dat er in de AI-discussie veel verwarring bestaat tussen het werk van ‘voorspelalgoritmes’ en het nemen van geautomatiseerde juridische beslissingen. Voor dat laatste is 75 volgens hem een AI expert-systeem nodig dat juridische kennis kan toepassen waarna er een gemotiveerde beslissing volgt. Prakken stelt dat ‘voorspelalgoritmes’ niets meer doen dan een 76 kansberekening maken. Dat is vrij onschuldig als men zou kunnen vertrouwen op zeer kundige 77 rechters en officieren van justitie op het vlak van het correct interpreteren van dergelijke deskundige kansberekeningsrapporten. Een juist begrip van de kennisoverdracht van deskundigenrapporten is vooralsnog een moeizame opgave voor juristen. 78
§ 2.5.2 (Legal) black box
Het algoritmisch instrument COMPAS kwam aldus tot een bepaalde black box-uitkomst die niet nader werd gemotiveerd door het bedrijf Northpointe. Daarnaast speelt het meer specifieke probleem van ‘the legal black box’. In zijn betoog tegen algoritmische besluitvorming schrijft La Diega dat er sprake is van een legal black box-situatie wanneer AI-ontwikkelende bedrijven zich op intellectuele eigendomsrechten beroepen ter bescherming van hun bedrijfsgeheimen. Zo 79
Prins & Van der Roest, NJB 2018/206, afl. 4, p. 265. 70
Bijvoorbeeld het recht op privacy (artikel 8 EVRM) en het recht om niet arbitrair van je vrijheid te 71
worden beroofd (artikel 5 EVRM).
Het probleem met het gebrek aan transparantie in dergelijke nieuwe technologieën lijkt reeds te zijn 72
gesignaleerd door de politiek: Kamerstukken II 2018/19, 26643, 570.
Het SyRI-instrument werd door de Nederlandse overheid gebruikt ter bestrijding van fraude inzake 73
uitkeringen, toeslagen en belastingen.
Rechtbank Den Haag 5 februari 2020, ECLI:NL:RBDHA:2020:865, O&A 2020/28, m.nt. S.R.P. 74
Bastiaans, T. Barkhuysen & N. Jak. Prakken, NJB 2018/207, afl. 4, p. 269. 75 Prakken, NJB 2018/207, afl. 4, p. 271. 76 Prakken, NJB 2018/207, afl. 4, p. 271. 77
Nationaal Rapporteur Mensenhandel en Seksueel Geweld tegen Kinderen, Gewogen risico. Deel 1: 78
Communiceren over recidive in zedenzaken, Den Haag: Nationaal Rapporteur 2017, p. 34.
Nota La Diega, J. Intell. Prop. Info. Tech. & Elec. Com. L. (Jipitec) 2018, vol. 9, afl. 1, p. 12. 79
bestempelt ook Northepointe alle gegevens omtrent de wegingsfactoren als zijnde bedrijfsgeheimen die onder de paraplu van het intellectueel eigendomsrecht vallen. Nu is het zo dat het due process-recht tevens toekomt aan Northepoint’s property, zoals de civiele tak van artikel 6 EVRM zou gelden voor rechtspersonen in een vergelijkbaar geval. Toch is het problematisch dat de geheel strafrechtelijke Loomis-zaak leek te worden afgedaan alsof het een civiele zaak betrof tussen twee private partijen. Northpointe’s commerciële belangen wogen dermate zwaar mee dat het bedrijf als een volwaardige procespartij meedingt tegenover de grondrechten van de verdachte. 80
Bovendien moet worden opgemerkt dat de term black box niet alleen slaat op opnameapparatuur in vliegtuigen en straftoemetingsalgoritmes. Het menselijk brein kan ook worden aangemerkt als een
black box zolang er (nog) geen vinger kan worden gelegd op de werking van bepaalde
hersenprocessen. Juridisch gezien hoeft dat nog geen probleem op te leveren. Het feit dat er niet kan worden nagegaan wat er zich exact heeft voltrokken in het hoofd van de rechter is een non-issue omdat het wordt ondervangen met het vereiste om uitspraken te motiveren. Waarom er tot een bepaalde straf is besloten en het proces dat daaraan vooraf is gegaan dient juridisch te kunnen worden verantwoord in het vonnis. In Loomis viel het Justice Abrahamson in haar concurring
opinion op dat het hooggerechtshof de door Northpointe aangeboden amicus brief ongemotiveerd
afwees terwijl het alle uitleg omtrent de historie, de nauwkeurigheid en de doeltreffendheid van COMPAS kon gebruiken en de verdediging er specifiek om had verzocht. 81
De uitspraak van het Supreme Court van Wisconsin maakte veel los in de Amerikaanse media en gezaghebbende juridische bladen. Volgens het Harvard Law Review getuigde deze uitspraak van 82 een zwakke poging van het hooggerechtshof om het enthousiasme rondom het gebruik van algoritmische risicotaxatie-instrumenten te temperen: “In failing to specify the vigor of the
criticisms of COMPAS, disregarding the lack of information available to judges, and overlooking the external and internal pressures to use such assessments, the court’s solution is unlikely to create the desired judicial skepticism”. De kritiek van het Harvard Law Review leunt daarnaast op het 83 onvermogen van rechters om met de geboden waarschuwingen, de toegevoegde waarde van COMPAS correct te kalibreren in hun eigen evaluatie van het rapport. 84
De menselijke besluitvorming is onderworpen aan verschillende psychologische aspecten zoals de aan de mens inherente bias, ofwel vooringenomenheid. Cognitieve biases zijn systematische 85 irrationele patronen in de besluitvorming die te wijten zijn aan een verscheidenheid van factoren,
Dworkin 1977, p. 100. 80
State v. Loomis, 881 N.W.2d 749 (Wis. 2016), ¶ 133-135. 81
M. Smith, ‘In Wisconsin, a Backlash Against Using Data to Foretell Defendants’ Futures’, The New
82
York Times 22 juni 2016; F. Pasquale, ‘Secret Algorithms Threaten the Rule of Law’ MIT Technology Review 1 juni 2017.
Harvard Law Review 10 maart 2017, vol. 130/1530, p. 1534.
83
Harvard Law Review 10 maart 2017, vol. 130/1530, p. 1535.
84
Meer specifiek een vooringenomenheid waarbij men van tevoren in ongelijke mate onbewust neigt 85
waaronder onbekendheid, een overvloed aan informatie of een te snelle besluitvorming. Met het 86
Harvard Law Review hekelt Završnik het feit dat het hooggerechtshof de invloed van cognitieve
vertekeningen (biases), als ‘anchoring’ of ‘automation bias’ op de rechterlijke beslissing, volkomen heeft genegeerd. Ankering is een dergelijke psychologische vertekening duidend op de menselijke 87 neiging om te sterk vast te houden aan het eerst gepresenteerde deel aan informatie. Daarbij wordt dat stukje aan informatie verankerd in het brein, nog voordat (en ongeacht) het brein de informatie beoordeelt op juistheid. Een automation bias houdt in dat zodra aan een beslissende actor een 88 aanbeveling wordt voorgehouden welke is opgesteld middels een technisch hoogwaardig instrument, het voor de beslisser buitengewoon lastig is om de aanbeveling te weerspreken. In de 89 woorden van Završnik resulteert een automation bias in het volgende: “Decision-makers regularly
rate automated recommendations more positively than neutral despite being aware that such recommendations may be inaccurate, incomplete, or even wrong”.90
Freeman stelt dat het Hof heeft miskend dat de precedenten waarop het Hof leunt stammen uit een tijd waarin de technologie nog niet goed was ontwikkeld. Andere tegenstanders als Moffat, 91 Harcourt en Starr zijn terughoudend nu zij stellen dat de algoritmes bevooroordeelde data bevatten en als gevolg waarvan onrechtmatig onderscheid wordt gemaakt op grond van geslacht, ras en financiële positie. Naast het argument van de discriminatieve risico’s is het ook onzeker of het 92 beoogde doel van recidivebestrijding optreedt vanwege de keuze voor een langere straf. Het is namelijk niet bewezen dat het risico op recidive aanzienlijk daalt wanneer er door de rechter wordt gekozen voor een langere straf. 93
Critici van algoritmische risicotaxaties stellen dat het mogen (en soms moeten) meewegen van een actuarieel risicoanalyse bij de rechterlijke strafbeslissing het gevaar is van een straftoemeting per algoritmes. Een actuarieel risicoanalyse baseert zich op data waarmee het mogelijk wordt om 94 risicofactoren te verbinden aan demografische gegevens. In het kader van intelligente algoritmische systemen speelt data een hoofdrol, nu data als het ware dient als brandstof voor algoritmes. Belangrijk is de vraag op basis van welke data een algoritme tot een bepaalde output komt. Ervan uitgaand dat een AI-techniek als deep learning geïntegreerd zou zijn in een straftoemetings-algoritme, zou dat ongewild kunnen leiden tot een straf die wel erg nauwkeurig op de persoon van de verdachte wordt toegemeten zonder enige vorm van speling. Ons huidig en toekomstig gedrag is
Tversky & Kahneman, Science 1974, vol. 185, issue 4157, p. 1124-1131. 86
Završnik, ERA Forum 2020, vol. 20, p. 573. 87
Tversky & Kahneman, Science 1974, vol. 185, issue 4157, p. 1128. 88
Završnik, ERA Forum 2020, vol. 20, p. 574. 89
Završnik, ERA Forum 2020, vol. 20, p. 571. 90
Freeman, N.C.J.L. & Tech 2016, vol. 17, p. 91-92. 91
Starr, Stan.L. Rev. 2014, vol. 66, afl. 4, p. 803-872. 92
Kehl, Guo & Kessler, Harvard Law School: Responsive Communities 2017 (online, publiek). 93
Zo ook: Israni, JOLT digest 31 augustus 2017; Harcourt, Federal Sentencing Reporter 2015/4, vol. 27, p. 94
vrij eenvoudig te voorspellen is door het digitale spoor dat wij achterlaten. Met behulp van 95
datamining en een aantal Facebook-likes kunnen eigenschappen als politieke voorkeur worden
voorspeld, maar attributen als etniciteit, seksuele voorkeur, geluk en de kans op een eventuele drugsverslaving zijn eveneens te voorspellen. Bedacht moet worden echter dat een inschatting van 96 recidive ook zonder algoritme op basis van externe niet-juridische factoren wordt vastgesteld, zoals bijvoorbeeld de persoonlijke situatie van de verdachte en andere persoonlijke kenmerken.
Door diverse Amerikaanse juristen is er tevergeefs getracht om een amicus curiae in te brengen waarbij de volgende vraag ter beoordeling van de hoogste federale Amerikaanse rechter stond:
“Whether the sentencing court’s consideration of an actuarial instrument assessing petitioner’s risk of recidivism violated his due process rights, either because petitioner was denied an opportunity to challenge the instrument’s methodology or because the instrument accounts for gender in formulating its risk assessment”. 97
De onderhavige zaak is afgewezen door het U.S. Supreme Court. Het feit dat het U.S. Supreme 98 Court geen verlof heeft gegeven om deze zaak in behandeling te nemen, wijst er in elk geval op dat deze kwestie niet belangrijk genoeg is geacht. Het U.S. Supreme Court weidde verder niet uit op welke gronden de zaak is verworpen, maar kennelijk achtte het hoogste federale gerecht het fundamentele rechtsbeginsel van due process niet geschonden. Toch blijft de uitspraak wringen, hetgeen te maken kan hebben met een eventueel legitimatieprobleem van het rechterlijk oordeel wanneer deze in een te grote en ondoorzichtige mate leunt op het COMPAS algoritme. In de woorden van De Wild houdt de legitimatie van het dictum verband met ‘de legitimatie van de voor dat dictum aangevoerde argumenten’ (premissen). Met de deductieve structuur van het rechterlijk dictum kan 99 de juridische gelding van elk van de gehanteerde overwegingen worden nagegaan. De legitimatie van de opgelegde straf zou op dezelfde wijze navolgbaar moeten zijn. Kortom, het blijft van belang ervoor te waken dat de poging van de rechter om uit Plato’s grot te treden niet ertoe leidt dat hij verder van de werkelijkheid afstaat.
§ 2.5.3 Debiasing instrumenten?
Voorstanders van AI-inmenging binnen het strafrecht scharen zich veelal achter het argument dat AI-instrumenten dienstbaar zijn aan het vergroten van de objectiviteit en de nauwkeurigheid. Roth is van mening dat die argumenten sec neerkomen op de wens om de kans op vals negatieven te verkleinen, waarbij die vals negatieven duiden op de situatie dat er ‘in werkelijkheid’ een hogere
In 2016 publiceerden wetenschappers van Princeton het grootste onderzoek dat tot op heden is 95
gedaan over online tracking: S. Englehardt & A. Narayanan, ‘Online Tracking: A 1-million-site Measurement and Analysis’, in: CCS ’16 Proceedings of ACM 2016, p. 1388-1401 (online, publiek).
Kosinki, Stillwell & Graepel 2013. 96
‘Proceedings and Orders’, No. 16-6387, supremecourt.gov. 97
Loomis v Wisconsin, 881 N.W.2d 749 (Wis. 2016), cert. denied, 137 S.Ct. 2290 (2017). 98
De Wild 1979, p. 3-4 en p. 212-213. 99
recidivekans is dan door de rechters wordt ingeschat of er een te lage straf wordt opgelegd. Men 100 spreekt over een vals positief als er onterecht een verhoogde kans op recidive wordt vastgesteld. Een vals positief is moeilijker vast te stellen omdat aan de veroordeelden de kans wordt ontnomen om te bewijzen dat zij niet meer zullen recidiveren. In elk geval is het helder dat het onterecht langer vasthouden van iemand dan nodig is, zowel leidt tot een grove schending van de grondrechten van de verdachte, als tot hogere kosten voor de samenleving. Roth betoogt dan ook dat mechanisatie in het (Amerikaanse) strafrecht op een onevenwichtige wijze wordt toegepast. Daar waar de focus zou horen te liggen op het gebruik van AI-instrumenten als debiasing tools die de rechtsstatelijke waarden beter beschermen, vindt Roth dat de mechanisatie van berechting vooral in het voordeel kan zijn van de openbaar aanklager. Roth noemt als voorbeelden het gebruik van 101 de leugendetector, of DNA-bewijs welke worden ingezet ondanks de aantasting van dergelijke middelen op het recht op menselijke waardigheid van de verdachte. 102
Roth, Geo. L. J. 2016, vol. 104/1245, p. 1252. 100
Roth, Geo. L. J. 2016, vol. 104/1245, p. 1257. 101
Roth, Geo. L. J. 2016, vol. 104/1245, p. 1257. 102
H o o f d s t u k 3
3. DE ANALOGE WIJZE VAN STRAFTOEMETING
§ 3.1 Het opleggen van een strafDe strafoplegging vormt het sluitstuk van het strafrechtelijk proces. De straf speelt een zeer centrale rol in het strafrecht vanwege het ingrijpende effect op het leven van de veroordeelde. In de periode van 2007-2017 is het aandeel van opgelegde vrijheidsstraffen in Nederland gestegen van 26% naar 36%. Wat inhoudt dat het zwaarst mogelijke machtsmiddel dat ter beschikking staat van de rechter, 103 momenteel de meest opgelegde straf is. De strafrechter neemt bij zijn strafbeslissing allerlei 104 factoren in beschouwing. Een veelgelezen overweging in strafrechtelijke uitspraken is dat de op te leggen straf mede wordt bepaald op grond van de aard en de ernst van het bewezen verklaarde, als de omstandigheden waaronder de strafbare feiten zijn begaan en gelet op de persoon en de draagkracht van de verdachte’. Daarbij let de rechter op eerdere veroordelingen en wordt de privésituatie van de 105 verdachte in aanmerking genomen. Bij aanwezigheid van deskundigenrapporten kan de rechter ervoor kiezen om bijzondere voorwaarden verbinden aan de straf. Het onderhouden van een stabiele relatie, de aankoop van een nieuw huis of het krijgen van een kind kan redengevend zijn voor de rechter om te geloven dat de verdachte zich niet snel schuldig zal maken aan het plegen van nieuwe strafbare feiten.
§ 3.2 Rechterlijke competenties
Uit afgenomen interviews met strafrechters blijkt dat zij ‘straftoemeten’ grotendeels beschouwen als een in de praktijk aan te leren ‘vaardigheid’. De straftoemetingsbeslissing wordt vooral in zware zaken als moeilijk beschouwd. Aanstaande rechters worden geacht te beschikken over een aantal 106 persoonlijke competenties. Los van het kunnen komen tot een ‘zelfstandig onafhankelijk oordeel’, dient een aspirant-rechter te beschikken over communicatieve vaardigheden, overtuigingskracht, inlevingsvermogen, sociabiliteit, evenwichtigheid in het sociale gedrag en het vermogen tot samenwerken. Andere kwaliteiten die worden genoemd zijn besluitvaardigheid, zelfstandigheid, 107 integriteit en stressbestendigheid. Op grond van artikel 11 Wet algemene bepalingen is de rechter verplicht om de wet toe te passen zonder zelf de innerlijke waarde of de billijkheid van de wet te beoordelen. Toch is dat niet altijd eenvoudig. In de periode tussen 2005-2007 heeft het Instituut 108
Kalidien, Van den Braak & Van Tulder, Criminaliteit en rechtshandhaving 2017, WODC Cahier 2018-19, 103
p. 3, 65-66.
Kalidien, Van den Braak & Van Tulder, Criminaliteit en rechtshandhaving 2017, WODC Cahier 2018-19, 104
p. 3, 65-66.
Zie bijvoorbeeld Hof Amsterdam 6 juni 2017, ECLI:NL:GHAMS:2017:2180. 105
Schoep & Schuyt 2005, p. 46-47. 106
‘Selectieprocedure Rio met 2 a 6 jaar werkervaring’, werkenbijderechtspraak.nl, p. 6. 107
‘Het maakt uit wie er in de toga zit, zwart of wit’, NRC.nl 17 mei 2017.
voor Strafrecht en Criminologie van de Universiteit Leiden grofweg 110.000 strafzaken onderzocht in opdracht van de Raad voor de rechtspraak. Het onderzoeksdoel was het inzichtelijk maken van het 109 verband tussen etniciteit en straftoemeting door de volgende vraag te beantwoorden: ‘In hoeverre verschillen rechterlijke uitspraken in strafsoort en strafmaat tussen etnische groepen?’. Een 110 ongecontroleerde analyse van de bevindingen — waarbij er geen rekening werd gehouden met andere straftoemetingsfactoren — wees op het bestaan van wezenlijke en statistisch significante verschillen tussen de opgelegde strafsoort en strafmaat bij allochtone daders. De uit het bovengenoemde 111 onderzoek gebleken discrepantie tussen de strafmaat en strafduur bij allochtone en westerse daders, zou middels het gebruik van een rechtvaardig algoritmisch instrument kunnen worden opgeheven.
§ 3.3 Rechterlijke vrijheid bij de strafoplegging
In de Nederlandse strafopleggingspraktijk is van oudsher een grote mate van vrijheid toegekend aan de rechter bij de straftoemeting. Echter, daar is een periode aan vooraf gegaan waarin het vertrouwen in de rechter zoek was. De rechterlijke macht werd verweten de rijken en de adel te bevoordelen waardoor er na de Verlichting een drang ontstond om de willekeur van de oude vorsten tegen te gaan door een strikt uniform systeem in te voeren waar de rechter zich aan te houden had. Schuyt noemt de Code Pénal als hét klassieke voorbeeld van begrenzing van de 112 113 rechterlijke vrijheid doordat ieder delict een vaste straf had die de rechter moest uitspreken in zijn hoedanigheid van spreekbuis van de wet. Als reactie op de rigiditeit van het uniforme systeem 114 kende de wetgever de rechter meer armslag toe om te kunnen differentiëren bij het bepalen van de strafmaat. Sinds 1926 valt in artikel 351 Sv te lezen dat de rechtbank na de bewezenverklaring van het tenlastegelegde strafbare feit, dat is begaan door een strafbare verdachte, de straf of maatregel oplegt die op het feit is gesteld. Echter, er gaat een grotere rechterlijke vrijheid uit dan de tekst van artikel 351 Sv in eerste opzicht lijkt te impliceren. Cleiren stelt in haar commentaar dat het aan de rechter is welke strafmodaliteit, strafsoort of strafmaat hij oplegt. Zo geeft zij het voorbeeld dat een eenvoudige diefstal (zij het minimaal) kan worden bestraft door een geldboete van drie euro voorwaardelijk op te leggen tot aan de maximaal mogelijke strafoplegging zoals die in de wettelijke delictsomschrijving staat. 115
De rechter baseert zich op de wettelijke inkadering van strafmaxima of strafminima zoals die per delictsomschrijving door de wetgever is opgesteld. Het gepleegde delict wordt zwaarder gestraft naar mate van ernst. Er geldt een strafplafond wanneer de rechter een straf oplegt aan een 116 verdachte die terecht staat voor meerdere feiten, op grond van de meerdaadse samenloopregeling
‘Onderzoek geeft verklaringen voor verschil in straftoemeting’, Nederlands Juristenblad 3 februari 2015. 109
Ten Voorde, NJCM-Bulletin 2010, jrg. 35, nr. 8, p. 981-996. 110
‘Onderzoek geeft verklaringen voor verschil in straftoemeting’, rechtspraak.nl 29 januari 2015.
111
Kelk & Silvis, WODC Justitiële Verkenningen 1992, jrg. 18, nr. 8, p. 9. 112
Het Franse Wetboek van Strafrecht van 6 oktober 1791. 113
Schuyt, Trema Straftoemetingsbulletin 2009, nr. 1, p. 14. 114
Cleiren, in: T&C Strafvordering 2017, art. 351 Sv, aant. 2 (online, bijgewerkt 1 juli 2017). 115
Schuyt 2010, p. 48. 116
