BORGING VAN PUBLIEKE WAARDEN
BIJ ALOM VERDERE INTREDING
VAN ALGORITMEN IN DE
MAATSCHAPPIJ
Master thesis: Management van de Publieke Sector Door: M.R. de Waal
Studentnummer: s1389009 Begeleider: Prof. dr. F.M. van der Meer
Tweede lezer: Drs. C. Nagtegaal MSc Leiden, 19 juni 2019
1
Inhoud
Samenvatting ... 3 Hoofdstuk 1Introductie ... 4 1.0 Aanleiding ... 4 1.1 Doel en Onderzoeksvraag ... 5 1.2 Relevantie ... 7 1.3 Leeswijzer ... 8Hoofdstuk 2 Theoretisch kader ... 9
2.0 Introductie ... 9
2.1 Inleiding ... 10
2.1.1 Algoritmen en kunstmatige intelligentie ... 10
2.1.2 - Risico’s van kunstmatige intelligentie ... 12
2.1.3 Publieke waarden onder druk door kunstmatige intelligentie ... 14
2.1.4 Overzicht 2.1 ... 17
2.2 De veranderende overheid... 17
2.2.1 Hervormingen van de overheid ... 17
2.2.2 Van de verzorgingsstaat naar de voorwaardenscheppende staat ... 17
2.2.3 Tekortkomingen van de voorwaardenscheppende staat... 18
2.2.4 Veranderende rol van de ambtenaar ... 19
2.2.5 Overzicht 2.2 ... 20
2.3 Toezicht en toezichthouders ... 20
2.3.1 Wat is toezicht ... 20
2.3.2 Redenen voor toezicht ... 21
2.3.3 Soorten toezicht in Nederland ... 22
2.3.4 Het construct van toezicht ... 26
2.3.5 Toezicht markt vs. overheid ... 28
2.3.6 Overzicht 2.3 ... 30
2.4 Conceptueel model ... 30
2.4.1 Onafhankelijke variabelen ... 30
Hoofdstuk 3 Methodologisch kader ... 32
3.1 Methode ... 32
3.2 Data verzameling ... 33
3.2.1 Het gebruik verschillende typen bronnen ... 33
3.2.2 Ontwikkeling van een casestudy database ... 35
3.2.3 De ontwikkeling van een keten van bewijzen ... 35
2
4.1 Autoriteit Consument en Markt (ACM) ... 36
4.1.1 De organisatie ... 37
4.1.2 Toezicht structuur en werkwijze ACM... 37
4.1.3 Methode digitaal onderzoek ... 39
4.1.4 De ACM en algoritmen ... 42
4.2 Autoriteit Persoonsgegevens (AP) ... 44
4.2.1 De organisatie ... 44
4.2.2 Geschiedenis van de privacy waakhond: van Registratiekamer tot College Bescherming Persoonsgegevens (1989 – 2001) ... 44
4.2.3 College Bescherming Persoonsgegevens (2001-2016) ... 46
4.2.4 Autoriteit Persoonsgegevens (2016 – heden) ... 48
4.2.5 Samenstelling en taakverdeling AP ... 49
4.2.6 Werkwijze en toezichtstructuur AP ... 49
4.2.7 Toezichtkader ... 51
4.2.8 AP en kunstmatige intelligentie ... 52
Hoofdstuk 5 Analyse ... 53
5.1 De relatie tussen algoritmen, kunstmatige intelligentie en Big Data. ... 53
5.1.2 Hoe hebben algoritmen, kunstmatige intelligentie en Big Data invloed op publieke waarden? ... 54
5.2 Hoe wordt het handelen van de overheid beïnvloed door nieuwe technologieën? ... 55
5.3 Hoe is de rol van de ambtenaar verandert door de opkomst van het gebruik van algoritmen, kunstmatige intelligentie en big data? ... 57
5.4 Hoe komt toezicht tot stand, wat zijn de kernprincipes van toezicht en wat zijn de waarden waarop toezicht wordt gebaseerd? ... 58
5.4.1 Toezicht in de praktijk ... 59
5.4.2 Toezicht kader van de ACM ... 59
5.4.3 Toezichtkader van de AP ... 60
5.5 Reflectie op hypotheses ... 61
Hoofdstuk 6 Conclusie en discussie... 64
6.1 Reflectie ... 65
6.2 Aanbeveling ... 66
Literatuuroverzicht ... 70
Bijlage 1 – Criteria voor goed toezicht ... 78
3
Samenvatting
Door het toenemende gebruik van computers en het internet zijn persoonlijke en privacygevoelige data jarenlang in grote hoeveelheden door overheden en bedrijven verzameld. Aan de hand van verschillende databronnen kunnen overheden en bedrijven met behulp van algoritmen en kunstmatige intelligentie patronen ontdekken in de gedragingen van burgers en consumenten. Hierdoor komen publieke waarden zoals privacy, autonomie, rechtvaardigheid en machtsverhoudingen onder druk komen te staan.
Dit onderzoek richt zich op de ongewenste effecten die voortkomen uit het toenemende gebruik van kunstmatige intelligentie en big data. Waarbij wordt gekeken of de toezicht kaders van de Autoriteit Persoonsgegevens en de Autoriteit Consument en Markt geschikt zijn om de publieke waarden van burgers en consumenten te beschermen.
Uit het onderzoek blijkt dat de juridische kaders reeds aanwezig zijn, maar het ontbreekt nog aan de juiste methodiek om toezicht te houden op het gebruik van algoritmen en kunstmatige intelligentie. Er zou auditfunctie kunnen worden toegevoegd aan het algemene toezichtkader van organisaties en bedrijven. Toezicht op de financiële verslaglegging is breed geïnstitutionaliseerd. Gezien de toenemende maatschappelijke onrust en drang naar zekerheid en vertrouwen met betrekking tot het gebruik van algoritmen, kunstmatige intelligentie en grootschalige dataverzameling door alle soorten organisaties, publiek en privaat, zou verplichte controle op het gebruik van deze technologieën een uitkomst kunnen bieden.
4
Hoofdstuk 1Introductie
1.0 Aanleiding
Door de digitalisering van de samenleving is er parallel aan de fysieke wereld een digitale wereld ontstaan waarin ‘’bestaande middelen, methoden en organisatievormen door nieuwe digitale werkwijzen’’ worden vervangen, zoals algoritmen en kunstmatige intelligentie (Raad van State, 2018, pp. 4). ‘’Digitalisering verwijst niet langer vooral naar een verzameling gadgets, maar blijkt een transitie te zijn met kansen en risico’s’’ (Rathenau Instituut, z.d.). Algoritmen en kunstmatige intelligentie zijn computerprogramma’s die met en zonder menselijke tussenkomst geautomatiseerde beslissingen kunnen nemen. Op basis van verschillende data (input), kan zo’n programma automatische beslissingen maken zonder invloed van mensen (throughput). Door de overheid worden dergelijke programma’s bijvoorbeeld gebruikt om automatisch boetes uit te delen of voorspellingen te doen over gedrag (output) (Dekker, 2018b). Deze automatische besluiten kunnen zowel in financiële als in emotionele zin van grote invloed zijn op mensen (impact)(Vetzo & Nehmelman, 2018, pp. 13). De overgang naar deze digitale samenleving leidt daarom tot politiek-maatschappelijke en ethische discussies over hoe we als land zouden moeten omgaan met de kunstmatige intelligentie en Big Data en hoe we publieke waarden borgen in de samenleving (Kool, Dujso, & van Est, 2018).
Digitalisering waarbij steeds meer gebruik wordt gemaakt van kunstmatige intelligentie en Big Data maakt onze levens in potentie makkelijker en aangenamer doordat we simpele taken niet meer zelf hoeven uit te voeren. Bedrijven die twintig jaar geleden nog niet bestonden, zoals Facebook, Google, Twitter, Uber, Apple, Spotify en Netflix zijn inmiddels zo in ons dagelijks leven verweven dat we een leven zonder haast niet meer kunnen voorstellen. Muziek, films en nieuws worden automatisch op basis van persoonlijke voorkeuren, door algoritmen aan ons gepresenteerd en we hoeven niet meer in de file te staan want we worden automatisch omgeleid als er een snellere route beschikbaar is (Hijink, 2018). Ook worden er steeds meer ‘slimme apparaten’ op de markt gebracht (Vetzo & Nehmelman, 2018, pp. 13).1 Deze veelal huishoudelijke apparaten zijn aangesloten op het internet en
worden gebruikt om simpele taken uit te voeren zoals het automatisch aan-en uitschakelen van lampen of speakers die op stemcommando vragen kunnen beantwoorden.
Een keerzijde van digitalisering is dat we, als burger, met het gebruik van dergelijke slimme apparaten in huis, ons zoekgedrag het internet en het gebruik van onlineplatforms- en diensten veel informatie weggeven aan bedrijven. Vaak zonder besef dat we dat doen en zonder dat we weten wat er met deze data gebeurt (Klous & Wielaard, 2017, pp. 21). Door het koppelen van verschillende gegevensbronnen kunnen bedrijven online profielen van burgers opstellen die kunnen worden gebruikt, of soms doorverkocht, voor marketing doeleinden of het sturen van ons gedrag.
Uit een recent onderzoek van de NOS onder 54 overheidsinstellingen blijkt dat er door de overheid ook veel gebruik wordt gemaakt van data verzameling en algoritmen voor diverse toepassingen. Van het opsporen van fraude of criminaliteit tot voorspellen wie een grote kans hebben om vroegtijdig school te verlaten en adviezen over zorg (Schellevis & de Jong, 2019). Het gebruik van deze voorspellende algoritmen is niet zonder gevaren aangezien sommige besluiten ingrijpende gevolgen kunnen hebben. "Discriminatie is inherent aan deze technologie" – M. van Eck (Schellevis & de Jong, 2019). In 2014 raakte honderden gezinnen onterecht hun kinderbijslag kwijt doordat de
1 Het internet der dingen of Internet of Things (IoT) draagt bij aan de connectie tussen de fysieke-en digitale
5 Belastingdienst etniciteit had meegewogen in onderzoek naar toeslagfraude (Kleinnijenhuis, 2019). In mei 2019 wordt publiek bekend dat de Autoriteit Persoonsgegevens (hierna: AP) onderzoek doet naar de vermeende discriminatie en etnisch profileren door de Belastingdienst (Hofs, 2019). Daarnaast blijkt dat ook andere onderdelen van de publieke digitale infrastructuur niet op orde zijn. Gekoppelde overheidssystemen communiceren niet goed met elkaar met privacy risico’s tot gevolg. Zo kreeg de AP in 2016 verschillende meldingen van mensen dat ze vertrouwelijke informatie, zoals Burgerservicenummers, inkomensgegevens en geboorte data, van anderen konden inzien via hun eigen ‘Mijn Toeslagen-portaal’ (AP, 2016). Daarnaast zijn er ook risico’s ten aanzien van burgers als overheidssystemen te veel met elkaar communiceren waardoor diverse instanties beschikken over meer data dan nodig voor hun taakuitvoer. Hierdoor ontstaat een scheve machtsverhouding tussen burger en overheid (Broeders, Schrijvers, & Hirsch Ballin, 2017, pp. 27). Daarnaast moet er aandacht worden besteed aan degene die werken met deze nieuwe technologieën, de ambtenaar. Veranderingen in en rondom de overheid impliceren ook veranderingen in de rol van de ambtenaar. Door deze verandering moeten taken met betrekking tot verantwoording en controle worden geherwaardeerd omdat ook het interne toezicht bij de overheid nog niet goed is uitgekristalliseerd (Van Eck, Bovens, & Zouridis, 2018).
Een kleine greep uit recente nieuws artikelen toont al aan dat de overheid nog weinig grip heeft op de digitalisering, het gebruik van Big Data en kunstmatige intelligentie en daarmee is controle op de effecten van het gebruik daarvan, nog onderontwikkeld. ‘’Het gemak van het functioneren van de overheid staat voorop’’ stelt de Raad van State (2018) (hierna: RvS). Burgers dreigen slachtoffer te worden van de risico’s van het gebruik van de nieuwe technologieën doordat vrijheden kunnen worden ingeperkt waardoor de rechtsstatelijke verhoudingen tussen burger en overheid veranderen (Raad van State, 2018)(WRR, 2016, pp. 22). De regering is zich bewust van het feit dat er actie moet worden ondernomen. Digitalisering komt dan ook in toenemende mate op de maatschappelijke -en politiek-bestuurlijke agenda terecht (Kool e.a., 2018). In 2014 heeft de Eerste Kamer het Rathenau Instituut verzocht onderzoek te doen naar, en advies uit te brengen over, de ethische kanten van de digitalisering van de samenleving. 2 De conclusie: Publieke waarden zoals privacy, digitale veiligheid,
gelijke behandeling en vrijheid van meningsuiting, worden nog onvoldoende beschermd doordat het huidige toezichtlandschap nog onvoldoende is “uitgekristalliseerd” (Kool, Timmer, Royakkers, & Est, 2017). Hierdoor is nog niet duidelijk hoe nieuwe toepassingen van vormen van kunstmatige intelligentie: meer geautomatiseerde besluiten zonder menselijke tussenkomst, computers die voorspellingen doen met ingrijpende gevolgen en computerprogramma’s zichzelf kunnen ontwikkelen, kunnen worden gecontroleerd.
1.1 Doel en Onderzoeksvraag
Dat er nog geen sprake is van een concrete manier om publieke waarden te borgen in de nieuwe digitale samenleving, in combinatie met een onvoldoende ‘’uitgekristalliseerd toezichtlandschap’’ is op zijn minst alarmerend te noemen. Want ‘’Macht behoeft tegenmacht, altijd’’ (Algemene Rekenkamer, 2018, pp.6). Zowel grote Tech-bedrijven als de overheid maken in toenemende mate gebruik van kunstmatige intelligentie en algoritmische besluitvorming waardoor zonder tussenkomst van mensen besluiten worden genomen die vergaande persoonlijke en financiële implicaties voor
2 Naar aanleiding van Motie-Gerkens (SP) c.s. over een onderzoek door het Rathenau Instituut naar de
wenselijkheid van een adviescommissie over de ethische kant van de digitalisering van de samenleving (Kamerstukken I 2014-2015 CVIII, E)
6 mensenlevens kunnen hebben. “Digitalisering vraagt om nieuwe kaders voor de manier waarop belangrijke waarden worden geborgd in de samenleving.”(Kool e.a., 2017, pp. 131). Uit onderzoek van KPMG onder 1100 Nederlanders blijkt dat 93% vindt dat er toezicht moet komen op algoritmen (KPMG, 2019).
Het doel van dit onderzoek is om inzicht te krijgen in de wijze waarop Nederlandse toezichthouders momenteel omgaan met het toezicht op het gebruik van algoritmen, big data en kunstmatige intelligentie ten aanzien van het beschermen van publieke waarden. Om bij te dragen aan de maatschappelijke discussie van de eerdergenoemde vraagstukken. Met als onderzoeksvraag: In hoeverre zijn de huidige Nederlandse toezichtkaders geschikt om publieke waarden zoals privacy, autonomie, transparantie van technologie, rechtvaardigheid en machtsverhoudingen te borgen in een omgeving waarin in toenemende mate gebruik wordt gemaakt van algoritme gedreven technologieën en Big Data?
Om een antwoord te kunnen formuleren op de onderzoeksvraag is het van belang om eerst de onderliggende drie deelonderwerpen te verduidelijken: (1) De begrippen algoritmen, kunstmatige intelligentie en big data en de impact van het gebruik op de samenleving. (2) De veranderende rol van de overheid en ambtenaar. (3) De vormen van toezicht en kernwaarden van toezicht. Op basis van deze drie deelonderwerpen worden enkele deelvragen gesteld die bijdragen aan het te formuleren antwoord op de onderzoeksvraag. Ad1 Wat is relatie tussen algoritmen, kunstmatige intelligentie en big data? Hoe hebben deze technologieën invloed op de publieke waarden? Ad2. Het is van belang te begrijpen op basis van welke waarden de overheid haar handelen legitimeert. Wat is de invloed van deze nieuwe technologieën is op het handelen van de overheid? Hoe verandert de rol van de ambtenaar door het gebruik van deze nieuwe technologieën? Om hier een antwoord op te formuleren wordt er gekeken naar een bestuurlijke verandering van de overheid die begon in de jaren tachtig van de vorige eeuw. Ad3. Ten slotte inzicht in toezicht kaders is nodig. Toezichthouders zijn de bewakers van publieke waarden en beschermen burgers tegen overheden en bedrijven maar, wat zijn de kernprincipes van toezicht? Hoe komt toezicht tot stand? Wat zijn de waarden waarop toezicht wordt gebaseerd? Inzicht in het functioneren en het analyseren van de kerntaken van toezichthouders biedt inzicht in de wijze waar op publieke waarden in het tijdperk van het gebruik van algoritmen, Big Data en kunstmatige intelligentie kunnen worden geborgd.
Om de theorie te koppelen aan de praktijk zal er onderzoek worden gedaan naar het functioneren van twee belangrijke toezichthouders die fungeren als poortwachters van de Nederlandse publieke waarden voor burgers en consumenten, de Autoriteit Persoonsgegevens (hierna: AP) en de Autoriteit Consument en Markt (ACM). Deze twee toezichthouders hebben een belangrijke rol in de bescherming van privacy, gelijkheid en rechtvaardigheid van burgers. In dit onderzoek zal worden beschreven hoe deze organisaties zijn georganiseerd, wat hun werkwijzen zijn ten aanzien van algoritmen en op basis van welke waarden zij opereren. In de analyse zal de praktijk weergave worden afgezet tegenover de theorie over kunstmatige intelligentie, toezichtstructuren en de veranderende rol van de overheid. Deze vergelijking zal moeten uitwijzen in hoeverre toezicht op algoritmen en kunstmatige intelligentie is ingepast binnen de huidige toezichtkaders van de ACM en de AP en of deze kaders geschikt zijn om toezicht te houden op het gebruik van algoritme gedreven technologieën.
7
1.2 Relevantie
De maatschappelijke relevatie van dit onderwerp is groot. In het onderzoek ‘Opwaarderen, het borgen van publieke waarden in de digitale samenleving’ is onderzocht hoe de omgang met nieuwe maatschappelijke en ethische kwesties institutioneel zijn verankerd in de digitale samenleving. Hierin is aangetoond dat “de overheid, de toezichthouders, het bedrijfsleven en de samenleving nog niet voldoende zijn toegerust om met deze nieuwe vragen om te gaan”(Kool e.a., 2017, pp.6). Publieke waarden zoals privacy, digitale veiligheid, gelijke behandeling en vrijheid van meningsuiting, worden nog onvoldoende beschermd. Omdat het huidige toezichtlandschap nog niet voldoende is ‘uitgekristalliseerd’ adviseerde het Rathenau Instituut dat er aanpassingen van het toezicht systeem nodig zijn (Kool e.a., 2017). Desondanks neemt de ontwikkeling en het gebruik van kunstmatige intelligentie steeds verder toe waardoor de het onderwerp van ‘toezicht’ steeds relevanter wordt.
De afgelopen jaren wordt er steeds meer rapporten en adviezen gepubliceerd over kunstmatige intelligentie en hoe overheden de kansen van deze technologieën willen benutten. Zo hebben veel landen in 2018 en begin 2019 hun strategie ten aanzien kunstmatige intelligentie geformuleerd. Ook door de Europese Commissie (EC) wordt er aandacht besteed aan het beleid ten aanzien van kunstmatige intelligentie. De Commissie heeft daarvoor een High Level Expert Group opgericht om samen met stakeholders een Europese visie te ontwikkelen (HLEG, 2019).3 De Nederlandse regering
heeft diverse ‘agenda’s’ gepubliceerd waarin ze de Nederlandse digitaliseringsstrategie duiden. Deze agenda’s zijn gebundeld in NL DIGIbeter (2019). Het ‘beschermen van publieke rechten en waarden’ wordt als een van de vijf speerpunten voor de komende jaren genoemd (Knops, 2018). Echter, in de publicaties van de regering staan voornamelijk plannen om onderzoek te doen:
Het kabinet heeft ‘’de betekenis van digitalisering voor de waarborging van grondrechten verkend’’; de ‘’aandacht voor maatschappelijke en ethische aspecten van digitalisering bij toezichthouders is toegenomen’’, ‘’We onderzoeken hoe er adequaat toezicht op de integriteit van data en algoritmen mogelijk is’’ en er wordt geïnvesteerd in de ontwikkeling van toezichthouders (Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2019).4
Zowel de RvS (2018) als het Rathenau Instituut (2018, pp. 128) concluderen dat het aan concrete plannen ontbreekt in de verschillende digitale agenda’s van de overheid. Het Rathenau Instituut concludeert dat er de afgelopen twee jaar vooral weinig progressie is geboekt op de gebieden: ‘Borging grond -en mensenrechten in de digitale samenleving & Versterken toezichthouders’ (Kool, L., E. Dujso, 2018, pp 128). De RvS maakt zich zorgen van wege het gebrek aan concrete plannen om de beleidsdoelen van de overheid te realiseren, ten aanzien de risico’s van de digitalisering voor de burger (Raad van State, 2018, pp. 2).
Over het beschermen van publieke waarden, de voortgang van de digitalisering en het gebruik van kunstmatige intelligentie en algoritmen in de context van het openbaar bestuurd zijn de afgelopen
3 Deze groep stakeholders bestond uit: ‘’Amongst the openly published contributions, 244 contributions were
explicitly representing the position of organisations, associations and companies; 49 contributions were provided by individuals declaring to be part of an academic institution (professors, researchers or PhD students) without necessarily representing that institution; and 44 contributors provided feedback in an individual capacity. Submissions were also received from EU and non-EU Member State authorities.’’ (AI HLEG, 2019b)
4 Zie bijlage NLDIGIbeter (2019) voor een volledig overzicht van de plannen van de regering op het gebied van
8 jaren diverse rapporten gepubliceerd door onafhankelijke onderzoeksinstituten ter advisering van de overheid. Onder andere de Wetenschappelijke Raad voor het Regeringsbeleid (hierna: WRR) heeft diverse rapporten gepubliceerd: Big Data and Security Policies: Serving Security, Protecting Freedom (2017), Big Data in een vrije samenleving (2016), Big Data voor fraudebestrijding (2016), iOverheid (2011). Ook het Rathenau Instituut heeft naar aanleiding van Motie Gerkens enkele adviezen uitgebracht: Doelgericht Digitaliseren (2018), Opwaarderen – borgen van publieke waarden in de digitale samenleving (2017). Onlangs heeft ook de Raad van State (RvS) een – ongevraagd – advies geschreven om haar zorgen te uiten over de voortgang van de digitalisering van de overheid. Want ‘’vooralsnog geschiedt dat echter niet op een gecoördineerde wijze. Het gemak van het functioneren van de overheid staat voorop. Bij de implicaties daarvan voor de verhouding tussen overheid en burger wordt onvoldoende stilgestaan.’’ – (Raad van State, 2018, pp. 2).
Deze rapporten zijn veelal analyses van het functioneren van de overheid in de digitaliserende samenleving en worden aanbevelingen gedaan ten aanzien van het verbeteren daarvan. Het Rathenau Instituut heeft geconstateerd dat het toezichtkader rondom ontwikkelingen van kunstmatige intelligentie nog niet zo ver zijn ontwikkeld, ondanks de groeiende politiek-maatschappelijke aandacht. Hier is dus nog ruimte ter aanvulling van het politiek-maatschappelijk debat.
1.3 Leeswijzer
Allereerst zal het theoretisch raamwerk worden geformuleerd. Hierin zullen verschillende theorieën over kunstmatige intelligentie, toezicht en publieke waarden worden weergegeven. Vervolgens zal het functioneren van twee de toezichthouders worden geëvalueerd met betrekking tot het beschermen van de publieke waarden van burgers en consumenten in een omgeving van algoritme gedreven technologieën. Aan de hand van de theorie, interviews en een primair bronnenonderzoek zal in de analyse worden getoetst in hoeverre de twee toezichthouders in staat zijn om goed toezicht te houden en de publieke waarden te borgen. Dit zal in de conclusie worden gepresenteerd. Vervolgens zal er een aanbeveling worden gedaan voor de beste toezicht structuur ten aanzien van het borgen van publieke waarden in het tijdperk van algoritmische besluitvorming kunstmatige intelligentie en big data.
9
Hoofdstuk 2 Theoretisch kader
2.0 Introductie
In dit hoofdstuk zullen drie thema’s worden behandeld. Ten eerste, algoritmische besluitvorming en kunstmatige intelligentie. Hoewel algoritmen en het gebruik van automatische besluitvorming niet nieuw is in de publieke sector zijn de toepassingen en mogelijkheden van algoritmen de laatste jaren enorm veranderd. De belastingdienst maakt al sinds de jaren vijftig gebruik van geautomatiseerde systemen om de jaarlijkse 17 miljoen belastingaanslagen te versturen. Sinds de jaren negentig wordt automatische besluitvorming ook op diverse andere terreinen gebruikt in de uitvoerende sector van de overheid zoals bijvoorbeeld het automatisch verlenen en uitbetalen van studiefinanciering of de kinderbijslag (Van Eck, 2019). Door het gebruik van kunstmatige intelligentie wordt het automatiseringsproces binnen diverse takken van overheid flink versneld. Uit een onderzoek van Doove & Otten (2018) blijkt dat ongeveer één op de acht overheidsinstanties inmiddels gebruik maakt van algoritmen binnen de organisatie, een ander deel van de respondenten geeft dit in de toekomst te willen doen.5 Om de implicaties en mogelijke risico’s van het gebruik van algoritmen goed in kaart
te kunnen brengen is van belang om te weten wat algoritmen zijn, wat de relatie met kunstmatige intelligentie is en hoe dat invloed zou kunnen hebben op de publieke waarden. Dat zal in dit eerste subhoofdstuk van het theoretisch kader worden beschreven.
Vervolgens wordt er een beschrijving gegeven van de meest recente verandering binnen de overheid. Door de tijd heen zijn de waarden van ‘good governance’, de waarden waarop de overheid zijn gedraging motiveert, veranderd. Bij het ontstaan van de democratische rechtstaat kende de Nederlandse samenleving een zogeheten Nachtwakerstaat, een overheidsvorm waarin de taken van de overheid zich beperkten tot de kern, orde en veiligheid van haar onderdanen. Door sociale, maatschappelijke en technologische ontwikkelingen zijn, de taken van, en rollen binnen overheid veranderd (Meer, 2012b). Waaronder ook de rol van de ambtenaar. Wat deze verandering heeft betekend voor de normen en waarden binnen de overheid en hoe de rol van de ambtenaar is veranderd wordt hier besproken.
Het derde thema van het theoretisch kader is gewijd aan toezicht en toezichthouders. Toezichthouders zijn de bewakers van publieke waarden en beschermen burgers tegen overheden en bedrijven. In deze paragrafen zal worden beschreven wat toezicht is, waarom er toezicht is, welke vormen van toezicht er zijn en hoe toezicht tot stand komt. Inzicht in de werking van toezicht en het belang van toezicht is nodig om te begrijpen in hoeverre de huidige toezichtkaders voldoen aan de eisen van het digitale tijdperk.
Tot slot zal als laatste onderdeel van dit hoofdstuk het conceptueel raamwerk worden gepresenteerd met daarin diverse hypothesen over de verwachtte relaties tussen de verschillende onderwerpen ter ondersteuning van het beantwoorden van de onderzoeksvraag.
5 Het onderzoek van het CBS had een beperkt aantal respondenten. De helft van de respondenten (ca. 87 van
de 378 ondervraagde organisaties heeft gerespondeerd op de vragenlijst van het CBS) geeft aan dat ze gebruik maken van algoritmen. Toch geeft dit onderzoek een trend aan van een toenemend gebruik van algoritmen binnen de overheid (Doove & Otten, 2018).
10
2.1 Inleiding
‘’Een algoritme is een set instructies om een bepaalde taak uit te voeren. Aan de hand van data die in het algoritme worden ingevoerd, wordt in verschillende stappen toegewerkt naar het beoogde eindresultaat, bijvoorbeeld het toekennen van een toeslag. Op basis van dat resultaat kan men dan actie ondernemen (toeslag wel of niet toekennen). De precieze stappen die worden doorlopen verschillen per algoritme. In het algemeen geldt dat deze stappen variabelen bevatten, bijvoorbeeld de hoogte van het inkomen als relevante factor voor het toekennen van de toeslag.’’ (Dekker, 2018b). Big Data, Internet of Things (IoT) en kunstmatige intelligentie zijn termen die vaak in een adem worden genoemd met algoritmen. Maar wat de verhouding tussen deze begrippen is, is voor velen onduidelijk. Des te meer reden om uiteen te zetten hoe deze begrippen zich tot elkaar verhouden. Want allen zijn ze direct met elkaar verbonden en spelen een steeds grotere rol in de digitalisering van onze samenleving. Deze algoritmische besluitvorming wordt inmiddels in bijna elke sector gebruikt, van de gezondheidszorg tot het opsporen van criminaliteit tot de financiële sector en het vereenvoudigen van huishoudelijke taken. De drie eerder genoemde termen hebben een bindende factor: algoritmen (Gerards, Nehmelman, & Vetzo, 2018, pp. 13). In de komende paragrafen zal dit verder uiteengezet worden.
2.1.1 Algoritmen en kunstmatige intelligentie
“Artificial intelligence (AI) systems are software (and possibly also hardware) systems designed by that, given a complex goal, act in the physical or digital dimension by perceiving their environment through data acquisition, interpreting the collected structured or unstructured data, reasoning on the knowledge, or processing the information, derived from this data and deciding the best action(s) to take to achieve the given goal. AI systems can either use symbolic rules or learn a numeric model, and they can also adapt their behaviour by analysing how the environment is affected by their previous actions.’’ (AI HLEG, 2019a)
Kunstmatige intelligentie is een term die wordt gebruikt om te benoemen dat computers zelfstandig besluiten kunnen nemen op basis van data. Dit kunnen de computers doen door de programma’s die ten grondslag liggen aan het besluitvormingsproces: algoritmen. Aangezien er vele vormen van algoritmen zijn, bestaat er ook niet één type kunstmatige intelligentie. Grofweg kan er onderscheid worden gemaakt tussen twee type algoritmen die worden gebruikt voor kunstmatige intelligentie, ‘oude/domme algoritmen’ en ‘nieuwe/slimme algoritmen’.
Ten eerste, rule based of ‘domme’ of ‘oude’ algoritmen. Deze algoritmen fungeren als een beslisboom. Een opdracht wordt top-down, met een beperkt aantal variabelen en drempelwaarden, door een keuzeboom gehaald. Als een drempelwaarde wordt gehaald gebeurt [X], zo niet dan [Y]. Een voorbeeld is het IFTTT-algoritme (If This Then That), wat bijvoorbeeld in veel Smart homes wordt gebruikt door middel van IoT toepassingen. Dit proces herhaalt zich tot de keuzemogelijkheden ophouden en of er een eindproduct of antwoord is geformuleerd. Dergelijke algoritmen worden al tientallen jaren gebruikt door uitvoerende instanties bij de overheid, bijvoorbeeld door de belastingdienst (Dekker, 2018b) (Van Eck, 2019).
Ten tweede, case based- algoritmes. Dit zijn ‘slimme’ of ‘nieuwe’ algoritmes. Via zogenaamde feedback loops kunnen deze algoritmes zichzelf aanpassen op basis van resultaten uit eerder uitgevoerde analyses om de resultaten te verfijnen, dit wordt machine learning genoemd (Vetzo e.a., 2018). Dit gebeurt onder de supervisie van mensen. Mensen blijven betrokken bij dit proces om
11 resultaten te interpreteren en te beoordelen. Zodoende wordt het algoritme getraind (Vetzo e.a., 2018, pp. 24). Door het zelflerende vermogen kunnen er op basis van uitkomsten van ‘oude’ cases voorspellingen worden gedaan over vergelijkbare, maar nieuwe, cases. Slimme algoritmes zijn in staat om zelf verbanden te zoeken tussen grote hoeveelheden data (Big Data). Om deze verbanden te vinden kunnen er diverse technieken worden gebruikt zoals: classificatie-, cluster-, regressie- en associatietechnieken (Vetzo e.a., 2018, pp, 20).6 Deze verbanden tonen vaak in ieder geval correlaties,
maar ‘gezond verstand’ bij computers ontbreekt nog en zijn daarom nog niet in staat om causale relaties te herkennen (Mols, 2018).
De meest nieuwe vorm van kunstmatige intelligentie maakt gebruik van verschillende lagen van neurale netwerken die onderling waarden uitwisselen in enorme datasets (big data) waardoor verbanden kunnen worden gelegd die mensen zelf moeilijk kunnen vinden. Hoe meer lagen, hoe complexer de vraagstukken die het programma kan oplossen (Vetzo e.a., 2018). Deze worden op eenzelfde wijze getraind als case-based algoritmen, namelijk op basis van oude cases, dit wordt deep learning of machine learning genoemd. Echter, het gevolg van deze vorm van kunstmatige intelligentie is dat de manier van redeneren van het algoritme zo complex en ingewikkeld is dat mensen het niet kunnen bevatten (Dekker, 2018)(Van Eck, 2019).
2.1.1 Profilering
Een toepassing van het gebruik van zelflerende algoritmen is het profileren van mensen. Op basis van grote hoeveelheden data, worden individuen ingedeeld op basis van persoonskenmerken met als doel het analyseren of voorspellen van gedrag, interesses of capaciteiten van individuen of groepen (Vetzo e.a., 2018, pp. 20-31). Er is sprake van profileren als hiervoor gebruik wordt gemaakt van automatische verwerking van persoonsgegevens.
Profilering wordt in artikel 4, lid 4 van de AVG als volgt gedefinieerd: ‘’elke vorm van geautomatiseerde verwerking van persoonsgegevens waarbij aan de hand van persoonsgegevens bepaalde persoonlijke aspecten van een natuurlijke persoon worden geëvalueerd, met name met de bedoeling zijn beroepsprestaties, economische situatie, gezondheid, persoonlijke voorkeuren, interesses, betrouwbaarheid, gedrag, locatie of verplaatsingen te analyseren of te voorspellen’’ - (GROEP GEGEVENSBESCHERMING ARTIKEL 29, 2018, pp. 7).
2.1.2 Geautomatiseerde besluitvorming
Een andere toepassing van kunstmatige intelligentie is geautomatiseerde besluitvorming. Geautomatiseerde besluitvorming is een proces waarbij zonder tussenkomst van mensen besluiten worden gemaakt. Dit kan zijn op basis van profilering, maar ook op basis van oude algoritmen. Als een overheidsbesluit wordt genomen op basis van algoritmen betreft een besluit in de zin van artikel 1:3, eerste lid, van de Algemene wet bestuursrecht: besluiten zonder directe menselijke tussenkomst. Het gaat dan om besluiten die worden genomen op grond van door mensen ontwikkelde beslisregels (Van Eck, 2017b).. Het gebruik van algoritmische besluitvormingsmodellen is erg populair doordat algoritmen veel beter in staat zijn dan mensen om grote hoeveelheden data op een efficiënte, ordelijke en inzichtelijke wijze te verwerken (Dekker, 2018).
6 Zie Algoritmes en Grondrechten (Vetzo e.a., 2018) pagina’s 20-21 voor meer informatie betreffende deze
12
2.1.3 - Toepassingen van kunstmatige intelligentie
Automatische besluitvorming in combinatie met profileringstechnieken hebben al diverse toepassingen in de samenleving. Zo worden profilerings-en data-analyse technieken in toenemende mate gebruikt door veiligheidsdiensten voor het voorspellen en opsporen van criminaliteit (Zuiderveen Borgesius, 2018, pp. 14). De Belastingdienst maakt al sinds de jaren vijftig gebruikt van de simpele vorm van kunstmatige intelligentie, ofwel ‘oude’ kunstmatige intelligentie (Dekker, 2018). De belastingaanslag van miljoenen mensen wordt al jaren, op basis van rule based algoritmen, vooraf ingevuld. Daarnaast gebruikt de belastingdienst case based algoritmen voor data analyses om fraude te bestrijden en efficiënter te controleren (Vetzo e.a., 2018, pp. 27). Ook in de onderwijssector worden case based data-analyses uitgevoerd om verbanden te onderzoeken tussen studieresultaten en andere variabelen. Het kan echter ook meer ingrijpende gevolgen hebben als algoritmen bijvoorbeeld automatische geen lening of hypotheek verstrekken of classificeren als terrorist of het aanmerken als fraudeur (Vetzo e.a., 2018, pp. 25).7
2.1.2 - Risico’s van kunstmatige intelligentie
Het gebruik van kunstmatige intelligentie heeft een onweerlegbaar positieve invloed op de efficiëntie en effectiviteit van de publieke dienstverlening. Maar niet geheel zonder risico’s. Algoritmen die de basis vormen van kunstmatige intelligentie ‘’kunnen worden gekarakteriseerd als ondoorzichtige en niet-neutrale menselijke constructen’’ (Gerards e.a., 2018, pp. 48). Menselijke constructen zijn niet per definitie foutloos. Aangezien mensen verantwoordelijk zijn voor het programmeren van algoritmes kunnen er twee soorten fouten voorkomen. Ten eerste kunnen er fouten of vooroordelen worden verwerkt in de broncode van het algoritme door de programmeur. Dit kan gevolgen hebben voor de uitkomst van de analyses en dus op de besluiten die worden genomen (Vetzo e.a., 2018). Het tweede risico op een bias komt voort uit het gegeven dat computermodellen alleen de abstracte regels volgen zoals deze worden geprogrammeerd zonder rekening te houden met omstandigheden van een bepaalde casus. Regels zijn ontworpen om op verschillende manieren in verschillende casussen te worden geïnterpreteerd, een computerprogramma houdt geen rekening met externe omstandigheden van een specifiek geval (Raad van State, 2018, pp. 8). Bij machine learning kan er nog een andere bias ontstaan. Zelflerende algoritmen verfijnen hun eigen output door middel van een training set met data van oude cases. Als er in de oude cases een bias zit, wordt die bias uitvergroot door het algoritme.
Als er sprake is van een bias van een algoritme is in het geval van ‘domme’ algoritmes nog relatief gemakkelijk om aan te passen. Echter, ‘’Wanneer slimme algoritmes in een Big Data-setting worden ingezet, blijken zelfs computerexperts niet altijd in staat om de werking en uitkomst va een algoritme te begrijpen’’ (Gerards e.a., 2018, pp. 49). De complexiteit van algoritmes neemt toe zodra meerdere algoritmes met elkaar worden verbonden, waarbij algoritme B voortbouwt met informatie uit algoritme A. Ontwerpfouten van ‘slimme’ algoritmes die op elkaar zijn aangesloten zijn veel moeilijker te ontdekken. De ‘receptuur’ van het algoritme is dan een black box en in-en output is bekend. De throughput is onbekend. Hierdoor is het moeilijk om de uitkomst van het algoritme op waarde te schatten en uit te leggen. Kortom, garbage in leidt tot garbage out. Dat kan ongewenste externe effecten veroorzaken zoals discriminatie of uitsluiting (Kool e.a., 2017, pp. 72). Hieronder zal een voorbeeld worden gegeven van een risico voor betrokkenen als gevolg van een dataset met een bias voor het gebruik van slimme algoritmen of ‘nieuwe’ kunstmatige intelligentie.
13 Een voorbeeld van een reel effect van bias in trainingsdata (input) van een algoritme is de ‘sollicitatierobot’ van Amazon. In 2014 had Amazon een eigen sollicitatie algoritme geïntroduceerd om op een efficiëntie wijze sollicitatiebrieven en Cv’s te verwerken. Het algoritme werd getraind met de resultaten van uitkomsten van eerdere sollicitatie ronden van het bedrijf. Gevolg was dat er enkel hoog opgeleide witte mannen werden aangenomen, vrouwen werden gediscrimineerd (Gils, 2018)(Zuiderveen Borgesius, 2018, pp. 15).
Een bias in algoritmen die worden gebruikt voor publieke besluitvorming leidt tot twee problemen. Ten eerste een probleem van transparantie. Enerzijds wil en moet de overheid transparant zijn over haar besluitvormingsproces, anderzijds kan bijvoorbeeld de belastingdienst het algoritme dat wordt gebruikt om belastingfraude op te sporen niet openbaar maken omdat dit zou kunnen leiden tot (belasting) ontwijkend gedrag. Ten tweede, een probleem van verantwoording. Burgers hebben het recht op besluitvorming met menselijke tussenkomst en moeten tegen overheidsbesluiten in bezwaar kunnen gaan. Als de overheid gebuikt maakt van kunstmatige intelligentie, waarbij sprake is van géén menselijke tussenkomst en de onderliggende algoritmen niet transparant zijn of (kunnen) worden uitgelegd heeft de burger geen mogelijkheid om in bezwaar te gaan tegen een dergelijk besluit, omdat een bezwaar gemotiveerd moet worden. Zonder kennis over de basis van welke variabelen een besluit is genomen wordt dit erg moeilijk. In de wet wordt echter uitzondering gemaakt voor geautomatiseerde besluitvorming met een wettelijke grondslag, zolang daarbij ‘passende’ maatregelen worden genomen ter bescherming van de rechten en vrijheden van burgers.8 Wat deze
‘passende’ maatregelen zijn wordt niet duidelijke uit de AVG of de uitvoeringswet. In de Uitvoeringswet AVG (UAVG) wordt invulling gegeven aan de aard wettelijke grondslag waarop de uitzonderingen gebaseerd kunnen worden. “Artikel 22, eerste lid, van de verordening geldt niet als de in die bepaling bedoelde geautomatiseerde individuele besluitvorming, anders dan op basis van profilering, noodzakelijk is om te voldoen aan een wettelijke verplichting die op de verwerkingsverantwoordelijke rust of noodzakelijk is voor de vervulling van een taak van algemeen belang.” (Artikel 40, eerste lid van de UAVG).
In de private sector zou openbaring van de ‘geheime receptuur’ een potentieel risico zijn voor de concurrentiepositie van bedrijven (Gerards e.a., 2018, pp. 50). Ook is het principe van dataveiligheid en transparantie voor burgers in die sector minder relevant. Als burgers vinden dat bedrijf X niet goed omgaat met hun persoonsgegevens is er vaak de mogelijkheid om over te stappen naar een andere aanbieder. Bij de overheid is deze mogelijkheid er niet. Een voorbeeld waarbij een black box algoritme heeft geleid tot een bestuurlijk probleem dat is uitgevochten bij de Afdeling bestuursrechtspraak van de Raad van State (ABRvS) (Barkhuysen & Jak, 2018).
Vergunningsaanvragen voor agrarische bedrijven voor het uitstoten van stikstof in Natura 2000-gebieden werden afgewezen door de autoriteiten op basis van het rekenmodel AERIUS.9
In de uitspraak werd gesteld dat de invoergegevens waarop het besluit was gebaseerd, niet konden worden gecontroleerd (Raad van State, 2018, pp. 8). De uitspraak van de ABRvS stelt dat: ‘’Als de overheid zijn beslissingen baseert op een computerprogramma, dan kan dit alleen als dit geen ‘black box’ is voor de burger en de rechter. Het bestuursorgaan dat het besluit neemt moet informatie over gemaakte keuzes, gebruikte keuzes en aannames volledig, tijdig en adequaat ter beschikking stellen. Dit moet het mogelijk maken de gemaakte keuzes en de
8 Artikel 22, eerste lid, en tweede lid, onder b, van de AVG
14 gebruikte gegevens en aannames te (laten) beoordelen en zo nodig gemotiveerd te betwisten.’’ (Van Eck, 2017a, pp. 395) (Raad van State, 2018, pp. 8). Deze afweging voor transparantie is voortgekomen uit de overweging dat er sprake moet zijn van equality of arms. Een gelijke machtsverhouding tussen overheid en derden te behouden (Van Eck, 2017a, pp. 395).
2.1.3 Publieke waarden onder druk door kunstmatige intelligentie
Het Rathenau Instituut heeft in opdracht van de Eerste Kamer onderzoek gedaan naar de ethische implicaties van het gebruik van kunstmatige intelligentie bij de overheid. ‘’Ethiek definiëren we hier als de systematische reflectie op de moraal, het geheel van normen en waarden die feitelijk bestaan in een samenleving’’ (Kool e.a., 2017, pp. 18). Het Rathenau Instituut heeft aan de hand van deze definitie publieke waarden geformuleerd, door de analyse van feitelijke normen en waarden uit in de samenleving. In het rapport beschrijven zij een zestal publieke waarden, die zijn waargenomen in de samenleving, die worden bekneld door het gebruik van kunstmatige intelligentie. In de komende paragrafen zullen deze ethische waarden worden beschreven10.
2.1.3.1 Privacy
De opkomst van kunstmatige intelligentie, Big Data en IoT in zowel de publieke als private levenssfeer zorgt voor nieuwe ethische vraagstukken, waar nog maar beperkte antwoorden voor zijn gevonden. Onbewust geven we als consument en burger veel data weg zonder dat we weten wat ermee gebeurt. Bijvoorbeeld door het gebruik van smartphones en IoT-toepassingen die real-time gegevens verzamelen over onze dagelijkse bezigheden. Een voorbeeld van een publieke toepassing van Big Data en kunstmatige intelligentie is het Systeem Risico Indicatie (SyRI) dat op basis van ‘’onder andere boetes, schulden, uitkeringen, onderwijs en inburgering binnen een beveiligde digitale omgeving versleuteld, gecombineerd en geanalyseerd worden om effectiever te zoeken naar mensen die uitkeringen of toeslagen misbruiken.’’ (Kool e.a., 2017, pp. 69). Door zowel de RvS als de AP werd kritiek geleverd op dit systeem omdat het een grote impact heeft op de privacy van burgers.
De huidige handelingswijze waarbij de gebruiker via goedkeuring van bijvoorbeeld Algemene Voorwaarden, toestemming geeft aan private of publieke partijen om gegevens te verzamelen blijkt niet geschikt voor de toekomst. Daarnaast wordt de reikwijdte van het gebruik van technologieën groter doordat er op veel meer manieren gegevens van individuen kunnen worden verzameld. Denk bijvoorbeeld aan gezichtsherkenningstechnieken waarmee door publieke en private partijen van een afstand informatie over een individu kan worden verzameld door middel van het analyseren van micro expressies op het gezicht of lichaamshouding. Dergelijke technologische controle kan de mentale privacy inperken en verminderd de mogelijkheid om eigen gedachten en emoties privé te houden, ofwel de vrijheid (Kool e.a., 2017, pp. 74-75).
10 In het kader van het bijdragen aan de maatschappelijke discussie is gekozen om de maatschappelijke
waarden zoals deze worden gebruikt door de volksvertegenwoordiging te handteren aangezien deze waarden momenteel worden gezien als de ‘publieke waarden’. Omwille van relevantie worden alleen de publieke waarden besproken die betrekking hebben op het onderzoek: privacy, autonomie, transparantie van technologie, rechtvaardigheid en machtsverhouding.
15
2.1.3.2 Autonomie
Autonomie komt erg overeen met privacy en betreft de vrijheid van de ontwikkeling van de eigen identiteit zonder inmenging van buitenaf (Hildebrandt, 2012, pp. 48). De maakbaarheid van ons eigen leven komt onder druk te staan naarmate de hoeveelheid automatische beslissingen die in onze directe leefomgeving toeneemt. Enerzijds is er sprake van verhoogd gebruiksgemak en efficiëntie winsten. Anderzijds weten we niet op basis waarvan besluiten worden genomen en in hoeverre we worden gestuurd in ons dagelijks leven of maatschappelijke opvattingen door commerciële belangen van de aanbieders van onlinediensten of de overheid. Hoe onbevangen en vrij kan iemand nog in zijn eigen huis leven als hij weet dat alle stappen die hij zet worden gemonitord door de overheid of een bedrijf dat uit is op commercieel gewin? (WRR, 2016, pp. 22). Het afdwingen of uitlokken van bepaald gedrag kan de persoonlijke autonomie schaden (Kool e.a., 2017). Dit gebeurt onder andere met het gebruik van sociale media. Voorbeelden hiervan zijn de tijdlijn van Facebook en de Google search engine. Algoritmen bepalen welk nieuws mensen te zien krijgen op basis van hun eigen online zoek en klikgedrag en dat van hun vrienden (Kool e.a., 2017). Onbewust wordt hierdoor het menselijk gedrag gestuurd waardoor ze dingen kunnen doen die ze anders niet zouden doen (Susskind, 2019, pp. 1-5). Dit wordt het ‘chillings effect’ genoemd (Vetzo e.a., 2018, pp. 127). Daarnaast worden mensen ingedeeld in bubbels van mensen met eenzelfde kijk op het leven. Dit voedt onder andere de maatschappelijke verschillen in de samenleving. (Kool e.a., 2017, pp. 70). Zo zijn platforms als Twitter en Facebook bekritiseerd voor medewerking aan het verspreiden van desinformatie en daarmee beïnvloeden van de Amerikaanse presidentsverkiezing van 2016 (Zandbergen, 2018).
2.1.3.3 Transparantie van technologie
Geautomatiseerde besluitvorming speelt zowel in de publieke als private levenssfeer in toenemende mate een belangrijke rol, deze rol zal de komende jaren alleen maar groter worden en meer toepassingen krijgen. Zo wordt er onderzoek gedaan naar toepassingen voor automatische en algoritmische besluitvorming in de rechtspraak en de medische sector. Door de complexiteit en ondoorgrondelijkheid van de kunstmatige intelligentie die ten grondslag ligt aan besluitvorming wordt het moeilijk te achterehalen op basis van welke assumpties een besluit is genomen. Dit leidt tot vraagstukken van verantwoordelijkheid en verantwoording over de genomen besluiten en de mate waarop algoritmen als legitiem kunnen worden beschouwd. Iemand wil wel geïnformeerd worden over de wijze waarop een besluit wordt genomen. Zeker in het geval van algoritmische toepassingen in de rechtspraak en de zorg sector kunnen besluiten ingrijpende gevolgen hebben.
Om deze problemen op te lossen heeft Diakopoulous (2016) een set van vijf voorwaarden ontwikkeld waarmee de transparantie van algoritmische besluitvorming moet worden gerealiseerd.
1. Menselijke betrokkenheid: er moet duidelijk worden wie controle heeft over het algoritme, wie de verantwoordelijkheid draagt en door welke partij een algoritme is ontwikkeld;
2. Data: de kwaliteit en accuratesse van data, samen met een overzicht van de gebruikte data waarop het besluit berust moet inzichtelijk worden;
3. Het model: er zou moeten worden uitgelegd op basis van welke assumpties een besluit wordt genomen en hoe bepaalde variabelen worden gewogen;
4. Inferentie: de risico’s van het gebruik van het algoritme moeten in kaart worden gebracht. Wat zijn de foutmarges en waar worden deze door veroorzaakt;
5. Gebruik van het algoritme: er moeten regels komen over wanneer en waarvoor algoritmen mogen worden gebruikt.
16 Hoe meer de ontwikkeling van dit soort systemen door de overheid wordt uitbesteed aan private partijen die geen ‘kijkje in de keuken’ geven, hoe moeilijker het voor de overheid wordt om controle te houden over dergelijke systemen (Kool e.a., 2017, pp. 76). Hierdoor komt de legitimiteit van de besluitvormingsmodellen van de overheid onder druk te staan. Er is echter een probleem, namelijk dat dat bedrijven hun ‘geheime recept’ niet prijs willen geven omdat dit hun concurrentiepositie zou kunnen schaden (Diakopoulos, 2016, pp. 59-61)(Kool e.a., 2017, pp. 70-72). Vooral in gebieden als de gezondheidszorg en de rechtspraak is het relevant en essentieel om te weten hoe een computer tot een bepaald besluit komt. Soms zelf een geval van leven of dood.
2.1.3.4 Rechtvaardigheid
Kunstmatige intelligentie en daarmee computerbesluiten, zijn niet feilloos. Het zijn menselijke constructen die verkeerde aannames of vooroordelen kunnen bevatten waardoor de uitkomst van een algoritmisch besluitvormingsproces een verkeerd oordeel velt. Dit kan leiden tot vormen van ongelijke behandeling, discriminatie en uitsluiting. Zoals is geschetst in het voorbeeld van de sollicitatie robot van Amazon. Door middel van automatisering en profilering. Een digitaal profiel dat van iemand wordt geschetst kan nadelige gevolgen hebben en leiden tot een selffulfilling prophecy (Custers, 2018, pp. 12). Victoria Eubanks heeft in haar boek Automating Inequality: How High-Tech Tools Profile, Police, and Punish the Poor, verschillende cases onderzocht waaruit bleek dat het gebruik van zelflerende algoritmen leidde tot uitsluiting van met name de laagste sociale klassen doordat die veelal in computer systemen van de overheid zijn opgenomen doordat deze groep meer hulpbehoevend is dan rijkere bevolkingsgroepen (Carter, 2018). Dit verschijnsel wordt omschreven als ‘digitale predestinatie’ (AP, 2014).
Het gebruik van data in de opsporing van criminaliteit raakt aan het principe van onschuld. Normaliter worden er pas gegevens verzameld over iemand zodra deze wordt gemarkeerd als verdachte. De hoeveelheid data maakt het echter mogelijk om criminaliteit te voorspellen en risicoprofielen op te stellen voordat er daadwerkelijk een misdaad is begaan (Kool e.a., 2017, pp. 73).
2.1.3.5 Machtsverhoudingen
De data die we online achterlaten wordt voornamelijk verzameld en beheerd door private partijen. Alle handelingen die we op deze private platforms verrichten worden gemonitord en opgeslagen en of in grote datapakketten door verkocht aan de hoogste bieder. De algemene voorwaarden waarin staat dat dit kan en mag met jouw persoonsgegevens zijn voor de leek ondoorgrondelijk. Toch blijven we gebruik maken van deze private partijen. critici stellen dat dit leidt tot een situatie waarin mensen het zelfbeschikkingsrecht over de eigen digitale representatie kwijtraken (Kool e.a., 2017, pp. 73).
Aangezien ook de overheid steeds meer data aan het verzamelen is moet er ook gewaakt worden voor een toenemende invloed van de overheid in de persoonlijke levenssfeer. Waarbij door middel van nudging, de overheid het gedrag van burgers zou kunnen sturen. Als gevolg van het toenemende gebruik van dataverzameling door de overheid groeit de informatie-asymmetrie met de burger. Het gedrag van burgers wordt transparanter terwijl het gedrag van de overheid door het gebruik van complex algoritmen steeds minder transparant wordt. Bijvoorbeeld, in een Chinese deelstaat wordt het gedrag van burgers gemonitord door middel van gezichtsherkenning, wat resulteert in een ‘gedragsscore’ wat vervolgens invloed heeft bij de aanvraag van overheidsdiensten of het solliciteren naar een baan (Kool e.a., 2017).
17
2.1.4 Overzicht 2.1
Het hierboven beschreven toont dat ontwikkeling van de het toenemende gebruik van algoritmen gedreven besluitvorming in het openbaar bestuur niet geheel zonder risico is. Mensen kunnen worden geconfronteerd met overheidsbesluiten waarvan de besluitgronden door complexe algoritmen niet zijn te doorgronden en daardoor wordt beperkt in de mogelijkheden om in bezwaar te gaan. Daarnaast kan het zijn dat mensen worden benadeeld door het gebruik van algoritmisch profileren waardoor risico’s als discriminatie en uitsluiting op de loer liggen.
2.2 De veranderende overheid
De overheid is continu aan verandering onderhevig. Door de tijd heen veranderen normen en waarden waarop de overheid haar functioneren baseert als gevolg van maatschappelijke, technologische en politieke veranderingen. Deze normen en waarden bepalen de wijze waarop de overheid met de samenleving interacteert. In de afgelopen vier decennia is de overheid aan het veranderen van een verzorgingsstaat naar een voorwaardenscheppende staat. Hierdoor veranderen de normen en waarden binnen de overheid, de interactie met de samenleving en het verwachtingspatroon van ambtenaren. Begrip van de drijfveren van de overheid is van belang om te begrijpen wat de implicaties van het gebruik van algoritme gebaseerde technologieën zijn op de samenleving. Daarnaast kan begrip van de drijfveren van de overheid een kader bieden voor de maatschappelijke en ethische uitdagingen die voortkomen uit het gebruik van deze technologieën. Ten slotte zal worden beschreven hoe de hervormingen van de overheid invloed hebben op de publieke waarden die ‘in de knel’ komen door het gebruik van nieuwe technologieën zoals omschreven door het Rathenau Instituut.
2.2.1 Hervormingen van de overheid
Hervormingen zijn niet nieuw, al sinds het ontstaan van het Nederlandse staatbestel worden er hervormingen doorgevoerd om te voldoen aan eigentijds kwaliteitseisen aan het openbaar bestuur en maatschappelijke ontwikkelingen (Van der Meer, 2012, pp. 5). Voorbeelden van relevante factoren die hebben geleid tot hervorming zijn bijvoorbeeld: “nieuwe informatie en communicatietechnologieën, management en bedrijfsvoeringtechnieken, toenemende individualisering, het hogere gemiddelde opleidingsniveau van burgers, de hogere leeftijdsverwachting, en vergrijzing.” (Van der Meer, 2012, pp. 6). Dergelijke ontwikkelingen hebben invloed op de geldende normen en waarden waarop het openbaar bestuur haar functioneren baseert. De snelheid en de impact van hervormingen die worden doorgevoerd daarentegen verschilt. De verandering van het openbaar bestuur wordt in de literatuur uitgelegd als een overgang van government naar governance.
2.2.2 Van de verzorgingsstaat naar de voorwaardenscheppende staat
De periode tot 1980 werd de staat gekenmerkt als verzorgingsstaat, gebaseerd op principes als rechtmatigheid, gelijkheid en legaal-rationeel gezag. De periode daarna wordt gekenmerkt door een periode van bezuiniging, een compacte overheid die minder invloed heeft op het leven van de ingezetenen (Van der Meer, 2012, pp.11 ). De kritiek op de verzorgingsstaat ontstond als gevolg van toenemende werkloosheid en de daardoor stijgende kosten van het socialezekerheidsstelsel van de verzorgingsstaat. Om het tij te keren werd er in de periode van kabinet Lubbers I tot en met Lubbers III (1982-1994) flink hervormd binnen het openbaarbestuur. Deze hervormingen gingen gepaard met een nieuwe visie op maatschappij en bestuur die overkwam uit de Angelsaksische landen: New Public Management (hierna: NPM). Deze stroming had het motto ‘run government like a business’ waarbij
18 de overheid niet moest roeien maar sturen (Osborne & Gaebler, 1992). De introductie NPM ging gepaard met vier bestuurlijke trends (Hood, 1991): (1) het afremmen van de groei van de overheid zowel in financiële als personele zin(Van der Meer, 2012b); (2) sturing op meer privatisering en publiek private samenwerkingen, met nadruk op subsidiariteit van diensten; (3) ontwikkeling en gebruik van automatisering van de overheid met betrekking tot dienstverlening en uitvoerende taken; (4) meer nadruk op het internationale aspect van het bestuurlijk domein en het decentraliseren van taken en bevoegdheden (Hood, 1991). Dit wordt Multi level governance genoemd (Van der Meer, 2012b).
Naast een paradigma verschuiving van het politiek-bestuurlijk domein was er ook sprake van een verschuiving van de leidende normen en waarden waarop de overheid haar handelen legitimeerde. Er werd meer nadruk gelegd op marktwerking, output en performance, doelmatigheid en efficiëntie voerde de boventoon (Hood, 1991). Het resultaat werd belangrijker dan de weg er naartoe. Ook de rol van de burger en ambtenaar veranderde. De burger werd klant, vanuit het idee dat decentralisering en marktwerking zou leiden tot betere prijzen (Van Dorp, Overmans, Geuijen, Noordegraaf, & T Hart, 2018). De rol van ambtenaar veranderde, als gevolg van een bredere inzet van ICT en technologie, van street-level bureaucrat naar screen-level bureaucrat (Van Eck e.a., 2018) (zie 2.3). Daarnaast leidde de toenemende automatisering tot verdere digitalisering en automatisering van de overheid. Digitalisering van de overheid ‘’maakt dienstverlening aan burgers doelmatiger, sneller, beter, gedetailleerder en vaak veel uitgebreider, maar het betekent veelal ook dat het contact met de overheid daardoor verandert.’’ (Raad van State, 2018, pp. 6). Digitalisering leidt echter ook tot het uitvergroten ven kwetsbare groepen in de samenleving waardoor onderscheid ontstaat tussen de mensen die wel en niét mee kunnen komen met de digitaliseringsgolf. Dit zijn niet altijd alleen lager opgeleiden en ouderen maar ook Mkb’ers en zzp’ers die door gebrek aan middelen niet kunnen meekomen met de digitalisering en daardoor hun baan zien verdwijnen (Raad van State, 2018, pp. 4-5).
Onder invloed van NPM ontstond er parallel aan de verzorgingsstaat een nieuw paradigma vanuit de gedachte dat ‘’het openbaar bestuur (bestaande uit het geheel van overheden en andere instanties bekleed met publiek gezag) de randvoorwaarden schept voor een ordentelijk maatschappelijk verkeer, waarbij de samenleving zelf vormgeeft aan de invulling en uitvoering van de eigen en gedeelde belangen.’’ (Van der Meer, 2012, pp. 10). De klassieke nachtwakersstaat taken zoals openbare orde en veiligheid en handhaven van openbare rechtsorde zijn hiervan uitgesloten, dit blijft een taak van de overheid. In dit nieuwe kader worden de taken van overheid gekenmerkt door regulering, interveniëren, bemiddeling en het stimuleren van innovatie (Van der Meer, 2012a). Binnen het concept van de voorwaardenscheppende staat zijn drie essentiële onderdelen. Ten eerste, een goed functionerend juridisch systeem. Met een neutrale rechtsprekende macht, open en vrije toegang en heldere wetgeving. Ten tweede, dienen er onafhankelijke toezichthoudende instellingen te zijn om te garanderen dat er eerlijke concurrentie op de markt plaatsvindt. Ten slotte, dient een voorwaardenscheppende staat een betrouwbaar financieel systeem met een stabiele beleidsomgeving te hebben. Hierbij dient de staat als systeem verantwoordelijke te opereren om de vitale onderdelen van de samenleving draaiende te houden in tijden van crisis (Van der Meer, 2012b)(Van der Meer, 2009).
2.2.3 Tekortkomingen van de voorwaardenscheppende staat
Elk stelsel kent voor -en nadelen, zo ook de voorwaardenscheppende staat. In de periode na de bankencrisis van 2008 werd het belang van sterke onafhankelijke toezichthoudende instellingen
19 duidelijk. Duidelijk werd dat de ontwikkeling van ‘fraudeleuze’ financiële middelen in Amerika sneller is gegaan dan de institutionele toezicht kaders waardoor de bankencrisis is ontstaan. Als gevolg van digitalisering en globalisering zijn alle landen met elkaar verbonden en zijn een aantal zwakke plekken van de voorwaardenscheppende staat zichtbaar geworden. Hierdoor is er twijfel ontstaan over de capaciteit van de overheid om in te grijpen als dat nodig is, door de afstand tot de markt komt toezicht vaak te laat en of toezichthouders überhaupt voldoende kennis, capaciteit en middelen hebben om in te grijpen als dat nodig is (Van der Meer, 2012, pp. 18-19)(Van der Meer, 2012, pp. 11).
Naast de genoemde institutionele nadelen worden er door Van der Meer (2012) ook enkele oplossingen genoemd voor de tekortkomingen van de voorwaardenscheppende staat. Zo moet er in eerste plaats worden gekeken naar welke taken op afstand van de overheid kunnen worden geplaatst, zonder dat het functioneren van de overheid als systeemverantwoordelijke onder druk komt te staan. Hiervoor moet een gedegen afweging worden gemaakt tussen externaliseren en het behoud van kennis binnen de organisatie. In geval van inhuur moet voldoende aandacht worden besteed aan het internaliseren van kennis (Van der Meer, 2012, pp. 19).
2.2.4 Veranderende rol van de ambtenaar
De toename van het gebruik van ICT is een bepalende factor geweest in de veranderende rol van de ambtenaar en de overheid. De eerste stappen van de verandering zijn in gang gezet door de introductie van simpele, algoritmische, systemen in de jaren zestig en zeventig van de vorige eeuw. Uitvoerende taken zoals de belastingaangifte, verkeersboetes en uitkeringen in de sociale zekerheid die voorheen door ambtenaar werden vervuld werden steeds meer overgenomen door computers. Het persoonlijke contact van de street-level bureaucrat met burgers, verminderde. Waar burgers voorheen persoonlijk contact hadden met ambtenaren, als personificatie van de overheid, werden burgers steeds verder op afstand gezet van de overheid en meer gezien als dossiernummer. De street-level bureaucrat veranderde naar een screen-level bureaucrat. Die zich voornamelijk bezighield met het invullen van digitale formulieren en het controleren van computer besluiten (Van Eck e.a., 2018, pp. 2).
Met de opkomst van ‘slimmere’ technologieën vanaf de jaren negentig veranderde ook deze rol. Formulieren werden steeds verder automatisch in gevuld door de ontwikkeling van betere algoritmen die steeds meer databases aan elkaar koppelde. Hierdoor veranderde de rol van screen-level naar system-screen-level bureaucrats. Deze ambtenaren zien geen individuele casussen maar schrijven beslisregels, gebaseerd op wet -en regelgeving, die voor iedereen op eenzelfde manier handelen. Zij bepalen welke systemen worden gebruikt en welke data wordt gebruikt in het besluitvormingsproces zonder dat ze er zelf mee werken, of contact hebben met de mensen wiens leven ze beïnvloeden (Segal, 2018).
De opkomst van het gebruik van kunstmatige intelligentie, vooral de zelflerende systemen, heeft risico’s voor de samenleving. Dit komt doordat ‘’de discretionaire ruimte van de ze beslissystemen zich onttrekt aan politieke en juridische verantwoording’’ (Van Eck e.a., 2018, pp. 5). Het gebruik van dergelijke systemen gaat gepaard met een gebrek aan transparantie, kans op vooroordelen en bias (zie hoofdstuk 2.1). Hierdoor bestaat er de kans op inbreuk van fundamentele grondrechten van de mensen zoals het recht op privacy, non-discriminatie en de onschuldpresumptie (Van Eck e.a., 2018). Daarnaast is er nog een ander verantwoordingsvraagstuk van het gebruik van dergelijke algoritmische beslissystemen. Voorheen kon de ambtenaar, als personificatie van de overheid, verantwoordelijk worden gehouden voor haar eigen werk (Hupe & Hill, 2007, pp. 283). Daarbij was er niet alleen sprake van verticale verantwoording binnen het ambtenaren apparaat, maar
20 ook sprake van horizontale verantwoording en controle door eigen collega’s (Hupe & Hill, 2007, pp. 285-286) Inmiddels worden diverse overheidssystemen gemaakt door private partijen. Deze partijen zijn moeilijk te onderwerpen aan politieke verantwoording terwijl de professionals die werken met de systemen moeilijk kunnen achterhalen op basis waarvan de besluiten worden genomen door complexiteit van het systeem (Brauneis & Goodman, 2018, pp. 137 -152).
2.2.5 Overzicht 2.2
De invloed van digitalisering op de samenleving moet niet onderschat worden. Digitalisering hangt samen met een veranderende overheid met betrekking tot taken, structurering en kernwaarden. Daarnaast veranderd ook rol van de ambtenaar waardoor er een verschuiving van de discretionaire bevoegdheden van de uitvoerende ambtenaar, de street-level bureaucrat, naar degene de ambtenaren die het besluitvormingsmodel bepalen, de system-level bureaucrat.
2.3 Toezicht en toezichthouders
Toezicht heeft een drietal functies. Ten eerste een maatschappelijke functie om het publiek te beschermen tegen ongeregeldheden in de markt of fouten bij overheidsinstellingen door te zorgen voor naleving van wet -en regelgeving. Ten tweede, kan de politiek aan de hand van informatie die wordt vergaard door toezichthouders beleid bijsturen, op basis van maatschappelijke ontwikkelingen en effecten van beleid. Ten slotte fungeert toezicht als graadmeter voor de kwaliteit van de publieke diensten (Ministerie van Binnenlandse Zaken en Koninkrijksrelaties, 2005). ‘’Toezicht functioneert als mechanisme dat gedragingen in de markt kan bijsturen en zodanig kan bestraffen, niet als panacee tegen alles wat in de markt fout kan gaan.’’ (Docters van Leeuwen, 2015). Toezicht kent vele vormen en maten. In de komende paragrafen zal worden besproken wat toezicht is, welke vormen van toezicht er zijn en hoe en waarom toezicht tot stand komt.
2.3.1 Wat is toezicht
Om deze vraag te beantwoorden moet eerst worden gedefinieerd wat toezicht is. Door de Rijksdienst wordt de definitie van toezicht die de Algemene Rekenkamer gebruikt gehanteerd: ‘’Toezicht is het verzamelen van de informatie over de vraag of een handeling of zaak voldoe aan de daaraan gestelde eisen, het zich daarna vormen van een oordeel daarover en het eventueel naar aanleiding daarvan interveniëren.’’ (Staten-Generaal, 1997, pp. 8). Deze definitie van toezicht bevat drie onderdelen: informatieverzameling, evaluatie en actie. Dit wordt het ‘driecomponentenmodel’ genoemd (Ruimschotel, 2014). Echter, de definitie zoals hier geponeerd is erg breed en niet uitsluitend. Onder deze definitie van toezicht valt bijna alles. Van de keuze voor een product in de supermarkt tot praktisch alle organisatorische werkzaamheden bij de overheid en het bedrijfsleven. Een verduidelijking van wat in dit onderzoek onder toezicht wordt verstaan is daarom nodig.
Toezicht gaat over interventie in activiteiten van derden, conserveren en niet-creëren, beschermen, waken en zorgen en objectiviteit en beoordelen (Ruimschotel, 2014, pp. 6). Toezicht, en daarmee de toezichthouder, dient zich te onthouden van actieve inmenging in het ontwerp en de uitvoering van activiteiten van derden. In plaats daarvan dient een toezichthouder de activiteiten derden te beoordelen aan de hand van een vastgesteld kader van normen en waarden en te interveniëren middels de beschikbaar gestelde instrumenten indien de activiteiten van de onder toezicht gestelde daarvan afwijken. Hierbij moet er sprake zijn van een asymmetrische machtsverhouding tussen de toezichthouder en de onder toezicht gestelde, waarbij de toezichthouder
21 de bovenliggende partij is (Ruimschotel, 2014, pp. 5-9). Kortom: ‘’toezicht is het ‘kijken of het goed gaat’, maar ook ‘ervoor zorgen dat het goed gaat’ (Ruimschotel, 2014, pp. 12). Daarbij moet worden vermeld dat een toezichthouder niet noodzakelijkerwijs alle drie de elementen van het driecomponenten model hoeven uit te voeren. Marktinspecties, bijvoorbeeld de Onderwijsinspectie heeft geen formele instrumenten om te interveniëren (Meijer, Homburg, & Bekkers, 2007). Een toezichthouder is een bij wet ingesteld instituut dat op onafhankelijke en onpartijdige wijze organisaties en bedrijven controleert op wet -en regelgeving (Kool e.a., 2018).
2.3.2 Redenen voor toezicht
Een van de kernvoorwaarden voor toezicht is legitieme macht, die wordt verankerd in een wettelijke grondslag. Alvorens de wettelijke grondslag wordt gevormd zijn er volgens Doctors van Leeuwen (2015) drie voorwaarden waaraan moet worden voldaan om voldoende draagvlak te vinden voor het toezicht. In de komende paragrafen zullen deze drie voorwaarden worden toegelicht en zal er worden toegelicht welke grondslagen er zijn op basis waarvan toezicht kan worden gelegitimeerd.
De drie voorwaarden van Doctors van Leeuwen (2015) voor de legitimering van toezicht: (1) Behoefte vanuit beroepsgroep: vraag naar eerlijke marktcondities.
(2) behoefte vanuit volk: vraag naar zekerheid.
(3) Behoefte vanuit bestuurders: vraag naar een vergrootglas Toelichting volgt hieronder:
2.3.2.1 De toezichthouder als marktmeester.
De toezichthouders als marktmeester moet de gemeenschappelijke regels te waarborgen om het spelveld eerlijk en toegankelijk te houden voor anderen. ‘’Als er geen redelijke zekerheid is dat de concurrentie zich houdt aan de regels, bestaat het risico dat een onderneming door commerciële motieven zich ook niet meer zal schikken naar de regels’’ (Docters van Leeuwen, 2015). De toezichthouder moet die zekerheid bieden door procedureel, op basis van wet -en regelgeving supervisie te houden in de markt (Bekkers, Homburg, & Ringeling, 2002, pp. 7).
Nieuwe sectoren vragen vaak om zekerheid. Het verzoek vanuit de markt aan toezichthouders om nieuwe wetten en regels opstellen kent ook valkuilen. Het risico bestaat dat de toezichthouder met een carte blanche de markt dicht reguleert: het ‘doorschietrisico’. De toezichthouder als marktmeester moet de markt ondersteunen om zélf de regels te formuleren (Docters van Leeuwen, 2015).
Idealiter heeft een markt concurrentie en goede kwaliteit producten. Toezichthouders als marktmeester moeten zowel de kwaliteit van aangeboden producten en diensten als de concurrentie op de markt bewaken. Zonder ingrijpen bestaat er de kans op het ontstaan oligopolie’s die de markt beheersen. Dit zal leiden tot hogere prijzen voor consumenten en minder prikkels om kwalitatief goede spullen te verkopen aan consumenten, zij kunnen immers nergens anders heen. Soms wordt dit toezicht gebundeld in een toezichthouder, soms gescheiden. In de financiële markt houdt de Autoriteit Financiële Markten samen met De Nederlandse Bank toezicht op de kwaliteit van de markt en de ACM op de concurrentieverhoudingen (Docters van Leeuwen, 2015, pp. 18).
2.3.2.2 Toezicht als dienst van zekerheid
Het tweede kernvoorwaarde voor toezicht is zekerheid en transparantie naar het publiek. Mensen verwachten dat dienstverleners, organisaties en bedrijven zich houden aan wet- en regelgeving. Deze
