De wenselijkheid en mogelijkheid van een op kunstmatige intelligentie gebaseerde robot als vennootschapsbestuurder binnen de kapitaalvennootschap
Naam: Adam Nassiri
Studentnummer: 11298510
Opleiding: Privaatrecht, afstudeerrichting commerciële rechtspraktijk Scriptiebegeleidster: prof. dr. J. Roest
Tweede lezer: mr. I.C.P. Groenland Aantal woorden: 16.113
Dankwoord
Met schrijven van deze scriptie ben ik na anderhalf jaar aan het einde gekomen van mijn master privaatrecht met als afstudeerrichting commerciële rechtspraktijk. Graag wil ik stilstaan bij de mensen, die mij de afgelopen jaren hebben gemotiveerd en gesteund.
Allereerst wil ik mijn scriptiebegeleidster prof. dr. Joti Roest ontzettend bedanken voor de gegeven begeleiding. Helaas hebben we nooit fysiek bijeen kunnen komen door de corona pandemie en de lockdown. Desondanks heeft dit de begeleiding niet negatief beïnvloed. Het mooie aan de begeleiding vond ik toch wel de constructieve feedback die ik van haar kreeg, de directheid en haar expertise. Doordat ze me scherp hield en meedacht, heb ik inhoudelijk meer uit mijn scriptie kunnen halen en ben ik ook met meer plezier gaan lezen en schrijven.
Mijn ouders, woorden kunnen niet omschrijven hoe dankbaar en gezegend ik ben met hen in mijn leven. Ik heb veel van mijn ouders mogen leren, waaronder motivatie, discipline en nooit opgeven. Ondanks dat mijn ouders de Nederlandse taal niet machtig zijn en naar Nederland zijn gekomen op een volwassen leeftijd, hebben ze mij al die tijd gewezen op het belang van studeren en mij hierin volledig gesteund en gemotiveerd. Met name in 2020, een lastig jaar voor mij waar de motivatie nog wel eens zoek raakte door de corona pandemie, waren het mijn ouders die mij scherp hielden en mij motivatie gaven om door te zetten.
Adam Nassiri
Abstract
Kunstmatige intelligentie is een veel gehoord begrip. De technologische ontwikkelingen van robotica en de daarmee samenhangende kunstmatige intelligentie zijn sinds de 21e eeuw
explosief gegroeid en komen momenteel voor in alle lagen van de samenleving. De wereld kan niet meer zonder en richt zich steeds meer op een samenleving die gericht is op robotica. In de literatuur en op Europees niveau klinken geluiden om robots rechtssubjectiviteit te geven, waardoor ze dragers worden van rechten en plichten net als mensen en rechtspersonen. Recentelijk hebben een aantal robots staatsburgerschap verkregen in Saoedi-Arabië en Japan. In Hong Kong is een robot zelfs als bestuurder benoemd binnen een vennootschap.
Dit was reden voor mij om te onderzoeken of wij in het Nederlandse vennootschapsrecht ook de mogelijkheid hebben om een robot als bestuurder te kunnen benoemen en of dit wenselijk is. Voor het wenselijkheidsvraagstuk heb ik ook specifiek ingezoomd op de bestuurstaken, de daarbij horende principes en of de robot als bestuurder deze taken kan verrichten. Verder heb ik de interne bestuurdersaansprakelijkheid en het verhaalsrecht onderzocht in geval de robotbestuurder aansprakelijk wordt gesteld op grond van artikel 2:9 BW.
Uit mijn onderzoek is naar voren gekomen dat het voor de wetgever mogelijk is om rechtspersoonlijkheid te creëren voor de robot. Ook kan de rechter rechtspersoonlijkheid creëren voor entiteiten anders dan die we kennen in artikel 2:3 BW, wel zal de rechter in de praktijk terughoudend zijn, dit omdat de wetgever onzekerheid zoveel mogelijk wil uitsluiten. Voor wat betreft de wenselijkheid die mede ziet op het uitoefenen van de bestuurstaken, ben ik tot de conclusie gekomen dat de robotbestuurder nog tekortschiet omdat hij louter beschikt over specifieke kennis inzake de toebedeelde taak en niet in staat is om overige belangrijke belangen mee te wegen in de besluitvorming. Dit doet afbreuk aan de principes van collegiaal bestuur en collectieve verantwoordelijkheid.
Inzake de interne bestuurdersaansprakelijkheid rijzen twee belangrijke vragen bij het toepassen van het ernstig verwijt-criterium. Hoe kan de robotbestuurder zich disculperen in de praktijk? Ook indien de situatie andersom is, hoe dienen de medebestuurders zich te disculperen?
Al met al kom ik tot de conclusie dat de robotbestuurder gezien zijn huidige tekortkomingen nog niet in staat is om te kunnen worden benoemd als bestuurder.
Inhoudsopgave
DANKWOORD... 2
ABSTRACT ... 3
HOOFDSTUK 1 INLEIDING ... 6
1.1INLEIDING TOT HET ONDERWERP ... 6
1.2PROBLEEMSTELLING ... 6
1.2.1 Maatschappelijke relevantie ... 7
1.2.2 Juridische relevantie ... 7
1.3METHODOLOGIE ... 8
1.4LEESWIJZER ... 8
HOOFDSTUK 2 KUNSTMATIGE INTELLIGENTIE ... 9
2.1BEGRIPSBEPALING KUNSTMATIGE INTELLIGENTIE ... 9
2.2ONTWIKKELING VAN KUNSTMATIGE INTELLIGENTIE ... 11
2.3KUNSTMATIGE INTELLIGENTIE ... 15
2.3.1 Machine learning ... 16
2.3.2 Deep learning ... 16
2.4KNEL- EN AANDACHTSPUNTEN KUNSTMATIGE INTELLIGENTIE ... 17
2.4.1 Betrouwbaarheid ... 18
2.4.2 Interpreteerbaarheid ... 18
2.4.3 Transparantie ... 19
2.5JURIDISCHE KWALIFICATIE VAN KUNSTMATIGE INTELLIGENTIE IN HET NEDERLANDS RECHT ... 19
HOOFDSTUK 3 DE ROBOTBESTUURDER MET RECHTSPERSOONLIJKHEID... 21
3.1ALGEMEEN:(RECHTS)PERSOONLIJKHEID ... 21
3.1.1 Ontwikkeling van het begrip rechtspersoonlijkheid... 21
3.1.2 Maatschappelijke en economische behoeften rechtspersoonlijkheid... 23
3.1.3 Ontwikkeling rechtspersoonlijkheid vanuit Europees perspectief ... 24
3.2BESTUURSMODELLEN NAAR NEDERLANDS RECHT ... 26
3.3ROBOT MET RECHTSPERSOONLIJKHEID ... 27
3.4ROBOTBESTUURDER ALS DIGITAAL PERSOON ... 30
3.5RISICO’S IN GEBRUIK NAME VAN DE ROBOTBESTUURDER ... 33
3.5.1 Oneigenlijk gebruik ... 33
3.5.2 Hack- en cyberaanvallen ... 33
3.5.3 Grondrechten ... 34
3.6CONCLUSIES EN AANBEVELINGEN ... 35
HOOFDSTUK 4 TAKEN EN VERANTWOORDELIJKHEDEN VAN HET BESTUUR ... 37
4.1DE TAKEN EN BEVOEGDHEDEN VAN HET BESTUUR ... 37
4.2DE COLLECTIEVE VERANTWOORDELIJKHEID VAN HET BESTUUR ... 38
4.3BESLUITVORMING EN VERTEGENWOORDIGING VAN DE RECHTSPERSOON ... 39
4.4DE ROBOTBESTUURDER IN HET BESTUUR ... 40
4.4.1 Het functioneren van de robotbestuurder ... 40
4.4.2 Kanttekeningen bij de robotbestuurder... 42
4.5CONCLUSIES EN AANBEVELINGEN ... 43
HOOFDSTUK 5 AANSPRAKELIJKHEID VAN BESTUURDERS ... 45
5.1INTERNE BESTUURDERSAANSPRAKELIJKHEID ... 45
5.2AANSPRAKELIJKHEID VAN DE ROBOTBESTUURDER ... 47
5.2.1 Interne bestuurdersaansprakelijkheid... 47
5.2.2 Verhaalsrecht ... 49
5.3CONCLUSIES EN AANBEVELINGEN ... 50
Hoofdstuk 1 Inleiding
1.1 Inleiding tot het onderwerp
Tijdens mijn oriëntatie op een scriptie onderwerp dat actueel en uitdagend is, ben ik een artikel tegengekomen in het Maandblad voor Ondernemingsrecht. Hierin wordt de mogelijkheid besproken om een robot als bestuurder te benoemen in een vennootschap en dat in China de robotbestuurder al zijn intrede heeft gedaan. Na dit artikel te hebben gelezen en me verder te hebben verdiept in kunstmatige intelligentie, is mijn interesse gewekt om dit onderwerp nader te onderzoeken. Ook heb ik stilgestaan bij het feit dat de technologische ontwikkelingen in de laatste 100 jaar exponentieel zijn gegroeid, dat kunstmatige intelligentie bijna overal voorkomt en dat de samenleving er tegenwoordig niet meer zonder kan. Ook wordt hierin continu geld geïnvesteerd om het verder te ontwikkelen en de concurrentie voor te blijven. Dat de technologie een zo snelle ontwikkeling heeft doorgemaakt, heeft ook gevolgen voor het recht. Nu het recht zich kenmerkt door het feit dat het dynamisch is, wil ik onderzoeken of de benoeming van een robotbestuurder mogelijk is.
1.2 Probleemstelling
Op het moment dat men de robotbestuurder wil en zal benoemen in het (vennootschaps)recht, komen daar meerdere vragen bij kijken. In dit onderzoek luidt de onderzoeksvraag als volgt:
In hoeverre is het mogelijk en wenselijk om een robot – gebaseerd op kunstmatige intelligentie – aan te stellen als vennootschapsbestuurder binnen een kapitaalvennootschap en hoe zou dit zich verhouden tot de medebestuurders en de vennootschap mede in het licht van de interne bestuurdersaansprakelijkheid?
Ter beantwoording van de onderzoeksvraag wordt specifiek ingegaan op de theorie achter rechtspersoonlijkheid en de taakvervulling van het bestuur. Wat betreft de bestuurdersaansprakelijkheid, richt ik me op de interne bestuurdersaansprakelijkheid , dat ziet op de onderlinge taakuitoefening en de aansprakelijkheid jegens de rechtspersoon voor het eventueel tekortschieten daarin. Derhalve worden de andere vormen van de bestuurdersaansprakelijkheid niet behandeld.
1.2.1 Maatschappelijke relevantie
De maatschappelijke relevantie van dit onderzoek, zit in het feit zoals reeds is aangegeven, de technologie een grote ontwikkeling doormaakt en het inmiddels bijna in alle lagen van de samenleving voorbij komt. Meer specifiek – in het licht van kunstmatige intelligentie – wordt dit al aanzienlijk gebruikt binnen vennootschappen met name in digitale processen. Dit betekent dan ook dat de vraag of een robot als bestuurder kan worden benoemd, een actuele vraag is. Ook zorgt de verdere ontwikkeling en het grotere gebruik van geautomatiseerde en algoritmische besluitvorming voor invloed op de keuzes die een privépersoon, bestuurlijke, gerechtelijke of andere publieke autoriteit maakt.1
1.2.2 Juridische relevantie
De juridische relevantie van dit onderzoek is tweeërlei. Allereerst dient te worden beoordeeld of de robotbestuurder zijn intrede kan doen in het huidige vennootschapsrecht dan wel in de nabije toekomst en of bijvoorbeeld de wetgeving (al dan niet) drastisch dient aangepast te worden. Dit omdat de vraag moet worden beantwoord of het momenteel mogelijk is om een robot tot bestuurder te benoemen. Op dit moment is het (nog) niet mogelijk, omdat je een natuurlijk persoon moet zijn of rechtspersoonlijkheid moet bezitten. In het kader van mijn onderzoek focus ik me niet op de vraag of de robot een natuurlijk persoon kan zijn, maar op de vraag of een robot rechtspersoonlijkheid in de vorm van een rechtspersoon kan bezitten. Maar ook het in kaart brengen van de knelpunten bij implementatie.
Ten tweede zijn er al verscheidene buitenlandse jurisdicties zoals de Verenigde Staten, Japan, China en Zuid-Korea die regelgeving inzake robotica en kunstmatige intelligentie overwegen en al in bepaalde mate hebben aangenomen.2 Voorgenoemde, wordt niet specifiek in de
resolutie genoemd in de zin van het vennootschapsrecht en de mogelijke benoeming van de robot als bestuurder. Maar wel lijkt het voor mij logisch dat hierover wordt nagedacht. Mede door de zinssnede: ‘..om rekening te kunnen houden met opkomende toepassingen van deze
technologieën’.3 Zoals ik reeds heb aangekaart, heeft de robotbestuurder al zijn intrede gemaakt
1 Zie hiervoor verder Resolutie van het Europees Parlement van 16 februari 2017 met aanbevelingen aan de
Commissie over civielrechtelijke regels inzake robotica (2015/2103 (INL)), p. 2 en 3.
2 Resolutie van het Europees Parlement van 16 februari 2017 met aanbevelingen aan de Commissie over
civielrechtelijke regels inzake robotica (2015/2103 (INL)), p. 3.
3 Resolutie van het Europees Parlement van 16 februari 2017 met aanbevelingen aan de Commissie over
in China. Voor Nederland zou dit een ‘wake up call’ moeten zijn, dit omdat ondernemingen mede in hun beslissingen omtrent het zich al dan niet vestigen in een bepaald land, de juridische ‘aantrekkelijkheid’ laten meewegen.
1.3 Methodologie
Om de onderzoeksvraag te kunnen beantwoorden, wordt met name een literatuuronderzoek verricht met een normatief uitgangspunt. Ook wordt de Europese regelgeving bestudeerd. Het is vooral een descriptief onderzoek vanuit intern perspectief. Ook is sprake van een juridisch-dogmatisch en rechtshistorisch onderzoek voor wat betreft het toekennen van rechtspersoonlijkheid aan de robot. Tot slot wordt de wenselijkheid voor het toekennen van rechtspersoonlijkheid aan de robot en de robotbestuurder in het licht van de bestuurstaken, onderzocht.
1.4 Leeswijzer
Allereerst wordt ingegaan op het onderwerp kunstmatige intelligentie in zijn algemeenheid, de ontwikkeling door de jaren heen, de knel- en aandachtspunten van kunstmatige intelligentie in algemene zin en de huidige juridische kwalificatie van kunstmatige intelligentie in het recht. Vervolgens wordt het begrip rechtspersoonlijkheid besproken waarbij de geschiedenis en ontwikkeling ervan wordt uiteengezet. Verder worden verscheidene theorieën besproken inzake toekennen van rechtspersoonlijkheid voor de robotbestuurder en hoe dit dan in het recht dient te worden geïmplementeerd. Tot slot wordt ingegaan op de specifieke risico’s die gepaard gaan bij de implementatie van de robotbestuurder.
Daarna wordt ingegaan op de corporate governance van de kapitaalvennootschap waarbij de aandacht ligt op de taken en verantwoordelijkheden van het bestuur en de analoge toepassing daarvan in het licht van de robotbestuurder.
Tot slot wordt de interne aansprakelijkheid van de bestuurders besproken en de analoge toepassing daarvan in het licht van de robotbestuurder.
Hoofdstuk 2 Kunstmatige intelligentie
Om het abstracte beeld inzake KI weg te nemen, zal in dit hoofdstuk een omschrijving van het begrip KI gegeven worden, de ontwikkelingen van KI, de knel- en aandachtspunten van KI en tot slot de rechtspositie van KI in huidig recht.
2.1 Begripsbepaling kunstmatige intelligentie
In de literatuur en de wetenschappelijke discipline die zich bezighoudt met KI4, valt op dat het
niet eenvoudig is om KI te definiëren. Dit omdat het niet duidelijk is wat onder intelligentie moet worden verstaan.5 De mogelijkheid om over intelligentie te beschikken wordt
voornamelijk toegeschreven aan de mens, echter wat dat dan inhoudt, is niet volkomen helder.6
Hierdoor wordt de definitie van intelligentie doorgaans gekoppeld met specifieke uitingsvormen van menselijke intelligentie, zoals taal- en leervaardigheid.7 Wel dient hierbij in
ogenschouw genomen te worden dat deze uitingsvormen niet duidelijk en evenmin altijd eenvoudig te begrijpen zijn.8
Vetzo sluit in zijn boek aan bij het standaardwerk Artificial Intelligence: A Modern Approach van Russel en Norvig, daarin wordt een beschrijving gegeven van de definitie van KI. Hierbij kan KI in twee categorieën worden ingedeeld:
‘’- Menselijk of rationeel denken: apparaten of machines bezitten KI wanneer zij in staat zijn om beslissingen te nemen, problemen op te lossen en te leren;
- Menselijk of rationeel handelen: apparaten of machines bezitten KI wanneer zij in staat zijn om activiteiten uit te voeren die intelligentie zouden vereisen als ze door mensen zouden worden uitgevoerd.
4 Het begrip kunstmatige intelligentie wordt in het Engels aangeduid als Artificial Intelligence, kortweg: AI. 5 Vetzo, Gerards & Nehmelman 2018, p. 41. Zie ook Tecuci, Wiley Interdisciplinary Reviews: Computational Statistics 2011/4, p. 168.
6 Vetzo, Gerards & Nehmelman 2018, p. 41. 7 Vetzo, Gerards & Nehmelman 2018, p. 41. 8 Vetzo, Gerards & Nehmelman 2018, p. 41.
KI richt zich volgens voorgaande definities op artefacten die autonoom opereren, leren, begrijpen, reageren op hun omgeving en zich aanpassen aan veranderingen om zo – in het licht van de omstandigheden – te komen tot een zo goed mogelijke uitkomst’’.9
Ook de Europese Commissie heeft getracht een definitie vast te stellen voor KI in haar mededeling aan Europa:
‘’Kunstmatige intelligentie (KI) verwijst naar systemen die intelligent gedrag vertonen door hun omgeving te analyseren en – in zekere mate zelfstandig – actie te ondernemen om specifieke doelstellingen te verwezenlijken. Op KI gebaseerde systemen kunnen uitsluitend uit software bestaan en actief zijn in de virtuele wereld (bijvoorbeeld stemgestuurde assistenten, software voor beeldanalyse, zoekmachines en systemen voor spraak- en gezichtsherkenning), maar KI kan ook in hardwareapparaten worden geïntegreerd (bijvoorbeeld geavanceerde robots, zelfrijdende auto’s, drones of toepassingen van het internet der dingen).10
Deze definitie, is later verfijnd door de deskundigengroep. De achterliggende gedachte hiervoor is dat het belangrijk is om de werkingssfeer van het toekomstige regelgevingskader inzake KI te bepalen.11 Ook is genoemd dat voor elk nieuw juridisch instrument de definitie van KI
voldoende flexibel moet zijn in het licht van de technologische ontwikkeling enerzijds en het bieden van de rechtszekerheid anderzijds.12 Uiteindelijk heeft de Europese Commissie naar
aanleiding van de opmerkingen van de deskundigengroep, in haar witboek de volgende definitie gegeven aan KI:
“Systemen op basis van kunstmatige intelligentie (KI) zijn door mensen ontworpen softwaresystemen (en mogelijk ook hardwaresystemen) die, met een complex doel, in de fysieke of digitale dimensie werken door via gegevensverzameling hun omgeving waar te nemen, de
9 Vetzo, Gerards & Nehmelman 2018, p. 41 en 42.
10 Mededeling van de commissie aan het Europees Parlement, de Europese Raad, de Raad, het Europees
Economisch en sociaal comité en het comité van de regio’s. Kunstmatige intelligentie voor Europa (2018/237), p. 1.
11 Witboek over kunstmatige intelligentie – een Europese benadering op basis van excellentie en vertrouwen
(2020/65), p. 18.
12 Witboek over kunstmatige intelligentie – een Europese benadering op basis van excellentie en vertrouwen
verzamelde gestructureerde of ongestructureerde gegevens te interpreteren, te redeneren op basis van de uit deze gegevens verkregen kennis of de verkregen informatie te verwerken en te beslissen met welke handeling(en) het gestelde doel het best kan worden bereikt. KI-systemen kunnen gebruikmaken van symbolische regels of een numeriek model leren en kunnen hun gedrag ook aanpassen door te analyseren welke invloed hun eerdere handelingen op de omgeving hebben.”.13
In het kader van dit onderzoek is tevens voor de robot - als mogelijke robotbestuurder - de definiëring van belang. In het EU rapport ‘RoboLaw’, wordt de volgende definitie toegekend aan de robot:
‘’een autonome machine die fysieke overeenstemmingen vertoont met de mens, bestaat uit sensoren, stroomtoevoer en bedieningselementen; en er toe in staat is om in interactie met de omgeving of mensen op autonome wijze bepaalde taken uit te oefenen’’.14
Uit het bovenstaande kan worden geconcludeerd dat het toekennen van een definitie aan KI ingewikkeld is en er verscheidene pogingen hiertoe worden gedaan. Voor dit onderzoek zal ik uitgaan van de gegeven definitie door de Europese Commissie die later verfijnd is door de deskundigengroep. En voor de begripsbepaling van de robot, zal ik uitgaan van het EU rapport
‘RoboLaw’. De reden die hiervoor ten grondslag ligt, is de achterliggende gedachte van de
Europese Commissie in het witboek die reeds is beschreven.
2.2 Ontwikkeling van kunstmatige intelligentie
In de jaren 40 en 50 van de 20e eeuw, is een aantal wetenschappers uit verschillende
vakgebieden begonnen te spreken over de potentie om een kunstmatig brein te creëren.15 De
mijlpaal hierin wordt bereikt in 1950 door Alan Turing. Hij veronderstelt dat het mogelijk is
13 Witboek over kunstmatige intelligentie – een Europese benadering op basis van excellentie en vertrouwen
(2020/65), p. 18.
14 Van den Hoven van Genderen 2017, p. 4. Te raadplegen via www.switchlegal.nl. Zie ook het EU rapport: Regulating Emerging Robotic Technologies in Europe: Robotics facing Law and Ethics 2014, p. 15-17.
15 Teigens, Skalfist & Mikelsten 2019, p. 19. Zie ook Muthukrishnan e.a., Neuroimaging clinics of North America
om machines te creëren die kunnen denken.16 Hierbij ontwikkelt hij de zogenoemde
Turing-test, wat inhoudt dat indien de machine een gesprek kan voeren met een mens – middels een teleprinter -, waarbij de mens niet doorheeft dat die het gesprek voert met een machine, dat het dan redelijk is om te zeggen dat de machine aan het denken is.17
De Dartmouth-conferentie in 1956 wordt gezien als de geboorte van de wetenschappelijke discipline inzake kunstmatige intelligentie. Hierin staat het volgende standpunt centraal:
‘’Elk aspect van leren of een ander kenmerk van intelligentie kan zo precies worden beschreven dat een machine kan worden gemaakt om het te simuleren’’.18
De wetenschappers die deelnamen aan deze conferentie, ontwikkelden belangrijke programma’s waarmee in de eerste decennia het onderzoek naar KI werd ondersteund.19
Een doorbraak in KI op het gebied van investeringen, interesse en ontwikkelingen ontstaat vanaf de 21e eeuw. Dit komt mede door de progressie die wordt geboekt op het gebied van
computer hardware, goedkopere en snellere computers.20 Maar ook door verder ontwikkelde
machine learning-technieken.21 Begrippen als big data, machine learning en deep learning
ontstaan in deze periode (de begrippen machine learning en deep learning zullen in de volgende paragrafen worden uiteengezet).22 Big data houdt simpelweg in het hebben van toegang tot
16 Teigens, Skalfist & Mikelsten 2019, p. 19. Zie ook Vetzo, Gerards & Nehmelman 2018, p. 41, Muthukrishnan
e.a., Neuroimaging clinics of North America 2020/33, p. 394 en Haenlein & Kaplan, California Management
Review 2019/61, p. 6 en 7.
17 Teigens, Skalfist & Mikelsten 2019, p. 19. Zie ook Muthukrishnan e.a., Neuroimaging clinics of North America
2020/33, p. 394.
18 Teigens, Skalfist & Mikelsten 2019, p. 20. Zie ook Muthukrishnan e.a., Neuroimaging clinics of North America
2020/33, p. 394.
19 Teigens, Skalfist & Mikelsten 2019, p. 20. Zie ook Haenlein & Kaplan, California Management Review 2019/61,
p. 7.
20 Muthukrishnan e.a., Neuroimaging clinics of North America 2020/33, p. 397. Zie ook Teigens, Skalfist &
Mikelsten 2019, p. 34.
21 Muthukrishnan e.a., Neuroimaging clinics of North America 2020/33, p. 397. 22 Muthukrishnan e.a., Neuroimaging clinics of North America 2020/33, p. 397 en 398.
grote hoeveelheden gegevens.23 Deze gegevens bestaan uit besluitvormings-, inzichts- en
procesoptimalisatiemogelijkheden.24
Tegenwoordig wordt de toepassing van KI aan de hand van autonoom opererende robots op een groot aantal gebieden gebruikt. Hierbij kan gedacht worden aan medische diagnoses, aandelenhandel, robotcontrole, wetenschappelijke bevindingen en wetgeving.25 Ik zal me
hierbij meer toeleggen op de hedendaagse ontwikkelingen van KI vanuit juridisch perspectief en wat dit derhalve voor het recht betekent.
De nieuwe fase waarin KI zich bevindt, leidt tot het opkomen van de vraag een robot rechtssubjectiviteit moet krijgen.26 Hierbij wordt gedacht in de vorm van een natuurlijk persoon
of rechtspersoon. Een merkwaardig voorbeeld is de robot ‘Sophia’,27 die heeft namelijk als
eerste robot het Saoedische staatsburgerschap verkregen. Ook in Tokyo is in 2017 het staatsburgerschap verleend aan de chatbot Shibuya.28 Juridisch gezien komt dit erop neer dat
Sophia en Shibuya gelijk worden gesteld aan een natuurlijk persoon. Door deze toekenning worden ze door het recht erkend als dragers van rechten en plichten op grond van zedelijke en maatschappelijke beginselen. Dit gaat verder dan het toekennen van rechtspersoonlijkheid omdat bij rechtspersonen zedelijke en maatschappelijke beginselen niet van toepassing zijn.29
Voor mijn onderzoek zal ik me niet richten op de vraag of de robot een natuurlijk persoon kan zijn, maar op de vraag of de robot een rechtspersoon kan zijn. De redenen hiervoor zijn dat dit twee grote - op zichzelf staande - thema’s zijn en in de literatuur eveneens naar voren komt dat de robot in de vorm van een natuurlijk persoon (nog) ver weg is.30 Dit terwijl het verschaffen
van rechtspersoonlijkheid in de vorm van een rechtspersoon aan de robot, momenteel een veelbelovendere ontwikkeling ondergaat. Ook is het zo dat in het kader van mijn onderzoek,
23 Teigens, Skalfist & Mikelsten 2019, p. 34. 24 Teigens, Skalfist & Mikelsten 2019, p. 35. 25 Teigens, Skalfist & Mikelsten 2019, p. 37.
26 Van den Hoven van Genderen 2017, p. 1-28. Zie ook Van Schaik NTBR 2018/7, p. 47-49, Kortmann NJB
2018/1363, p. 1969-1971, Van den Hoven van Genderen 2019, p. 257-290 en Hijink Ondernemingsrecht 2019/3, p. 14.
27 ‘Robot Sophia (zonder hoofddoek) is nu Saudisch staatsburger’, www.nos.nl, 30 oktober 2017. 28 Hijink, Ondernemingsrecht 2019/3, p. 15.
29 Van Schilfgaarde 2017, p. 17.
namelijk het benoemen van een robot tot bestuurder van een kapitaalvennootschap, thans alleen mogelijk is voor de natuurlijke persoon en rechtspersoon.31
Verder wordt binnen het fiscale recht gediscussieerd of op KI gebaseerde robots - die momenteel juridisch gezien een bedrijfsmiddel zijn -, rechtspersoonlijkheid dienen te verkrijgen en op die manier belastingplichtig worden net als natuurlijke personen en rechtspersonen.32 Robots en algoritmes worden steeds intensiever gebruikt in het recht. In 2017
is een test gegaan met een robot in hoedanigheid van een rechter. In deze test heeft de robotrechter twee zaken gekregen om te beoordelen tegenover een rechter.33 Verder wordt in
de rechtspraak eveneens ‘hardop’ nagedacht wat KI kan betekenen voor de rechtspraak. Meer specifiek wordt nagedacht over wat expertsystemen kunnen betekenen voor de rechtspraak, het introduceren van een robotrechter en of de robotrechter in plaats van de rechter het recht kan spreken.34 Je ziet dat in de literatuur er een aantal belangrijke vragen wordt opgeroepen op het
gebied van aansprakelijkheidsrecht inzake robots.35 Hierbij valt te denken aan de vraag wie
bijvoorbeeld aansprakelijk is bij een ongeluk veroorzaakt door een zelfrijdende auto. Is dat de producent/fabrikant of het automerk die de robot implementeert in de zelfrijdende auto? Binnen het ondernemingsrecht kan dit eveneens voorkomen, bijvoorbeeld wanneer de robotbestuurder een verkeerd besluit neemt of de koop/verkoop van aandelen plaatsvindt gebaseerd op een fout in de software. Kan de vennootschap dan de vordering tot schadevergoeding verhalen op de producent/fabrikant of dient dit intern verhaald te worden op de robotbestuurder? Tot slot rijst ook de vraag bij wie het eigendom ligt van de robot, de producent of de vennootschap die gebruik maakt van de robot.
Uit het bovenstaande kan geconcludeerd worden dat KI een ongelooflijk belangrijk thema is en dat er op allerlei fronten actie is. De Europese Commissie heeft zich reeds over dit fenomeen uitgesproken door te stellen dat ‘’de mensheid nu op de drempel staat van een tijdperk waarin
steeds geavanceerde robots, bots, androïden en andere vormen van kunstmatige intelligentie
31 Hijink, Ondernemingsrecht 2019/3, p. 13. 32 Dusarduijn, MBB 2019/3, p. 116-130.
33 ‘De robotrechter: dit is mijn berekening, en daar moet u het mee doen’, www.trouw.nl, 25 november 2017.
(Laatst geraadpleegd op 22 oktober 2020).
34 Noordegraaf e.a. 2019.
35 Tjong Tjin Tai, NTHR 2017/3, p. 2-3 en 5. Zie ook Dignum & van den Hoven, Justitiële verkenningen 2016/42,
(artificial intelligence – AI) klaarstaan om een nieuwe industriële revolutie te ontketenen..’’.36
Ook in Nederland bestaat veel aandacht voor de ontwikkelingen van KI.37 Zoals valt te zien
zijn de ontwikkelingen inzake KI van de afgelopen decennia waanzinnig, er is volle aandacht zowel op Europees niveau als nationaal niveau.
In de volgende paragraaf wordt ingegaan op de meest recente en geavanceerde vormen van KI ( machine learning en deep learning) die reeds ter sprake zijn gekomen in het kader van het begrip big data. Deze vormen van KI zijn de vormen die in de 21e eeuw plaatsvinden.
2.3 Kunstmatige intelligentie
Kunstmatige intelligentie is verbonden met de begrippen machine learning en deep learning. KI is een alomvattend begrip, waarvan de definiëring reeds is gegeven in hoofdstuk 2.1. KI kent vele deelgebieden, voor dit onderzoek zijn twee deelgebieden van belang in het licht van de robot namelijk: machine learning en deep learning. Om het abstracte beeld weg te nemen, is hieronder een afbeelding geplaatst:38
36 Resolutie van het Europees Parlement van 16 februari 2017 met aanbevelingen aan de Commissie over
civielrechtelijke regels inzake robotica (2015/2103 (INL)), p. 1. Zie ook Dignum & van den Hoven, Justitiële
verkenningen 2016/42, p. 113 en 114.
37 Kamerstukken II 2019/20, 26643, nr. 641 en Kamerstukken II 2019/20, 32761, nr. 169. Zie ook het actieplan:
‘Strategisch Actieplan voor Artificiële Intelligentie’, 2019.
2.3.1 Machine learning
Machine learning is een deelgebied dat zich bezighoudt met technologieën die computers in
staat stellen om te leren zonder hiervoor nadrukkelijk geprogrammeerd te zijn.39 Machine
learning is gebaseerd op algoritmes die in staat zijn om op basis van eerdere ervaringen te
leren.40 Op basis van deze eerder uitgevoerde handelingen kunnen computersystemen anders
reageren onder de zelfde omstandigheden en zich tevens aanpassen aan nieuwe omstandigheden.41 Door dit zelflerende aspect, onderscheidt machine learning zich van de
gewone computeralgoritmes.42
2.3.2 Deep learning
De meest geavanceerde toepassing van machine learning is deep learning.43 Dit deelgebied is
gebaseerd op neurale netwerken die het menselijk brein en de zich daarin bevindende neuronen nabootsen. Het dieplerende algoritme voert hierin een gelaagde analyse uit. Hiermee wordt bewerkstelligd dat complexe en verborgen verbanden in grote datasets worden ontdekt, waarbij geldt dat hoe meer hidden layers de algoritme bevat, hoe complexer de vraagstukken die kunnen worden opgelost.44
Ter beeldvorming is hieronder een afbeelding - welke de werking van een simpel neuraal netwerk en een dieplerend neuraal netwerk illustreert - geplaatst:45
39 Vetzo, Gerards & Nehmelman 2018, p. 43. Zie ook Adriaansz 2020, p. 10. 40 Adriaansz 2020, p. 10. Zie ook Alpaydin 2014, p. 1-4.
41 Vetzo, Gerards & Nehmelman 2018, p. 43. Zie ook Alpaydin 2014, p. 1-4. 42 Vetzo, Gerards & Nehmelman 2018, p. 43. Zie ook Adriaansz 2020, p. 10. 43 Adriaansz 2020, p. 10.
44 Vetzo, Gerards & Nehmelman 2018, p. 43. Zie ook Adriaansz 2020, p. 10 en LeCun, Bengio & Hinton, Nature
2015/521, p. 436.
Ter illustratie en om de werking van deep learning beter te kunnen begrijpen, benoemt Vetzo het voorbeeld van gezichtsherkenning. In de input layer wordt cameraregistratie van een menselijk gezicht gestopt. In de eerste hidden layer wordt de omlijning van het gezicht bepaald. De uitkomst van deze hidden layer wordt gebruikt in de volgende hidden layer om de neus, ogen, oren en mond te specificeren. Vervolgens worden in de derde laag de verhoudingen tussen de hiervoor omschreven karakteristieken gedefinieerd. In de laatste hidden layer, worden de resultaten uit de eerdere hidden layers bij elkaar gebracht en vergeleken met vergaarde informatie afkomstig uit eerdere gezichtsanalyses. In de output layer komt dan de herkenning van een specifiek gezicht totstand. In een simpel neuraal netwerk is dit proces niet mogelijk, dit omdat het niet beschikt over meerdere hidden layers.46
In concreto voor de robotbestuurder betekent dit dat de robotbestuurder bestaat uit software waarin deep learning algoritmes zijn toegepast. Het idee van de robotbestuurder houdt in dat die als volwaardig bestuurslid mee kan beslissen in bestuursbesluiten, (specifieke) taken toebedeeld kan krijgen net als de overige bestuursleden, investeringsplannen maakt en kan uitvoeren, analyses kan maken van mogelijke risico’s bij fusies of overnames en eveneens de kapitaalvennootschap kan vertegenwoordigen.
Voorgaand zijn de kenmerken uiteengezet van de geavanceerde deelgebieden van KI. In de volgende paragraaf en subparagrafen, zal worden ingegaan op de keerzijden/risico’s van KI.
2.4 Knel- en aandachtspunten kunstmatige intelligentie
Daar waar zojuist de kenmerken van KI zijn uiteengezet, kleven eveneens zonder meer risico’s aan KI. De risico’s die hier besproken worden, zijn de meer algemene risico’s van KI die derhalve in zekere zin overlappen met de robotbestuurder. In hoofdstuk drie zal worden doorgeborduurd op de risico’s die specifiek zien op de robotbestuurder binnen de kapitaalvennootschap.
46 Vetzo, Gerards & Nehmelman 2018, p. 44. Zie ook LeCun, Bengio & Hinton, Nature 2015/521, p. 436, waarin
2.4.1 Betrouwbaarheid
Nagenoeg alle systemen en producten die in de maatschappij worden gebruikt, ondergaan strenge tests inzake de betrouwbaarheid en veiligheid. Voor KI zou van hetzelfde sprake moeten zijn. Sinds de jaren 80 en 90 is sprake van verificatie- en validatieprocedures voor kennisgebaseerde systemen, echter voor KI is dit pas recent ontwikkeld en bestaan geen concrete ‘vangnetten'.47 De praktijk laat ook zien dat de data die gebruikt worden voor tests om
te controleren of de software - op KI gebaseerd - een competentieniveau in voldoende mate heeft bereikt - tegenover data in realistische omstandigheden - significant van elkaar afwijken. Hierbij valt dan te denken aan data die fouten bevatten, die onvolledig zijn, die uit de context zijn gehaald of die simpelweg van slechte kwaliteit zijn.48 In het verlengde hiervan, heeft het
Europees Parlement een plan goedgekeurd om een agentschap Robotica en AI in het leven te roepen, die dit probleem op zich kan nemen.49
2.4.2 Interpreteerbaarheid
Op het moment dat een KI-systeem een beslissing neemt, moet(en) de belanghebbende(n), de consequenties kunnen interpreteren en begrijpen waarom het KI-systeem die handeling heeft verricht, en de belanghebbende(n) deze handeling aan kan/kunnen vechten.50 Deze uitleg die
vereist is, moet in een taal gegeven kunnen worden die de belanghebbende(n) verstaat/verstaan. Het spreekt voor zich dat dit in de praktijk een lastige opgave is, meer specifiek omdat de hoeveelheid aan data, statistieken en de hidden layers waar gebruik van worden gemaakt, moeten worden uitgelegd, geïnterpreteerd kunnen worden en de mogelijkheid dient er te zijn om deze handelingen te kunnen aanvechten.51 In het verlengde hiervan dient eveneens in
ogenschouw genomen te worden dat in KI-systemen de mogelijkheid bestaat dat sprake is van een zodanige autonomie, dat menselijke controle niet meer mogelijk is. Ook is typerend dat de handelingen van KI-systemen niet steevast voorspelbaar zijn. In talrijke organisaties wordt het denken van KI-systemen als creatief of als ‘out-of-the-box’ gekenmerkt.52
47 Steels e.a. 2017, p. 35. Zie ook Dignum & van den Hoven, Justitiële verkenningen 2016/42, p. 111.
48 Steels e.a. 2017, p. 35. Zie ook Băjenescu, Journal of Engineering Science 2018/25, p. 51 en Adriaansz 2020,
p. 14.
49 Steels e.a. 2017, p. 35.
50 Steels e.a. 2017, p. 35. Zie ook Dignum & van den Hoven, Justitiële verkenningen 2016/42, p. 113 en 114. 51 Steels e.a. 2017, p. 35 en 36.
2.4.3 Transparantie
In het verlengde van de interpreteerbaarheid, ligt het risico bij KI-systemen tevens in de mate van transparantie. Dit omdat - zoals reeds de werking van deep learning is uitgelegd – men niet weet hoe het KI-systeem tot een antwoord is gekomen door de vele hidden layers.53 Ook is het
zo dat bij machine learning en deep learning, de algoritmes met elkaar verbonden zijn, waardoor de experts zelf ook niet altijd de uitkomsten in de output layers kunnen begrijpen.54
Hierdoor is het moeilijk om bepaalde afwijkingen in de output layer op te sporen. Deze afwijkingen kunnen ernstige gevolgen hebben voor de persoon/entiteit die gebruik maakt van het systeem. Maar ook aanwijzingen die kunnen wijzen op een mogelijke hack van het KI-systeem zijn nogal lastig om op te sporen. Een manier om dit op te lossen zou kunnen zijn om degenen die verantwoordelijk zijn voor het KI-systeem, te kunnen traceren en identificeren, maar ook door een systeem van watermarkering in Europa verplicht te stellen.55
2.5 Juridische kwalificatie van kunstmatige intelligentie in het Nederlands recht
In deze paragraaf richt ik mij op de juridische kwalificatie van robots in het Nederlands recht. In de literatuur worden hierover verschillende visies ingenomen en blijkt dat het nogal een lastige opgave is om de robot te kwalificeren als rechtsobject dan wel rechtssubject. Uiteindelijk blijft het KI-systeem - kort gezegd – software met zelflerende algoritmes welk door de mens is ontwikkeld. De vraag die gesteld wordt, is of de robot als een rechtsobject of als rechtssubject gekwalificeerd dient te worden. Op het moment dat de robot wordt gekwalificeerd als rechtssubject, dan houdt dit in dat hij drager is van rechten en plichten.56 In het verlengde
hiervan - zoals reeds behandeld - roept dit derhalve de vraag op of de robot een natuurlijk persoon of rechtspersoon kan zijn. Voor het kwalificeren van de robot als rechtsobject of rechtssubject, is bepalend de vraag of de robot een eenvoudig instrument is, een rechtsobject dat wordt ingezet als instrument of als zelfstandige entiteit functioneert.57 Dit is met name te
beantwoorden aan de hand van de functie die de robot heeft en de mate van autonomie die het bezit. Dit stipuleert namelijk of de robot bij analogie dient te worden beoordeeld als ondergeschikte ex artikel 6:170 BW, als niet-ondergeschikte ex artikel 6:171 BW, als een
53 Adriaansz 2020, p. 13, Dignum & van den Hoven, Justitiële verkenningen 2016/42, p. 111 en 112 en Mannes, AI Magazine 2020/41, p. 65.
54 Adriaansz 2020, p. 13 55 Steels e.a. 2017, p. 36. 56 Van Schilfgaarde 2017, p. 17.
roerende zaak ex artikel 6:173 BW, als een dier ex artikel 6:179 BW of als een zelfstandig rechtssubject.58
De definitie van rechtssubject valt vooralsnog niet samen met de karakteristieken van een robot, maar vertoont wel een aantal overeenkomsten. Deze kenmerken kunnen toenemen indien de typering van de robot secuurder wordt.59
Door Europese regelgeving is duidelijkheid geschapen inzake de juridische kwalificatie, ondanks het feit dat robots onderhevig zijn aan verschillende regelgevingen. Het uitgangspunt is namelijk dat robots alleen als rechtsobjecten gekwalificeerd kunnen worden.60 Door dit
uitgangspunt valt de robot onder de machinerichtlijn,61 meer specifiek artikel 2 sub a: ‘’een
samenstel, voorzien van of bestemd om te worden voorzien van een aandrijfsysteem – maar niet op basis van rechtstreeks gebruikte menselijke of dierlijke spierkracht -, van onderling verbonden onderdelen of componenten waarvan er ten minste één kan bewegen, en die samengevoegd worden voor een bepaalde toepassing’’.62
Nu ik tot de conclusie ben gekomen dat robots in het huidig recht worden gekwalificeerd als rechtsobjecten, wordt in het volgende hoofdstuk ingegaan op de rechtspersoonlijkheid voor robots. Hierbij wordt bekeken of het voor bepaalde robots in sommige omstandigheden, mogelijk en wenselijk is om rechtspersoonlijkheid toe te kennen.
58 Van den Hoven van Genderen 2017, p. 5 en 6.
59 Van den Hoven van Genderen, Computerrecht 2015/197, p. 309. 60 Van den Hoven van Genderen, Computerrecht 2015/197, p. 310. 61 Van den Hoven van Genderen, Computerrecht 2015/197, p. 310.
62 Richtlijn 2006/42/EG van het Europees Parlement en de Raad betreffende machines en tot wijziging van
Hoofdstuk 3 De robotbestuurder met rechtspersoonlijkheid
In dit hoofdstuk zal allereerst in haar algemeenheid ingegaan worden op het begrip rechtspersoonlijkheid, de ontwikkeling ervan, de maatschappelijke en economische behoeften voor rechtspersoonlijkheid en de ontwikkeling ervan vanuit Europees perspectief naar aanleiding van de aangenomen resolutie omtrent het verkennen van de mogelijkheden inzake rechtspersoonlijkheid voor robots. Vervolgens zal de mogelijkheid en wenselijkheid van de rechtspersoonlijkheid voor de robot worden besproken. Daaropvolgend wordt een mogelijke optie besproken voor het benoemen van de robot als bestuurder binnen de kapitaalvennootschap in het Nederlands recht. Tot slot zal specifiek worden ingegaan op de risico’s die komen kijken bij het instellen van een robotbestuurder.
3.1 Algemeen: (rechts)persoonlijkheid
Het bezitten van rechtspersoonlijkheid houdt kort gezegd in dat deze entiteit drager is van rechten en plichten. Tegenover derden kan deze entiteit zijn rechten geldend maken en zijn de plichten van deze entiteit afdwingbaar.63 Het verschil tussen de natuurlijke persoon en de
entiteit die rechtspersoonlijkheid bezit, ligt in het feit dat de natuurlijke persoon volgens het recht wordt erkend als drager van rechten en plichten op grond van zedelijke en maatschappelijke beginselen. Bij deze entiteit is hiervan geen sprake, dit omdat de entiteit in het leven wordt geroepen om het rechtsleven van de natuurlijke persoon te dienen.64 Momenteel
is het in het huidige recht het zo geregeld dat een onderscheid wordt gemaakt tussen publiekrechtelijke rechtspersonen (artikel 2:1 BW), religieuze instellingen (artikel 2:2 BW) en privaatrechtelijke rechtspersonen (artikel 2:3 BW). Deze entiteiten bezitten allen rechtspersoonlijkheid.
3.1.1 Ontwikkeling van het begrip rechtspersoonlijkheid
Om een beter begrip te krijgen van de ontwikkeling van de rechtspersoon en de daarbij horende rechtspersoonlijkheid, zal de Romeinse oudheid als beginpunt gehanteerd worden. Het is namelijk zo dat in de Romeinse oudheid al sprake is van corporatieve instellingen waarin zich meerdere personen als eenheid naar buiten toe kenbaar maken. Deze instellingen zijn met name publiekrechtelijk van aard: de Romeinse staat, gemeenten buiten Rome en de verenigingen met
63 Van Schilfgaarde 2017, p. 17. 64 Van Schilfgaarde 2017, p. 17
publiekrechtelijke kenmerken zoals bijv. beroepsorganisaties. Ook instellingen die privaatrechtelijk van aard zijn, kunnen later worden opgericht.65 Het Romeinse recht tracht met
name een efficiënte oplossing te geven voor vraagstukken inzake eigendom en locus standi66.67
Hierdoor kunnen deze instellingen eigendom bezitten zoals gebouwen en overeenkomsten op eigen naam afsluiten.68 Ondanks het feit dat in de Romeinse oudheid het begrip rechtspersoon
niet tot ontwikkeling komt en geen sprake is van een dogmatisch ontwikkeld rechtspersoonlijkheidsbegrip, bevat het Corpus Iuris Civilis wel de grondslag waarop voor latere juristen ons hedendaagse rechtspersoonlijkheidsbegrip is gebaseerd.69 Deze aanzet voor
latere juristen ziet met name op de middeleeuwen, waarbij belangrijke vragen ontstaan inzake de ondernemingen van toentertijd zoals onder andere gilden. Maar ook de opkomst van kloosters zorgt voor problemen omdat monniken en nonnen geen eigendommen mogen hebben en contracten mogen afsluiten. Om dit soort problemen te voorkomen, krijgen kloosters de mogelijkheid om eigendommen op eigen naam te bezitten.70
In de middeleeuwen ontvouwt zich de personificatiegedachte, hierbij is de gedachte dat rechten wel toe kunnen komen aan een entiteit, die geen natuurlijke persoon is. Door de middeleeuwse Romanisten en Canonisten wordt het idee van de reeds genoemde Corpus Iuris Civilis in samenhang met de personificatiegedachte aangegrepen als grondslag om rechten toe te kennen aan entiteiten, welke geen natuurlijke personen zijn.71 In de latere middeleeuwse commentaren
op klassieke teksten wordt de gesimuleerde entiteit genoemd. Bartolo constateert hierbij dat de personificatiegedachte een juridische fictie is, waarbij de entiteit blijft bestaan wanneer de leden uittreden, de entiteit onvergankelijk is en dat aan deze – op personificatiegedachte berustende - entiteit eveneens rechtsbevoegdheid toekomt en vertegenwoordiging nodig heeft.72
65 Asser/Maeijer & Kroeze 2-I 2015/2. Zie ook Kurki 2019, p. 33.
66 Locus standi houdt in dat een belanghebbende het recht heeft om een gerechtelijke procedure te mogen starten
en in dat verband gehoord te worden.
67 Asser/Maeijer & Kroeze 2-I 2015/2. 68 Kurki 2019, p. 33.
69 Asser/Maeijer & Kroeze 2-I 2015/2. Zie ook Kurki 2019, p. 31 en 34. 70 Kurki 2019, p. 34.
71 Asser/Maeijer & Kroeze 2-I 2015/3. Zie ook Kurki 2019, p. 34 en 35. 72 Asser/Maeijer & Kroeze 2-I 2015/3.
Vanaf de 19e eeuw ontstaan inzake rechtspersoonlijkheid de eerste dogmatische opvattingen.
De historische school van Von Savigny gebruikt eveneens het Corpus Iuris Civilis om juridische ficties te ontwikkelen. Één daarvan is de juristische Person, wat een rechtssubject moet voorstellen tegenover de natuurlijke persoon.73 Hierop uit Von Gierke felle kritiek: hij
gaat uit van de zogenoemde orgaantheorie. Deze theorie houdt in dat het niet gaat om de rechtspersoon als rechtsfenomeen maar om de realiteit die daarop berust.74 Ondanks deze
theorieën inzake rechtspersoonlijkheid, ligt aan het huidige Boek 2 Burgerlijk Wetboek, niet echt een rechtspersoonlijkheidstheorie ten grondslag. Wel is het zo dat in het verleden deze twee theorieën invloed hebben gehad op Nederlandse wetgeving en rechtspraak.75
3.1.2 Maatschappelijke en economische behoeften rechtspersoonlijkheid
Alhoewel voor het positieve recht, de rechtstheorie van ondergeschikt belang is en dat bij het ontwerpen van Boek 2 van Burgerlijk Wetboek 2 theorieën zijn vermeden, wil ik een brug slaan naar het feit dat rechtstheorie wel degelijk van invloed is op het begrip rechtspersoonlijkheid. Want in het deel van de Asser-serie dat de rechtspersoon behandelt, is dit fraai verwoord:
‘’Maar alleen al het feit dat wij van het gebruik van de figuur ‘rechtspersoon’ in het positieve recht spreken, toont dat het begrip zelf niet volledig door het positieve recht wordt bepaald, niet afhankelijk is van de wil van hen die recht scheppen. Wij kunnen niet uitmaken, wie positiefrechtelijk rechtspersoon zijn zonder eerst te hebben vastgesteld, wat rechtspersoon is. Het is een begrip van de rechtstheorie, die wel als theorie van het positieve recht de verschijnselen van het recht in de samenleving én in de menselijke geest tot object heeft, maar die niet de inhoud van het positieve recht beschrijft’’.76
Gezien het bovenstaande citaat, de reeds besproken ontwikkelingen van rechtspersoonlijkheid sinds de Romeinse oudheid en de exponentiële groei van de ontwikkelingen inzake KI-systemen vanaf het begin van de 21e eeuw (reeds besproken in hoofdstuk 2.2.), geeft dit stof
om vanuit rechtstheoretisch perspectief te betogen dat nagedacht dient te worden over rechtspersoonlijkheid voor robots binnen het positieve recht. Ook kan worden aangenomen -
73 Asser/Maeijer & Kroeze 2-I 2015/4. Zie ook Kurki 2019, p. 46 en 47.
74 Asser/Maeijer & Kroeze 2-I 2015/4. Zie ook Dewey, The Yale Law Journal 1926/35, p. 670. 75 Asser/Maeijer & Kroeze 2-I 2015/4.
gezien de ontwikkelingen inzake KI sinds de 21e eeuw - dat maatschappelijke en economische
behoeften bestaan.77 Deze maatschappelijke en economische behoeften blijken niet alleen uit
het bestaan van de resolutie maar ook in de literatuur klinken geluiden over het toekennen van rechtspersoonlijkheid aan robots.78 Het belang van deze behoeften ligt in het feit dat ze mede
bepalend zijn voor het wel of niet aannemen van rechtspersoonlijkheid voor robots in de vorm van een rechtspersoon.79
Nu de conclusie is getrokken dat de economische en maatschappelijke behoeften bestaan, ga ik in de volgende paragraaf dieper in op de ontwikkeling van rechtspersoonlijkheid voor robots vanuit Europees perspectief.
3.1.3 Ontwikkeling rechtspersoonlijkheid vanuit Europees perspectief
De ontwikkelingen, specifiek inzake rechtspersoonlijkheid voor KI-systemen vanuit Europees perspectief, kan niet zonder meer onbesproken gelaten worden, temeer nu het Europees Parlement in 2017 een resolutie ter zake heeft aangenomen. Hierin wordt de Europese Commissie aangespoord om onder meer de mogelijkheid te onderzoeken voor het creëren van specifieke rechtspersoonlijkheid voor robots.80
Als reactie op bovengenoemde resolutie heeft de Europese Commissie in 2018 de mededeling ‘Kunstmatige Intelligentie voor Europa’ bekendgemaakt.81 Hierin wordt niet ingegaan op het
verzoek van het Europees Parlement voor het verkennen van een specifieke rechtspersoonlijkheid voor robots. Wel wordt gesproken over het ontwerpen van ethische richtlijnen voor KI en het instellen van een deskundigen groep.82 Voortbouwend op de
77 Resolutie van het Europees Parlement van 16 februari 2017 met aanbevelingen aan de Commissie over
civielrechtelijke regels inzake robotica (2015/2103 (INL)), alinea’s B, D, E, H, K, P en R.
78 Van den Hoven van Genderen 2017, p. 1-28. Zie ook Van Schaik NTBR 2018/7, p. 47-49, Kortmann NJB
2018/1363, p. 1969-1971, Van den Hoven van Genderen 2019, p. 257-290 en Hijink Ondernemingsrecht 2019/3, p. 14.
79 Van den Hoven van Genderen 2017, p. 2.
80 Resolutie van het Europees Parlement van 16 februari 2017 met aanbevelingen aan de Commissie over
civielrechtelijke regels inzake robotica (2015/2103 (INL)).
81 Mededeling van de commissie aan het Europees Parlement, de Europese Raad, de Raad, het Europees
Economisch en sociaal comité en het comité van de regio’s. Kunstmatige intelligentie voor Europa (COM 2018/237 final).
voorgenoemde mededeling uit 2018, heeft de Europese Commissie een witboek uitgevaardigd in 2020.83 Ook hierin behandelt de Europese Commissie het verzoek over de specifieke
rechtspersoonlijkheid voor robots niet. Wel komt naar voren dat de deskundigengroep - zoals geadresseerd in de mededeling van 2018 – inmiddels is opgericht en dat deze deskundigengroep de ethische richtlijnen heeft gepubliceerd.84
Tegenover de wens van het Europees Parlement om een specifieke rechtspersoonlijkheid te creëren voor robots, dient wel te worden vermeld dat ook kritisch is gereageerd op de resolutie. Een voorbeeld hiervan is de open brief die door 285 experts85 op het gebied van robotica, KI,
het recht, medische wetenschap en ethiek is ondertekend en die is gericht tot de Europese Commissie.86 In deze open brief wordt gewaarschuwd voor het toekennen van
rechtspersoonlijkheid aan robots. In de brief wordt als reden genoemd dat het ethisch en juridisch ongepast is om rechtspersoonlijkheid toe te kennen aan robots.
Ook het Europees Economisch en Sociaal Comité (hierna EESC) uit zich kritisch over de resolutie van het Europees Parlement. In zijn advies geeft het EESC aan dat door het toekennen van rechtspersoonlijkheid voor robots het aansprakelijkheidsrecht wordt uitgehold, een moreel risico ontstaat bij de ontwikkeling en gebruik van KI en het kan leiden tot misbruik.87 Tot slot
klinkt ook in de literatuur kritiek op het toekennen van rechtspersoonlijkheid voor robots.88
Gezien bovenstaande ontwikkelingen rijst de vraag waarom tot op heden de kwestie inzake rechtspersoonlijkheid voor robots niet door de Europese wetgever is opgepakt. In het verlengde daarvan dient eveneens te worden bezien of de Europese wetgever deze bevoegdheid überhaupt heeft. Dit omdat op grond van het beginsel van bevoegdheidstoedeling, de Europese wetgever alleen mag handelen binnen de grenzen van de bevoegdheden die door de lidstaten zijn toegekend in de verdragen om de daarin vervatte doelstellingen te verwezenlijken.89 Derhalve
83 Witboek over kunstmatige intelligentie – een Europese benadering op basis van excellentie en vertrouwen (COM
2020/65 final).
84 Witboek over kunstmatige intelligentie – een Europese benadering op basis van excellentie en vertrouwen (COM
2020/65 final), p. 10.
85 Op 7 januari 2021 is de open brief door 285 experts ondertekend.
86 Open letter to the European Commission Artificial Intelligence and robotics, 2018.
87 EESC, Advies over kunstmatige intelligentie en de gevolgen van kunst- matige intelligentie voor de (digitale)
eengemaakte markt, de productie, consumptie, werkgelegenheid en samenleving, 31 mei 2017 (INT/806), p. 4.
88 Bronneman, IER 2019/1, p. 8.
dient er een grondslag te zijn. Om als voorbeeld te noemen: er zijn Europese rechtspersonen in het leven geroepen door de Europese wetgever zoals de Europese vennootschap, Europese coöperatieve vennootschap en het Europees economisch samenwerkingsverband.90 De
grondslag waarop de Europese wetgever zich beroept om deze rechtspersonen in het leven te roepen, is terug te voeren op het feit dat het de taak is van de Europese wetgever om de vestigingsvrijheid en mobiliteit binnen de EU te bevorderen.91 Voortbordurend hierop dienen
we ons af te vragen of er ook een grondslag bestaat – zo ja, wat is de grondslag? - voor het toekennen van specifieke rechtspersoonlijkheid voor robots waarop de Europese wetgever zich kan beroepen. Verder merken Hijink en van der Spek op dat de Europese wetgever zich tot op heden niet heeft uitgelaten over de vraag of en onder welke voorwaarden rechtspersoonlijkheid voor robots moet worden ingevoerd.92 Al met al kan door de aangenomen resolutie, in ieder
geval gesteld worden dat het Europees Parlement de noodzaak voelt om rechtspersoonlijkheid aan robots toe te kennen. Maar of dit een aangelegenheid is voor de Europese wetgever, is een vraag die we ons weer even moeten stellen.
Nu de ontwikkelingen inzake rechtspersoonlijkheid vanuit Europees perspectief zijn besproken, wordt in de volgende paragraaf ingegaan op de bestuursmodellen naar Nederlands recht.
3.2 Bestuursmodellen naar Nederlands recht
Om een robot als bestuurder van een kapitaalvennootschap te benoemen, dienen we ons eerst af te vragen wie kan worden benoemd als bestuurder van een kapitaalvennootschap volgens het Nederlands vennootschapsrecht. Van belang hierbij is om eerst de bestuursmodellen kort uiteen te zetten. Het is namelijk zo dat een vennootschap kan kiezen uit twee soorten bestuursmodellen. Enerzijds heb je het two-tier bestuursmodel, het model waarvan Boek 2 Burgerlijk Wetboek uitging, anderzijds heb je het one-tier bestuursmodel.93 Binnen het two-tier
bestuursmodel heb je de raad van bestuur en in sommige gevallen de raad van commissarissen, waarbij de raad van commissarissen toezicht houdt op de raad van bestuur.94 In dit
bestuursmodel kan de bestuurder zowel een natuurlijk persoon als rechtspersoon zijn. De
90 Asser/Maeijer & Kroeze 2-I 2015/33.
91 Van Schilfgaarde 2017, p. 524. Zie ook Asser/Maeijer & Kroeze 2-I 2015/33 en Hartkamp e.a., De invloed van het Europese recht (O&R nr. 81-II) 2014/II.B.1.2.2.1.
92 Hijink Ondernemingsrecht 2019/3, p. 15. Zie ook Van der Spek MvO 2020/1.4, p. 25. 93 Van Schilfgaarde 2017, p. 187.
juridische grondslag voor de rechtspersoon als bestuurder valt te herleiden uit artikel 2:5 BW.95
Dit terwijl de commissaris alleen een natuurlijk persoon kan zijn (artikel 2:140 BW voor de NV en artikel 2:250 BW voor de BV).
In het one-tier bestuursmodel (ook wel monistisch bestuursmodel genoemd) - dat op 1 januari 2013 geïmplementeerd is in de Wet Bestuur en Toezicht – is geen sprake van een raad van bestuur en een raad van commissarissen. In dit zogeheten monistisch bestuursmodel, is sprake van uitvoerende en niet-uitvoerende bestuurders waarbij deze bestuurders verenigd zijn in één orgaan: de raad van bestuur.96 De uitvoerende bestuurders zijn belast met het algemeen bestuur
en oefenen het dagelijks bestuur uit. De niet-uitvoerende bestuurders zijn ook belast met het algemeen bestuur en houden toezicht op de uitvoerende bestuurders voor wat betreft het dagelijks bestuur.97 Ook in dit bestuursmodel kan een rechtspersoon bestuurder zijn op grond
van artikel 2:5 BW, maar alleen als uitvoerende bestuurder. Een rechtspersoon kan niet tot uitvoerende bestuurder worden benoemd. In de wet is namelijk opgenomen dat de niet-uitvoerende bestuurder een natuurlijk persoon dient te zijn (artikel 2:129a BW voor de NV en artikel 2:239a BW voor de BV).
Kortom, wil je een robot als bestuurder benoemen in een kapitaalvennootschap, dan dient de robot rechtspersoonlijkheid te verkrijgen. Zodra de robot deze rechtspersoonlijkheid verkrijgt, dan kan hij alleen benoemd worden als bestuurder in een two-tier bestuursmodel en alleen als uitvoerende bestuurder in een one-tier bestuursmodel.
3.3 Robot met rechtspersoonlijkheid
In de vorige paragraaf hebben we geconstateerd dat een bestuurder een natuurlijk persoon of rechtspersoon kan zijn. De vervolgvraag is dan: hoe zit dat bijvoorbeeld met robots, is het mogelijk om rechtspersoonlijkheid te creëren voor hen? Bij deze vraag kan langer worden stilgestaan. Het uitgangspunt in huidig recht is namelijk dat het stelsel inzake privaatrechtelijke rechtspersonen een gesloten stelsel is.98 Echter is het zo dat de mogelijkheid bestaat voor de
95 Hanegraaf, Doorgeefluik van bestuurdersaansprakelijkheid (IVOR nr. 106) 2017/2.2.5. Zie ook Roest in T&C
Burgerlijk Wetboek , art. 2:5 BW, aant. 3.
96 Van Schilfgaarde 2017, p. 187.
97 Asser/Van Solinge & Nieuwe Weme 2-IIb 2019/173.
98 Van der Spek, MvO 2020/1.4, p. 24. Zie ook Huizink, in: GS Rechtspersonen, art. 2:3 BW, aant. 7.1 en
Nederlandse wetgever om verscheidene rechtspersonen te creëren.99 Ook zijn uitzonderingen
op grond van de rechtspraak mogelijk. Halverwege de 20e eeuw is namelijk in de rechtspraak
aangenomen dat de stichting zoals we die vandaag de dag kennen, rechtspersoonlijkheid bezit vooraleer de wetgever dit wettelijk heeft vastgelegd. Tegenwoordig is het niet anders en is het via de rechtsspraak nog steeds mogelijk om rechtspersoonlijkheid toe te kennen aan een entiteit anders dan die in artikel 2:3 BW staan.100 Hierbij dient wel een nuance gemaakt te worden, een
beroep hierop zal namelijk niet snel worden gehonoreerd, dit omdat de wetgever onzekerheid zoveel mogelijk wil uitsluiten.101
Uit bovengenoemde kan derhalve worden geconcludeerd dat het in theorie mogelijk is dat de rechter rechtspersoonlijkheid toekent aan robots maar zal hij in de praktijk daarin terughoudend zijn. Derhalve is de wetgever aan zet inzake het creëren van rechts-persoonlijkheid voor robots. Ondanks deze nuance is het een misvatting om aan te nemen dat het onmogelijk is of dat de discussie niet gevoerd dient te worden. Daar waar het recht stopt dynamisch te zijn, zal de industriële revolutie inzake KI zich verder blijven ontwikkelen.
Nu aangenomen is dat het volgens huidig recht mogelijk is om rechtspersoonlijkheid toe te kennen aan entiteiten die niet in artikel 2:3 BW zijn genoemd, dient bekeken te worden waar op gelet moet worden, willen we rechtspersoonlijkheid toekennen aan de robot. Om te beginnen is het wenselijkheidsvraagstuk van belang. Als vertrekpunt dient genomen te worden: wat is het doel van de wetgever om rechtspersoonlijkheid te creëren in het recht? De rechtspersoonlijkheidsgedachte is in het recht geroepen om het rechtsleven van de natuurlijke persoon te dienen.102 Als vervolgvraag kan worden gesteld of de robot met het verkrijgen van
rechtspersoonlijkheid, het rechtsleven van de natuurlijke persoon dient. Reeds zijn de ontwikkelingen van KI – mede vanuit Europees perspectief en de gevolgen van deze ‘industriële revolutie’ - uiteengezet. In het verlengde daarvan zijn de maatschappelijke en economische behoeftes reeds in het licht van robots toegelicht. Voortbouwend hierop, kan
99 Van der Spek, MvO 2020/1.4, p. 24. Zie ook Huizink, in: GS Rechtspersonen, art. 2:3 BW, aant. 7.1 100 Van der Spek, MvO 2020/1.4, p. 24.
101 Van der Spek, MvO 2020/1.4, p. 24. Zie ook Asser/Maeijer & Kroeze 2-I 2015/42.
102 Van Schilfgaarde 2017, p. 17. Zie hierover ook Van den Hoven van Genderen 2019, p. 260 en 275, waarin hij
aangeeft dat de perceptie omtrent rechtspersoonlijkheid zich ontwikkelt binnen de cultuur en tijd en dat rechtspersoonlijkheid een rekbaar begrip is en Kurki 2019.
bevestigend worden geantwoord op de vraag of de robot het rechtsleven van de natuurlijke persoon dient.
Zoals reeds is behandeld in hoofdstuk 2.5, valt de definitie van rechtssubject vooralsnog niet samen met de karakteristieken van een robot maar vertoont het wel een toenemend aantal overeenkomsten.103 Van belang is dus dat de robot qua karakteristieken specifieker dient te zijn,
opdat hiermee de wenselijkheid inzake het toekennen van rechtspersoonlijkheid kan worden bewerkstelligd.104 Hierbij dient derhalve eveneens – naast het wenselijkheidsvraagstuk -
ingezoomd te worden op de aspecten van autonomie van de robot, dit omdat bij het creëren van rechtspersoonlijkheid, de mate van autonomie bepalend dient te zijn.105 Om de graad van
geschiktheid en wenselijkheid voor het toekennen van rechtspersoonlijkheid aan de robot te bekijken, kan gebruik worden gemaakt van de volgende formule: r=ki*mb>mi=rp.106 Hierbij
dient in de formule bij KI uitgegaan te worden van de meest geavanceerde vorm, namelijk deep
learning. Vervolgens zal door middel van het verrichten van testen - welke zien op de taken die
de robot moet kunnen verrichten in het kader van doel en functie – het niveau van de robot moet worden vergeleken met dat van een natuurlijk persoon. Daarna moet het niveau van de robot worden vermenigvuldigd met de maatschappelijke behoeften zoals die reeds zijn genoemd. Dit kan eveneens als het noodzakelijkheidsvereiste gezien worden. Met andere woorden: kan de samenleving - in de nabije toekomst - functioneren zonder KI? Indien de uitkomst van de vermenigvuldiging groter is dan het niveau van de menselijke intelligentie, dan kan gesteld worden dat de behoefte bestaat voor het toekennen van een subcategorie van rechtspersoonlijkheid aan robots.
Het is van belang om in het licht van het voorgenoemde op te merken dat de formule een aanzet is. Wat ik hiermee wil zeggen is dat ook belangrijke en praktische vragen rijzen bij het
103 Van den Hoven van Genderen 2017, p. 18. 104 Van den Hoven van Genderen 2017, p. 19.
105 Van den Hoven van Genderen 2017, p. 19. Zie ook Puşcã, EAI Endorsed Transactions on Creative Technologies
2020/7, p. 4 en Hijink Computerrecht 2019/3, p. 16.
106 Van den Hoven van Genderen 2017, p. 19. De formule houdt voluit geschreven het volgende in:
robot=kunstmatige intelligentie maal maatschappelijke behoefte, dient groter te zijn dan menselijke intelligentie, wat leidt tot behoefte aan rechtspersoonlijkheid. Zie ook: Van de Ven, MvO 2020/7, p. 193 en 194, waarin hij tevens de opvatting van Van den Hoven van Genderen onderschrijft dat KI, de menselijke intelligentie dient te evenaren dan wel te overstijgen.
toekennen van rechtspersoonlijkheid aan robots. Voorbeelden hiervan zijn of de bovenstaande formule voor alle robots dient te gelden of alleen voor bepaalde robots en wie bepaalt dan voor welke robots deze formule geldt. Ook de invoering van rechtspersoonlijkheid van robots vereist een plan van aanpak. De definities van KI en de robot dienen namelijk op elkaar aan te sluiten, waarbij de definities ruimte moeten geven om verdere ontwikkelingen niet in de weg te staan. Dit heb ik reeds behandeld in hoofdstuk 2.1. Voortbordurend op de typen robots, is het door de enorme verscheidenheid aan robots onmogelijk om een gelijkvormig juridisch regime te ontwikkelen. Uit de wettelijke omschrijving van de huidige rechtspersonen zoals we die kennen in het Nederlands recht, valt op te maken dat er verscheidene rechtspersonen zijn, ieder naar doel en functie gecategoriseerd.107 Mijns inziens dient dan ook een instelling in het leven te
worden geroepen door de wetgever waarin deskundigen plaats nemen om per sector criteria vast te stellen welke robots rechtspersoonlijkheid kunnen verkrijgen, waarbij derhalve wordt gekeken naar doel en functie binnen de desbetreffende sector. Deze instelling moet ook een toezichthoudende functie krijgen. Verder lijkt het mij belangrijk – dit wordt overigens gedeeltelijk ingedekt in de formule – om vast te stellen dat alleen de meest autonome robots in aanmerking kunnen komen voor specifieke rechtspersoonlijkheid. Bovendien is het handig om een register in het leven te roepen, waarin de robots met rechtspersoonlijkheid worden opgenomen per sector. Kortom, hier valt te constateren dat voor de wetgever een enorme slag valt te maken.
Nu de mogelijkheid en wenselijkheid is besproken inzake het verlenen van rechtspersoonlijkheid aan de robot, wordt in de volgende paragraaf besproken op welke manier deze entiteit in het recht dient te worden geïmplementeerd.
3.4 Robotbestuurder als digitaal persoon
Om de robot in het recht te implementeren, dient mijns inziens allereerst de robot in zijn algemeenheid te worden gedefinieerd. Zoals reeds besproken, is in het EU rapport ‘RoboLaw’ een definitie gegeven aan robots en in het witboek van de Europese Commissie een definitie voor KI. Deze twee definities dienen op elkaar aan te sluiten. Met andere woorden: de definiëring van de robot dient te verwijzen naar KI. Hiermee kan worden bewerkstelligd op het moment dat aparte wetgeving voor de digitale persoon wordt geïntroduceerd, er een definitie
kan worden gegeven aan de ‘digitale persoon’. Winter heeft in 2001 getracht een definitie toe te kennen aan de digitale persoon:
‘’De digitale persoon is een door één of meer beheerders beheerd computersysteem dat zelfstandig aan het rechtsverkeer deelneemt.’’.108
Mijns inziens is het begrip ‘computersysteem’ te beperkt. Zoals ik hierboven heb geschetst in het licht van het EU rapport en het witboek, dient de digitale persoon dus breder te worden omschreven. Derhalve zou ik het woord ‘computersysteem’ vervangen door het woord ‘robot’, waardoor de definitie van de digitale persoon als volgt komt te luiden:
De digitale persoon is een door één of meer beheerders beheerde robot die zelfstandig aan het rechtsverkeer deelneemt.
In de aparte wetgeving dient wel uitdrukkelijk te worden verwezen naar het deelgebied deep
learning bij de digitale persoon. Dit omdat anders wordt verwezen naar KI in haar
algemeenheid, en zoals ik reeds heb geïllustreerd in hoofdstuk 2.3, is KI een alomvattend begrip. Hierdoor - indien niet uitdrukkelijk wordt verwezen naar deep learning - ontstaat een onwenselijke situatie omdat dan naar alle deelgebieden van KI wordt verwezen. Dit wekt de indruk dat minder autonome robots ook in aanmerking komen voor rechtspersoonlijkheid via de route van de digitale persoon. Tot slot dient in het kader van de robotbestuurder eveneens in deze aparte wetgeving, een aparte afgeleide definitie te worden gegeven dat onder de digitale persoon valt. De digitale persoon is namelijk een te breed begrip, dat ziet op robots met rechtspersoonlijkheid in zijn algemeenheid.
De beheerder wordt in het leven geroepen omdat die van essentieel belang is. Hiermee is het handelen van de robot continu herleidbaar naar de mens en wanneer zich bijvoorbeeld bepaalde situaties voordoen, dan kan het aan de mens worden toegerekend. Verder is het eveneens zo dat hiermee de inbreuk op het ‘gesloten’ stelsel van rechtspersonen beperkt blijft.109 In het geval
de beheerder van de robot een rechtspersoon of een ander digitaal persoon is, dan zal de schakelbepaling van artikel 2:11 BW eveneens een toevoeging moeten krijgen om de
108 Winter 2001, p. 131. 109 Winter 2001, p. 127.
