Observaties en voorlopige conclusies

Voor iedere annotatie is bekeken of de hiervoor genoemde kenmerken terug te vinden zijn in de annotaties die door de deskundigen zijn aangeleverd. Daarbij zijn drie scores toegekend, te weten ‘0’ (kenmerk niet aangetroffen), ‘1’ (ken-merk aangetroffen) en ‘0.5’ (ken(ken-merk aangetroffen maar zeer beperkt in omvang

in vergelijking met andere annotaties waar het kenmerk is aangetroffen). De resultaten zijn voor ieder van de drie rechtsgebieden (bestuursrecht, privaatrecht, strafrecht) in een matrix geplaatst. Omdat aanwezigheid en lengte onvoldoende betrouwbaar zijn om de inhoud van annotaties te kunnen dekken, is voor iedere annotatie per kenmerk nader geanalyseerd hoe het terugkwam in de betreffende annotatie. De matrices en de resultaten zijn opgenomen in Bijlage 4. De infor-matie hierna beperkt zich om redenen van overzichtelijkheid tot de uitkomsten. Het is echter instructief om ook de analyse door te nemen die tot de hiernavol-gende indrukken en voorspellingen heeft geleid.

3.1 Kwaliteitsindicatoren

Een eerste regelmatigheid die uit de drie rechtsgebieden af te leiden valt, is dat annotaties over het algemeen niet worden gekwalificeerd als goede of uitsteken-de annotaties als zij in essentie bestaan uit een weergave van uitsteken-de casus, uitsteken-de beslis-sing van de rechter en/of een beschrijving van het geldende recht dat op derge-lijke gevallen van toepassing is. Indien een annotatie (vrijwel) uitsluitend hieruit bestaat, is dit dan ook een indicatie dat de academische kwaliteit van de annota-tie matig of zelfs slecht is.

Een aantal bestuursrechtelijke annotaties met alleen dit kenmerk is toch als goed/uitstekend aangemerkt. Uit de toelichtingen van de beoordelaars volgde dat het bieden van een handzaam overzicht in een aantal gevallen wordt gewaar-deerd. Het is echter niet mogelijk gebleken om criteria te achterhalen die zicht geven op wanneer het uitsluitend weergeven van feiten, de uitspraak en/of het geldende recht als goed/uitstekend moet worden aangemerkt.

Voorts kon voor een aantal andere kenmerken worden vastgesteld dat de-ze een positieve invloed hadden op de kwaliteit van annotaties. Dede-ze positieve relatie blijkt echter alleen te bestaan indien de passages waarin deze kenmerken aan de orde zijn, een behoorlijke omvang hebben, dat wil zeggen dominant zijn binnen de betreffende annotatie, eventueel samen met het weergeven van feiten, de uitkomst en/of het geldende recht. Ook bij een beperkte omvang kan een annotatie positief worden gewaardeerd, maar dan is sprake van een combinatie met een van (onderstaande) kenmerken, en is de omvang van de passages samen van een behoorlijke, in ieder geval niet-geringe omvang.

Een van de kenmerken die positief is geassocieerd met de kwaliteit van annotaties, is het schetsen van implicaties. In alle drie de rechtsgebieden bleken de beoordelingen van annotaties te kunnen worden gerelateerd aan de aan- of afwezigheid van dit kenmerk. Een gebruikelijke wijze van het schetsen van implicaties is het aan de hand van andere, meestal nieuwe casus nagaan van wat de gevolgen van de uitspraak zijn en of deze gevolgen wenselijk zijn, eventueel in het licht van alternatieve oplossingen of uitkomsten.

Daarnaast kon worden vastgesteld dat het toetsen aan ‘hoger’ recht een positieve invloed heeft op de kwaliteit van annotaties. Het is echter niet moge-lijk om op basis van de gedane analyse te bepalen of deze effecten voor alle drie de rechtsgebieden gelden. Het toetsen aan ‘hoger’ recht was slechts aan de orde in bestuursrechtelijke annotaties.

In de strafrechtelijke annotaties ontstond het beeld dat er een relatie be-stond tussen de kwaliteit van annotaties en het nagaan welke leer was toegepast. De annotaties die met name bestaan uit het aan de hand van de uitspraak laten zien welke theorie of doctrine die in de literatuur is voorgesteld of wordt aange-hangen het beste verklaart waarom de rechter in dit geval (en mogelijk in eerde-re gevallen) tot een bepaalde beslissing is gekomen, zijn door beide beoordelaars als goed aangemerkt. De indruk bestond dat er een positieve relatie is tussen dit kenmerk en de kwaliteit van annotaties, maar enige twijfel is hier op zijn plaats, omdat ook andere factoren in het spel waren die de positieve relatie met de kwa-liteit van annotaties mogelijk zouden kunnen verklaren. Overigens is dit ken-merk alleen teruggevonden in strafrechtelijke annotaties. Het is dan ook niet zeker dat dit kenmerk ook relevant is in andere rechtsgebieden. Dit zal waar-schijnlijk afhankelijk zijn van de beschikbaarheid van theorieën en doctrines die met elkaar strijden om het beste verklaringsmodel te zijn, alsook van de omstan-digheid in hoeverre de uitspraak laat doorschemeren welke leer zij aanhangt.

Uit de analyse van privaatrechtelijke annotaties volgt voorts dat het ont-wikkelen van een criterium positief gerelateerd was aan de beoordeling van annotaties. Een vergelijkbare conclusie geldt voor het systematisch nalopen van voor- en tegenargumenten, inclusief het bespreken van de houdbaarheid van deze argumenten. Uit de analyse van strafrechtelijke annotaties kan worden opgemaakt dat dit kenmerk een indicatie is voor een goede of uitstekende anno-tatie indien het een centrale functie vervult in de betreffende annoanno-tatie.

3.2 Kenmerken met geen of zeer geringe invloed

Voor verschillende kenmerken kan op basis van de uitgevoerde analyse worden vermoed dat zij geen of een zeer geringe invloed hebben op de kwaliteit van annotaties. Dit geldt in de eerste plaats voor het vergelijken met eerdere juris-prudentie (in de zin van het vaststellen of de uitspraak wel/niet aansluit bij eer-der gewezen uitspraken). In geen van de drie rechtsgebieden zijn aanwijzingen gevonden voor een verband met de kwaliteit van annotaties. Datzelfde geldt voor het wijzen op het belang van de uitspraak.

Voor een aantal kenmerken geldt dat het slechts is aangetroffen in annota-ties afkomstig uit één rechtsgebied. De meeste van deze kenmerken bleken niet gerelateerd aan de kwaliteit van annotaties. Het gaat hierbij om het uiten van kritiek op voorstellen uit de politiek (bestuursrecht), het evalueren van een

uit-spraak aan de hand van wat gangbaar of gebruikelijk is in de praktijk (bestuurs-recht), het schetsen van kwesties die zich geregeld voordoen (straf(bestuurs-recht), het toetsen of de beslissing beantwoordt aan het doel van de regeling (bestuurs-recht), om het opwerpen van vragen (zonder deze te beantwoorden) (strafrecht) en om het laten zien dat procespartijen beter een andere keuze hadden kunnen maken (privaatrecht). Voor zover er een invloed is van het toetsen of ter discus-sie stellen van opvattingen van andere auteurs (privaatrecht), is die invloed be-perkt. Zij lijkt afhankelijk te zijn van de aanwezigheid van andere kenmerken, zodat het mogelijk is dat de kwaliteit door die andere kenmerken wordt ver-klaard, of door een combinatie van kenmerken, waarbij moeilijk is vast te stellen wat de rol is van het toetsen of ter discussie stellen van opvattingen van andere auteurs.

Ten aanzien van het constateren c.q. ophelderen van onduidelijke passa-ges en motiveringsgebreken, dat in annotaties binnen alle drie de rechtsgebieden terugkwam, zijn onvoldoende aanwijzingen gevonden om van een kwaliteitsin-dicator te kunnen spreken. Alleen bij de strafrechtelijke annotaties leek er een mogelijke relatie te zijn, maar omdat de beoordelingen van de annotaties ook aan andere factoren konden worden toegeschreven, kon niet worden vastgesteld dat de beoordelingen waren gerelateerd aan het constateren c.q. ophelderen van onduidelijke passages en motiveringsgebreken.³⁹ Op grond hiervan en in het licht van de bevindingen in de andere rechtsgebieden ligt het niet voor de hand aan te nemen dat dit kenmerk een indicator is voor de kwaliteit van annotaties.

Een vergelijkbare conclusie dient te worden getrokken voor het zoeken naar een verklaring voor de gewezen beslissing. In de bestuursrechtelijke en privaatrechtelijke annotaties leek het onwaarschijnlijk dat dit kenmerk gerela-teerd is aan de kwaliteit van annotaties. Voor de strafrechtelijke annotaties werd geconcludeerd dat er eventueel wel een effect was, maar dat in de annotatie waaruit dit vermoeden is afgeleid, ook andere kenmerken in het spel waren die vermoedelijk ook of meer hebben bijgedragen aan de positieve waardering van de betreffende annotatie. De twijfels leiden dan ook tot de constatering dat er onvoldoende aanwijzingen zijn om te concluderen dat het zoeken naar een ver-klaring voor de gewezen uitspraak een goede voorspeller is voor de kwaliteit van annotaties.

Ook voor het vergelijken van de uitkomst met een uitkomst indien de rechter anders zou hebben besloten, geldt dat er te weinig aanwijzingen zijn om dit kenmerk als indicator te beschouwen voor de kwaliteit van annotaties. De omvang van de passages waarin dit aan de orde was, was gering. Bovendien

39 De eventuele relatie tussen dit kenmerk en de kwaliteit van annotaties zou evenwel kunnen worden verklaard vanwege het gegeven dat één van de twee strafrechtelijke beoordelaars alle annotaties die op enigerlei wijze kritisch waren ten aanzien van de uitspraak als goed/uitstekend heeft aangemerkt.

bestond de indruk dat de positieve beoordelingen vermoedelijk eerder worden toegeschreven aan andere kenmerken dan aan de vergelijking.

3.3 Kenmerken met ambigu beeld

Het uitspreken van een toekomstverwachting ten aanzien van de ontwikkeling van een bepaald leerstuk bleek één keer wel te kunnen worden gerelateerd aan de kwaliteit van annotaties, en de anderen keren niet. Een verklaring hiervoor is dat de verwachting in eerstbedoelde annotatie gebaseerd was op, en onderbouwd werd aan de hand van, literatuur waarin kritiek op de huidige regel of toepassing is geuit, terwijl in de andere annotaties slechts een algemene verwachting werd uitgesproken die niet onmiddellijk voortvloeide uit de uitspraak (of uit het ove-rige deel van de annotatie). Alleen in de eerste situatie lijkt dit kenmerk een voorspeller te zijn van een kwalitatief goede/uitstekende annotatie, maar niet in andere gevallen.

Het gemotiveerd aangeven of de uitspraak overtuigt, is een kenmerk dat over het algemeen niet, maar voor een enkele beoordelaar wel, gerelateerd lijkt te zijn aan de kwaliteit van annotaties. De analyse van bestuursrechtelijke en privaatrechtelijke annotaties leverde te weinig aanwijzingen op voor de conclu-sie dat het gemotiveerd aangeven of de uitspraak overtuigt van invloed is op de kwaliteit van annotaties. Bij de analyse van de strafrechtelijke annotaties bleek echter dat het kenmerk voor de ene beoordelaar wel, maar voor de andere be-oordelaar geen criterium is geweest om annotaties als goed/uitstekend aan te merken. Deze observaties maken het gemotiveerd aangeven of de uitspraak overtuigt geen goede indicator voor de kwaliteit van annotaties.

4 Resultaten fuzzy-set qualitative comparative analysis (fsQCA)