Methoden van dataverzameling, data-analyse en data-interpretatie

3.3.1 Inleiding

In deze paragraaf wordt zichtbaar gemaakt welke methoden en technieken ge-bruikt zijn bij het proces van dataverzameling, data-analyse en data-interpre-tatie. Per deelvraag wordt beschreven welke methodologische keuzes daarbij gemaakt zijn. De paragraaf valt uiteen in drie subparagrafen welke steeds be-ginnen met een schematisch overzicht van de gemaakte stappen. Aan de hand van het schema worden de gevolgde methoden uiteengezet, dan wel wordt er

5 De lijst geselecteerde proefschriften is voorbereid met behulp van wetenschappelijke verslagen, web-site-informatie over promoties en overzichten die dankzij de beleidsmedewerkers van de faculteiten beschikbaar zijn gesteld. Tezamen met de promotores is een eerste selectie van 90 proefschriften opgesteld, verdeeld over de negen faculteiten en de vijf vakgebieden. De lijst is naar alle faculteiten toegestuurd ter correctie en/of verbetering. Alle faculteiten hebben gereageerd. Met de gesuggereerde veranderingen is rekening gehouden zodat de faculteiten zelf verantwoordelijk zijn geweest voor de selectie van de proefschriften. De aldus gevalideerde selectielijst bevat proefschriften die zijn verde-digd in de periode maart 1999 – juni 2006. De grote tijdspanne illustreert hoe de output (zowel de populatie, als) de steekproef bepaalt: in verschillende faculteiten en in enkele vakgebieden moest men tot zeven jaar teruggaan om de twee meest recente proefschriften te kunnen selecteren.

Moment van dataverzameling: mei / juni 2006.

6 Zie bijlage 2 voor een volledig overzicht van de onderzochte proefschriften. De lijsten per faculteit werden na ampele voorbereiding naar de diverse facultaire onderzoeksdirecteuren toegestuurd ter validatie.

verwezen naar de vindplaats waar het desbetreff ende onderdeel nader wordt verantwoord.

Voor alle duidelijkheid worden hier de deelvragen nog eens gememoreerd: 1. Welke eisen worden in algemene zin gesteld aan de verantwoording van

me-thodologische keuzes in wetenschappelijk onderzoek?

2. Hoe worden de probleemstelling, de bronnen en de methoden in recente Nederlandse juridische proefschriften geëxposeerd?

3. Op welke punten voldoet de verantwoording van methodologische keuzes in recente juridische proefschriften aan de eisen die in algemene zin gesteld worden aan de verantwoording van methodologische keuzes in wetenschap-pelijk onderzoek? Op welke punten voldoet de verantwoording van methodo-logisch keuzes in de geanalyseerde proefschriften daaraan minder of niet? 4. Welke waarde of betekenis hebben de onderzoeksresultaten voor de

rechts-wetenschap en zouden er consequenties aan moeten worden verbonden?

3.3.2 Methoden: dataverzameling

Een analyse-instrument is nodig om de geselecteerde dissertaties te onderzoe-ken op de gemaakte methodologische keuzes. In het instrument is in feite het antwoord op de eerste deelvraag vervat. Die vraag zoekt duidelijkheid omtrent de eisen die in algemene zin gesteld kunnen worden aan de verantwoording van methodologische keuzes in wetenschappelijk onderzoek. MethChoice LR bevat de op het meest concrete niveau geoperationaliseerde begrippen uit het theoretisch kader. In hoofdstuk 2 is via het verantwoordingsbeginsel en de me-thodologische criteria die daarop zijn gebaseerd een sprong gemaakt naar de onderzoeksactiviteiten c.q. verantwoordingselementen (zie 2.6 en 2.7) die no-dig zijn om de methodologische verantwoording zichtbaar te maken. Die acti-viteiten zijn in drie methodologische dimensies (probleemstelling, bronnen en methoden) ingedeeld en zijn voor dit onderzoek vertaald in 56 gebruiks- en ver-antwoordingselementen. Voor het complete overzicht van alle elementen wordt verwezen naar bijlage 1, waarin het instrument in de vorm van een bruikbaar vragenformulier is gepresenteerd.

Het onderzoek beoogt uitspraken te doen over de mate waarin rechtswe-tenschappers hun methodologische keuzes verantwoorden. Nog afgezien van acceptatie van de vooronderstellingen waarop het instrument is gebaseerd, zal het forum dergelijke uitspraken alleen aanvaarden wanneer de gegevens ver-zameld zijn met een betrouwbaar en valide instrument. De verzameling van gegevens voor dit onderzoek heeft daarom plaats gevonden met inachtneming van de eisen die aan een intersubjectief werkend instrument gesteld mogen worden. Aangezien MethChoice Legal Research als analyse-instrument centraal staat in dit onderzoek is er een apart hoofdstuk (4) aan gewijd. In dat hoofdstuk worden de verschillende onderdelen van het instrument behandeld alsook de procedures die nodig zijn om het instrument te kunnen introduceren als con-sistent en hanteerbaar.

In het hierna volgende schema is zichtbaar gemaakt welke stappen zijn ge-zet, c.q. methoden en technieken zijn gebruikt om het instrument ook daad-werkelijk valide en betrouwbaar te maken. Volgend op het schema worden de

3 Methode

verschillende daarbij behorende toegepaste procedures – voorzover deze niet behandeld worden in hoofdstuk 4 – systematisch uitgelegd.

Schema 3.1 Dataverzameling instrument

Instrument Validiteit Literatuurstudie Pilot Expert meeting Regressie analyses Schaalconsistentie Interbeoordelaarsbetrouwbaarheid Betrouw baarheid 3.3.2.1 Literatuurstudie

De start van het zoeken naar relevante literatuur over het onderwerp is begon-nen binbegon-nen het eigen domein van de bestudeerde proefschriften, te weten de rechtswetenschap. De door twee bij de onderzoeksbeoordeling van rechtswe-tenschappelijk onderzoek betrokken adviescommissies8 gebruikte bronnen, hebben hierbij de basis gevormd. In aanvulling op de basislijst is in vijf data-bases een search gedaan, waarin gebruikt is gemaakt van de zoektermen “me-thodologie” (methodology) en “methoden” (methods). Die twee zoektermen zijn op alle voor de hand liggende wijzen gekoppeld aan de zoektermen “rechtswe-tenschap” (legal science), “recht” (law) en “juridisch” (legal en juridical). In bij-lage 4 zijn de precieze bevindingen van de selectie van de “juridische” bronnen uiteengezet met in een addendum een overzicht van queries, zoektermen en resultaten. De search werd begin 2007 verricht.9 Ook is gebruik gemaakt van relevante nadien verschenen methodologische artikelen.

Het tweede literatuuronderzoek is niet gebaseerd op een systematische lite-ratuursearch. Het betreft een selectie uit belangrijke methodologische litera-tuur uit een academische traditie, die door Baggen10 wordt beschouwd als een vormingstraditie waarin het profi el van de onderzoeksuniversiteit domineert. Methodologie is een omvangrijke en specialistische discipline. Gezocht is naar methodologische literatuur die door vele methodologen als onomstreden wordt opgevat, zeker vanuit het perspectief van het in hoofdstuk 2 geformuleerde

ver-8 Commissies Stolker en Smits.

9 Getracht is om tot en met september 2008 de na de search verschenen literatuur zoveel mogelijk bij te

houden en zo nodig te gebruiken, c.q. te verwerken. 10 Baggen, 1998. Zie verder 6.5.

antwoordingsbeginsel. In 2.2.2 is apart aandacht besteed aan de verantwoor-ding van de methodologische literatuur.

Het in bijlage 5 weergegeven literatuurregister vormt het uiteindelijke resul-taat van de voor dit onderzoek gebruikte bronnen.

3.3.2.2 Pilot

In hoofdstuk 4, paragraaf 4.4.1. wordt uitgelegd dat in het kader van de vali-diteit van het analyse-instrument een vooronderzoek is gehouden. Het voor-onderzoek, een zogenaamde pilot, is erop gericht het analyse-instrument op bruikbaarheid te testen. Waar moet gezocht worden om relevante methodolo-gische informatie te vinden? Wat voor soort informatie wordt gevonden? Op basis van dit vooronderzoek is het instrument scherp gesteld. Kortheidshalve wordt verwezen naar de desbetreff ende paragraaf waarin de pilot precies wordt beschreven.

3.3.2.3 Communicatie met het forum – expertmeeting

In hoofdstuk 6 wordt verslag gedaan van de gehouden expertmeeting die vooral als doel heeft gehad om de waarde en betekenis van de onderzoeksresultaten te kunnen duiden (meer over de samenstelling van de groep deskundigen in 3.5.1). Een ander doel van de bijeenkomst is geweest om het analyse-instrument door het forum te valideren: te beoordelen of het als geschikt instrument voor het opsporen van de verantwoording van methodologische onderzoekskeuzes in juridisch onderzoek kan worden gepresenteerd. MethChoice LR wordt in de ogen van een vertegenwoordiging uit het forum geaccepteerd. Op verschillende plaatsen in het proefschrift is aandacht besteed aan de door de experts gestelde vragen en opmerkingen. De hieruit afgeleide aandachtspunten11 zijn verdis-conteerd in de uitleg van het in hoofdstuk 4 gepresenteerde instrument. De ex-pertmeeting heeft in die zin een positieve bijdrage geleverd aan de helderheid van het instrument. In welke mate en in welke context het analyse-instrument toegevoegde waarde zou kunnen hebben voor de rechtswetenschap, wordt be-handeld in hoofdstuk 6.

Ook tijdens andere bijeenkomsten met het forum is gereageerd op het instru-ment als meetinstruinstru-ment voor methodologische verantwoording. Ofschoon de drie methodologische dimensies en de daarbij behorende verantwoordingsele-menten nauwelijks worden betwist, dient de oppositie tegen het instrument vooral gezocht te worden in de toepassing ervan op de rechtswetenschap (zie ook 1.2.2, 6.2 en 6.4). Over het algemeen is men wel zeer geïnteresseerd in de resultaten van het onderzoek en in de betekenis ervan voor de discipline. Het is inmiddels een beproefd middel gebleken om een bijdrage te leveren aan het huidige “methodendebat”.12 Methodologische vragen en onduidelijkheden over

11 Met name in de hoofdstukken 2 en 3 zijn verschillende aandachtspunten behandeld, zoals hierboven in § 3.2.1.

12 Zoals gebleken is tijdens een promovendiconferentie te Antwerpen (maart 2007), een discussiebijeen-komst op de VU (juni 2007) een vakgroeplunch bij strafrechtswetenschappen in Tilburg (najaar 2007) en tijdens het internationale lustrumcongres van de UvT ‘Towards a European Legal Methodology?’ op 10 juni 2008.

3 Methode

het onderzoek zelf, zoals bijvoorbeeld de selectie van de proefschriften en de indeling in kennisgebieden, hebben geleid tot extra aandacht hiervoor in dit proefschrift.

3.3.2.4 Regressieanalyses

Om de validiteit van het instrument ex post te beoordelen is een aantal regres-sieanalyses uitgevoerd. In de technische bijlage worden deze voor de geïnte-resseerde lezer uitgelegd en verantwoord. Het komt hierop neer dat met deze analyses bekeken is of de (af hankelijke) variabelen samenhangen met een aan-tal andere (onafhankelijke) variabelen en na te gaan of die ene (af hankelijke) variabele te verklaren of te voorspellen is uit de andere (onaf hankelijke) varia-belen.13

Uit een zogenoemde (logistische) regressieanalyse is gebleken dat met be-hulp van MethChoice LR en de daaruit voortvloeiende gegevens voorspellingen kunnen worden gedaan ten aanzien van de methodologische aard van juridi-sche proefschriften. In onderstaande noot wordt dit in minder technijuridi-sche be-woordingen uitgelegd.14

Met behulp van een uitgevoerde (multiple) regressieanalyse is gekeken of er een signifi cante samenhang is tussen de mate waarin de probleemstelling, de bronnen en de gebruikte methoden worden verantwoord en het totale aan-deel van methodologische informatie in de proefschriften. Uit deze berekening vloeit bijvoorbeeld voort dat naarmate onderzoekers explicieter zijn in de ver-antwoording van de probleemstelling voorspeld kan worden dat het aandeel methodologische informatie in het proefschrift hoger zal zijn dan gemiddeld. Ditzelfde geldt ook voor de mate waarin de verantwoording van methoden wordt geëxpliciteerd. Er is evenwel geen signifi cante samenhang tussen het aandeel methodologie en de mate waarin de selectie van bronnen is geëxposeerd. In zowel klassiek-juridische proefschriften alsook in proefschriften met een empi-rische component krijgt de selectie van bronnen niet veel aandacht.

13 Zie voor een nadere eenvoudige uitleg Slotboom 2001, p. 201-202.

14 Hoe goed voorspellen de MethChoice-scores de methodologische aard van juridische proefschriften? Geef iemand 86 proefschriften en laat hem daarvan twee stapeltjes maken. Op de ene stapel legt hij de proefschriften waarvan hij denkt dat ze klassiek-juridisch zijn. Op de andere legt hij de proefschriften waarvan hij denkt dat ze (ook) empirische elementen bevatten. Hij heeft geen fl auw benul, maar weet wel dat er 31 empirische zijn en 55 klassiek-juridische zijn. Wat moet hij doen?

Hij legt alle proefschriften op één stapel en noemt ze alle “klassiek-juridisch”. Daarmee heeft hij een score van 65,5% goed. Met als aantekening dat zijn manier van werken niet erg sensitief is: 0% van de empirische proefschriften is accuraat gekwalifi ceerd.

Nu het MethChoice-model. Scoort dat beter dan de score die de willekeurige manier van werken op-levert? Ja, want een regressieanalyse laat zien dat het model bijna 77% van de klassiek-juridische proefschriften op de juiste stapel legt en 75% van de empirische proefschriften. Onze eindscore is 76% accuraat gekwalifi ceerde proefschriften En dat is signifi cant beter dan de willekeurige manier. Alle MethChoice-scores (zie hieronder § 3.3.2.2) dragen daar (alweer: signifi cant) aan bij, de B-score (score verantwoording Bronnen) het meest, daarna de M-score (Score verantwoording methoden) en daarna de P-score (Score verantwoording probleemstelling). Heeft proefschrift A een B-score van 4 en proefschrift B een B-score van 6, dan is de kans dat proefschrift B een empirisch proefschrift is 2,59 keer zo groot dan dat het een klassiek-juridisch proefschrift is. Bij een verschil van twee punten op de M-score is die kans 1,85 keer zo groot en op de P-score is die kans 1,65 keer zo groot.

3.3.2.5 Interbeoordelingsbetrouwbaarheid

Voor een uitgebreide toelichting op dit onderwerp wordt opnieuw verwezen naar hoofdstuk 4 (4.4.2) en de technische bijlage. Daarin is te lezen hoe de be-trouwbaarheid van MethChoice LR met behulp van een onderzoek naar de over-eenstemming tussen beoordelaars is vastgesteld. De beoordelingsbetrouwbaar-heid heeft tot doel om het instrument intersubjectieve werking te geven. Op de scores die met MethChoice LR worden bereikt, kan staat worden gemaakt. Na een relatief korte training kan elk lid van het forum het instrument in gebruik nemen. Deze toets heeft plaatsgevonden in de voorbereidingsfase van de ont-wikkeling van het analyse-instrument. Het doel van een dergelijk toets is dat de onderzoeker het onderzoek kan uitvoeren in de wetenschap dat zijn scores niet op toeval berusten.

3.3.2.6 Schaalanalyses

De betrouwbaarheid van een instrument kan nog extra worden onderstreept wanneer ook naar aanleiding van de data-analyse (ex post) getoond kan worden dat de vooraf onder één van de drie methodologische dimensies (probleemstel-ling, bronnen en methoden) vallende elementen ook achteraf statistisch be-trouwbaar samenhangen. Met behulp van een speciale maat is naar aanleiding van de gescoorde expositiegraad per verantwoordingselement berekend of die onderscheiden verantwoordingselementen ook zodanig samengevoegd kun-nen worden dat zij de vorming van één schaal rechtvaardigen. Een schaal is in feite de optelsom van elementen tot één samenhangende groep.15 Doel is om via samenhang tussen de samengevoegde variabelen uitspraken te kunnen doen over grotere gehelen. Een voorbeeld kan dit verduidelijken. Er zijn zes clusters van bronnen onderscheiden (zie 2.6.2): Literatuur, wetgeving, jurisprudentie, documenten, personen en overige bronnen. Voor elke bron zijn drie elementen onderscheiden: de selectie van de desbetreff ende bron, de wijze van selectie en de verantwoording van de selectie(wijze). In totaal 18 elementen. Nu blijkt uit de analyses dat de verantwoording van die 18 elementen kunnen worden terug-gebracht tot 3 sterk samenhangende schalen te weten: de verantwoording van literatuur en documenten, de verantwoording van jurisprudentie en wetgeving en die van personen en overige bronnen. In fi guur 4.6 worden de resultaten van de uitgevoerde schaalanalyses weergegeven. In de technische bijlage en bij-behorende appendices worden de analyses verder uitgewerkt en statistisch ver-antwoord. Geconcludeerd kan worden dat van de 37 verantwoordingselementen er 33 konden worden samengevoegd in 7 samenhangende schalen en dat vier elementen niet konden worden samengevoegd en als afzonderlijke variabelen worden beschouwd.

15 De samenhang tussen de geclusterde elementen tot één groep (schaal) wordt uitgedrukt in de zogenaamde betrouwbaarheidscoëffi ciënt (alpha).

3 Methode