De structuur van deze studie

Ten slotte wordt in de onderstaande functionele matrix de vindplaats van de in dit onderzoek gekozen strategieën en methoden weergegeven. De structuur van het onderzoek krijgt vorm door de vier gekozen deelvragen (zie 3.3.1) als leidraad te volgen (zie hieronder de kolommen 2 t/m 5). Het antwoord op de

22 Voorbereidingscommissie onderzoeksbeoordelingen rechtsgeleerheid onder leiding van prof. Stolker en de Commissie prestatie-indicatoren en ranking van de VSNU onder leiding van prof. Smits. 23 Voor Privaatrecht heeft prof. Jan Vranken een profi el geschreven, voor “Recht en ...” prof. Corien Prins,

voor Staats- en bestuursrecht prof. Rob van Gestel, voor Internationaal en Europees recht prof. Willem van Genugten en voor Strafrecht Tijs Kooijmans, uhd.

centrale vraag “Hoe worden onderzoekskeuzes in recente Nederlandse juridi-sche proefschriften verantwoord?” wordt immers verkregen met behulp van meerdere deelvragen met de daarbij behorende onderzoeksstrategieën.

Functionele matrix Methode

Beschrijven Evalueren Verklaren

Deelvragen 1) Algemene wetenschap-pelijke eisen van verant-woording 2) Verantwoording me-thodologische keuzes in juridische proefschriften 3) Toetsing proefschriften aan methodolo-gische criteria 4) Betekenis en conse-quenties onderzoeks-resultaten

Antwoord Hoofdstuk 2 Hoofdstuk 5 Hoofdstuk 6

Methode van dataverzame-ling H. 3 Bureauonderzoek: Litera-tuuronderzoek: Algemeen-wetenschappelijke en recente juridische literatuur. H.2 + bijlage 2 “search” Bureauonderzoek: Selectie proefschriften Ontwikkeling analyse-instrument H.4 Technische bijlage Toepassing instrument MethChoice LR Selectie-experts H. 3 Methode van data-analyse H. 3 Bureauonderzoek: Literatuuronderzoek: Aanduiding criteria H.2 Kwantitatieve document-analyse 90 boeken scoren H.5 Frequenties, samenhangen en integrale eindscores (tabellen in H 5 en Technische bijlage) Methode van data-interpre-tatie H. 3 Bureauonderzoek en veldon-derzoek: Literatuuranalyse, test en workshopmethode Defi niëring en operatio-nalisering begrippen H.2 en H. 4 Literatuur-onderzoek en veld-onderzoek (workshop-methode) H.6

Vanuit het perspectief van de deelvragen ontvouwt het onderzoek zich als volgt. Voor de eerste deelvraag wordt in kolom 2 verwezen naar een beschrij-ving van criteria die in algemene zin gesteld worden aan de methodologische verantwoording van wetenschappelijk onderzoek. In de eerste kolom worden de hiervoor gevolgde methoden van dataverzameling, -analyse en -interpretatie weergegeven. Ter beantwoording van deelvraag 1 heeft bestudering van de ver-zamelde literatuur geleid tot het formuleren van het verantwoordingsbeginsel, de hiervoor van toepassing zijnde criteria en een operationalisering van daaruit voortvloeiende begrippen uitmondend in de vervaardiging van een analyse-in-strument. De tweede vraag richt zich op een feitelijke beschrijving van de me-thodologische verantwoording van wetenschappelijk onderzoek in juridische proefschriften verdedigd aan Nederlandse juridische faculteiten. Het antwoord op die vraag wordt in hoofdstuk 5 gegeven, maar de stappen die daaraan voor-afgaan om tot een antwoord te komen zijn terug te vinden in hoofdstuk 4 en in de technische bijlage. De derde vraag confronteert de aangetroff en

werkelijk-3 Methode

heid (deelvraag 2) met de algemene methodologische eisen (deelvraag 1). Het antwoord is terug te vinden in hoofdstuk 5 en in de tabellen behorende bij de technische bijlage. De vierde vraag tenslotte, gaat op zoek naar de betekenis van de aangetroff en resultaten in het licht van de (aard van de) rechtsweten-schap. In hoofdstuk 6 wordt hierop ingegaan. Daarnaast worden in het zesde hoofdstuk vier denkrichtingen gepresenteerd als mogelijke verklaringen voor de aangetroff en resultaten.

In de matrix ontbreken hoofdstuk 1 en hoofdstuk 7. Hoofdstuk 1 betreft de probleemstelling van dit onderzoek en de verantwoording ervan. Hoofdstuk 7 bevat concluderende opmerkingen, geeft discussiepunten aan, noemt verbeter-punten en bevat een beknopte onderzoeksagenda als vervolg op dit onderzoek. 3.7 Grenzen en beperkingen van het onderzoek

1) In dit onderzoek is de zichtbaarheid van de methodologische verantwoording met betrekking tot probleemstelling, bronnen en methoden getoetst. Het be-grip zichtbaarheid, vertaald met het daarmee verwante bebe-grip expositie, wordt zoals eerder aangekondigd, behandeld in het volgende hoofdstuk. Expositie heeft te maken met een relatie tussen een methodologische dimensie en de tekst. Daarmee gaat het niet om een inhoudelijke beoordeling maar om het kunnen beoordelen of de onderzoeker de lezer informatie verschaft met be-trekking tot de probleemstelling, de bronnen en de methoden. Bekeken is of de onderzoeker zijn methodologische keuzes verantwoordt (expliciet of impliciet, duidelijk of onduidelijk), of hij heeft beantwoord aan de formele vereisten zoals in het vorige hoofdstuk geformuleerd. Voor het beoordelen van de kwaliteit van de inhoud van de dissertaties is een diepteanalyse van de proefschriften door peers noodzakelijk. Maar ook voor het doen van uitspraken over de vraag of probleemstellingen “preciezer” geformuleerd kunnen worden is een diep-teanalyse nodig.24 De onderzoekssituatie en de aangegeven reikwijdte van een onderzoek bepalen welke graad van precisie mogelijk en gewenst is. Als een onderzoek in een explorerende fase verkeert, dan is een globale vraag meer voor de hand liggend dan een precies geformuleerde hypothese. Oost geeft aan dat: “alleen met een diepteanalyse kan worden vastgesteld of een probleemstelling niet preciezer geformuleerd had kunnen (en dan ook: moeten) worden. In het oppervlakte-onderzoek ontbreken daarvoor de middelen.” Gedoeld wordt op in-formatie waarvoor erkenning vereist is van het wetenschappelijk forum waarop de onderzoeker zich richt. Het gaat om een inhoudelijk juiste defi nitie van het domein, de vastgelegde variabelen en de relaties ertussen, maar ook over de vraag of de uitspraak niet meer open laat, dan gezien de stand van de kennis nodig is of dat de uitspraak niet meer invult, dan gezien de stand van de kennis, verantwoord kan worden. Het is dus wel mogelijk om via de formulering van de vraagstelling te bepalen of deze explorerend of hypothetisch van aard is. Het is evenwel niet mogelijk om te bepalen of daarmee de precisie van de

stelling ook is verantwoord.25

2) Ook de tweede beperking is gebaseerd op een inhoudelijke keuze. Deze stu-die gaat over de verantwoording van methodologische keuzes met betrekking tot probleemstelling, bronnen en methoden. De nadruk is daarbij komen te liggen op het onderzoekstraject van vraag naar antwoord. Het vaststellen van het antwoord in relatie tot de centrale vraagstelling, de omvang en de precieze aanduiding ervan zijn buiten het instrument gebleven. Dit aspect van verant-woording is wel gemeten en verdient nadere bestudering buiten de context van dit proefschrift. Overigens bleek uit het betrouwbaarheidsonderzoek geen over-eenstemming te bestaan tussen de beoordelaars over de lengte van het ant-woord.

Het operationaliseren van de vier methodologische criteria behorende bij de bronnen en methoden in zichtbare verantwoordingselementen vormt een on-derzoek op zichzelf. Uit een oogpunt van haalbaarheid en uitvoerbaarheid is afgezien van bestudering ervan.

3) Nauw samenhangend met de vorige beperking: over de kwaliteit (in termen van validiteit en betrouwbaarheid) van het antwoord kan te weinig worden ge-zegd. Slechts in 3 van de 90 proefschriften kon in de tekst van het proefschrift met enige zekerheid worden vastgesteld dat de onderzoeker aandacht heeft be-steed aan één of meerdere kwaliteitscriteria. In dit verband is opgevallen dat veel onderzoekers in hun voorwoord aandacht hebben besteed aan aspecten die te maken hebben met de validiteit en betrouwbaarheid van hun onderzoek. Dit gebeurde indirect door bijvoorbeeld belangrijke personen (adviseurs) te bedan-ken of door vermelding van buitenlandse verblijven waar bronnenonderzoek plaatsvond.

4) Tijdens de voorbereiding van het onderzoek is gebleken dat één van de ver-antwoordingselementen omtrent de probleemstelling niet betrouwbaar kon worden gemeten. Uit de formulering van probleemstellingen kan de functie ervan worden afgeleid in termen van beschrijven, defi niëren, vergelijken, evalu-eren, verklaren en ontwerpen. Uit het betrouwbaarheidsonderzoek is gebleken dat geen overeenstemming kon worden bereikt op het punt van de methodische herkenbaarheid (functionaliteit) van de probleemstelling. De verschillen tussen de resultaten waren dermate groot en de manier waarop de formulieren waren ingevuld (zo werden er meer hokjes aangekruist) dermate verwarrend dat zij niet gemeten zijn. De beoordelaars uit het vooronderzoek bleken met andere woorden niet in staat om uit de formulering van de probleemstelling eenduidig af te leiden waar het in termen van beschrijven, defi niëren, etc. om te doen was. Daarnaast verschilden zij ook te zeer van mening. Wel waren zij het eens dat in veel gevallen een discrepantie bestaat tussen wat uit de formulering van de probleemstelling mag worden verwacht en het daadwerkelijk door de

3 Methode

ker verrichte onderzoek. Zo willen onderzoekers veel verklaren en ontwerpen, maar komen ze in hun analyse niet veel verder dan een evaluatie aan de hand van een toetsingskader om van daaruit een sprong te maken naar oplossingen. Nader onderzoek is nodig om de oorzaak hiervan op te sporen.

Het niet opnemen van de precisie en functionaliteit als te verantwoorden elementen van de probleemstelling als methodologische dimensie heeft ertoe geleid dat ook de consistentie als afzonderlijk element niet is onderzocht. De consistentie van een probleemstelling kan alleen worden vastgesteld in samen-hang met alle andere aan de onderzoeksvraag te stellen eisen (zie 2.3.1). 5) De juridische methoden zoals door Herweijer26 gepresenteerd hebben aan-vankelijk ook deel uitgemaakt van het analyse-instrument. Zie 6.6.4 waarin uitgebreider wordt ingegaan op de door hem onderscheiden juridische metho-den. In de voorbereidingsfase van het onderzoek is echter gebleken dat ook deze niet volledig betrouwbaar konden worden getoetst.

6) Na evaluatie van het analyse-instrument is ten slotte een aantal meer vorm-technische onvolkomenheden (in een te laat stadium van het onderzoek) aan het licht gekomen. Deze hadden wellicht voorkomen kunnen worden. Het in-strument heeft op de volgende punten aan precisie ingeboet:

a) Gebleken is dat met behulp van MethChoice LR niet alle scores van de expo-sitieschaal konden worden gebruikt. Zo is bij het gebruik van rechtsvergelij-king alleen gescoord op wel of niet aanwezig.

b) De negen niet-juridische methoden kennen slecht één verantwoordingsele-ment. De twee elementen uitleg en verantwoording zijn hier niet uit elkaar getrokken zoals wel is gebeurd bij de overige onderdelen. Het aantreff en van één van beide is voldoende geweest om tot een positieve score te komen. Op dit punt is het instrument minder streng geweest dan elders.

c) Ook voor andere onderdelen is alleen gescoord op wel of niet aangetroff en, zoals de door Herweijer onderscheiden methoden en de functionele dimen-sies van de probleemstelling, die al om hiervoor uitgelegde redenen buiten het bestek van het instrument zijn gebleven.