De MethChoice-scores

5.5.1 Inleiding

In deze paragraaf worden de eindresultaten van dit onderzoek gepresenteerd. Onder eindresultaten wordt hier verstaan: de geaggregeerde scores per metho-dologische dimensie (probleemstelling, bronnen en methoden) uitmondend in een eindscore voor de totale methodologische verantwoording van alle onder-zoekskeuzes. Het gaat dus om 4 scores: de P-score (de gemiddelde totaalscore voor de verantwoording van de probleemstelling), de B-score (de gemiddelde to-taalscore voor de verantwoording van de gebruikte bronnen, de M-score (de ge-middelde totaalscore voor de verantwoording van de gebruikte methoden) en de MethChoice-score waarin de drie dimensies zijn samengevoegd. In hoofdstuk 4 en nog uitgebreider in de technische bijlage is uitgelegd dat alle bij een me-thodologische dimensie behorende verantwoordingselementen een dusdanige sterke samenhang vertonen dat ze tot één consistent cluster (schaal) kunnen worden samengevoegd. De drie clusters tezamen rechtvaardigen een totaalsco-re die voor elke onderzoeker of voor elk profi elkenmerk kan worden betotaalsco-rekend. De eindscores worden uitgedrukt in een rapportcijfer op de 10-puntschaal. Een 1 betekent dat er geen aandacht aan methodologische verantwoording is be-steed en een 10 dat de onderzoeker al zijn methodologische onderzoekskeuzes expliciet verantwoordt. Deze schaal wijkt dus af – het zij hier nog eens herhaald – van de tot dusverre gebruikte 5-puntschaal waarbij een 1 betekent dat de expo-sitie van het gezochte element expliciet aanwezig is, een 5 dat het gezochte niet is aangetroff en (en dat er dientengevolge de grootst mogelijk onduidelijkheid is over de aanwezigheid ervan).

In de volgende paragraaf worden de scores van vijf van de zeven profi elken-merken in een vijftal tabellen gepresenteerd. Per kennisgebied, juridische en methodologische aard, taal en geslacht. De scores per faculteit zeggen te weinig om staat op te kunnen maken in verband met het beperkte aantal bestudeerde proefschriften per faculteit. Voor het relatieve aandeel methodologie in boeken is geen tabel gemaakt, omdat er geen categorieën zijn gemaakt van boeken met een bepaalde methodologische omvang, noch is er een indeling gemaakt van boeken naar totale omvang. In 5.5.3 worden de signifi cante samenhangen gepresenteerd, uitmondend in een verzameltabel. De cijfers behoeven geen toe-lichting. Het is aan de geïnteresseerde lezer om de uitkomsten te beoordelen. In het volgende hoofdstuk wordt ingegaan op de betekenis van deze resultaten in rechtswetenschappelijke context.

5.5.2 De cijfers

Elke tabel kan als volgt worden gelezen. Links in de eerste kolom van de ta-bel wordt begonnen met het aangeven van de vier onderscheiden MethChoice-scores. Vanaf de tweede kolom (in het midden van de tabel) staan de scores in cijfers (afgerond op twee cijfers achter de komma) die betrekking hebben op de titel van de kolom en het desbetreff ende profi elkenmerk en uiterst rechts staan steeds ter vergelijking de gemiddelde totaalscores weergegeven.

Tabel 5.4 MethChoice scores naar kennisgebied kennisgebied Totaal Privaatrecht Staats- en best.recht Strafrecht Intern. en

europ. recht Recht en res.

P-score 5.80 6.87 5.81 6.08 6.33 6.10

B-score 2.33 2.12 2.83 3.01 4.37 2.95

M-score 3.33 3.21 3.44 3.17 5.07 3.64

MethChoice-score 3.82 4.06 4.03 4.09 5.26 4.23

Tabel 5.5 MethChoice scores naar juridische aard

Juridische aard

Totaal

Materieel Niet-materieel Formeel Niet-formeel

P-score 5.80 6.87 6.14 6.07 6.10

B-score 2.33 2.12 2.95 2.96 2.95

M-score 3.33 3.21 3.31 3.90 3.64

MethChoice-score 3.82 4.06 4.13 4.31 4.23

De reden waarom 4 categorieën zijn gemaakt is dat mengvormen mogelijk zijn. Zo zijn er materieelrechtelijke proefschriften met ook formele componenten en formeelrechtelijke proefschriften met ook materieelrechtelijke componenten.

Tabel 5.6 MethChoice scores naar methodologische aard

Methodologische aard Totaal Klassiek-juridisch Empirisch P-score 5.71 6.77 6.10 B-score 2.47 3.79 2.95 M-score 3.00 4.76 3.64 MethChoice-score _{4.73 5.11 4.23}

Tabel 5.7 MethChoice scores naar taal

Taal Totaal Nederlands Engels P-score 6.08 6.14 6.10 B-score 2.96 2.94 2.95 M-score 3.63 3.68 3.64 MethChoice-score _{4.22 4.25 4.23}

5 Resultaten

Tabel 5.8 MethChoice scores naar geslacht

Geslacht Totaal Vrouw Man P-score 5.95 6.23 6.10 B-score 3.34 2.61 2.95 M-score _{3.64 3.65 3.64} MethChoice-score _{4.31 4.16 4.23} 5.5.3 De samenhangen

De analyses worden afgesloten met een overzicht van de signifi cante verban-den tussen de Methchoice-scores en de profi elkenmerken. Op dezelfde manier als in de voorgaande paragrafen worden hieronder de samenhangen gepresen-teerd. Aan het einde van de paragraaf wordt in tabel 5.9 een samenvattend over-zicht gegeven.

Er zijn geen signifi cante verbanden gevonden tussen samengevoegde ver-antwoordingselementen in MethChoice-verband (P, B, M en Totaal) met de ju-ridische aard van proefschriften noch met de taal waarin het manuscript is geschreven.

5.5.3.1 Samenhangen tussen profi elkenmerken en P-scores

Methodologische aard – P-score

Uit de analyses blijkt dat de uitspraak gerechtvaardigd is, dat in juridische proefschriften met een empirische component de probleemstelling signifi cant beter verantwoord wordt dan in klassiek-juridische studies. De verantwoording van de probleemstelling kan voor 6% verklaard worden door verschillen in me-thodologische aard tussen proefschriften.

Aandeel methodologie – P-score

Een andere signifi cante samenhang die – met een betrouwbaarheid van > 99% – aangetroff en is, betreft het verband tussen het relatieve aantal pagina’s methodologie in een proefschrift met de verantwoording van de probleemstel-ling. Hoe groter het aandeel methodologie in een studie des te beter ook de verantwoording van de probleemstelling, uitgedrukt in een P-score. Het aan-deel methodologie verklaart voor 11% de mate waarin de probleemstelling wordt verantwoord.

5.5.3.2 Samenhangen tussen profi elkenmerken en B-scores

Disciplinaire herkomst – B-score

De verantwoording van bronnen als geheel hangt signifi cant samen (betrouw-baarheid > 99%) met de disciplinaire herkomst. In “Recht en ...”-proefschriften worden de bronnen signifi cant beter verantwoord dan in de andere kennisge-bieden. “Strafrecht” en “Internationaal en Europeesrechtelijke” studies doen

het daarbinnen dan weer iets beter dan de proefschriften af komstig uit “Pri-vaatrechtelijke” en “Staats- en bestuursrechtelijke” richting. De verantwoording van bronnen wordt voor bijna 20% verklaard door het kennisgebied, meer in het bijzonder door het verschil tussen proefschriften af komstig uit “Recht en ...” versus de rest.

Methodologische aard – B-score

De totale score voor de verantwoording van bronnen in juridische proefschrif-ten hangt ook samen met de methodologische aard ervan. In proefschrifproefschrif-ten van klassiek-juridische aard worden de bronnen signifi cant slechter verantwoord dan in proefschriften uit de empirische lijn. De B-score wordt voor ca. 12,5 % verklaard door de methodologische aard van juridische proefschriften.

Geslacht – B-score

Vrouwen exposeren hun bronnen iets beter dan mannen, zo blijkt uit een sig-nifi cant verband (met een betrouwbaarheid > 94%) tussen de verantwoording van bronnen en de sexe van de auteur. Het verband is niet sterk; het betreff ende profi elkenmerk verklaart minder dan 5% van de B-score.

5.5.3.3 Samenhangen tussen profi elkenmerken en M-scores

Disciplinaire herkomst – M-score

Met een betrouwbaarheid van > 99% kan worden geconstateerd dat er een sig-nifi cante samenhang bestaat tussen de verantwoording van methoden en de disciplinaire af komst. De verschillen tussen de disciplines worden veroorzaakt door een signifi cant betere expositie van de verantwoording van methoden als geheel door rechtswetenschappers uit de “Recht en ...”- discipline dan hun col-lega’s in andere gebieden. De M-score wordt voor ruim 10% verklaard door de mate waarin onderzoekers in juridische proefschriften hun gebruikte metho-den verantwoormetho-den.

Methodologische aard – M-score

Met een aan zekerheid grenzende waarschijnlijkheid van 99% is er een signifi -cante samenhang tussen de verantwoording van methoden in juridische proef-schriften met de methodologische aard. Het verschil tussen proefproef-schriften met een louter klassiek-juridisch profi el en de proefschriften die empirische metho-den bevatten, dient gezocht te wormetho-den in een signifi cant betere expositie van de verantwoording van methoden in proefschriften uit de empirische lijn. De M-score wordt voor 15% verklaard door de verschillen in het methodologisch profi el van juridische proefschriften.

Aandeel methodologie in boeken – M-score

Ook het relatieve aandeel methodologische verantwoording in de proefschrif-ten en de expositie van de verantwoording van methoden correleren (met een betrouwbaarheid > 99%) signifi cant met elkaar. Hoe hoger het aandeel metho-dologie in een dissertatie is, des te beter de M-score. Het verband is behoorlijk sterk. Het relatieve aantal pagina’s dat aan methodologie wordt besteed,

ver-5 Resultaten

klaart 22% van de expositie van de in juridische proefschriften verantwoorde methoden.

5.5.3.4 Samenhangen tussen profi elkenmerken en T-scores

Disciplinaire herkomst – T-score

Met een betrouwbaarheid van > 99% kan worden geconstateerd dat er een be-tekenisvol en redelijk sterk verband bestaat tussen de verantwoording van de drie methodologische dimensies tezamen en de disciplinaire af komst. De ver-schillen tussen de disciplines worden veroorzaakt door een signifi cant betere expositie van de verantwoording van de probleemstelling, bronnen en metho-den tezamen in proefschriften uit de “Recht en ...”-discipline dan hun collega’s in andere gebieden. De Totaal-score wordt voor ruim 12,7% verklaard door de mate waarin onderzoekers in juridische proefschriften hun methodologische keuzes verantwoorden.

Methodologische aard – T-score

Ook met een aan zekerheid grenzende waarschijnlijkheid van 99% hangt de geëxposeerde verantwoording van de gezamenlijke drie methodologische di-mensies samen met de methodologische aard van het proefschrift. Het ver-schil tussen proefschriften met een louter klassiek-juridisch profi el en de proefschriften die empirische methoden bevatten, moet evenals bij de andere MethChoice-scores gezocht worden in een signifi cant betere expositie van de verantwoording van de Totaal-score in proefschriften uit de empirische lijn. De Totale MethChoice-score wordt voor 24% verklaard door de verschillen in de methodologische aard van juridische proefschriften.

Aandeel methodologie in boeken – T-score

Tenslotte correleren het relatieve aandeel methodologische verantwoording in proefschriften en de expositie van verantwoording van methodologische keu-zes (met een betrouwbaarheid > 99%) signifi cant met elkaar. Hoe hoger het aandeel methodologie in een dissertatie is des te beter worden in het onderzoek de methodologische keuzes tezamen verantwoord. Het verband is ook behoor-lijk sterk. Het relatieve aantal pagina’s dat aan methodologie wordt besteed, verklaart 23% van de expositie van de in juridische proefschriften verantwoorde probleemstelling, bronnen en methoden tezamen.

In onderstaande overzichtstabel worden de betekenisvolle verbanden tussen de MethChoise-scores en de profi elkenmerken samengevat.

Tabel 5.9 Signifi cante samenhangen van MethChoice-scores enerzijds en profi el-kenmerken anderzijds Me an Ke nn is ge bi ed Jur idis ch e a ar d Me tho do logis che aard Aa nde el met hodolog ie Ta al boek Ge slacht aute ur Probleemstelling (P-score) ^{6,10 D D} Bronnen (B-score) ^{2,95 D D D} Methoden (M-score) ^{3,64 D D D} Totaal (Eindscore) ^{4,23 D D D}