NAAR EEN RAAMWERK VOOR DE KWALITEITSBEOORDELING VAN SOCIAALWETENSCHAPPELIJK ONDERZOEK

1 voetregel

NAAR EEN RAAMWERK VOOR DE KWALITEITSBEOORDELING VAN SOCIAALWETENSCHAPPELIJK ONDERZOEK

2013 Koninklijke Nederlandse Akademie van Wetenschappen (KNAW) © Sommige rechten zijn voorbehouden / Some rights reserved

Voor deze uitgave zijn gebruiksrechten van toepassing zoals vastgelegd in de Creative Commons licentie. [Naamsvermelding 3.0 Nederland]. Voor de volledige tekst van deze licentie zie http://www.creativecommons.org/licenses/by/3.0/nl/

Koninklijke Nederlandse Akademie van Wetenschappen Postbus 19121, 1000 GC Amsterdam Telefoon + 31 20 551 0700 Fax + 31 20 620 4941 knaw@bureau.knaw.nl www.knaw.nl pdf beschikbaar op www.knaw.nl

Basisvormgeving: edenspiekermann, Amsterdam Opmaak: Ellen Bouma, Alkmaar

Illustratie omslag: Shutterstock ISBN 978-90-6984-667-5

Het papier van deze uitgave voldoet aan ∞ iso-norm 9706 (1994) voor permanent houdbaar papier.

voetregel

NAAR EEN RAAMWERK VOOR DE

KWALITEITSBEOORDELING

VAN SOCIAALWETENSCHAPPELIJK ONDERZOEK

Koninklijke Nederlandse Akademie van Wetenschappen Commissie ‘Kwaliteitsindicatoren sociale wetenschappen’

5 voorwoord

VOORWOORD

Het Nederlands Observatorium van Wetenschap en Technologie (NOWT) stelde tot en met 2010 voor het ministerie van OCW de tweejaarlijkse publicatie Wetenschaps- en

Technologie Indicatoren op. Die indicatoren, ontwikkeld op basis van bibliometrische

analyse, spelen ook een rol in de kwaliteitsbeoordeling van wetenschap.

Drie wetenschappelijke gemeenschappen – die van de ontwerpende en constru-erende disciplines, de geesteswetenschappen en de sociale wetenschappen – menen dat de indicatoren uit de Observatoriumrapporten een onvolledig beeld geven van de ontwikkeling van hun vakgebieden en minder goed toepasbaar zijn voor de kwaliteits-beoordeling. Zij hebben er bij het bestuur van de KNAW op aangedrongen de beoorde-lingscriteria voor hun vakgebieden nader te verbijzonderen.

Voor u ligt het derde luik van de triptiek. Het eerste luik wordt gevormd door het KNAW-adviesrapport over kwaliteitsbeoordeling in de ontwerpende en construerende disciplines. Het tweede is het KNAW-adviesrapport over kwaliteitsindicatoren voor onderzoek in de geesteswetenschappen. In dit derde, laatste luik adviseert de KNAW over kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek.

Als het drieluik wordt uitgeklapt, kan men niet anders dan onder de indruk zijn van de grote verscheidenheid van de wetenschap. Maar de adviesrapporten geven ook aan dat wetenschap regelmatige kwaliteitsbeoordeling behoeft. Niet in de laatste plaats omdat de samenleving moet kunnen rekenen op een goede borging van de weten-schappelijke kwaliteit van het onderzoek dat door publieke middelen wordt bekostigd.

Bij nadere bestudering hebben de luiken gemeen dat ze in wezen dezelfde benade-ring hebben van het proces van de kwaliteitsbeoordeling. Daarin hebben de peers een essentiële rol. Zij vormen de kwaliteitscultuur in een vakgebied. Dit legt grote verant-woordelijkheid op hun schouders: zij behoren transparant te maken wat de missie, doelgroepen en manieren van communicatie van onderzoeksgroepen binnen het vak-gebied zijn. En als zij denken dat er iets niet pluis is, moeten ze aan de bel trekken. Dit komt het vertrouwen in de wetenschap in alle lagen van de maatschappij ten goede.

Een andere overeenkomst van de drie luiken is dat kwaliteitsbeoordeling zich richt op twee kwaliteitsdomeinen: ‘wetenschappelijke kwaliteit’ en ‘maatschappelijke relevantie’, en binnen elk van deze domeinen op drie beoordelingsdimensies: ‘aan-toonbare productiviteit’, ‘aantoonbaar gebruik’ en ‘aan‘aan-toonbare blijken van erkenning’. Binnen deze set algemeen geldende beoordelingscriteria hebben onderzoekers en onderzoeksgroepen het recht, maar ook de plicht om eigen kwaliteitsindicatoren en hun gewichten te expliciteren die passend zijn voor het eigen vakgebied, en daarover verantwoording af te leggen. Ik ga er ervan uit dat de vakgebieden binnen de sociale wetenschappen met de zes beoordelingscriteria aan de slag gaan.

Hans Clevers President KNAW

7 inhoud

INHOuD

VOORWOORD 

SAMENVATTING 

1. INLEIDING 

2. DE KWALITEIT VAN SOCIAALWETENSCHAPPELIJK

ONDERZOEK 

Informele beoordeling: peers spelen essentiële rol 15 Formele beoordelingen: vergelijking tussen groepen 16 Kwaliteit vergelijken is maatwerk 17

3. BEOORDELINGSCRITERIA VOOR DE KWALITEIT VAN

SOCIAALWETENSCHAPPELIJK ONDERZOEK 

Beoordelingssystematiek 20 Kwaliteitsdomeinen 20 Beoordelingsdimensies 22

De beoordelingscriteria voor sociaalwetenschappelijk onderzoek 23

4. VOORBEELDEN VAN KWALITEITSINDICATOREN

VOOR DE SOCIALE WETENSCHAPPEN 

5. TOEPASSING VAN HET VOORGESTELDE RAAMWERK:

ENKELE VOORBEELDEN 

6. AANBEVELINGEN 

Algemene uitgangspunten bij kwaliteitsbeoordelingen 34

BRONNEN 

BIJLAGEN

1. Instellingsbesluit Commissie ‘Kwaliteitsindicatoren sociale wetenschappen’ 39 2. Enkele buitenlandse ervaringen met ‘maatschappelijke relevantie’ bij

SAMENVATTING

Achtergrond

De afgelopen jaren hebben zich binnen de wetenschap ontwikkelingen voorgedaan die ook consequenties hebben voor de formele kwaliteitsbeoordeling van sociaal-

wetenschappelijk onderzoek. In de eerste plaats wordt steeds meer de noodzaak erkend om in de kwaliteitsbeoordeling van wetenschappelijk onderzoek rekening te houden met de verschillen tussen en binnen vakgebieden. Dit klemt temeer voor de sociale wetenschappen, omdat er zo’n breed palet aan sociale wetenschappen bestaat en de verschillen tussen de vakgebieden binnen de sociale wetenschappen boven-dien groot zijn. In de tweede plaats heeft de toenemende aandacht voor valorisatie van wetenschappelijke kennis de discussie over de maatschappelijke relevantie van wetenschappelijk onderzoek verbreed en verdiept, en de vraag naar een grotere zicht-baarheid van zowel de wetenschappelijke kwaliteit als de maatschappelijke relevantie actueel gemaakt. De aandacht voor valorisatie raakt in het bijzonder de beoordelings-discussie in de sociale wetenschappen, omdat de maatschappelijke relevantie van sociaalwetenschappelijk onderzoek niet alleen en zelfs niet voornamelijk in ‘geldelijk gewin’ kan worden uitgedrukt. En in de derde plaats is er in het ‘veld’ van onderzoe-kers een groeiende onvrede merkbaar met de neiging bij beoordelaars om de kwaliteit van wetenschappelijk onderzoek eendimensionaal en vooral in kwantitatieve termen uit te drukken en daarbij bovendien het adagium ‘more is better’ te hanteren.

Deze ontwikkelingen rechtvaardigen een herbezinning op de wijze waarop de kwaliteit van sociaalwetenschappelijk onderzoek wordt beoordeeld. Naar aanleiding hiervan heeft de KNAW in oktober 2011 een Commissie ‘Kwaliteitsindicatoren sociale wetenschappen’ ingesteld met als taakopdracht een adviesrapport voor te bereiden dat instanties die met beoordeling van sociaalwetenschappelijk onderzoek te maken heb-ben, handvatten aanreikt voor het opstellen van goede beoordelingsinstrumenten en in het bijzonder kwaliteitsindicatoren op het gebied van de sociale wetenschappen. Het beoogde effect is dat deze beoordelingsinstanties het advies uitwerken en betere beoor-delingsinstrumenten hanteren.

In het voorliggende adviesrapport stelt de commissie een raamwerk voor de kwali-teitsbeoordeling van sociaalwetenschappelijk onderzoek op dat voor verschillende vak-gebieden binnen de sociale wetenschappen verder kan worden ingevuld. Dit is gebeurd op basis van voorhanden literatuur, een (beperkte) inventarisatie van ervaringen in het buitenland, en discussiebijeenkomsten met decanen, onderzoeksdirecteuren en verte-genwoordigers van beroepsverenigingen op het gebied van de sociale wetenschappen,

9 samenvatting

en met leden van de Sociaal-Wetenschappelijke Raad van de KNAW. Ook binnen de com-missie zelf zijn levendige discussies gevoerd.

Dit adviesrapport draagt met reden de titel Naar een raamwerk voor de

kwali-teitsbeoordeling van sociaalwetenschappelijk onderzoek: het geeft geen kant-en-klaar

beoordelingssysteem, maar een kader waarbinnen bestuurders én onderzoekers kwaliteitsbeoordelingen in de sociale wetenschappen vorm en inhoud kunnen geven. De achtergrond hiervoor is enerzijds gelegen in de wens recht te doen aan de grote diversi-teit in kwalidiversi-teitsculturen binnen de sociale wetenschappen en anderzijds in de door de commissie vastgestelde noodzaak dat de onderzoekers in de diverse vakgebieden zelf verantwoordelijkheid nemen voor het zichtbaar en toetsbaar maken van de kwaliteit in het eigen vakgebied. Dat betekent echter niet dat dit adviesrapport vrijblijvend is.

Uitgangspunten met een algemeen geldende waarde bij

kwaliteitsbeoordelingen

Het adviesrapport doet heldere uitspraken over de uitgangspunten voor de kwaliteitsbe-oordeling van sociaalwetenschappelijk onderzoek. De volgende uitgangspunten hebben een algemeen geldende waarde bij kwaliteitsbeoordelingen:

• De kwaliteitsbeoordeling betreft een set algemeen geldende beoordelingscriteria, waarbinnen specifieke kwaliteitsindicatoren en hun gewichten kunnen worden geïdentificeerd en geëxpliciteerd. Op deze wijze wordt recht gedaan aan twee gerechtvaardigde wensen die op het eerste gezicht strijdig zijn: de wens van onder-zoeksgroepen op hun eigen missie en kwaliteitscultuur te worden beoordeeld, én de wens van bestuurders om te vergelijken tussen onderzoeksgroepen ter ondersteu-ning van strategische beslissingen over de inzet van menskracht en middelen. • De kwaliteitsbeoordeling richt zich op twee kwaliteitsdomeinen: ‘wetenschappelijke

kwaliteit’ en ‘maatschappelijke relevantie’, en binnen elk van deze domeinen op drie beoordelingsdimensies: ‘aantoonbare productiviteit’, ‘aantoonbaar gebruik’ en ‘aan-toonbare blijken van erkenning’.

• Binnen de set algemeen geldende beoordelingscriteria hebben onderzoekers/onder-zoeksgroepen het recht, maar ook de plicht om eigen kwaliteitsindicatoren en hun gewichten te expliciteren die passend zijn voor het eigen vakgebied, en daarover verantwoording af te leggen.

• Prestaties op de kwaliteitsindicatoren dienen transparant, traceerbaar en toetsbaar te zijn.

• Beoordelaars toetsen de gekozen kwaliteitsindicatoren en hun gewichten onder andere op ambitieniveau, en beoordelen de geleverde prestaties op deze indicatoren. Bij deze beoordeling is niet zozeer de kwantiteit van een enkele parameter belangrijk, maar de balans van alle zes beoordelingscriteria. En dit is niet zozeer van toepassing op de individuele onderzoeker, maar wel op de onderzoeksgroep.

• De ontwikkelingsfase van onderzoeker en onderzoeksgroep worden in de beoordeling meegewogen.

• Prestaties op de kwaliteitsindicatoren voor maatschappelijke relevantie tellen pas mee wanneer ze berusten op en traceerbaar zijn naar kwalitatief goede wetenschappelijke producten.

Met deze uitgangspunten zijn de contouren van de beoordelingssystematiek geschetst. Of en hoe deze beoordelingssystematiek in de praktijk te brengen is, is afhankelijk van de wijze waarop het veld van de sociale wetenschappen er mee aan de slag gaat. Dit adviesrapport is zodanig opgesteld dat het handvatten biedt voor meerdere soor-ten kwaliteitsbeoordelingen: jaargesprekken met wesoor-tenschappelijke medewerkers, benoemingen van hoogleraren, facultair investeringsbeleid, landelijke onderzoeks-visitaties, etc. De opdracht aan het veld van de sociale wetenschappen is om met de geschetste methodiek te experimenteren, zodat met concrete ervaringen invulling kan worden gegeven aan het nieuwe Standard Evaluation Protocol (SEP), dat in 2015 ingaat.

Vervolgstap nodig

Teneinde de landelijke kwaliteitsbeoordelingen te stroomlijnen, roept het adviesrap-port de decanen en de onderzoeksdirecteuren op het gebied van de sociale weten-schappen – maar evenzeer de visitatiecommissies en niet in de laatste plaats de onderzoekers zelf – op de uitgangspunten voor de kwaliteitsbeoordeling van sociaal-wetenschappelijk onderzoek te onderschrijven en concreet aan het werk te gaan met het voorgestelde raamwerk voor de kwaliteitsbeoordeling.

Daarbij krijgen de opdrachtgevers voor de kwaliteitsbeoordelingen, doorgaans de (gezamenlijke) decanen op het gebied van de sociale wetenschappen of hun onder-zoeksdirecteuren, als motto mee: “Opdrachtgevers voor de kwaliteitsbeoordelingen zijn ervoor verantwoordelijk dat er een kwaliteitsbeoordelingssysteem is, en doen recht aan inhoudelijke verschillen tussen vakgebieden”. De te evalueren eenheden – dit zijn doorgaans onderzoeksgroepen bij universiteiten of onderzoeks-instituten op het gebied van de sociale wetenschappen – krijgen als motto mee: “De te evalueren onderzoekseenheden hebben het recht op eigen kwaliteitsindicatoren en hun gewichten, maar ook de plicht daarover verantwoording af te leggen”. En de visitatiecommissies krijgen als motto mee: “De visitatiecommissies beoordelen de kwaliteit van het wetenschappelijk onderzoek binnen de context van de missie van de onderzoekseenheid en stellen vooraf het instrumentarium daarvoor vast. Kwaliteit is niet identiek aan kwantiteit”.

11 inleiding

1. INLEIDING

De wetenschap, de politiek en de samenleving hebben behoefte aan objectieve maat-staven die de kwaliteit van wetenschappelijk onderzoek vaststellen. Regelmatig moe-ten beslissingen worden genomen waarbij informatie over de kwaliteit van het werk van onderzoekers een rol speelt. Bijvoorbeeld: bij de verdeling van menskracht en middelen, de opbouw of afbouw van onderzoekszwaartepunten, de ontwikkeling van nieuwe innovatieprogramma’s, de toekenning van projectsubsidies, en bij persoonsge-richte beslissingen, zoals hoogleraarsbenoemingen en beslissingen over wetenschap-pelijke prijzen of andere blijken van wetenschapwetenschap-pelijke erkenning. Zonder goede indi-catoren voor de kwaliteit van wetenschappelijk onderzoek is het risico aanwezig dat dergelijke beslissingen vooral op toevallige, pragmatische of politieke gronden worden genomen. Er is, kortom, een groot, gemeenschappelijk belang voor zowel de academi-sche wereld als voor de samenleving als geheel, om de kwaliteit van wetenschappelijk onderzoek transparant en toetsbaar te maken.

Ten behoeve van de formele kwaliteitsbeoordeling van wetenschappelijk onder-zoek heeft de KNAW in 2005 het adviesrapport Judging research on its merits uitge-bracht. Daarin werd geconstateerd dat de missie, doelgroepen en communicatiewij-zen van onderzoeksgroepen binnen en tussen onderzoeksterreinen enorm kunnen variëren. Onderzoekers richten zich in eerste instantie op het wetenschappelijk forum, maar hun onderzoeksbevindingen kunnen ook relevant zijn voor andere doelgroepen: studenten, beleidsmakers, het bedrijfsleven, vakspecialisten en het bredere publiek. Dit vraagt om een diversiteit aan publicatievormen. Het adviesrapport constateerde dat bij de kwaliteitsbeoordeling van wetenschappelijk onderzoek alle relevante doel-groepen in aanmerking moeten worden genomen (KNAW, 2005, blz. 27).

Sinds het uitbrengen van het adviesrapport hebben zich binnen de wetenschap, en zeker ook binnen de sociale wetenschappen1_{, ontwikkelingen voorgedaan die}

1  We vatten de sociale wetenschappen hier op als een breed opgezet cluster van gamma-wetenschappen ofwel gedrags- en maatschappijgamma-wetenschappen, variërend van economie tot politicologie, van psychologie tot demografie, van rechtswetenschap tot antropologie.

consequenties hebben voor de formele kwaliteitsbeoordeling van wetenschappelijk onderzoek. In de eerste plaats wordt steeds meer de noodzaak erkend om in de kwali-teitsbeoordeling van wetenschappelijk onderzoek rekening te houden met de ver-schillen tussen en binnen vakgebieden. Dit klemt temeer voor de sociale wetenschap-pen, omdat er zo’n breed palet aan sociale wetenschappen bestaat en de verschillen tussen de vakgebieden2 _{binnen de sociale wetenschappen bovendien groot zijn. Mede}

in verband met die verschillen hebben onder meer de universitaire bestuurders op het gebied van de sociale wetenschappen behoefte aan een beoordelingskader voor sociaalwetenschappelijk onderzoek dat recht doet aan deze diversiteit. Verder heeft de toenemende aandacht voor valorisatie van wetenschappelijke kennis3 _de

discus-sie over de maatschappelijke relevantie van wetenschappelijk onderzoek verbreed en verdiept, en de vraag naar een grotere zichtbaarheid van zowel de wetenschappelijke kwaliteit als de maatschappelijke relevantie actueel gemaakt. De aandacht voor valo-risatie raakt in het bijzonder de beoordelingsdiscussie in de sociale wetenschappen, omdat de maatschappelijke relevantie van sociaalwetenschappelijk onderzoek niet alleen en zelfs niet voornamelijk in ‘geldelijk gewin’ kan worden uitgedrukt. Tenslotte is er in het ‘veld’ van onderzoekers een groeiende onvrede merkbaar met de neiging bij beoordelaars om de kwaliteit van wetenschappelijk onderzoek eendimensionaal en vooral in kwantitatieve termen uit te drukken en daarbij bovendien het adagium ‘more

is better’ te hanteren. Dat gaat voorbij aan de kwaliteit van de inhoud van het verrichte

onderzoek.

De geschetste ontwikkelingen rechtvaardigen een herbezinning op de wijze waarop de kwaliteit van sociaalwetenschappelijk onderzoek wordt beoordeeld.

In navolging van het onder auspiciën van de Sociaal-Wetenschappelijke Raad uitge-geven rapport Begrip van evalueren (De Groot, 1986) is het zinvol bij kwaliteitsbeoor-delingen in de wetenschap een verschil te maken tussen:

a. Ex ante kwaliteitsbeoordeling van wetenschappelijk onderzoek: het vooraf inschat-ten van de kans dat een nieuw onderzoeksproject of -programma een wezenlijke bijdrage zal leveren aan de stand van kennis op het vakgebied of kan bijdragen aan de oplossing van maatschappelijke vraagstukken. Het gaat hierbij vooral om het herkennen en erkennen van ‘beloftes’.

b. Ex post kwaliteitsbeoordeling van wetenschappelijk onderzoek: de retrospectieve beoordeling van het wetenschappelijke werk van onderzoekers of onderzoeksgroe-pen, onder meer in het kader van onderzoeksvisitaties of van toekenningen van wetenschappelijke prijzen of andere blijken van erkenning. Het gaat hierbij vooral om het evalueren en waarderen van verricht wetenschappelijk werk.

In de praktijk is er vaak sprake van een combinatie van beide. Bijvoorbeeld bij de 2  Hier kan ook bijvoorbeeld ‘onderzoeksgebieden’, ‘disciplines’ of ‘subdisciplines’ worden gelezen.

3  Zo is bijvoorbeeld een streefdoel voor de wetenschap de valorisatie te versterken door in 2016 2,5% van de publieke onderzoeksmiddelen voor valorisatie in te zetten (Rijksbegroting Onderwijs, Cultuur en Wetenschappen, 2012, blz. 17).

13 inleiding

beoordeling van het wetenschappelijke werk van onderzoekers in het kader van benoemingen en persoonsgebonden subsidies, zoals de Vernieuwingsimpuls. Of bijvoorbeeld bij een mid term review waar, afhankelijk van de kwaliteitsbeoordeling gedurende het onderzoek, het lopende onderzoek dan wel de ambities ervan worden bijgesteld.

Dit adviesrapport is voorbereid door de Commissie ‘Kwaliteitsindicatoren sociale wetenschappen’. Het geeft handvatten aan instanties die met de beoordeling van soci-aalwetenschappelijk onderzoek te maken hebben. Het rapport helpt bij het opstellen van goede beoordelingsinstrumenten en kwaliteitsindicatoren (zie het Instellingsbe-sluit van de commissie in bijlage 1).

De commissie heeft binnen haar taakopdracht een raamwerk opgesteld dat voor verschillende vakgebieden binnen de sociale wetenschappen verder kan worden inge-vuld. Het raamwerk doet recht aan de diversiteit binnen de sociale wetenschappen, en aan de wetenschappelijke kwaliteit en de maatschappelijke relevantie van sociaal-wetenschappelijk onderzoek. Omdat kwaliteitsbeoordeling kan gaan om de beoorde-ling van het wetenschappelijke werk van onderzoekers of onderzoeksgroepen, is het raamwerk van toepassing op de ‘onderzoeker’ en op de ‘onderzoeksgroep’.

In het kader van haar taakopdracht heeft de commissie de literatuur bestudeerd (een selectie daarvan staat vermeld in ‘Bronnen’) op het gebied van de kwaliteitsbe-oordeling van de sociale wetenschappen en van andere disciplines. Belangrijk waren de adviesrapporten Kwaliteitsbeoordeling in de ontwerpende en construerende

discipli-nes en Kwaliteitsindicatoren voor onderzoek in de geesteswetenschappen (KNAW, 2010

en 2011). Voor de sociale wetenschappen is een (beperkte) inventarisatie gemaakt van ervaringen in het buitenland met beoordeling van de maatschappelijke relevantie van onderzoek (zie bijlage 2). Daarnaast voerde de commissie discussiebijeenkomsten over het concept met decanen, onderzoeksdirecteuren en vertegenwoordigers van beroepsverenigingen op het gebied van de sociale wetenschappen, en met leden van de Sociaal-Wetenschappelijke Raad van de KNAW. Ten slotte heeft de commissie ook dankbaar gebruik gemaakt van de opmerkingen en suggesties van prof. dr. Keimpe Algra, prof. dr. Maarten Kleinhans en prof. dr. Patti M. Valkenburg, die vanwege het bestuur van de KNAW waren uitgenodigd om het concept te reviewen.

Conform het instellingsbesluit van de commissie richt het adviesrapport zich op instanties die met beoordeling van sociaalwetenschappelijk onderzoek te maken heb-ben. De adressanten zijn de decanen en de onderzoeksdirecteuren op het gebied van de sociale wetenschappen, maar evenzeer de visitatiecommissies en de onderzoekers zelf.

Dit adviesrapport reikt vooral handvatten aan voor de ex post kwaliteitsbeoorde-ling van sociaalwetenschappelijk onderzoek. Wat betreft de ex ante beoordekwaliteitsbeoorde-ling geeft het rapport het signaal af dat beoordelende instanties zoals NWO oog dienen te heb-ben voor vakgebiedspecifieke aspecten en zoveel mogelijk dienen te faciliteren dat bij alle beoordelaars, juist ook bij degenen die niet of minder bekend zijn met het vakge-bied (bijvoorbeeld in vakgevakge-biedoverstijgende beoordelingscommissies), voldoende

inzicht bestaat in die aspecten. Vakgebiedspecifieke aspecten hebben betrekking op de missie, doelgroepen en wijzen van communicatie van onderzoeksgroepen binnen het vakgebied. Voor zover de beoordeling van de past performance deel uitmaakt van de ex ante kwaliteitsbeoordeling kan uiteraard gebruik worden gemaakt van de handvatten die dit adviesrapport aanreikt voor de ex post kwaliteitsbeoordeling.

Het voorgestelde raamwerk bouwt voort op het eerder genoemde adviesrapport

Judging research on its merits (KNAW, 2005) en latere adviesrapporten van de KNAW

over de formele kwaliteitsbeoordeling van wetenschappelijk onderzoek (KNAW, 2010, 2011 en 2012a). Het is zodanig opgesteld dat het kan worden toegepast bin-nen de algemene kaders voor de ex post kwaliteitsbeoordeling van wetenschappelijk onderzoek, die zijn uitgewerkt in het Standard Evaluation Protocol 2009-2015 (SEP) van NWO, KNAW en VSNU. Kenmerkend voor dat protocol is dat de te evalueren onderzoekseenheid de gelegenheid heeft om – op basis van een gegeven stramien – een zelfevaluatierapport op te stellen, waarna een visitatiecommissie op basis van dit zelfevaluatierapport, eventueel aangevuld met een site visit en de bestudering van relevante documenten, de feitelijke kwaliteitsbeoordeling van het wetenschappelijke onderzoek verricht. Binnen het voorgestelde raamwerk is ruimte voor de specificatie van concrete kwaliteitsindicatoren die per vakgebied kunnen verschillen.

15 de kwaliteit van sociaalwetenschappelijk onderzoek

2. DE KWALITEIT VAN

SOCIAALWETENSCHAPPELIJK

ONDERZOEK

De kwaliteit van wetenschappelijk onderzoek wordt niet alleen beoordeeld in formele situaties zoals onderzoeksvisitaties of hoogleraarsbenoemingen. Wetenschappelijk onderzoek wordt voortdurend beoordeeld op zijn kwaliteit. Daarin zit ook de kracht van het wetenschapsproces. Immers: juist in de continue dialoog met vakgenoten (peers) en externe doelgroepen wordt onderzoek slimmer, grondiger, meer vernieu-wend en relevanter voor wetenschap en samenleving.

Deze sectie gaat eerst in op de informele kwaliteitsbeoordelingen. Daarna volgt een beschouwing over de formele kwaliteitsbeoordelingen. Laatstgenoemde type kwali-teitsbeoordeling vormt de kern van dit adviesrapport.

Informele beoordeling: peers spelen essentiële rol

Onderzoekers zijn eraan gewend continu kritisch te worden bevraagd en beoordeeld door hun vakgenoten, hun peers. Daarnaast is iedere onderzoeker op gezette tijden zelf ook een peer die het wetenschappelijk werk van anderen beoordeelt. Zo presen-teren onderzoekers hun onderzoek op (peer reviewed) congressen en bespreken ze hun bevindingen met peers via internet. Resultaten publiceren ze in (peer reviewed) tijdschriften en (peer reviewed) boeken. Onderzoekers nemen plaats in promotiecom-missies. Kortom, een groot deel van de beoordeling van de kwaliteit van onderzoek vindt plaats via peers.

Beoordelaars en beoordeelden wisselen regelmatig van rol in min of meer infor-mele nationale en internationale netwerken, die hun zwaartepunt vaak hebben buiten

de eigen universiteit of onderzoeksorganisatie. Deze informele wetenschappelijke net-werken vormen een wezenlijk onderdeel van de wetenschappelijke cultuur en spelen een belangrijke rol in de ontwikkeling van impliciete en expliciete kwaliteitsnormen in die cultuur.

Onderzoekers horen zich bewust te zijn van die rol en verantwoordelijkheid, en transparant te maken wat de missie, doelgroepen en wijzen van communicatie van onderzoeksgroepen binnen het vakgebied zijn. Transparant maken wat de ‘standaar-den’ zijn in dat vakgebied, ook ten aanzien van kwaliteitsindicatoren, heeft nog een andere functie: ook de onderzoekers uit andere vakgebieden die bij ex ante kwali-teitsbeoordelingen bij beoordelende instanties zoals NWO zijn betrokken, verkrijgen daardoor meer inzicht in de verschillen in kwaliteitsculturen tussen vakgebieden.

Ten slotte zijn peers vooral ook nodig bij de inhoudelijke beoordeling van de kwaliteit van het wetenschappelijke onderzoek: zij kunnen beoordelen in welke mate wetenschappelijk onderzoek innovatief is, nieuwe kennis of inzichten geeft of zelfs tot aha-erlebnissen en wetenschappelijke doorbraken leidt. Voor relatieve buitenstaan-ders, zelfs wanneer zij uit de academische wereld afkomstig zijn maar in een ander vakgebied opereren, is het veel moeilijker, zo niet onmogelijk om vast te stellen welk onderzoek werkelijk boven het maaiveld uitsteekt.

Bij de beoordeling van de maatschappelijke relevantie van onderzoek hebben peers ook een rol, maar die is minder exclusief; hier kunnen en zullen ook externe doelgroe-pen een belangrijke taak hebben.

Het hierboven geschetste systeem van continue kwaliteitsborging van het onder-handen wetenschappelijk onderzoek, waarbinnen het vooral de peers zijn die geza-menlijk – bewust of onbewust – de kwaliteitscultuur van hun vakgebied vorm geven, geeft de peers een vanzelfsprekende rol in de meer formele kwaliteitsbeoordelingen. Overigens niet alleen als formele kwaliteitsbeoordelaar (in visitatieprocedures, jury’s en beoordelingscommissies) maar ook aan de kant van de beoordeelden: als het wetenschappelijk forum dat verantwoordelijkheid draagt voor de explicitering van vakgebiedspecifieke kwaliteitsindicatoren die extern kunnen worden getoetst.

Formele beoordelingen: vergelijking tussen groepen

Los van de hierboven beschreven processen van voortdurende kwaliteitsbeoordeling en -verbetering van lopend wetenschappelijk werk die de wetenschap voorwaarts drijven, is er op gezette tijden behoefte om ‘stollingsmomenten’ te creëren. Op die momenten wordt de stand van zaken betreffende een vakgebied, een onderzoeksgroep of een onderzoeker formeel opgemaakt met het uitdrukkelijke doel onderzoeksgroe-pen onderling te vergelijken. We spreken dan van formele kwaliteitsbeoordeling, zoals bijvoorbeeld in onderzoeksvisitaties. Ook in deze formele kwaliteitsbeoordelingspro-cedures wordt voor de kwaliteitsbeoordeling gebruik gemaakt van peers. Een belang-rijk verschil met de hierboven geschetste min of meer informele beoordelingssituaties is echter dat het wetenschappelijk werk niet (alleen) intrinsiek wordt beoordeeld

17 de kwaliteit van sociaalwetenschappelijk onderzoek

op zijn kwaliteit, maar dat wordt gestreefd naar een vergelijking tussen onderzoeks-groepen. Zo kunnen desgewenst strategische beslissingen worden onderbouwd over inzet van menskracht en middelen, en over onderzoeksgroepen die moeten worden gestimuleerd dan wel afgebouwd. Juist het vergelijkende karakter van deze formele kwaliteitsbeoordelingen heeft de behoefte opgeroepen aan algemeen geldende, betrouwbare en valide kwaliteitsindicatoren, die bij voorkeur ook eenvoudig zijn in het gebruik. De neiging om de kwaliteit van het werk van de onderzoeker of onder-zoeksgroep te reduceren tot een enkele kwantitatieve bibliometrische indicator valt in dit licht te begrijpen.

Kwaliteit vergelijken is maatwerk

Het vergelijkenderwijs vaststellen van de kwaliteit van wetenschappelijk onderzoek is echter verre van eenvoudig, en bijna per definitie controversieel.

De eerste reden daarvoor is dat vakgebieden van elkaar verschillen in aard en opdracht, in publicatiecultuur en in vorm en omvang van de doelgroep tot wie de onderzoeker zich wil richten. De wetenschappelijke gemeenschap van bijvoorbeeld biomedisch onderzoekers is vele malen groter dan die van sociaalwetenschappelijk onderzoekers. Alleen al daarom is het aantal citaties naar werk van biomedisch zoekers hoger dan het aantal citaties naar werk van sociaalwetenschappelijk onder-zoekers. Dit type verschillen bestaat niet alleen tussen, maar ook binnen vakgebieden. Zo hebben bijvoorbeeld sommige deelgebieden van de psychologie een publicatiecul-tuur die sterk lijkt op die van de geneeskunde, terwijl andere deelgebieden van de psychologie zich meer verwant voelen met de publicatiecultuur van de geesteswe-tenschappen. Deze verschillen impliceren niet vanzelfsprekend en op voorhand een verschil in kwaliteit. Daarnaast zijn er vele andere overwegingen die de waarde van bibliometrische indicatoren relativeren (KNAW, 2012a, blz. 38 en 39). Omdat de zin-nigheid of onzinzin-nigheid van het gebruik van bibliometrische indicatoren in de sociale wetenschappen per vakgebied verschilt, is het van belang wetenschappelijk onderzoek altijd in zijn context te beoordelen (KNAW, 2005; e.a.).

De tweede reden is dat iedere kwaliteitsindicator per definitie slechts een benade-ring (proxy) is van ‘kwaliteit’ en dat geen enkele indicator een volledige dekking geeft aan het begrip ‘kwaliteit’. ‘Kwaliteit’ is geen eendimensionaal begrip. Er zullen altijd meerdere indicatoren nodig zijn om de verschillende facetten van kwaliteit van weten-schappelijk onderzoek te belichten. Dit geldt zeker voor de sociale wetenschappen, waarvan immers wordt verwacht dat zij kennis en inzicht verschaffen in (de achter-gronden van) menselijk gedrag en maatschappelijke ontwikkelingen. De ‘valorisatie’ van deze kennis is in eerste instantie veelal niet gericht op economisch gewin, maar op verbeteringen in het publieke en semipublieke domein, zoals zorg, veiligheid, onder-wijs, kwaliteit van bestuur, etc. Deze ‘missie’ van de sociale wetenschappen zal worden weerspiegeld in de kwaliteitsindicatoren. Een te grote nadruk in beoordelingsprocedu-res op de kwantificering van slechts een enkele kwaliteitsindicator als sleutelindicator

(bijvoorbeeld het aantal artikelen in internationale, peer reviewed tijdschriften) kan leiden tot strategisch gedrag door onderzoekers, waardoor zij onvoldoende investeren in andere facetten van het meerdimensionale kwaliteitsbegrip. De veelgehoorde klacht dat er op zich wel voldoende kennis is, maar dat die kennis in de praktijk onvoldoende toepassing vindt, kan voor een deel hieraan worden toegeschreven. De meeste clinici, politici, beleidsmakers en ondernemers lezen nu eenmaal geen artikelen in peer

revie-wed tijdschriften. Voor deze doelgroepen zijn andere publicatievormen noodzakelijk.

Het belang hiervan zal verschillen per vakgebied.

De derde reden is dat veel sociaalwetenschappelijk onderzoek zich ook afspeelt binnen een multidisciplinaire onderzoekscontext. De ironie wil dat, terwijl juist de samenwerking tussen verschillende disciplines tot verrassende doorbraken kan leiden, het multidisciplinaire onderzoek slechts matig scoort op traditionele kwali-teitsindicatoren: de relevante tijdschriften hebben een kleinere oplage en een lagere impactfactor.

Het voorgaande laat zien dat een kwaliteitsbeoordeling in de wetenschap niet op een routineuze wijze kan plaatsvinden. Er is in iedere beoordelingsprocedure expliciete reflectie nodig op de aard van het vakgebied, die ook tot uiting zou moeten komen in de keuze van relevante kwaliteitsindicatoren. Kenmerkend voor de sociale wetenschappen is dat deze zich in hun algemeenheid niet alleen richten op de peers, maar ook op externe doelgroepen. Dit betekent dat kwaliteitsindicatoren ook inzicht moeten geven in de maatschappelijke relevantie van het sociaalwetenschappelijk onderzoek. Kwaliteitsindicatoren zijn alle vaststelbare aanwijzingen voor wetenschap-pelijke kwaliteit en maatschapwetenschap-pelijke relevantie.

Ten slotte laat het voorgaande zien dat wetenschappelijk werk het verdient om óók en vooral inhoudelijk op zijn kwaliteit te worden beoordeeld. Dit wil uiteraard niet zeggen dat in een beoordelingsprocedure bijvoorbeeld alle publicaties van de te beoordelen onderzoekers zouden moeten worden gelezen. Dat is niet haalbaar en ook niet nodig. Er zou bijvoorbeeld kunnen worden gekozen voor de inhoudelijke beoorde-ling van een beperkt aantal door de onderzoekers zelf aangedragen sleutelpublicaties (voor de wetenschappelijke kwaliteit) en voorbeeldcases (voor de wetenschappelijke kwaliteit en de maatschappelijke relevantie), waarover de onderzoekers in site visits kritisch op kunnen worden bevraagd. Net als in de meer informele vormen van kwa-liteitstoetsing zou ook bij formele kwakwa-liteitstoetsingen altijd sprake moeten zijn van de vierslag: (inhoudelijke) beoordeling, argumentatie, overleg, beslissing (De Groot, 1986). Goede kwaliteitsindicatoren voor het sociaalwetenschappelijk onderzoek zul-len dan ook altijd minstens gedeeltelijk betrekking moeten hebben op een inhoude-lijke beoordeling van het verrichte onderzoek.

De conclusie is dat een algemeen geldende set van kwaliteitsindicatoren onvol-doende recht doet aan de diversiteit van het werk in de sociale wetenschappen.

19 beoordelingscriteria voor de kwaliteit

3. BEOORDELINGSCRITERIA

VOOR DE KWALITEIT VAN

SOCIAALWETENSCHAPPELIJK

ONDERZOEK

Bij de ontwikkeling van een raamwerk voor de kwaliteitsbeoordeling van sociaal-wetenschappelijk onderzoek moet worden gezocht naar een beoordelingssystematiek met voldoende algemene elementen om een zekere vergelijking tussen vakgebieden en onderzoeksgroepen/onderzoekers mogelijk te maken, maar waarbinnen voldoende ruimte is voor vakgebiedspecifieke kwaliteitsindicatoren om zodoende recht te doen aan de diversiteit van de vakgebieden. Dit kan door een beperkt aantal algemene beoordelingscriteria te formuleren die in principe voor elk vakgebied relevant zijn, maar de invulling daarvan – in de vorm van concrete kwaliteitsindicatoren – over te laten aan het vakgebied dat wordt beoordeeld. Dit geldt dus ook, in het bijzonder, voor de vakgebieden binnen de sociale wetenschappen.

Verantwoordelijkheidsverdeling

Beoordelaars krijgen daarmee de taak te beoordelen in hoeverre de wetenschappe-lijke kwaliteit van het te beoordelen vakgebied/onderzoeksgroep onvoldoende, aan de maat of excellent is op basis van de aangeleverde informatie over de geleverde pres-taties op de kwaliteitsindicatoren die voor het betreffende vakgebied zijn vastgesteld. Dat betekent dat beoordelaars deze kwaliteitsindicatoren (en niet hun persoonlijke normen) als uitgangspunt nemen voor de beoordeling. Uiteraard hebben beoorde-laars ook de verantwoordelijkheid zich een mening te vormen over de vraag of de

kwaliteitsindicatoren voldoende ambitieus zijn geformuleerd. Idealiter gebeurt dit voorafgaand aan de feitelijke beoordelingsprocedure en wordt dit vastgelegd in twee-zijdig overeengekomen ‘terms of reference’.

Een dergelijk beoordelingssysteem legt óók verantwoordelijkheid bij de onderzoe-kers zelf: het vraagt de onderzoeonderzoe-kers de eigen missie, doelgroepen en communicatie-wijzen vast te stellen met bijbehorende kwaliteitsindicatoren, maar daarover dan ook verantwoording af te leggen. Geen onderzoeker kan zich aan dit proces onttrekken met een verwijzing dat de missie van de onderzoeksgroep en de gekozen kwaliteits-indicatoren niet van toepassing zijn op het eigen wetenschappelijk werk. De leidende kwaliteitscultuur binnen het eigen vakgebied is in beginsel maatgevend.

Beoordelingssystematiek

Dit adviesrapport onderscheidt voor de kwaliteitsbeoordeling van sociaalweten-schappelijk onderzoek twee kwaliteitsdomeinen: ‘wetensociaalweten-schappelijke kwaliteit’ en ‘maatschappelijke relevantie’. Bij een gewogen kwaliteitsbeoordeling van het soci-aalwetenschappelijk onderzoek zijn beide van essentieel belang. Daarnaast omvat de beoordelingssystematiek drie verschillende dimensies: (1) productie van kennis, (2) gebruik door anderen van de gepubliceerde kennis en (3) externe blijken van erkenning en waardering. Deze drie dimensies zijn op beide kwaliteitsdomeinen van toepassing, waarmee zes globale beoordelingscriteria geïdentificeerd kunnen worden. Daarmee is dit adviesrapport in lijn met soortgelijke adviezen in de ontwerpende en construerende disciplines (KNAW, 2010) en de geesteswetenschappen (KNAW, 2011 en 2012a). Zowel de kwaliteitsdomeinen als de beoordelingsdimensies worden hier-onder toegelicht. Aan het eind van deze sectie vat een schema de zes beoordelingscri-teria samen.

Kwaliteitsdomeinen

De waarde van wetenschappelijk onderzoek wordt bepaald door de combinatie van wetenschappelijke kwaliteit en maatschappelijk belang (De Groot, 1986). Beide kwa-liteitsdomeinen hebben eigen doelgroepen en daarmee eigen manieren van commu-niceren, hetgeen een afzonderlijke beoordeling rechtvaardigt. Soms kan er een zekere spanning ontstaan tussen de manieren van communiceren in beide kwaliteitsdomei-nen. Daarom dienen de wetenschappelijke kwaliteit en maatschappelijke relevantie ook in hun onderlinge verband te worden beoordeeld.

Teneinde de wetenschappelijke kwaliteit van onderzoek te kunnen bepalen, richt de onderzoeker zich in eerste instantie op de eigen vakgenoten, de peers. Tot deze doelgroep behoren in beginsel alle onderzoekers (variërend in anciënniteit en erva-ring), nationaal en internationaal, alsmede promovendi en Research Master studenten in het eigen (bredere) vakgebied. Beoordelaar en beoordeelde kunnen regelmatig van rol wisselen. Daarom is het van belang dat de beoordelaar als onafhankelijk en de

21 beoordelingscriteria voor de kwaliteit

kwaliteitsbeoordeling als transparant wordt beleefd.

De onderzoeker richt zich voor de maatschappelijke relevantie van haar weten-schappelijke onderzoek op de externe doelgroepen. Tot deze doelgroepen, die een belang kunnen hebben bij de keuze van de vraagstellingen en de resultaten van het wetenschappelijk werk van de onderzoeker, behoren: beleidsmakers, bedrijfsleven, professionals, patiënten (bij medisch onderzoek), NGO’s, culturele instellingen, en andere belangstellenden. De onderzoeker kan zich richten op externe doelgroepen in Nederland en daarbuiten. Journalisten en andere mediadragers kunnen een belang-rijke bemiddelende rol spelen tussen wetenschap en samenleving, en vormen als zodanig ook een belangrijke doelgroep in het kwaliteitsdomein ‘maatschappelijke relevantie’. Niet alle optredens in de media door de onderzoeker hoeven echter te worden geoormerkt als ‘maatschappelijke relevant’. Bij de beantwoording van de vraag of bepaalde vormen van communicatie al dan niet kunnen worden aangemerkt als prestaties op het kwaliteitsdomein ‘maatschappelijke relevantie’ is onder meer van belang in welke mate de onderzoeker in staat is ook de wetenschappelijke aspecten van het werk naar voren te brengen.

Overigens dienen onderzoekers ervoor te waken zich al te argeloos op te stellen in hun communicatie met welke mogelijke externe doelgroep dan ook. Omdat het kenmerkend voor de sociale wetenschappen is dat deze zich in hun algemeenheid ook richten op externe doelgroepen, is voor het bepalen van de maatschappelijke relevantie van sociaalwetenschappelijk onderzoek het perspectief van die doelgroe-pen van belang, alsook de keuze van de gebruikte communicatiestrategieën. Deze kunnen zeer gevarieerd zijn. Bovendien zijn de communicatiestrategieën onderhevig aan de dynamiek van de media zelf. Zij kunnen uiteenlopende vormen omvatten zoals docudrama’s, infotainment en scripted reality. Ook de mogelijkheden om sociaalwe-tenschappelijke kennis te verspreiden via internet en social media zijn relevant voor het selecteren en vaststellen van kwaliteitsindicatoren voor het eigen vakgebied. Dit betekent echter niet dat iedere uiting van een sociaalwetenschappelijk onderzoeker op internet als vanzelfsprekend kan worden aangemerkt als een blijk van maatschap-pelijke relevantie.

Het bovenstaande laat zien dat een simpele kwantitatieve analyse van het kwa-liteitsdomein ‘maatschappelijke relevantie’ niet zinvol is. Voorkómen moet worden dat al te gemakkelijk appels en peren bij elkaar worden gevoegd. Het kan zinvol zijn externe doelgroepen te betrekken bij de beoordeling van onderzoek op zijn maat-schappelijke relevantie. Juist omdat voor de sociale wetenschappen geldt dat externe doelgroepen zelf niet alleen een positief, maar ook een negatief belang kunnen heb-ben bij de resultaten van het onderzoek, is de keuze van de juiste personen voor het beoordelen van de maatschappelijke relevantie essentieel en het vertrouwd maken van externe beoordelaars met de wetenschappelijke cultuur wenselijk.

Dit adviesrapport heeft als uitgangspunt dat het primaat van de kwaliteitsbeoor-deling van sociaalwetenschappelijk onderzoek ligt bij de wetenschappelijke kwaliteit. Een wetenschappelijk inferieur onderzoek (dat wil zeggen: een onderzoeksproject of

–programma) kan per definitie geen hoge maatschappelijke relevantie hebben, omdat de samenleving dan zou worden misleid. De samenleving moet kunnen rekenen op een goede borging van de wetenschappelijke kwaliteit van het onderzoek dat door publieke middelen wordt bekostigd. Anders wordt het vertrouwen van de samenleving in de wetenschap ondermijnd. Dit betekent dat er een zekere hiërarchie bestaat in de kwaliteitsbeoordeling: als een onderzoek wetenschappelijk is bevonden door de peers is een beoordeling op zijn maatschappelijke relevantie zinvol. Maar de onderzoeker heeft geen ‘dr. Clavan’-rol. Anders gezegd: bij alle communicatie die de onderzoeker richt op de externe doelgroepen behoort de (peer reviewed) bron van de wetenschap-pelijke kennis traceerbaar te zijn, ofwel in het eigen wetenschapwetenschap-pelijke werk ofwel elders in de wetenschappelijke literatuur.

Beoordelingsdimensies

Het adviesrapport maakt in beide kwaliteitsdomeinen (‘wetenschappelijke kwaliteit’ en ‘maatschappelijke relevantie’) onderscheid tussen drie beoordelingsdimensies: 1. (Aantoonbare) productie van wetenschappelijke kennis (o.a. artikelen en boeken). 2. (Aantoonbaar) gebruik van wetenschappelijke kennis (o.a. citaties en referenties). 3. (Aantoonbare) blijken van erkenning (o.a. prijzen en eervolle benoemingen). Er bestaat een gelaagdheid in deze dimensies. Wetenschappelijke kennis kan pas worden gebruikt nadat deze is geproduceerd. Erkenning treedt doorgaans pas op als een onderzoeker uitstekend wetenschappelijk werk heeft verricht en dat werk door anderen is gebruikt. Goede kwaliteit begint dus altijd met (aantoonbare) productie van wetenschappelijke kennis. Maar dat betekent niet dat een hoge productie ook automa-tisch een hoge kwaliteitsbeoordeling inhoudt. Een onderzoeker die 10 publicaties op haar naam heeft die elk gemiddeld meer dan 50 keer zijn geciteerd, zou bijvoorbeeld hoger kunnen worden beoordeeld dan een onderzoeker die 100 publicaties op haar naam heeft maar waarvan er slechts 20 zijn geciteerd. En als een onderzoeker als blijk van erkenning een NWO-Spinozapremie heeft gekregen, zullen weinigen de behoefte hebben de publicaties te tellen. Het gaat dus om de verhouding tussen de drie beoor-delingsdimensies. Hoe deze verhouding precies zou moeten liggen, en wat de precieze kwaliteitsindicatoren zouden moeten zijn, hangt sterk af van het vakgebied en de daar geldende publicatienormen. In sommige vakgebieden binnen de sociale wetenschap-pen (bijvoorbeeld grote delen van de psychologie) heeft men de publicatienormen van de bèta- en medische wetenschappen overgenomen (te schetsen als: veel korte publicaties met meerdere auteurs), terwijl in andere vakgebieden de voorkeur bestaat voor monografieën en artikelen met slechts één auteur. De invulling van de kwaliteits-indicatoren ligt in handen van de onderzoekers zelf. Zij dienen de ‘standaarden’ in dat vakgebied transparant te maken, ook ten aanzien van de kwaliteitsindicatoren.

Daarnaast is het van belang oog te hebben voor de levensfase van de onderzoeker. Aantoonbare blijken van erkenning zijn gerelateerd aan de fase van de wetenschap-pelijke carrière van de onderzoeker. Bijvoorbeeld voor een promovendus behoort een

23 beoordelingscriteria voor de kwaliteit

cum laude of een thesis-award tot de aantoonbare blijken van erkenning, terwijl voor een hoogleraar een eredoctoraat kan worden gezien als een aantoonbare zeer hoge blijk van erkenning. Zo’n erkenning is vroeg in de loopbaan niet of nauwelijks bereik-baar.

De beoordelingscriteria voor sociaalwetenschappelijk

onderzoek

Schema. Zes beoordelingscriteria

KWALITEITSDOMEINEN WETENSCHAPPELIJKE KWALITEIT:

Uitvoeren van wetenschappelijk onderzoek: doen van onderzoek binnen de context van de onder-zoeksorganisatie, en er voor zorgen dat de peers dit lopende onderzoek als kwalitatief hoog-staand kwalificeren

MAATSCHAPPELIJKE RELEVANTIE: Communiceren en/of samen-werken met externe doel-groepen over het eigen, peer

reviewed wetenschappelijke onderzoek BEOORDELINGSDIMENSIES AANTOONBARE PRODuCTIE (1)

Aantoonbare producten die door peers als kwalitatief hoogstaand zijn

gekwalifi-ceerd

(4)

Aantoonbare producten voor externe doelgroepen

AANTOONBAAR GEBRuIK

(2)

Aantoonbaar gebruik door

peers van de aantoonbare

producten van de onderzoe-ker

(5)

Aantoonbaar gebruik door externe doelgroepen

AANTOONBARE BLIJKEN VAN ERKENNING

(3)

Aantoonbare blijken van erkenning door peers van-wege de aantoonbare

produc-ten van de onderzoeker

(6)

Aantoonbare blijken van erkenning door externe

doelgroepen

Het schema is van toepassing op de ‘onderzoeker’ en op de ‘onderzoeksgroep’. Overal waar ‘onderzoeker’ staat, kan ook ‘onderzoeksgroep’ worden gelezen.

Voor de ‘onderzoeker’ is idealiter sprake van een ontwikkelingspad ‘van getalen-teerde student tot hoogleraar’ dat in de tijd verloopt van linksboven naar rechtsonder in het schema. Bij een excellente onderzoeker zouden aan het einde van de loopbaan alle cellen uit het schema moeten zijn gevuld. De weg daar naartoe kan grillig verlopen.

Voor de ‘onderzoeksgroep’ is eveneens sprake van een zekere volgtijdigheid in de beoordelingscriteria: in het schema van boven naar beneden, en van links naar rechts. Erkenning volgt op gebruik van wetenschappelijke kennis en dat gebruik volgt op de

productie. De ‘koninklijke weg’ volgend, treedt een onderzoeksgroep pas in dialoog met externe doelgroepen over de ontwikkelde wetenschappelijke kennis nadat die kennis een peer reviewed productieproces heeft doorlopen: eerst output leveren van hoge wetenschappelijke kwaliteit, en daarna pas communiceren met externe doel-groepen. Het is bij de evaluatie van het wetenschappelijke werk van onderzoeksgroe-pen tevens van belang aandacht te besteden aan de balans binnen het beoordelings-schema: exclusieve aandacht voor de wetenschappelijke kwaliteit is evenmin wenselijk als eenzijdige aandacht voor de maatschappelijke relevantie. Juist de verwevenheid van beide kwaliteitsdomeinen is waardevol. Dit neemt niet weg dat binnen wat grotere onderzoeksgroepen sommige leden van de groep zich in de ene richting en andere groepsleden in de andere richting kunnen specialiseren en profileren. Idealiter is er sprake van de ontwikkeling van een enkele pionierende onderzoeker of een kleine groep pioniers tot een succesvolle onderzoeksgroep naarmate er meer cellen in het beoordelingsschema op een transparante, traceerbare en toetsbare wijze zijn gevuld.

25 voorbeelden van kwaliteitsindicatoren

4. VOORBEELDEN VAN

KWALITEITSINDICATOREN

VOOR DE SOCIALE

WETENSCHAPPEN

Dit adviesrapport vermeldt nadrukkelijk geen set van vaste kwaliteitsindicatoren voor de sociale wetenschappen. Kwaliteitsindicatoren en hun gewichten variëren tussen de vakgebieden in de sociale wetenschappen en tussen de schaalniveaus (project, programma, persoon, groep, instituut). Ook zijn de indicatoren afhankelijk van de loopbaan van personen en van de ontwikkeling van groepen en instituten.

Deze sectie geeft voorbeelden van kwaliteitsindicatoren voor elk van de zes beoor-delingscriteria. De aan onderwijs gerelateerde indicatoren zijn in cursief weergegeven omdat die weleens worden ‘vergeten’, terwijl het zou moeten worden gewaardeerd dat een gerenommeerd onderzoeker college geeft of studenten begeleidt. Promovendi en studenten van een Research Master worden gerekend tot de peers, omdat zij belangrijk kunnen zijn voor de wetenschappelijke disseminatie van kennis. Bachelor- en master-studenten behoren tot de externe doelgroepen. Zij zullen in hun toekomstige werk en in de maatschappij wetenschappelijke kennis toepassen.

Voorbeelden voor beoordelingscriterium (1): ‘Aantoonbare producten die door peers als kwalitatief hoogstaand zijn gekwalificeerd’

• Artikelen in (online) wetenschappelijke tijdschriften • Monografieën

• Boeken/boekdelen • Conference proceedings

• Docent-/college-uren Research Master

• Proefschriften (als een vorm van ‘productie van kennis’)

Voorbeelden voor beoordelingscriterium (2): ‘Aantoonbaar gebruik door peers van de aantoonbare producten van de onderzoeker’

• Recensies • Citaties4

• Gebruik van ontwikkelde modellen of methoden

• Bijdrage aan theorie-/modelvorming, aan methodeontwikkeling, aan wetenschap-pelijke schoolvorming

• Proefschriften (als de kweek van Nachwuchs en wetenschappelijke schoolvorming) • Research Master-afgestudeerden

• PhD’s in eerste baan binnen wetenschap nadat zij zijn gepromoveerd

Voorbeelden voor beoordelingscriterium (3): ‘Aantoonbare blijken van erkenning door peers vanwege de aantoonbare producten van de onderzoeker’

• Wetenschappelijke prijzen (ook thesisprijzen)

• Prestigieuze nationale en internationale onderzoekssubsidies, persoonsgebonden subsidies

• Lidmaatschappen (inter)nationale jury’s, visitatiecommissies, wetenschappelijke redacties

• Lidmaatschappen van wetenschappelijke organisaties zoals de KNAW • Lidmaatschappen van wetenschappelijke programmacommissies

• Keynote-lezingen op wetenschappelijke congressen

• Eredoctoraten

• Visiting professorships

Voorbeelden voor beoordelingscriterium (4): ‘Aantoonbare producten voor externe doel-groepen’

• Boeken/boekdelen voor breed publiek • Monografieën voor breed publiek

• Artikelen in vakbladen, op wetenschapspagina’s en digitale kennissites • Projecten in opdracht en/of i.s.m. doelgroepen

• Voordrachten voor professionals of breed publiek

• Bijdragen aan het publieke debat en expert-optredens in nationale en internatio-nale media

• Fondsenwerving

• Handboeken voor onderwijs in bachelor en (gewone) master • Training van professionals

4  Wellicht is het in de toekomst mogelijk om het downloaden van online artikelen te meten, parallel aan de citatie-indices. Dat zegt immers ook iets over de belangstelling voor een publica-tie en wordt door open access ook steeds belangrijker (De Jonge Akademie, 2012).

27 voorbeelden van kwaliteitsindicatoren

• Docent-/college-uren bachelor en (gewone) master

Voorbeelden voor beoordelingscriterium (5): ‘Aantoonbaar gebruik door externe doel-groepen’

• Aantoonbaar gebruik door professionals (citaties in vaktijdschriften, richtlijnen, leerboeken, etc.)

• Aantoonbaar gebruik door politici en beleidsmakers (Kamervragen en -antwoor-den, citaties in Tweede Kamerstukken en beleidsnota’s, citaties door EU-gremia en internationale organisaties, evidence-based policy)

• Aantoonbare bijdrage aan maatschappelijke vraagstukken (citaties, referenties, gebruik van kennis in publieke media, waaronder wetenschapsprogramma’s)

• Bachelor- en (gewone) master-afgestudeerden • PhD’s in eerste baan buiten wetenschap

Voorbeelden voor beoordelingscriterium (6): ‘Aantoonbare blijken van erkenning door externe doelgroepen’

• Maatschappelijke prijzen

• Lidmaatschappen van nationale organisaties zoals van de WRR, de Gezondheids-raad, de Onderzoeksraad voor Veiligheid, en van internationale organisaties • Lidmaatschappen van wetenschappelijke adviesraden van maatschappelijke

orga-nisaties (patiëntenverenigingen, NGO’s, culturele instellingen, e.d.)

• Lidmaatschappen van jury’s voor scriptieprijzen • Prijzen scripties bachelor en (gewone) master

5. TOEPASSING VAN HET

VOORGESTELDE RAAMWERK:

ENKELE VOORBEELDEN

Deze sectie geeft enkele praktijkvoorbeelden van de toepassing van het voorgestelde raamwerk. De voorbeelden maken duidelijk hoe beslissingen kunnen worden geno-men: in eerste instantie op basis van het onderscheid tussen wel en niet voldoende zijn van het werk van de beoordeelde onderzoeker of onderzoeksgroep, en in tweede instantie op basis van het onderscheid tussen wel en niet excellent zijn van dat werk.

Het betreft vier voorbeelden: een jonge onderzoeker, een kandidaat voor een hoog-leraarsbenoeming, een jonge onderzoeksgroep en een vakgebied.

VOORBEELD 1: JONGE ONDERZOEKER OP TERMIJN VAN uHD NAAR

HOOGLERAAR?

Recentelijk is een jonge econoom bevorderd tot UHD, en daarmee heeft hij een vaste aan-stelling. In 2007 haalde hij zijn PhD, en sindsdien heeft hij tweemaal gepubliceerd in het toptijdschrift de American Economic Review. Dat deed hij wel samen met coauteurs, maar die lieten weten dat de jonge econoom zelf de motor was achter het gehele onderzoek. De twee artikelen zijn al veelvuldig geciteerd. Op het moment van bevordering had hij vijf papers in de pijplijn bij verschillende peer reviewed tijdschriften, waarvan één bij weer een toptijdschrift. Naast zijn wetenschappelijke publicaties geeft de jonge econoom al jaren onderwijs in het Bachelor 3 en begeleidt hij scripties in zowel de bachelor- als de masterfase. De evaluaties van zijn onderwijs zijn zonder uitzondering uitstekend. Hij heeft tientallen presentaties in vooral het buitenland gegeven, zowel tijdens congressen als tijdens meer besloten seminars. Hij beoordeelt manuscripten voor vele tijdschriften, waaronder ook weer de toptijdschriften in het vakgebied. Wanneer gevraagd, maar ook

29 toepassing van het voorgestelde raamwerk: enkele voorbeelden

uit eigen beweging, levert de jonge econoom bijdragen aan het maatschappelijk debat via opiniepagina’s van de faculteit alsook in Nederlandstalige media zoals het vakblad

Economisch Statistische Berichten. De aanvullende referentiebrieven maakten gewag van

een ‘origineel denker’, en ook van een ‘warme persoonlijkheid’. De decaan heeft de jonge econoom voorgehouden dat promotie naar een hoogleraarschap binnen enkele jaren kan worden bereikt als hij op alle bovenstaande terreinen de portefeuille in kwaliteit en kwantiteit uitbreidt, alsook dat hij zich opwerpt als aanspreekpunt voor jong talent opdat het zichtbaar is dat dit de kwaliteit is die de faculteit graag aan zich bindt.

VOORBEELD 2: KANDIDAAT VOOR EEN HOOGLERAARSBENOEMING?

De benoemingsadviescommissie heeft niet te klagen over het aantal kandidaten uit bin-nen- en buitenland dat belangstelling heeft getoond voor de vacature voor een hoogle-raar politieke wetenschap. Nu moet daaruit een beperkt aantal kandidaten worden uit-genodigd voor een gesprek met de commissie en een presentatie voor de hele staf. Naast wetenschappelijke kwaliteit spelen bestuurlijke ervaring en leidinggevende capaciteiten natuurlijk een belangrijke rol bij deze functie. Bij het beoordelen van de onderwijs-kwaliteit wordt gekeken naar de portefeuille aan gegeven cursussen, de meegestuurde evaluaties van studenten en de ervaring met promotiebegeleiding. Er is een kandidaat die al een drietal promovendi naar de eindstreep heeft gebracht, maar hij heeft geen ervaring met grote hoorcolleges en een van de commissieleden rapporteert ook over een rammelende presentatie op een recent congres. Gelukkig zijn er andere kandidaten met een meer evenwichtig beeld. Dan worden de publicatielijsten naast elkaar gelegd. Gege-ven de publicatie- en citatiecultuur in de politicologie heeft het berekenen van ‘de H’ van de kandidaten weinig zin, maar op dit niveau wordt wel een redelijk aantal artikelen in internationale peer reviewed tijdschriften verwacht. Steeds vaker geven kandidaten in hun publicatielijst ook de gemiddelde impactfactor van het tijdschrift over de laatste vijf jaar aan, maar ook los daarvan heeft de commissie een redelijk eensluidend beeld over de reputatie van de belangrijkste tijdschriften. Zonder dat soort tijdschriftartikelen komt een kandidaat niet ver, maar hoofdstukken in geredigeerde bundels tellen bijna even zwaar. Hier kijkt de commissie naar de redacteuren van die bundels, maar vooral naar de uitgevers: bij de grote university presses en bij commerciële uitgevers als Palgrave of Rou-tledge is ook sprake van een stevig reviewproces. Coauteurschappen tellen zeker mee, maar van een potentieel hoogleraar in dit vakgebied verwacht de commissie toch ook

single-authored publicaties en als het even kan een boek. De commissie had elke

kandi-daat gevraagd een paar publicaties mee te sturen. Een van de kandidaten valt af omdat zij ook voor dat doel alleen artikelen had meegestuurd die samen met anderen waren geschreven. Bij nader onderzoek blijkt dat zelfs haar proefschrift bestaat uit artikelen en papers die zij samen met haar promotor en copromotor heeft geschreven. De twee meest kansrijke kandidaten, een buitenlandse en een Nederlandse, zijn ongeveer even lang actief. Beiden kunnen bogen op een mooie publicatielijst en hun meegestuurde publica-ties zijn enthousiast ontvangen, ook door de commissieleden uit andere subdisciplines.

De buitenlandse kandidaat heeft naast diverse artikelen en hoofdstukken samen met collega’s een inleiding op het vakgebied geschreven voor het onderwijs. Hij is lid van de redactiecommissie van enkele vooraanstaande tijdschriften. De Nederlandse kandidate heeft naast internationale publicaties ook een paar artikelen in de enige twee gerefe-reerde Nederlandstalige tijdschriften op haar naam, en een Nederlandstalig boek voor een breder publiek dan alleen vakgenoten. Zij speelt een belangrijke rol in het publieke debat. Zij is net buiten de prijzen gevallen voor een persoonsgerichte subsidie, terwijl de buitenlandse concurrent in eigen land wel een prestigieuze subsidie in de wacht heeft gesleept, maar de commissie weet ook dat de honoreringspercentages voor politicologen in Nederland lager zijn. Er zullen nog enkele kandidaten worden opgeroepen, maar de commissie vermoedt dat haar straks een lastige afweging wacht tussen deze twee.

VOORBEELD 3: BEZuINIGEN OP JONGE ONDERZOEKSGROEP?

De onderzoeksgroep is ontstaan rond de activiteiten van twee hoogleraren in de sociale en culturele antropologie. Beiden hebben succes met betrekking tot het binnenhalen van plaatsen voor promovendi en postdocs in het kader van individuele aanvragen en grote-re projecten (NWO, Europese fondsen). Zij stimulegrote-ren UD’s en UHD’s in vaste dienst om aanvragen in te dienen en te publiceren in internationale toptijdschriften zoals American Ethnologist, Cultural Anthropology, Current Anthropology, Social Antropology, Journal of the Royal Anthropological Institute, alsmede in vooraanstaande tijdschriften op het gebied van area studies en met een thematische focus. Monografieën worden gepubli-ceerd bij gerenommeerde uitgevers (University Presses, Brill, Berg, Berghahn, Blackwell, Routledge, en Palgrave). Enkele promovendi slagen er reeds voor de verdediging van de dissertatie in om artikelen te publiceren in bundels en ge-refereede tijdschriften; zij promoveren cum laude. Goed publicerende postdocs worden gestimuleerd om een Veni-aanvraag in te dienen. Er heerst een stimulerend onderzoekklimaat. Dat blijkt uit het organiseren van minimaal twee internationale workshops per jaar, maandelijkse seminars voor de onderzoeksgroep, een veelbezochte Nederlandstalige weblog waarin onderzoeksresultaten aan een breed publiek worden gepresenteerd, en de publicatie van (single-authored) artikelen, boeken en bundels. De onderzoeksgroep heeft nationaal en internationaal aanzien, hetgeen blijkt uit uitnodigingen aan de senior onderzoekers en postdocs voor keynotes, lezingen, bijdragen aan workshops, en citaties. De hooglera-ren zetten zich actief in voor de verdere ontwikkeling van de promovendi, die op eigen naam kunnen publiceren. Daarnaast nemen leden van de onderzoeksgroep deel aan het maatschappelijk debat via kranten, websites en sociale media en vervullen zij een adviserende rol bij organisaties en instellingen op het gebied van ontwikkelingssamen-werking en wereldcultuur. Kortom: de onderzoeksgroep geeft er duidelijk blijk van op een hoog niveau te functioneren. Om die reden kan een decaan beslissen deze groep bij bezuinigingen uit de wind te houden.

31 toepassing van het voorgestelde raamwerk: enkele voorbeelden

VOORBEELD 4: LANDELIJK OORDEEL OVER EEN VAKGEBIED?

Een landelijke visitatiecommissie Rechtsgeleerdheid bracht onlangs haar rapport uit. Na afloop van de presentatie toonden alle betrokken partijen zich tevreden over het beoordelingsproces. Universitaire bestuurders, onderzoeksdirecteuren en gevisiteerde onderzoeksgroepen hadden zo hun opmerkingen bij de uitkomsten, maar breed gedeeld was de conclusie dat de commissie transparant te werk was gegaan met aandacht voor de ontwikkelingsstadia waarin de verschillende onderzoeksgroepen zich bevonden. Bovendien toonde men zich verheugd over het feit dat de commissie aan de ene kant oog had voor de thematische en methodische verschillen tussen de te evalueren onderzoeks-groepen, maar dat ze tegelijkertijd strak de hand hield aan een uniforme systematiek voor de beoordeling van het doen van rechtsgeleerd onderzoek, het gebruik daarvan door derden (peers en samenleving) en de erkenning die onderzoeksgroepen daarvoor ontvingen. De commissie had in een vroeg stadium duidelijk gemaakt dat oog voor in-houdelijke variëteit (juridisch/dogmatisch, inter-/multidisciplinair, nationaal/internati-onaal) geenszins betekende dat de commissie de groepen niet aan de hand van hetzelfde raamwerk wat betreft wetenschappelijke kwaliteit en maatschappelijke relevantie zou beoordelen. Daarmee had de commissie de discipline uitgedaagd om voorafgaand aan de visitatie scherp te maken waar men op wenste te worden afgerekend. Nadat de decanen rechtsgeleerdheid deze handschoen hadden opgepakt, werd op het niveau van kwaliteitsindicatoren onder meer duidelijk dat op de publicatielijst van onderzoeks-groepen niet alleen artikelen geschreven door meerdere auteurs kunnen staan, maar dat kwaliteit ook kan worden afgemeten aan aantallen boeken die zijn verschenen bij een gerenommeerde uitgeverij, waarbij boeken op naam van een individuele onderzoeker (single-authored books) een extra indicatie voor kwaliteit kunnen zijn. Duidelijk werd ook dat gebruik door peers niet of nauwelijks zou worden gevonden in het tellen van citaties (wat praktisch onmogelijk is, gegeven zowel de thematische rijkdom van het vakgebied en daarmee het brede palet aan tijdschriften en boeken als ook de variëteit in het oogmerk waartoe wordt geciteerd), maar in de aantoonbare bijdrage aan nationale en internationale wetenschappelijke schoolvorming. Ook een stimulerende en zichtbare wisselwerking tussen onderzoek en onderwijs vormt een uiting van zowel wetenschap-pelijke kwaliteit als maatschapwetenschap-pelijke relevantie, zo kreeg de commissie van de decanen te horen. De kwaliteit van onderzoeksgroepen moet daarom ook worden beoordeeld aan de hand van de bijdrage die ze leveren aan het onderwijs in de bachelorfase maar zeker ook in de (onderzoeks)masterfase. Andersom betekent dit ook dat bij het beoorde-len van de wetenschappelijke productie rekening moet worden gehouden met de mate waarin onderzoeksgroepen hun tijd niet volledig aan onderzoek hebben kunnen beste-den. De decanen stelden vast dat kwaliteit zeker ook is af te meten aan maatschappelijke relevantie (bij de discipline met name aantoonbaar via het lidmaatschap van belangrijke organisaties op het terrein van rechtspraak of recht en beleid), maar tegelijkertijd duide-lijk moet zijn dat de scheidslijn tussen wetenschappeduide-lijke kwaliteit en maatschappeduide-lijke

relevantie niet altijd nauw te trekken valt omdat bepaalde producten beide in zich kunnen verenigen. Ze wezen in dit verband op zogenaamde annotaties, in het geval deze behalve een op de praktijk gerichte bespreking van het vonnis of arrest ook nieuwe we-tenschappelijke inzichten bevatten. Met de door de decanen geconcretiseerde inkleuring van de indicatoren op zak, bleken de te visiteren onderzoeksgroepen uitstekend in staat de kwaliteit van hun onderzoek te verantwoorden in het licht van zowel de eigen onder-zoekstraditie als de externe wetenschappelijke maatstaven.

33 aanbevelingen

6. AANBEVELINGEN

Vervolgstap nodig

Dit adviesrapport draagt met reden de titel Naar een raamwerk voor de

kwaliteitsbe-oordeling van sociaalwetenschappelijk onderzoek. Het geeft geen kant-en-klaar

beoor-delingssysteem, maar een kader waarbinnen bestuurders kwaliteitsbeoordelingen in de sociale wetenschappen vorm en inhoud kunnen geven. De achtergrond hiervoor is enerzijds gelegen in de wens recht te doen aan de grote diversiteit in kwaliteits-culturen binnen de sociale wetenschappen en anderzijds in de door de commissie vastgestelde noodzaak dat de onderzoekers in de diverse vakgebieden zelf verant-woordelijkheid nemen voor het zichtbaar en toetsbaar maken van de kwaliteit in het eigen vakgebied. Dat betekent echter niet dat dit adviesrapport vrijblijvend is. Het doet heldere uitspraken over de uitgangspunten voor de kwaliteitsbeoordeling van sociaalwetenschappelijk onderzoek en roept de adressanten van dit adviesrapport – de decanen en de onderzoeksdirecteuren op het gebied van de sociale wetenschappen, maar evenzeer de visitatiecommissies en niet in de laatste plaats de onderzoekers zelf – op deze te onderschrijven en concreet aan het werk te gaan met het voorgestelde raamwerk voor de kwaliteitsbeoordeling.

Het identificeren van kwaliteitsindicatoren binnen elk van de zes beoordelings-criteria is een stap die de onderzoekers zelf moeten zetten. Beoefenaars van het betreffende vakgebied zijn in beginsel gehouden aan de kwaliteitsindicatoren en hun gewichten die binnen dat vakgebied zijn overeengekomen, tenzij zij met rede-nen omkleed kunrede-nen aangeven waarom hiervan zou moeten worden afgeweken. In principe geldt het adagium: ‘comply or explain’. Afwijkingen zouden eveneens vooraf-gaand aan de beoordelingsprocedure moeten worden overeengekomen in de ‘terms of

In dit licht pleit het adviesrapport ervoor dat de vakgebieden, bijvoorbeeld via de disciplineoverlegorganen of de onderzoekscholen, binnen afzienbare termijn kwali-teitsindicatoren en hun gewichten vaststellen ten behoeve van de kwaliteitsbeoorde-ling van sociaalwetenschappelijk onderzoek. Het vaststellen van deze indicatoren heeft als bijkomend voordeel dat het de kwaliteitscultuur – en daarmee de ‘standaar-den’ ten aanzien van missie, doelgroepen, wijzen van communicatie en kwaliteits-indicatoren – binnen het eigen vakgebied explicieter en daarmee ook zichtbaarder maakt. Onderzoekers uit andere vakgebieden die bij ex ante kwaliteitsbeoordelingen bij beoordelende instanties zoals NWO zijn betrokken, kunnen daardoor meer inzicht verkrijgen in de verschillen in kwaliteitsculturen tussen vakgebieden, daarmee reke-ning houden bij hun beoordelingen, en aldus ook recht doen aan vakgebiedspecifieke beoordelingsmaatstaven.

In het verlengde daarvan pleit het adviesrapport ervoor dat de desbetreffende opdrachtgevers voor de kwaliteitsbeoordeling vakgebiedspecifieke kwaliteitsbeoor-delingen in de sociale wetenschappen mogelijk maken. Het verdient aanbeveling de vaststelling van een dergelijk referentiekader als een afzonderlijke fase aan het begin van de beoordelingsprocedure te organiseren in nader overleg met de beoordeelden, zodat zowel beoordelaars als beoordeelden over hetzelfde beoordelingsinstrumenta-rium beschikken en daarmee weten waar ze aan toe zijn.

Algemene uitgangspunten bij kwaliteitsbeoordelingen

De volgende uitgangspunten hebben een algemeen geldende waarde bij kwaliteitsbe-oordelingen:

• De kwaliteitsbeoordeling betreft een set algemeen geldende beoordelingscriteria, waarbinnen specifieke kwaliteitsindicatoren en hun gewichten kunnen worden geïdentificeerd en geëxpliciteerd. Op deze wijze wordt recht gedaan aan twee gerechtvaardigde wensen die op het eerste gezicht strijdig zijn: de wens van onder-zoeksgroepen op hun eigen missie en kwaliteitscultuur te worden beoordeeld, én de wens van bestuurders om te vergelijken tussen onderzoeksgroepen ter onder-steuning van strategische beslissingen over de inzet van menskracht en middelen. • De kwaliteitsbeoordeling richt zich op twee kwaliteitsdomeinen:

‘wetenschappe-lijke kwaliteit’ en ‘maatschappe‘wetenschappe-lijke relevantie’, en binnen elk van deze domeinen op drie beoordelingsdimensies: ‘aantoonbare productiviteit’, ‘aantoonbaar gebruik’ en ‘aantoonbare blijken van erkenning’.

• Binnen de set algemeen geldende beoordelingscriteria hebben onderzoekers/ onderzoeksgroepen het recht, maar ook de plicht om eigen kwaliteitsindicatoren en hun gewichten te expliciteren die passend zijn voor het eigen vakgebied, en daarover verantwoording af te leggen.

• Prestaties op de kwaliteitsindicatoren dienen transparant, traceerbaar en toets-baar te zijn.