1.3.1 Centrale vraagstelling en doelen beleidsdoorlichting OWB
In deze beleidsdoorlichting staat de volgende vraagstelling centraal:
Op welke wijze stuurt de DOWB de ontwikkeling, uitvoering, verspreiding en benutting van onderzoek in Nederland, en zijn het (evaluatie)instrumentarium en de sturingsfilosofie geschikt om de doelen en ambities van het wetenschapsbeleid te behalen?
Uit deze centrale vraagstelling leiden wij drie onderzoeksdoelen af, namelijk:
1. Evaluatie van de doeltreffendheid en doelmatigheid van het OWB.
2. Analyse en beoordeling van de kwaliteit van de uitgevoerde evaluaties in het OWB.
3. Analyse en beoordeling van de sturingsfilosofie en monitoring van het OWB.
7 wetten.nl - Regeling - Regeling periodiek evaluatieonderzoek - BWBR0040754 (overheid.nl)
8 Bron: https://rijksbegroting.nl/beleidsevaluaties/evaluaties-en-beleidsdoorlichtingen/handreiking
Onderzoeksdoel 1: Evaluatie van de doeltreffendheid en doelmatigheid van het OWB
Het eerste doel betreft de reguliere doelstelling van elke beleidsdoorlichting waarin wordt teruggeblikt op de voorgaande periode, en in dit geval dus op de periode 2014–2020. Aan de hand van het RPE wordt bepaald hoe doeltreffend en doelmatig het onderzoek en wetenschapsbeleid door de DOWB is uitgevoerd.
Onderzoeksdoel 2: Analyse en beoordeling van de kwaliteit van de uitgevoerde evaluaties
De mate waarin het eerste onderzoeksdoel kan worden behaald, hangt af van de volledigheid en kwaliteit van de beschikbare evaluaties in het OWB. De opbrengst van deze doorlichting is dus ook een overzicht van beschikbare evaluaties (vallend onder artikel 16) en een oordeel over hun kwaliteit/bruikbaarheid.
Onderzoeksdoel 3: Analyse en beoordeling van de sturingsfilosofie en monitoring van het OWB
Tot slot zal de beleidsdoorlichting reflecteren op de systeemverantwoordelijkheid en huidige sturingsfilosofie van de DOWB en hoe deze sturingsfilosofie vorm krijgt, onder meer via de nadruk op het gebruik van (kwantitatieve) indicatoren (bibliometrie, ranglijsten) om doelbereiking te meten en te sturen. In de afgelopen jaren zijn ook de negatieve gevolgen van deze sturingsfilosofie (die zich erg richt op kwantitatieve prestatiemeting) zichtbaar geworden, bijvoorbeeld in de vorm van toegenomen werkdruk voor onderzoekers. Bijgevolg zien we een toegenomen aandacht voor andere belangrijke, en soms meer kwalitatief te benaderen facetten van wetenschapsbeoefening, die passen bij een bredere erkenning en waardering van wetenschappelijke carrières en de kerntaken van instellingen (o.a.
diversiteit, maatschappelijke impact, sociale veiligheid, open data).9 Een opbrengst van de beleidsdoorlichting bestaat dan ook uit aanbevelingen om de sturingsfilosofie en de instrumenten die deze filosofie vormgeven (bijv. indicatoren10) eventueel verder aan te passen of te verfijnen (in het licht van aankomende beleidsevaluaties).
Om recente ontwikkelingen die verband (kunnen) houden met de sturingsfilosofie een passende plaats in de beleidsdoorlichting te geven, heeft OCW gevraagd om aandacht te geven aan specifieke thema’s (zie onderzoeksvragen in paragraaf 1.3.2), namelijk:
1. De balans tussen (artikel 16) financiering van verschillende typen onderzoek.
2. De ervaren druk op instellingen (o.a. matchingsdruk) en het daaraan verbonden dilemma van samenwerking versus competitie tussen instellingen (en tussen onderzoekers).
3. De ervaren druk op individuele onderzoekers (werkdruk, aanvraagdruk), hun carrièreontwikkeling en het breder erkennen en waarderen van wetenschappers.
4. De rol van wetenschap, onderwijs en samenleving bij de valorisatie en impact van onderzoek en bij het publiek vertrouwen in onderzoek (inclusief open access en open science).
5. De samenhang en verhouding tussen de tweede geldstroom en het onderzoek en onderwijs in de eerste geldstroom.
9 Zie ook: VSNU, NFU, KNAW, NWO en ZonMw, Ruimte voor ieders talent. Naar een nieuwe balans in het erkennen en waarderen van wetenschappers, 2019.
10 Zie bijvoorbeeld European Commission. Directorate General for Research and Innovation (2017).
Next-Generation Metrics: Responsible Metrics and Evaluation for Open Science. Luxembourg:
Publications Office; Ingrid Bauer et al. (2020). ‘Next Generation Metrics’.
[doi:10.5281/ZENODO.3874801]
6. Internationalisering van wetenschap en de Nederlandse samenwerking met Europese en internationale onderzoekspartners in relatie tot de veranderende geopolitieke context en bijbehorende kansen en veiligheidsrisico’s.
7. Ontwikkeling van het wetenschapsbeleid ten opzichte van het hogeronderwijsbeleid en het kennis- en innovatiebeleid van andere departementen.
Dit betreffen zeven nieuwe (of in elk geval terugkerende thema's). De DOWB heeft aan ons gevraagd te kijken hoe met deze thema’s wordt omgegaan c.q. omgegaan kan worden. Het gaat daarbij niet om dat wij als evaluatoren een inhoudelijk advies geven over welke OWB-doelen bij deze thema’s kunnen worden nagestreefd. Het zijn vooral actuele voorbeeldthema's waar OCW (en de DOWB) zich bij kan afvragen: wat willen we hier inhoudelijk bereiken en welke manier van sturing is dan het meest geschikt? We beschouwen deze zeven thema's met andere woorden vooral ook als een middel om te reflecteren op OCW-sturing en -monitoring.
1.3.2 Onderzoeksvragen
De centrale onderzoeksvraag en bijbehorende doelstellingen zijn uitgewerkt in de volgende onderzoeksvragen. Binnen deze onderzoeksvragen zijn drie bouwblokken voor de doorlichting te onderscheiden, namelijk:
• Reguliere beleidsdoorlichting conform de RPE (vragen 1-13, 24 en 25).
• Beleidsdoorlichting in ruimere zin (vragen 14-16).
• Thematische verdieping gericht op een illustratie van de sturingsfilosofie en monitoring aan de hand van zeven thema's die nu relevant zijn en waar de DOWB haar (toekomstige) rol (incl. sturingsfilosofie) moet bepalen (vragen 17-23).
Doel 1: Evaluatie van de doeltreffendheid en doelmatigheid van het OWB
1. Welk(e) artikel(en) (onderdeel of onderdelen) wordt of worden behandeld in de beleidsdoorlichting?
2. Indien van toepassing: wanneer worden/zijn de andere artikelonderdelen doorgelicht?
3. Wat was de aanleiding voor het beleid? Is deze aanleiding nog actueel?
4. Wat is de verantwoordelijkheid van de rijksoverheid?
5. Wat is de aard en samenhang van de ingezette instrumenten?
6. Met welke uitgaven gaat het beleid gepaard, inclusief kosten op andere terreinen of voor andere partijen?
7. Wat is de onderbouwing van de uitgaven? Hoe zijn deze te relateren aan de componenten volume/gebruik en aan prijzen/tarieven?
8. In hoeverre maakt het beschikbare onderzoeksmateriaal uitspraken over de doeltreffendheid en de doelmatigheid van het beleidsterrein mogelijk?
9. Zijn de doelen van het beleid gerealiseerd?
10. Hoe doeltreffend is het beleid geweest? Zijn er positieve en/of negatieve neveneffecten?
11. Hoe doelmatig is het beleid geweest?
Doel 2: Analyse en beoordeling van de kwaliteit van de uitgevoerde evaluaties 12. Welke evaluaties (met bronvermelding) zijn uitgevoerd, op welke manier is het
beleid geëvalueerd en om welke redenen?
13. Welke beleidsonderdelen zijn (nog) niet geëvalueerd? Inclusief uitleg over de mogelijkheid en onmogelijkheid om de doeltreffendheid en de doelmatigheid van het beleid in de toekomst te evalueren.
Doel 3: Analyse en beoordeling van de sturingsfilosofie en monitoring van het OWB 14. Wat was in de afgelopen periode de dominante sturingsfilosofie in het OWB?
15. Welke indicatoren werden in de afgelopen periode gebruikt om het wetenschapsbeleid te volgen en te evalueren?
16. In welke mate zijn deze indicatoren geschikt om de beleidsdoelen van de doorlichtingsperiode en in de toekomst te kunnen beantwoorden? Welke verbeteringen zijn er mogelijk/wenselijk (ook met het oog op de aanvullende specifieke onderzoeksthema’s; zie hieronder)?
Aanvullende specifieke onderzoeksthema’s
17. Hoe is de balans tussen de financiering van verschillende typen onderzoek (ongebonden en strategisch, fundamenteel en toepassingsgericht) vanuit artikel 16?
18. Hoe ervaren wetenschappelijke instellingen de matchingsdruk en hoe gaan ze in dit kader om met het dilemma van samenwerking versus competitie?
19. Hoe ervaren individuele onderzoekers werkdruk- en aanvraagdruk, hun carrièreontwikkeling en de bredere erkenning en waardering?
20. Welke rol spelen wetenschap, onderwijs en samenleving (maatschappelijke actoren, bedrijfsleven, burgers) bij de valorisatie en impact van onderzoeksresultaten en heb publiek vertrouwen in onderzoek? Welke verbeteringen zijn mogelijk?
21. Wat is de samenhang en verhouding tussen de tweede geldstroom en het onderzoek en onderwijs in de eerste geldstroom?
22. Wat is de impact van de internationalisering van wetenschap (in relatie tot de geopolitieke context en bijbehorende kansen en veiligheidsrisico’s) op de Nederlandse samenwerking met Europese en internationale onderzoekspartners?
23. Hoe ontwikkelt het wetenschapsbeleid ten opzichte van het hogeronderwijsbeleid en het kennisbeleid van andere departementen en (gefinancierd onderzoek via) het innovatiebeleid?
Aanbevelingen
24. Welke maatregelen kunnen worden genomen om de doelmatigheid en doeltreffendheid verder te verhogen?
25. In het geval dat er significant minder middelen beschikbaar zijn (-/- circa 20% van de middelen op het (de) beleidsartikel(en)), welke beleidsopties zijn dan mogelijk?
1.3.3 Aanpak van de beleidsdoorlichting
Voor het uitvoeren van de doorlichting zoals hierboven uiteengezet hebben we de volgende activiteiten uitgevoerd:
Analyseren van documenten
We zijn de doorlichting gestart met een grondige inventarisatie van bronnen over het OWB.
Deze inventarisatie heeft geleid tot meer dan 100 documenten (zie 0). We hebben met het oog op de reguliere beleidsdoorlichting samen met de DOWB gekeken in hoeverre er per instrument in het begrotingsartikel 16 een evaluatie beschikbaar was. We hebben dus niet gewerkt met een selectie van evaluaties, maar met alle beschikbare OWB-evaluaties. Uit deze inventarisatie bleek dat het aantal beschikbare OWB-evaluaties beperkt is (we komen daar in paragraaf 3.2 uitgebreider op terug).
Tegelijkertijd zijn we ons ervan bewust dat er in het OWB-domein met regelmaat gevraagde en ongevraagde adviezen verschijnen. Sommige van deze adviezen blikken terug op het gevoerde beleid. We hebben daarom in een aantal adviezen (gerelateerd aan de eerdergenoemde zeven thema’s) gezocht naar evaluatieve uitspraken over de afgelopen
periode (zie Bijlage 4). Dit zijn weliswaar geen formele evaluaties, maar ze bieden mogelijk wel handvatten om uitspraken over het gevoerd beleid te doen. Ten slotte zijn er gedurende de periode van de beleidsdoorlichting verschillende onderzoeken en analyses verschenen, bijvoorbeeld de Balans van de Wetenschap van het Rathenau Instituut, waarin ook relevante informatie staat over (de doelbereiking van) het OWB. Deze analyses vormen een derde categorie van bronnen waaruit geput wordt in de analyse. Van deze laatste categorie bronnen zijn geen afzonderlijke analyses/samenvattingen (fiches) gemaakt (zoals wel van de evaluaties en adviezen), maar zij worden wanneer relevant wel besproken. Zo leveren OESO-rapporten internationaal vergelijkend materiaal dat verwerkt is in dit rapport.
Opstellen van fiches
Alle OWB-evaluatierapporten en een selectie van adviesrapporten zijn door ons systematisch beschreven en geanalyseerd in ruim twintig fiches (zie Bijlage 3 en Bijlage 4). Om tot een selectie van relevante adviesrapporten te komen, is een drietal selectiecriteria gebruikt. Een rapport:
1) Heeft een zekere bekendheid (en impact) gegenereerd in het domein van onderzoek en wetenschap.
2) Bevat adviezen gericht op het onderzoek en wetenschapsbeleid, en in het bijzonder op minimaal één van de hogergenoemde zeven thema’s.
3) Bevat adviezen gericht aan OCW (of de DOWB).
De opgestelde evaluatie- en adviesfiches helpen bij het doorgronden van de resultaten van de afzonderlijke evaluaties en bij het doorgronden van ontwikkelingen binnen één van de zeven thema’s en de rol die OCW en/of de DOWB speelt (of zou kunnen spelen) in een thema.
De fiches van de evaluatierapporten zijn gevalideerd door de DOWB-medewerkers die bij deze evaluaties betrokken waren. Dit heeft ons ook in staat gesteld zo goed en zo kwaad als mogelijk is een overall oordeel over doeltreffendheid en doelmatigheid. Uiteraard zijn in de doorlichting meer documenten gebruikt om bevindingen te onderbouwen of te illustreren.
De adviesfiches zijn aangevuld door DOWB-medewerkers, en dat om aanvullende informatie te achterhalen over wat er met adviezen is gebeurd.
Ontwikkelen van een beleidstheorie
We hebben op basis van formele documenten (verzameld in de deskstudie) een beleidstheorie opgesteld (zie paragraaf 2.5). Dit betreft een visualisatie van het geheel van veronderstellingen (van OCW/DOWB) waarop een beleid berust. Deze beleidstheorie is getoetst en aangescherpt door DOWB-medewerkers enkele keren online te consulteren.11 Enkele interviews
Hoewel een beleidsdoorlichting eerst en vooral put uit bestaande bronnen hebben we als aanvulling een aantal gesprekken gevoerd met personen (zie Bijlage 1) die overzicht hebben van het onderzoek en wetenschapsbeleid. Bij de selectie van gesprekspartners is er op gelet op spreiding. Gesprekspartners zijn bij voorkeur vertrouwd met één of meer specifieke onderzoeksthema’s (zie paragraaf 1.3.2). Ook hebben we vertegenwoordigers van instellingen gesproken die geen lid zijn van de begeleidingscommissie of de klankbordgroep.
Deze interviews zijn gericht op het verzamelen van aanvullende informatie bij de huidige OWB-evaluatiepraktijk, de zeven thema’s en de rol en sturingsfilosofie van OCW/DOWB in het beleid. Het aantal gesprekken is te gering om er op basis van gespreksverslagen
11 Dit om te voorkomen dat de beleidstheorie alleen maar gestoeld is op formele beleidsdocumenten en geen rekening houdt met de ontwikkelingen in het beleid sindsdien.
algemene conclusies aan te verbinden, maar zij leveren wel illustraties op of schetsen ontwikkelingen zoals deze zich hebben voorgedaan.
Analyseren van zeven specifieke onderzoeksthema’s
Voor de beantwoording van de zeven vragen over de specifieke onderzoeksthema’s is per thema een beknopte stand van zaken opgenomen. Dit is in eerste instantie gebaseerd op de geselecteerde adviesrapporten en uitgebreid met andere relevante bronnen. Deze beknopte analyse is – samen met de bevindingen uit het reguliere deel van de beleidsdoorlichting – de opmaat naar een analyse van de (toekomstige) sturingsfilosofie en monitoring door de DOWB.
Begeleiden van een klankbordgroep
Ter ondersteuning van de doorlichting is er een klankbordgroep samengesteld met vertegenwoordigers van en experts uit het OWB-domein (Bijlage 2). Deze klankbordgroep werd begeleid door het evaluatieteam en is gedurende de uitvoering van de beleidsdoorlichting vier keer (online) samengekomen. De klankbordgroep had als taak om te reageren op de aanpak van de beleidsdoorlichting en om aan de hand van vragen en stellingen (opgesteld door het evaluatieteam) te discussiëren over (tussentijdse) resultaten en waar nodig en gewenst het evaluatieteam suggesties te doen voor de uitvoering van het onderzoek. De verslagen van deze bijeenkomsten zijn gebruikt als interviewverslagen in deze doorlichting.
Ondersteunen van een quality review
Prof. dr. Sarah de Rijcke (Universiteit Leiden/CWTS) heeft als externe quality reviewer van de beleidsdoorlichting gefungeerd. Het onderzoeksteam heeft haar drie keer online gesproken over de methodologische aanpak en voortgang van de doorlichting. Ze heeft het tussen-, concept- en eindrapport gelezen en het projectteam enkele suggesties gedaan.