Gericht op de rol van evaluaties in de sturingsfilosofie en -modellen
1. We adviseren dat OCW richting het veld explicieter maakt hoe ze invulling wil geven aan systeemverantwoordelijkheid c.q. systeemsturing. We hebben daartoe een vijftal sturingsmodellen geschetst (zie conclusie 20). We hebben als onderzoekers geen voorkeur welk sturingsmodel OCW wil hanteren, maar als deze keuze eenmaal is gemaakt (eventueel variërend per thema) kan OCW dit communiceren met het veld, ook als ze beslist op een bepaald thema niet te sturen c.q. ruimte te laten aan het veld.
2. De rol van evaluaties in de sturingsfilosofie is mede afhankelijk van welk sturingsmodel OCW hanteert per OWB-doelstelling/thema (zie aanbeveling 1).
Wanneer OCW kiest voor een meer actieve vorm van sturing (oplopend naar systeem- en netwerksturing) is het volgens ons van belang dat de huidige evaluatiepraktijk meegroeit, dat wil zeggen, meer ex-post- én ex-ante-evaluaties, meer systeemevaluaties en meer evaluaties gericht op leren en gericht op alle OCW-rollen. Een meer integraal sturende rol van OCW vraagt immers om meer sturingsinformatie en deze kan niet alleen verworven worden door evaluaties vooral over te laten aan het veld.
Gericht op (het evalueren van) de doeltreffendheid en doelmatigheid
3. Los van de vraag welke sturingsfilosofie en -modellen de DOWB kiest in het OWB zijn er mogelijkheden om de bestaande kwaliteit en de volledigheid van evaluaties van (instrumenten in) de OWB-beleidsmix te optimaliseren door:
a. De analyse en beoordeling van de doeltreffendheid en doelmatigheid van een instrument systematisch onderdeel te maken van elke evaluatie die zij uitvoert of laat uitvoeren, en daar ook op te sturen (bijvoorbeeld wanneer een expertcommissie de evaluatie uitvoert).
b. De evaluaties op een bredere set van instrumenten in de beleidsmix te richten, bijvoorbeeld door meer evaluaties uit te (laten) voeren van OWB-instrumenten die vallen onder andere OCW-rollen dan alleen financieren (als stimuleren, regisseren en regelgeven), maar die nog weinig worden geëvalueerd. Dit kan met een (jaarlijkse) evaluatieprogrammering met een agenda van uit te voeren evaluaties (deels voortkomend uit evaluatieverplichtingen en deels uit een eigen (onderbouwde) keuze).
c. De uitvoering van evaluaties meer gevarieerd te maken en de evaluatiemethodologie te verrijken met – waar mogelijk en relevant – een meer kwantitatieve en experimentele aanpak. Daarmee is niet gezegd dat deze laatste methoden de ‘evaluatiestandaard’ zijn, want niet elk instrument uit de beleidsmix leent zich voor een dergelijke aanpak, laat staan dat experimentele methoden altijd het beste inzicht in de doeltreffendheid bieden of ethisch en praktisch mogelijk zijn.
d. De evaluatiefunctie binnen de DOWB (of breder binnen OCW) steviger te verankeren, bijvoorbeeld door de ontwikkeling van evaluatievaardigheden en -functies en een evaluatieprogrammering.
4. De DOWB kan de beleidstheorie beter positioneren en gebruiken in de beleids- en evaluatiepraktijk door:
a. De volledigheid van en samenhang binnen de beleidstheorie vooraf te verbeteren door bijvoorbeeld de verwachte doeltreffendheid van een (nieuw) instrument of de verwachte bijdrage van een (nieuw) instrument aan het behalen van de overkoepelende doelstelling te bepalen met hulp van ex-ante-evaluaties. Dit kan (ook) vrij eenvoudig door vooraf de vraag te stellen wat de DOWB wil bereiken met een (nieuw) instrument, hoe dat instrument past in de beleidstheorie en hoe dat instrument later te evalueren.
b. Indicatoren te selecteren die een betere afspiegeling zijn van de doeltreffendheid en doelmatigheid van het OWB en met partijen (bijvoorbeeld het Rathenau Instituut) afspraken te maken over het verzamelen en bewerken van gegevens om scores op deze indicatoren vast te stellen. De voorkeur gaat daarbij uit naar indicatoren waarvan in redelijke mate verondersteld kan worden dat deze beïnvloedbaar zijn door het beleid.
Benoem ook streefwaarden bij deze indicatoren.
c. In (nieuwe) evaluaties onderzoeksvragen direct te koppelen aan de beleidstheorie en de gehanteerde indicatoren (overkoepelend en instrument-specifiek) zodat beter inzichtelijk kan worden gemaakt welke bijdrage een instrument levert aan doelstellingen in deze beleidstheorie.
5. De DOWB kan in navolging van de Vlaamse evaluatiepraktijk in elke evaluatie die het uitvoert of laat uitvoeren de vraag stellen welke bijdrage een instelling of programma levert aan de overkoepelende doelstellingen in het onderzoek- en wetenschapsbeleid, en dat van nationaal tot Europees (als aanvulling op de analyse en beoordeling van de doeltreffendheid en doelmatigheid van het instrument zelf).
6. De DOWB kan de impact van evaluaties vergroten door deze evaluaties expliciet onderdeel te maken van de sturingsfilosofie (zie aanbevelingen 1 en 2), oftewel door systematisch aandacht te geven aan de opvolging van eventuele aanbevelingen voortkomend uit deze evaluaties (bijsturing, nieuw beleid, beleid afbouwen) en welke lessen er getrokken kunnen worden voor het beleid (als aanvulling op de verantwoordingsfunctie van evalueren).
Gericht op sturingsfilosofie en monitoring
7. OCW zou een meer overkoepelende strategie kunnen formuleren die duidelijk maakt hoe zij haar systeemverantwoordelijkheid (en daaraan gekoppeld systeembesturing) wil invullen in het onderzoek en wetenschapsbeleid. Een dergelijk overkoepelende visie of strategie zou – zeker in samenhang met een goed geformuleerde beleidstheorie - naar onze mening in ieder geval moeten bevatten:
a. Een reflectie op het belang van wetenschap en onderzoek, het belang van kennisopbouw, -circulatie en – benutting (feitelijk de rationale voor OWB) en de samenhang met het onderwijs.
b. Een visie op de verschillende spelers en hun onderlinge samenhang in het systeem (hoe vullen ze elkaar aan, waar is concurrentie en waar is ruimte voor samenwerking), inclusief taken en verantwoordelijkheden.
c. Visie op de belangrijkste actuele thema’s in het onderzoek en wetenschapsbeleid en hun onderlinge samenhang, gekoppeld aan een visie op de rollen/typen sturing en instrumenten die worden gehanteerd en hun onderlinge samenhang.
d. Keuze van onderzoeksprioriteiten. Daarmee is niet gezegd dat het ministerie deze onderzoeksprioriteiten alleen bepaalt, maar wel dat het ministerie
aangeeft welk mechanisme, organisatie of forum kan worden ingezet om te komen tot prioriteitstelling en te sturen op een balans en synergie tussen ongebonden en strategisch onderzoek.
e. Visie hoe het OWB zich verhoudt tot kennisbeleid zoals dat wordt vormgegeven vanuit EZK, VWS en andere departementen.
8. Deze visie kan gevoed worden door een strategische dialoog tussen sleutelspelers die de systeemverantwoordelijke (OCW) organiseert. Een dergelijke dialoog stimuleert wisselwerking tussen OCW en andere actoren in het wetenschapsbestel en helpt om meer begrip te kweken voor de afwegingen die een systeemverantwoordelijke moet maken.
9. OCW kan richting het veld beter communiceren welke vorm van sturing (financieren, stimuleren, regisseren, uitvoerder wet- en regelgeving) zij als systeemverantwoordelijke nastreeft en welke gevolgen dat heeft voor de verschillende dossiers (erkennen en waarderen, internationalisering, grote infrastructuur, etc.). Daarbij rekening houdend met de mogelijkheden die er voor sturing in een bepaald dossier bestaan en de (begrensde) capaciteit en kennis binnen de DOWB. Het departement legt op dit moment vooral nadruk op financieel sturen, terwijl andere rollen als stimuleren en regisseren minder ontwikkeld lijken, ook omdat het veld bestaat uit relatief autonome instellingen die voor een aanzienlijk deel hun eigen strategische en operationele keuzes maken in het loopbaanbeleid. Dit maakt het lastiger om de systeemsturing en regisserende sturing goed vorm te geven
10. Op het niveau van het onderzoeks- en wetenschapsstelsel kan een gezamenlijke inhoudelijke afstemming plaatsvinden wanneer het ministerie een voorkeur zou uitspreken voor sturingsmodel 4 of 5 waarin inhoudelijke afstemming meer centraal staat. Die afstemming – in een nader te bepalen vorm – kan dan richting geven aan de wetenschapsgebieden die in Nederland met voorrang ontwikkeld worden of de maatschappelijke transities waaraan met voorrang wordt bijgedragen. Daarbij zou het stelsel weg moeten blijven van de schijntegenstelling tussen ongebonden en strategisch onderzoek. Ook al wordt ervoor gekozen om de inspanningen te concentreren op een aantal maatschappelijke transformaties (of deelvraagstukken daarbinnen), dan nog zijn beide vormen van onderzoek nodig. Overigens vergt een dergelijk inhoudelijk sturingsproces (indien gewenst) ook de nodige ambtelijke capaciteit en kennis die momenteel onvoldoende voorhanden is.
11. OCW zou binnen de Rijksoverheid de belangen kunnen integreren en afwegen, aangezien onderzoeks- en wetenschapsbeleid breder is dan enkel artikel 16, en breder dan DOWB. OCW kan voor haarzelf dan nagaan wat de rol van onderzoek en wetenschap bij maatschappelijke transities en verbonden kennisvragen kan zijn en hoe dit georganiseerd moet worden. Ook dit vraagt om een samenspel met andere departementen. OCW kan dan richting onderzoek en wetenschap aangeven welke transitieproblemen vanuit het Rijk als kennisvrager met voorrang moeten worden geadresseerd. Het opstellen van een Rijksbrede kennisagenda waarbij OCW een coördinerende rol zou kunnen spelen zoals hier bedoeld is smaller dan de inhoudelijke prioritering binnen onderzoek- en wetenschap zoals bepleit in aanbeveling 8, maar hangt hier uiteraard wel mee samen.
12. Het is volgens ons essentieel dat OCW het Nationaal Groeifonds (in het bijzonder de projecten Kennisontwikkeling en Onderzoek, ontwikkeling en innovatie) intensief volgt. Via dit fonds worden extra middelen verdeeld voor onderzoek en wetenschap.
OCW zou kunnen nagaan wat deze tijdelijke investeringsimpuls betekent voor meer reguliere financiering (1e en 2e geldstroom) van onderzoek.
13. OCW kan de monitoring van (nieuw) beleid verder professionaliseren en zorgen dat verzamelde gegevens de signaal- en antennefunctie in het OWB ondersteunen (zie ook aanbeveling 2). Vanuit de sturingsfilosofie zou dat betekenen:
a. Gebruik de beleidstheorie om doelstellingen, middelen en rollen (en daarmee sturing) te expliciteren en te communiceren.
b. Bepaal vervolgens welke sturingsinformatie nodig is om na te gaan of de veronderstellingen in de beleidstheorie over de bijdrage van instrumenten aan doelen ook gerealiseerd worden.
c. Benoem daarbij indicatoren en streefwaarden waarbij een onderscheid gemaakt kan worden tussen meer strategische indicatoren (bijv. waarover teruggekoppeld wordt aan de Tweede Kamer) en meer tactische/operationele indicatoren die helpen verschillende onderdelen van de beleidstheorie “dagdagelijks” te volgen of om ontwikkelingen te volgen die (nieuwe) kansen/bedreigingen vormen voor het beleid.
d. Geef voorkeur aan indicatoren die beïnvloedbaar zijn vanuit het beleid (zie aanbeveling 4) en realiseer dat monitoring niet alleen geschiedt aan de hand van cijfers. De impact van sturing en de rollen van OCW kan ook inzichtelijk worden gemaakt door te omschrijven hoe OCW een bepaald OWB-vraagstuk heeft aangepakt: hoe is het op de agenda gekomen, welke partijen dragen bij, welke instrumenten zijn ingezet om het probleem aan te pakken, welke
‘kwaliteit’ is daarmee bereikt? Dit zijn inzichten die zich niet louter laten vangen in getallen.