Invulling van de Taak

Documentanalyse

Om data te verzamelen over de manier waarop het instituut haar taak invult zullen we per instituut de conclusies van tien onderzoeken analyseren aan de hand van de eerder ontwikkelde operationalisering om te beoordelen welke van de vier rollen van Pielke het instituut in dat onderzoek (hoofdzakelijk) op zich neemt. Omdat een taakinvulling door de tijd heen kan veranderen, bijvoorbeeld door het aantreden van een nieuwe directeur (zie; Klein Haarhuis, Hagen en Scheepmaker, 2009), is gekozen om onderzoeken uit de periode 2007- 2012 te gebruiken. Deze periode is voldoende om te kunnen beoordelen of er enige consistentie is en om per instituut voldoende onderzoeken te kunnen verzamelen om te analyseren.

Bij sommige instituten is het aantal beschikbare onderzoeken erg groot. Daarnaast kan de vraag die gesteld wordt kan van invloed zijn op de manier waarop antwoord wordt

11 _{Vanwege toegezegde anonimiteit kunnen de functies niet naar instituut uitgesplitst worden.}

12 _{Een van de respondenten was op het moment van interviewen geen onderdeel van het management, maar keert}

binnen korte tijd naar deze functie terug.

13 _{Daar waar afdelingshoofden tevens onderdeel uitmaken van het management van de organisatie, zijn zij onder}

management geschaard.

14

De auteur van het huidige onderzoek en M. Calle, medeonderzoekster bij het vergelijkende onderzoek naar WODC en haar zusterorganisaties.

gegeven. Wanneer de overheidsinstelling expliciet om beleidsalternatieven vraagt, ligt het meer voor de hand dat deze ook gegeven worden. Een vraag beleid te evalueren vereist een ander antwoord dan een vraag om statistiek te leveren. Ook de mate waarin een onderwerp politiek of wetenschappelijk gevoelig is kan van invloed zijn op de manier waarop het onderzoek door het kennisinstituut wordt uitgevoerd en gerapporteerd. Doorgaans zal een kennisinstituut met verschillende vragen te maken hebben en zelf ook invloed uit kunnen oefenen op de vragen die gesteld worden, bijvoorbeeld door de keus te maken bepaalde vragen niet te behandelen (bijvoorbeeld omdat ze niet wetenschappelijk genoeg zijn). Dat betekent dat te verwachten valt dat een kennisinstituut dat andere vragen krijgt, een andere invulling geeft aan haar werkzaamheden.

Om hier rekening mee te houden richten we ons in de analyse op evaluaties en reviews. De assumptie die daaraan ten grondslag ligt is dat evaluaties en reviews het kennisinstituut de meeste ruimte biedt om te kiezen welke rol het op zich neemt bij de uitvoering zonder dat de onderzoeksvraag een bepaalde rol opdringt. Wanneer slechts een beschrijvende vraag wordt gesteld, is er weinig reden om advies te geven, terwijl het lastig is geen beleidsalternatieven te geven wanneer hier expliciet om word gevraagd. Een evaluatie is praktijkgericht onderzoek (Swanborn, 2007) en gericht op het verkrijgen van kennis die ons kan helpen de werkelijkheid te beïnvloeden. Kenmerkend is daarbij dat een evaluatie altijd gericht is op een (beleids)maatregel (Weiss, 1998; Swanborn, 2007). Een review biedt een overzicht van resultaten van eerder onderzoek of eerder geïmplementeerd beleid maar is er, anders dan een evaluatie, niet op gericht deze te toetsen. In beide gevallen is het voor het kennisinstituut mogelijk zich op te stellen als Issue Advocate of Broker, maar kunnen zij er ook voor kiezen slechts de onderzoeksresultaten weer te geven.

Er wordt op dit criterium geselecteerd door te zoeken naar onderzoek met ‘evaluatie’ of ‘review’ in de titel. Waar dit niet voldoende resultaten oplevert kijken we in de onderzoeken zelf naar de inleiding om te oordelen of er gepland of uitgevoerd beleid geëvalueerd wordt. Het risico van deze methode is dat bij de instituten waar het initiële zoeken wel voldoende resultaten oplevert, niet alle evaluaties boven komen. Omgedraaid kan onderzoek als evaluatief bestempeld worden terwijl het dat niet is. Terwijl dit laatste onderschept kan worden tijdens de analyse, kan de afwezigheid van de term evaluatie inhouden dat onderzoek gemist is. Dit is zo veel mogelijk voorkomen door ook naar de introductie te kijken, maar dit is wegens de omvang van sommige instituten niet overal mogelijk. Ten tweede moeten de onderzoeken gedaan zijn door het instituut zelf en niet door het instituut zijn uitbesteed aan andere organisaties. Deze organisaties geven niet noodzakelijk

dezelfde invulling aan het onderzoek als het kennisinstituut zelf zou doen.

Door de keus ons te richten op evaluaties en reviews wordt het kennisinstituut niet beoordeeld op het volledige scala aan werkzaamheden. De assumptie die aan deze selectie ten grondslag ligt is dat de rol die het instituut op zich neemt niet significant verschilt tussen de verschillende vormen van onderzoek die zij verrichten. Een meer algemene keus is ons te richten op de inhoud van onderzoeken en niet op de meer algemene vraag welke activiteiten een kennisinstituut wel en niet op zich neemt. Als een kennisinstituut bijvoorbeeld alleen maar aan monitorende studies doet en geen evaluaties uitvoert, zegt dat ook al iets over de manier waarop het instituut haar taken uitvoert. We hebben er niet voor gekozen deze factor expliciet mee te nemen omdat hij moeilijk te kwantificeren is.

Semi-Gestructureerde Interviews

In alle interviews worden ook een aantal vragen gesteld over manier waarop het kennisinstituut haar taken uitvoert. Deze vragen gaan over de positie van het kennisinstituut tussen wetenschap en beleid, hoe de geïnterviewde daar tegenaan kijkt en welke waarden volgens hem of haar centraal staan binnen het instituut. Het gaat dus voornamelijk om hoe de geïnterviewde tegen het kennisinstituut aan kijkt. De assumptie die daar onder ligt is dat de rolopvatting van de geïnterviewden overeen komt met de manier waarop het instituut zich daadwerkelijk opstelt. De vragen zijn bijgevoegd in de interviewguide in bijlage 1.

Door de vragen open te stellen willen we bereiken dat de geïnterviewde geen antwoorden in de mond worden gelegd door de vraagstelling. Het gevaar van open vragen is dat ze door niet door alle geïnterviewden hetzelfde worden geïnterpreteerd, waardoor de antwoorden niet vergelijkbaar zijn. Toch is voor open vragen gekozen, omdat wanneer we bij voorbaat al voorbeelden noemen, zoals van mogelijke centrale waarden, deze door de respondent prompt als waarheden kunnen worden opgevat (Emans, 2002). Indien de gegeven antwoorden niet bevredigend zijn, wordt doorgevraagd, waarbij indien noodzakelijk wel voorbeelden gegeven kunnen worden.

Enquête

Naast data uit documenten en interviews nemen we ook een enquête af. Het doel van deze enquête is meer inzicht te krijgen in de rol die de kennisinstituten op zich nemen bij het uitvoeren van hun taken en de vragen die de instituten voorgelegd krijgen. Anders dan de andere methoden van dataverzameling is in de enquête rekening gehouden met de invloed van de mate waarin er politieke en wetenschappelijke consensus over het onderwerp op de

taakinvulling. Het is in de enquête, meer dan in het interview, mogelijk de stellingen toe te spitsen op de gekozen indicatoren, zodat er minder kans was op onvergelijkbare antwoorden.

De enquête is opgesteld volgende de criteria die ’t Hart, van Dijk, de Goede, Jansen en Teunissen (1998) aangeven. Het taalgebruik moet daarbij aansluiten bij de respondent. Dit is gedaan door zoveel mogelijk formele terminologie te gebruiken. Wel is er voor gekozen de enquête in het Engels op te stellen en zo ook voor te leggen aan alle respondenten. Door hun functie en de daarvoor benodigde opleiding en ervaring mag er van uit worden gegaan dat de Engelse terminologie door alle respondenten voldoende begrepen wordt. Daarnaast mogen vragen niet dubbelzinnig zijn, niet meer dan een onderwerp betreffen, geen feiten bevatten die bediscussieerbaar zijn, niet refereren aan normen, niet suggestief zijn en niet multi- interpretabel. Van een eis van de auteurs is afgeweken: het niet invoegen van ontkennende vragen. Er is expres één ontkennende stelling gebruikt, om te controleren of de respondent alle stellingen aandachtig leest en beoordeelt. De enquête is bijgevoegd in bijlage 2.

Alle respondenten van de interviews hebben de enquête ontvangen, met aan de informanten van de buitenlandse instituten de vraag of zij twee of drie extra respondenten konden vinden. Deze kleine omvang maakt de enquête van ondergeschikt belang aan de andere methoden van dataverzameling. Niettemin kan hij voornamelijk op het punt van de invloed van politieke en wetenschappelijke consensus, belangrijke data kan toevoegen, zelfs wanneer deze wat betreft betrouwbaarheid zwak zijn door een kleine omvang van de enquête.