In dit hoofdstuk zal de keuze voor internationaal-vergelijkend onderzoek door middel van case studies beargumenteerd worden en zullen we kijken wat de gekozen onderzoeksopzet betekent voor de validiteit en betrouwbaarheid van de resultaten.
7.1 Internationaal-Vergelijkend Onderzoek
We hebben om twee redenen voor internationaal-vergelijkend onderzoek8 gekozen. Ten eerste is het WODC-onderzoek waar dit onderzoek uit voortvloeit ook internationaal-vergelijkend van opzet. Een zusterorganisatie is daarin gedefinieerd als een kennisinstituut dat verbonden aan een centraal overheidsorgaan onderzoek doet op (een van de) terreinen van WODC. In Nederland is alleen INDIAC vergelijkbaar, het Informatie en Analyse Centrum van de Immigratie en Naturalisatie Dienst. Deze is echter niet meegenomen in het onderzoek omdat is gekozen voor een volledig internationale opzet.
De tweede, belangrijkste reden om voor internationaal-vergelijkend onderzoek te kiezen is dat door het vergelijken van meerdere kennisinstituten de mogelijkheid ontstaat om tot algemene inzichten te komen over de manier waarop wetenschap en beleid een balans vinden binnen kennisinstituten en waardoor dit wordt beïnvloed. Dat gaat wel ten kosten van een stukje van het detail dat bereikt kan worden met een enkelvoudige case study, omdat we onze aandacht over meerdere case studies moeten verdelen. Daarmee gebruiken we de methode van internationaal-vergelijkend onderzoek om voldoende vergelijkbare cases te krijgen, maar wijkt het doel enigszins af van regulier internationaal-vergelijkend onderzoek (Korsten, 2008); het doel is niet om landen te vergelijken op een bepaald aspect, maar kennisinstituten.
7.2 Case Studies
Internationaal-vergelijkend onderzoek kan door middel van drie onderzoeksmethoden worden uitgevoerd: de case study, de survey en het experiment (Braster, 2000; Korsten, 2008). Het meeste onderzoek naar grensorganisaties tussen wetenschap en beleid neemt de vorm aan van een of enkele case studies (eg. Bal, Bijker en Hendriks, 2002; Jasanoff, 1990 (2 case studies); Millstone en Zwanenberg, 2001, Huitema en Turnhout, 2009)9. Het gebruik van de case study methode laat toe dat de complexiteit van deze organisaties goed tot zijn recht komt. In dit onderzoek houden we vast aan deze keus.
Braster (2000) definieert verschillende soorten case studies aan de hand van drie kenmerken: inductief of deductief, kwalitatief of kwalitatief-kwantitatief en nomothetisch of ideografisch. Onze case studies zijn deductief, theorie toetsend van aard. Ze toetsen of het mogelijke verband waar het omschreven theoretisch model op wijst daadwerkelijk aanwezig is door de data te analyseren aan de hand van de in de operationalisering opgestelde indicatoren. Daarbij gaan we grotendeels kwalitatief te werk, door analyse van interviews en documenten. Wel kwantificeren we deze resultaten door de data te categoriseren in de categorieën uit het theoretisch model; de rollen van Pielke en de relatie met het overheidsorgaan. Als laatste is de case study nomothetisch van aard; het verklarende aspect staat voorop (Braster, 2000).
In deze studie benaderen we de case studies enigszins reductionistisch benaderd (Verschuren, 2003). We richten ons niet op de cases als geheel, maar kijken bij ieder kennisinstituut naar een specifiek aspect: de taakinvulling en de relatie met het overheidsorgaan. Daardoor verliezen we een stukje aan complexiteit, maar kunnen we – zoals al aangegeven - meerdere cases vergelijken en zo tot algemenere inzichten komen met een hogere geldigheid. Daarnaast laat het reduceren van complexiteit een deductieve methode toe, waardoor de redenering achter de conclusies inzichtelijker kan worden gemaakt. Dit draagt bij aan de betrouwbaarheid van het onderzoek.
Door de keus case studies op deze manier toe te passen zal het niet mogelijk zijn een causaal verband vast te stellen. Om de waarschijnlijkheid van een causaal verband te vergroten hebben we gekozen voor een “most similar systems design” (MSSD) (Korsten, 2008; p.63); de kennisinstituten die zijn geselecteerd komen zo veel mogelijk overeen op factoren buiten de relatie met het overheidsorgaan die van invloed zouden kunnen zijn op de
9
De uitzondering vormt Hoppe (2009) die een survey design toepast en kwantitatieve bewerkingen uitvoert op de verkregen data.
manier waarop zij hun taken invullen. Het vinden van een causaal verband blijft echter lastig, omdat het binnen het huidige onderzoek niet mogelijk is voor alle omgevingsfactoren te corrigeren. Met name kunnen we niet corrigeren voor de interactie van kennisinstituten met partijen buiten het overheidsorgaan, terwijl het niet uitgesloten is dat deze van invloed kunnen zijn op de manier waarop zij hun taak invullen. Ook doet WODC onderzoek op een breed scala aan terreinen, van immigratie tot veiligheid tot criminaliteit tot de werking van het recht. Veel kennisinstituten zijn toegespitst op één of twee van deze terreinen.
Door het MSSD design blijft het aantal geselecteerde cases kleiner, waardoor de generaliseerbaarheid van de resultaten mogelijk maar partieel is (Korsten, 2008). We leveren hier dus een stukje generaliseerbaarheid in die we juist wilden vergroten door voor meerdere case studies te kiezen. Echter, het design draagt wel bij aan de validiteit en de betrouwbaarheid van de resultaten, omdat de kans dat een gevonden verband te wijten is aan een correlerende variabele wordt verkleind. We hebben met de meervoudige case study en het MSSD design dus gekozen voor een methode die de betrouwbaarheid en generaliseerbaarheid van de resultaten vergroot, ten koste van een stukje complexiteit van de case studies. In de volgende hoofdstukken zullen de verschillende methoden van dataverzameling en de casusselectie worden beschreven.