Betrouwbaarheid & validiteit

In deze thesis is bewust rekening gehouden met de onderzoekscriteria validiteit en betrouwbaarheid. Voordat wordt uitgelegd hoe er rekening wordt gehouden met deze onderzoekscriteria, worden deze criteria gedefinieerd. Het eerste onderzoekscriterium, validiteit, kan worden onderscheiden in twee soorten: interne en externe validiteit (Van Thiel, 2007). Interne validiteit gaat over de geldigheid van een onderzoek. Ofwel, heeft de onderzoeker gemeten wat hij of zij wilde meten? De interne validiteit wordt vooral bepaald door de kwaliteit van de operationalisatie. Maar ook door de

mate waarin een onderzoeker erin slaagt om concepten meetbaar te maken. Externe validiteit gaat over generaliseerbaarheid. Anders gezegd gaat het over de vraag of de resultaten van dit onderzoek kunnen worden gebruikt in een bredere context dan die van het onderzoek. Het tweede onderzoekscriterium, betrouwbaarheid, gaat over de mate waarin een onderzoek nauwkeurig is uitgevoerd, maar ook de mate waarin variabelen consistent zijn gemeten (Van Thiel, 2007). Er wordt gesteld dat hoe nauwkeuriger en consistenter een onderzoek is uitgevoerd, hoe zekerder de onderzoeker ervan kan zijn dat de gevonden resultaten systematisch zijn en niet gebaseerd op toeval. Voor dit verklarende onderzoek zou dat bijvoorbeeld betekenen dat de gevonden verklarende factoren van kennisdeling kloppen en niet op toeval berusten. De nauwkeurigheid van een onderzoek wordt bepaald door de kwaliteit van de meetinstrumenten. De kwaliteit wordt bepaald door het feit of het meetinstrument de variabelen of items nauwkeurig genoeg meet. De consistentie van onderzoek gaat over herhaalbaarheid. Dat houdt in dat er onder dezelfde omstandigheden bij dezelfde meting dezelfde resultaten moeten worden gevonden.

Door de keuze voor een mixed method is het mogelijk om de betrouwbaarheid en validiteit van zowel kwantitatief als kwalitatief onderzoek te combineren. Over het algemeen kan worden gesteld dat kwantitatieve data erg betrouwbaar zijn, omdat er gestructureerd wordt weergegeven hoe je meet en waarom je meet. Er is inzicht in hoe een onderzoeker te werk gaat. De meetinstrumenten zijn uitgeschreven, waardoor het onderzoek relatief makkelijk te repliceren is. Kwalitatieve resultaten zijn over het algemeen erg valide, omdat je kunt afwijken van de structuren en kunt doorvragen. Daarmee kan de onderzoeker ervoor zorgen dat de metingen aansluiten bij de te meten indicatoren. Een manier om de voordelen van beide methodes te combineren is triangulatie. Met dit begrip worden de data die zijn verkregen uit de ene methode, gecheckt door de resultaten uit een andere methode (Van Thiel, 2007). Op deze manier worden concepten of factoren op verschillende manieren gemeten, wat ervoor zorgt dat de validiteit toeneemt. Dit komt de interne validiteit ten goede, omdat je de metingen twee keer uitvoert en daarmee zekerder kan zijn van de metingen van concepten.

Er is op de volgende manieren rekening gehouden met validiteit. Qua interne validiteit van het onderzoek is vooral gekeken naar een sterke operationalisatie. Door zorgvuldig na te gaan welke concepten worden gemeten,

welke variabelen onder deze concepten vallen en welke indicatoren deze variabelen kunnen meten. In de operationalisatie is dus duidelijk aangegeven hoe de onderzoeker vanuit de theorie tot de uiteindelijke vragen is gekomen. De denk- en werkwijze van de operationalisatie is inzichtelijk in paragraaf 4.5. en 4.6. Daarnaast is in de survey, te vinden in bijlage A, en in de interviewguide, te vinden in bijlage C, te zien hoe deze concepten, variabelen en indicatoren uiteindelijk zijn gemeten. Naast de interne validiteit is er gelet op de externe validiteit. Deze externe validiteit vormt over het algemeen vaak een punt van aandacht bij casestudies. Bij casestudies is de vraag of de onderzoeksresultaten generaliseerbaar kunnen zijn voor een grotere context van meerdere cases. Dit wordt gezien als een klassiek probleem van casestudies. Volgens Bryman (2009) is het belangrijk om als onderzoeker bewust te zijn van het feit dat de externe validiteit van een casestudy niet hoog is. Maar daarbij wordt gezegd dat een casestudy misschien wel niet bedoeld is voor een bredere context. Casestudies zijn juist bedoeld om in te zoomen op één of enkele cases, waarbij gedetailleerde conclusies kunnen worden getrokken die van toepassing zijn op deze enkele case. In dit onderzoek is toch aandacht geweest voor de generaliseerbaarheid van de resultaten van de vier onderzochte clusters ten opzichte van de gehele gemeente. Daarvoor is gekeken naar de representativiteit van het onderzoek. Dat is gebeurd door een zorgvuldige keuze te maken voor de te onderzoeken cases. De clusters die zijn onderzocht zijn bewust gekozen, omdat er werd aangenomen dat zij de gehele gemeente zo goed mogelijk representeren. Op deze manier zijn de resultaten van het onderzoek, voor zover mogelijk, toepasbaar voor de hele gemeente en niet alleen voor de onderzochte clusters. Er is daarnaast rekening gehouden met respons bias, wat inhoudt dat de respondenten van een onderzoek niet altijd representatief zijn voor de gehele groep onderzoekseenheden. Om ervoor te zorgen dat de respondenten zo goed mogelijk de populatie zouden representeren, is gevraagd aan leidinggevenden om hun medewerkers aan te sporen om de survey in te vullen en mee te werken aan eventuele interviews.

De betrouwbaarheid van dit onderzoek is gewaarborgd door het onderzoek zo nauwkeurig en consistent mogelijk uit te voeren. Voor de consistentie en de repliceerbaarheid van het onderzoek is ten eerste rekening gehouden met de rol van de onderzoeker. Ik was mij bewust het feit dat ik als langere tijd bij de gemeente Arnhem werkte. En dat ik moest proberen niet te conformeren aan de gangbare waarden en normen in de organisatie.

Daarmee is de zogenoemde observer bias beperkt. Daarnaast is het zo dat er een relatief grote steekproef is getrokken, namelijk van 256 respondenten. Dit zorgt ervoor dat de herhaalbaarheid van het onderzoek wordt bevorderd (Van Thiel, 2007). Als laatst is er in dit onderzoek geprobeerd zo veel mogelijk inzicht te geven in de werkwijze van het onderzoek. Op deze manier is het voor andere onderzoekers makkelijker om het onderzoek te repliceren. De nauwkeurigheid is geborgd door zo sterk mogelijke meetinstrumenten op te zetten. Meetinstrumenten die de variabelen zo nauwkeurig mogelijk meten. Dat is gebeurd door de interviewguide bij te voegen, waarin overwegingen voor vragen zijn opgenomen. Maar ook door de operationalisatie expliciet te maken, zodat duidelijk wordt hoe er wordt gemeten en waarom.

5. Resultaten