Betrouwbaarheid en validiteit

Het laatste onderdeel van het methodologisch kader omvat traditioneel het bespreken van de kwaliteit van het wetenschappelijk onderzoek dat is verricht. In het methodologisch tot dusverre zijn al een aantal referenties geweest naar de betrouwbaarheid en validiteit maar er wordt hier wat verder op ingegaan, te beginnen met betrouwbaarheid.

4.4.1 Betrouwbaarheid

Wetenschappelijke betrouwbaarheid houdt in essentie in dat wanneer een onderzoek wordt herhaald, de uitkomsten van de tweede keer gelijk dienen te zijn aan de uitkomsten uit het eerste onderzoek. Doordat er een inductieve inhoudsanalyse is gebruikt tijdens dit onderzoek, om het bewonersperspectief bloot te leggen, daalt de betrouwbaarheid van dit onderzoek deels. Dit komt omdat een inductieve inhoudsanalyse niet alleen

arbeidsintensief is en slechts op een kleine steekproef is gebaseerd maar ook moeilijk te repliceren zijn vanwege de onvermijdelijke interpretatie van de onderzoeker (Van Gorp, 2007).

Om toch een zekere mate van betrouwbaarheid te realiseren zijn de afgenomen interviews in hun geheel uitgetypt waarbij er geen rekening is gehouden met eventuele haperingen, pauzes, lichaamstaal of gezichtsuitdrukkingen. De teksten en de daardoor geselecteerde labels omvatten dan ook enkel en alleen gesproken tekst wat de betrouwbaarheid enigszins versterkt. Daarnaast is er sprake van de constant comparative

method wat zoveel wil zeggen dat het herhaaldelijk doornemen van de interviews in dit geval heeft geleid tot het

staven van eerdere inzichten, stellingen en beweringen (Van Gorp, 2007). Meerdere keren zijn de interviews onderzocht en doorgelezen met de bedoeling onder meer om te kijken of inzichten uit de ene case niet eveneens van toepassing zijn geweest op de inzichten en beweringen van de andere cases.

Van Gorp (2007, p. 15) geeft nog een derde kenmerk dat de betrouwbaarheid van een inductieve inhoudsanalyse versterkt. Hij geeft aan dat het “simultaan verlopende proces van verzamelen, coderen en analyseren” leidt tot het voortdurend ontwikkelen van nieuwe ideeën en dat er naar gegevens wordt gezocht die het voorkomen van frames (lees: het bewonersperspectief op democratie) bevestigen dan wel tegenspreken. In dit onderzoek is er sprake geweest van het fenomeen dat Van Gorp beschrijft; er zijn momenten geweest dat er in één week interviews zijn afgenomen, interviews zijn uitgewerkt en de resultaten zijn geanalyseerd.

Om de betrouwbaarheid van dit onderzoek te verhogen is er ook gebruikt gemaakt van niet alleen meerdere casussen maar is er ook rekening gehouden met een bepaalde diversiteit van de geselecteerde casussen. Doordat het allemaal initiatieven zijn die op grote lijnen een aantal gemeenschappelijke kenmerken hebben maar verder een uniek en individueel karakter hebben, is de kans op het constateren van toevalligheden kleiner. Dit versterkt de betrouwbaarheid van het onderzoek.

Ook de nadruk op het selecteren van personen binnen het bewonersinitiatief met verschillende functies, rollen dan wel verantwoordelijkheden om op die manier verschillende perspectieven te krijgen heeft de

betrouwbaarheid verhoogd. Deze uiteenlopende perspectieven zijn ook gerealiseerd door niet alleen de interviews als enige bron mee te nemen maar ook, indien beschikbaar, documenten en andere bronnen over de

bewonersinitiatieven in dit onderzoek. Hiermee is invulling gegeven aan triangulatie, een belangrijk concept om de betrouwbaarheid te verhogen door verschillende methoden naast elkaar te gebruiken.

4.4.2 Validiteit

Wanneer men onderzoekt dient men maatregelen te nemen die ervoor zorgen dat het onderzoek meet wat het beoogt te meten. Om ervoor te zorgen dat de democratische bewonerstaal en hun democratische principes naar voren komen zijn er een aantal voorzorgsmaatregelen genomen. Deze voorzorgsmaatregelen kunnen worden onderverdeeld in twee categorieën: interne en externe validiteit.

4.4.2.1 Interne validiteit

Zoals aangegeven in het theoretisch kader is er nog relatief weinig bekend van het bewonersperspectief op democratie. Het conceptueel model is daar een uitstekend voorbeeld van; het is een indeling op basis van een eigen interpretatie van de beschikbare informatie en literatuur en niet op basis van een of meerdere theorieën. Daarbij dient gezegd te worden dat er meerdere keren contact (zowel telefonisch als e-mail) is geweest met Irini Salverda (onderzoeker Wageningen Universiteit op het gebied van onder meer duurzame bewonersinitiatieven) over dit conceptuele model. Ondanks dit contact is er dus door de summiere kennis en informatie in het begin al meteen enige aantasting van de interne validiteit.

Om toch de interne validiteit te kunnen waarborgen zijn er verschillende stappen ondernomen. Zo is de keuze voor de vier democratische concepten gebaseerd op zowel de aanwezige literatuur als de kennis van Ben van Essen (kennismakelaar DC-leerkring dorps- & wijkdemocratie). De uiteindelijke operationalisatie van de vier gekozen democratische concepten is vervolgens gecontroleerd door wederom Ben van Essen en ook door Jornt van Zuylen (projectleider Democratic Challenge). En als laatste zijn de resultaten en de analyse gecontroleerd door Ben van Essen en Geert Schmitz (werkzaam bij gemeente Peel en Maas en nauw betrokken bij

gemeenschapsontwikkeling door middel van zelfsturing).

De mogelijk persoonlijke bias die aanwezig zou kunnen zijn bij de respondenten wordt voor een groot deel tegengegaan door het spreken van minimaal twee personen per case. Ook dit heeft een versterkende werking op de interne validiteit. Verder wordt de manier van analyse en documentatie grotendeels op een gestructureerde wijze aangepakt zodat er zo min mogelijk verschillen zijn tussen de interviews en de uitwerkingen daarvan onderling. Daarbij moet gezegd worden dat door het open karakter van de interviews (semigestructureerd) de interviews nogal konden verschillen. Zo had diegene in het langste interview bijna twee uur de tijd nodig om alle vier de democratische concepten te behandelen en was dit bij diegene met het kortste interview iets meer dan een uur minder. Ondanks deze verschillen tussen respondenten is ervoor gewaakt tijdens het afnemen van de

interviews dat alle vier de democratische concepten zo goed als mogelijk aan bod zijn gekomen. De uitgewerkte interviews zijn opgestuurd naar de verschillende respondenten waarbij er nog enige malen contact is geweest met verschillende respondenten om een aantal zaken die tijdens de interviews onduidelijk waren te verhelderen. Ook deze maatregel heeft een versterkend effect op de interne validiteit.

Een laatste opmerking betreffende de interne validiteit gaat over het interviewen zelf. De interviewer heeft ervoor gewaakt geen woorden of termen in de mond van de respondenten te leggen. Concreet betekent dit dat er

zoveel mogelijk is gesproken met woorden en termen die genoemd werden door de respondenten zelf. Deze termen en woorden genoemd door de respondenten zijn meegenomen in de vervolgvragen en daarbij is er specifiek aandacht besteed aan het niet noemen van een bewonersvariant van een term of woord voordat deze door een respondent zelf is genoemd. Pas nadat een term of woord is genoemd, is er doorgevraagd door de interviewer, gebruikmakende van de termen en woorden genoemd door de respondent, om te achterhalen wat er precies werd bedoeld. Deze aandacht komt de interne validiteit ook ten goede.

4.4.2.2 Externe validiteit

Naast de interne validiteit is er ook nog de externe variant die zich bekommert over de mate van

generaliseerbaarheid. Daarbij is het verstandig meteen aan te geven dat de mate van generaliseerbaarheid net als bij ieder ander onderzoek dat is gebaseerd op een (meervoudige) case study bij voorhand beperkt is; de

geselecteerde cases zijn namelijk ten alle tijde uniek in hun soort. Het is echter mogelijk om in het geval van een meervoudige case study, cases zo te selecteren dat de generaliseerbaarheid en daarmee de externe validiteit wel wordt vergroot (Bleijenbergh, 2013).

Zoals reeds beschreven in 4.1.1 is er gehoor gegeven aan de mate van generaliseerbaarheid in deze scriptie door uiteenlopende cases te selecteren op basis van afkomst (stedelijke of landelijke omgeving), leeftijd van het bewonersinitiatief en verschillende wijzen van organisatie (gestructureerd versus ongestructureerd). Een dergelijke spreiding van cases zorgt ervoor dat mogelijke lokale invloeden wel een invloed kunnen hebben op het initiatief maar in mindere mate op de overeenkomstige patronen tussen de cases. Dit maakt het mogelijk tot op zekere hoogte generaliserende uitspraken te doen over deze overeenkomstige patronen en fenomenen. Eveneens is er geprobeerd, zoals snel duidelijk zal worden in het volgende hoofdstuk, dat de resultaten relatief uitgebreid zijn beschreven, rekening houdende met de context van de casussen en ook de interviews. Door deze gedetailleerde beschrijvingen is er getracht de omlijning te beschrijven waarin de onderzoeksvraag geldig is en zo, duidelijk te maken dat de uitkomsten van dit onderzoek enkel tot op zekere hoogte generaliseerbaar zijn richting andere bewonersinitiatieven en gemeenten. En met deze maatregel eindigt dit methodologisch kader en zal er in het volgende hoofdstuk een blik worden geworpen op de resultaten van dit onderzoek.