Hoofdstuk 4 – Methodologisch Kader
4.5 Validiteit en betrouwbaarheid
Betrouwbaarheid en validiteit zijn belangrijke criteria voor wetenschappelijk onderzoek. De criteria validiteit en betrouwbaarheid spelen een rol bij het beoordelen van de methodologische kwaliteit van een onderzoek. Hoe hoger de validiteit en betrouwbaarheid van een onderzoek, des te hoger de methodologische kwaliteit (Bleijenbergh, 2013). Achtereenvolgend zullen nu de validiteit en betrouwbaarheid van dit onderzoek worden besproken.
4.5.1 Validiteit
Er zijn twee vormen van validiteit te onderscheiden: interne validiteit en externe validiteit. Het criterium interne validiteit zegt iets over de geldigheid van de gehanteerde onderzoeksmethode. Een onderzoek is intern valide wanneer daadwerkelijk gemeten wordt wat de onderzoeker beoogt te meten. Als dit niet het geval is, is de wijze waarop is waargenomen of geanalyseerd systematisch vertekend (Bleijenbergh, 2013). De interne validiteit van kwalitatief onderzoek is over het algemeen hoog. Dit is het geval, omdat het bij kwalitatief onderzoek mogelijk is om diep in te gaan op de casus die centraal staat in het onderzoek. Binnen het kwalitatief onderzoek is er veel ruimte om de indicatoren die de theoretische concepten die centraal staan in het onderzoek omvatten vast te stellen en te meten. Dit vergroot de kans dat wordt gemeten wat de onderzoeker beoogt te meten (George & Bennett, 2005). De interne validiteit van dit onderzoek is op verschillende manieren gewaarborgd. Een eerste waarborging is de uitgebreide operationalisatie op basis van wetenschappelijke literatuur. Aan de hand van deze operationalisatie worden de centrale begrippen in het onderzoek gemeten. De interne validiteit wordt daarnaast bevorderd door het toepassen van een triangulatie van methoden van dataverzameling. Hierdoor wordt het onderzoeksonderwerp vanuit verschillende invalshoeken bekeken. Wanneer de data die op basis van verschillende dataverzamelingsmethoden zijn geproduceerd dezelfde kant uit wijzen, versterkt dit de geldigheid van de bevindingen. De interne validiteit wordt ten slotte gewaarborgd door het semi- gestructureerde karakter van de interviews. Bij semigestructureerde interviews zijn de vragen van tevoren opgesteld, maar zijn geen antwoordcategorieën vastgelegd. Daardoor kunnen respondenten in hun eigen woorden antwoorden. De interviewer heeft daarbij de mogelijkheid om door te vragen. Wanneer een antwoord onvoldoende duidelijk is, kan de interviewer om verduidelijking vragen. Dit draagt er aan bij dat de respondent de informatie verstrekt waar de interviewer naar op zoek is en gemeten wordt wat de onderzoeker beoogt te meten.
De externe validiteit van een onderzoek heeft betrekking op de generaliseerbaarheid van het onderzoek. Het verwijst naar de mate waarin de resultaten van het onderzoek te generaliseren zijn naar een grotere populatie (Bleijenbergh, 2013). De externe validiteit van kwalitatief onderzoek is over het algemeen laag. Doordat er bij kwalitatief onderzoek een relatief klein aantal waarnemingseenheden wordt onderzocht, is het lastig om de bevindingen van het onderzoek te generaliseren naar een grotere populatie. Hiervoor is het kleine aantal waarnemingseenheden niet representatief genoeg. Generaliseren naar grotere populaties is vaak echter ook geen doel van kwalitatief casestudie onderzoek (George & Bennett, 2005). In dit onderzoek wordt één casus onderzocht, namelijk de wijkteams in de gemeente Enschede. De resultaten hebben daardoor betrekking op het voeren van regie door wijkcoaches in deze wijkteams. Hoewel in meerdere gemeenten gebruik wordt gemaakt van wijkteams, bestaan er verschillen tussen gemeenten wat betreft de inrichting van de wijkteams. De context waarin de wijkteams van de gemeente Enschede zich bevinden, is uniek. Daardoor is de generaliseerbaarheid van dit onderzoek beperkt.
4.5.2 Betrouwbaarheid
Aan de hand van het criterium betrouwbaarheid wordt beoordeeld in hoeverre de onderzoeksresultaten worden beïnvloed door toevallige fouten. Als bevindingen niet worden beïnvloed door toevallige fouten, zou herhaling van het onderzoek dezelfde resultaten moeten
opleveren. De mate waarin een waarneming stabiel is bij verschillende metingen, geeft aan hoe betrouwbaar het onderzoek is. De betrouwbaarheid van een onderzoek wordt bepaald door de nauwkeurigheid en de consistentie waarmee de variabelen worden gemeten (Hutjes & Van Buuren, 1996). Over het algemeen is de betrouwbaarheid van kwalitatief onderzoek lager dan van kwantitatief onderzoek. Dit is het geval, omdat bij kwalitatief onderzoek een kleiner aantal waarnemingseenheden wordt onderzocht. Hierdoor heeft een toevallige afwijking bij het meten van één van deze waarnemingseenheden een relatief grote invloed op de resultaten (Bleijenbergh, 2013). Daar komt bij dat de mogelijkheden om de betrouwbaarheid van kwalitatief onderzoek aan te tonen beperkt zijn door de rol die de interpretatie van de onderzoeker speelt bij de analyse van de data en de complexiteit van de onderzochte situatie (Hutjes & Van Buuren, 1996).
Om de problemen rondom de betrouwbaarheid van kwalitatief onderzoek zoveel mogelijk tegen te gaan, dienen de in het onderzoek gehanteerde procedures geëxpliciteerd en gesystematiseerd te worden. Door inzicht te bieden in de keuzes die zijn gemaakt bij de selectie van documenten en respondenten en data vast te leggen in interview- en observatietranscripten is het voor andere onderzoekers mogelijk om de stappen die zijn gezet bij de dataverzameling en data- analyse te controleren (Bleijenbergh, 2013; Hutjes & Van Buuren, 1996). In dit onderzoek is geprobeerd de controleerbaarheid van het onderzoek te vergroten door de stappen die in het onderzoek zijn gezet zo nauwkeurig mogelijk vast te leggen. Ten aanzien van de dataverzameling zijn een aantal maatregelen getroffen om de controleerbaarheid te vergroten. Ten eerste zijn in paragraaf 4.3 van dit hoofdstuk en in bijlage 2, 3 en 4 de interviewvragen opgenomen die tijdens de individuele interviews en de focusgroepen zijn gesteld. Daarnaast is in Tabel 1 een overzicht weergegeven van de geïnterviewde respondenten en wordt in Tabel 2 een overzicht van de samenstelling van de focusgroepen gepresenteerd. Bovendien is in dit methodologisch kader een overzicht gegeven van de geanalyseerde documenten. Ook het waarnemingsschema, op basis waarvan geobserveerd is, is bijgevoegd als bijlage. Het overzicht van de interviewvragen, respondenten, geanalyseerde documenten en het waarnemingsschema vergroot de controleerbaarheid van de dataverzameling. Ook ten aanzien van de data-analyse is geprobeerd de controleerbaarheid zo groot mogelijk te maken. Dit is gedaan door te coderen aan de hand van een codeerschema. Dit codeerschema maakt het mogelijk te coderen op basis van dezelfde codes als de onderzoeker.