Maatregelen in het kader van de methodologische kwaliteit

Validiteit en betrouwbaarheid hebben in kwalitatief onderzoek een bijzondere betekenis (Boeije 2005). De maatregelen in het kader van de methodologische kwaliteit - en daarmee samenhangend de inhoud die gegeven wordt aan de begrippen betrouwbaarheid en validi- teit in het kader van dit onderzoek- krijgen hierna hun uitwerking. Voor de methodologische grondvorm - als onderdeel van de methodologische kwaliteit - wordt verwezen naar het vorige onderdeel.

4.8.1 Objectiviteit

objectiviteit wordt in dit onderzoek ook als methodologische norm gehanteerd. Hier wordt niet de objectiviteit bedoeld, zoals die in het empirisch inductieve paradigma en de positi- vistische wetenschappen wordt geformuleerd. Het gaat bij kwalitatief onderzoek om een al- ternatieve opvatting over objectiviteit (Maso & smaling 1998). Er is gestreefd naar een vorm

Overheid, Nederland, Europa Collecting things Think about things Notice things

van objectiviteit waarbij als het ware de praktijk zoveel mogelijk spreekt (‘letting the object speak’) en waarbij de subjectiviteit van de onderzoeker als kracht wordt gezien. Rolneming, openheid van geest, openhartigheid, empathisch vermogen, er voor gaan maar ook afstand kunnen nemen van eigen vooroordelen, vormen belangrijke aspecten van deze subjectieve kracht.

Andere vaak aangehaalde begrippen in de literatuur zijn: betrouwbaarheid, interne en ex- terne geldigheid (Baarda 2001); objectiviteit, in- en externe betrouwbaarheid, in- en externe validiteit (Maso & smaling 1998); validiteit en betrouwbaarheid (Hutjes & Van Buren 1992; smaling 2005).

4.8.2 Maatregelen gericht op betrouwbaarheid

In kwantitatief onderzoek betekent betrouwbaarheid dat herhaling van een onderzoek de- zelfde resultaten oplevert. Het zal duidelijk zijn dat bij kwalitatief onderzoek naar complexe - zich steeds wijzigende - omstandigheden een dergelijke vorm van herhaalbaarheid niet mogelijk is (Baarda 2001; Maso & smaling 1998). om dit het hoofd te bieden en aanspraak te maken op een zekere mate van interne betrouwbaarheid, zijn er randvoorwaarden ge- realiseerd. Maso & smaling (1998) verstaan onder interne betrouwbaarheid de consensus tussen de leden van het onderzoeksteam over de herhaalbaarheid van het onderzoek: zijn we het eens over het feit dat het onderzoek herhaalbaar is? ondanks het feit dat in deze studie niet met een onderzoeksteam gewerkt is, is wel met enige regelmaat getoetst of er van potentiële herhaalbaarheid van het onderzoek sprake kan zijn. De volgende activiteiten hebben in dat kader plaatsgevonden:

1. de onderzoeksopzet is aan verschillende deskundigen voorgelegd ter beoordeling van de methodologische kwaliteit (‘peer examination’);

2. de onderzoeker heeft zich bekwaamd in observatie- en interviewtechnieken en deze ken- nis overgedragen aan de interviewers/interviewteams;

3. alle stappen en afwegingen in het onderzoeksproces zijn beschreven en opgenomen in Reference-manager en Atlas-ti. Deze memosystemen kunnen indien nodig ontsloten worden (mogelijkheid virtuele haalbaarheid);

4. de participanten/respondenten zijn uitgenodigd om feedback te geven op de uitkom- sten; ‘memberchecks’ (Maso & smaling 1998) en een focusgroep (Mconkey et al. 2004), waarbij uiteraard de onderzoeker verantwoordelijk blijft; de tussentijdse bevindingen per casus zijn aan de betreffende teams voorgelegd. De eindversie van het gehele onderzoek is aan alle bestuurders (casus 1 t/m 4) ter becommentariëring voorgelegd;

5. de interviewteams zijn in de gelegenheid gesteld om te reageren op de uitkomsten.

Bij de externe betrouwbaarheid (Maso & smaling 1998) gaat het om de herhaalbaarheid van het gehele onderzoek door andere onafhankelijke onderzoekers in dezelfde situatie, inclu- sief alle tussen- en eindresultaten. Zoals eerder aangegeven, is dit in de praktijk van kwali- tatief onderzoek niet mogelijk en zal het derhalve gaan om intersubjectieve navolgbaarheid (‘trackability’). In dat kader zijn de volgende stappen gerealiseerd:

1. de gebruikte methoden en stappen zijn geëxpliciteerd en beschreven (Baarda 2001). Hutjes & van Buuren (1992) spreken over een ‘chain of evidence’ (reconstrueren, bevor- deren door een uitgewerkt protocol). Daaronder valt ook de keuze voor informanten en geïnterviewden, de beschrijving van onderzoekssituaties en context, en de gehanteerde methoden en technieken;

2. de lezer wordt in staat gesteld zich een oordeel te vormen over de expliciete theoretische veronderstellingen;

3. vormen van vertraagde en indirecte registratie zijn ondervangen door het audio-digitaal opnemen van interviews, gevolgd door het direct uitwerken van de fieldnotes en obser- vatieverslagen (Baarda 2001);

4. toepassing van triangulatie (diverse vormen van dataverzameling en inzet van meerdere ervaren interviewers en observatoren);

5. de positie en rollen van de onderzoeker in de onderzoekssituatie zijn expliciet beschre- ven (Maso & smaling 1998);

6. alle aantekeningen over het onderzoek zijn opgeslagen in een uitgebreide project-admi- nistratie i.c. systematische ‘audit-trial’ (Atlas-ti);

7. het onderzoek is zo gerapporteerd dat buitenstaanders de gang van het onderzoek kun- nen nagaan (Maso & smaling 1998: 70).

4.8.3 Maatregelen gericht op validiteit

Bij validiteit gaat het om de generaliseerbaarheid van het onderzoek en de afwezigheid van ‘vertekening’. Maso & smaling (1998) stellen de vraag centraal of de methoden, resultaten en conclusies ook werkelijk gericht zijn op het beoogde fenomeen. Is er sprake van afwe- zigheid van systematische vertekeningen? Betreffen de onderzoeksopzet en de uitkomsten daadwerkelijk het beoogde fenomeen? Maso & smaling (1998) onderscheiden daarbij in- terne en externe validiteit. Met betrekking tot de interne validiteit gaat het om de vraag of de ‘de argumenten en de redeneringen deugdelijk zijn?’ Maatregelen die in dit kader zijn getroffen om de interne validiteit te bevorderen zijn (zie ook Maso & smaling: 72):

1. het nauwgezet volgen van de uitgewerkte onderzoeksopzet;

2. het bijhouden van veldnotities en reflecties in Atlas-ti en Referencemanager (verteke- ning en selectief geheugen voorkomen);

3. het opstellen van methodologische en theoretische memo’s in Atlas-ti: kwaliteit, twijfels, gebreken, ideeën, verklaringen en interpretaties; als geheugensteun maar ook ten behoeve van de latere analyse;

4. uitgebreide participatie en observatie;

5. het inschakelen van informanten en collega- onderzoekers; 6. dialogische relaties tussen onderzochten en onderzoekers; 7. het toepassen van (data-)triangulatie;

8. er veel met anderen over praten; 9. peerexamination;

10. inspectie van de ‘audit-trail’ (de systematische boekhouding) door onafhankelijke waarnemers.

In deze is het evenzo de vraag in hoeverre de resultaten en conclusies voor andere (niet aan het onderzoek deelnemende) personen en situaties kunnen gelden. De uitkomsten kunnen van belang zijn voor andere organisaties die bijvoorbeeld met inclusie een de gang willen gaan. In kwalitatief onderzoek worden andere maatstaven gehanteerd voor de generaliseer- baarheid; los van een statistische representativiteit (zie: smaling 2003).

4.8.4 De rol van de onderzoeker en de relatie tussen onderzoeker en het onderzochte

In kwalitatief onderzoek speelt de relatie tussen onderzoeker en onderzochte een belang- rijke rol. Het gaat erom een ‘good rapport’ te krijgen. De ‘rapportschaal’ zegt iets over de

relatie. Er kan sprake zijn van ‘over- en onderrapport’ (te veel/weinig goede relatie met de onderzochte). Er is in dit onderzoek gestreefd naar ‘good rapport’ door in dialogische relatie te treden met de respondenten (smaling 1998). Daarbij zijn wederzijds vertrouwen en ‘tri- adische openheid’ de sleutelwoorden. Verschillende auteurs noemen de bijzondere rol van de onderzoeker in kwalitatief onderzoek (Maso & smaling 1998). Ze wijzen op een aantal valkuilen waar onderzoekers op moeten zijn bedacht, en waarop ze dienen te ‘organiseren.’ Betrokkenheid bij het onderwerp kan leiden tot selectieve waarneming en selectieve keu- zen. Dat kan de uitkomsten van een onderzoek vertekenen. In onderhavig onderzoek is de betrokkenheid van de onderzoeker op het onderwerp (inclusie van mensen met een beper- king) positief te noemen. Dat staat niet tegenover subjectiviteit, maar wordt bij kwalitatief onderzoek juist gebruikt als een gereflecteerde, intelligente en positieve aanwending. Het is belangrijk dat er voldoende ruimte is voor het standpunt van de ander (openhartigheid en eigen vooroordelen ter discussie kunnen stellen) en als onderzoeker kunnen verplaat- sen in de rol van de andere (role taking). Kortom, de rol van de onderzoeker vraagt in dit onderzoek - in het licht van bovenstaande - bijzondere aandacht . De interviews zijn voor een belangrijk deel uitbesteed om de vooringenomenheid zoveel mogelijk uit te schakelen, de verwerking en analyse van de data is steeds voorgelegd aan de respondenten om op die manier de negatieve effecten van vooringenomenheid uit te schakelen. Tevens zijn de resultaten voorgelegd aan enkele externe meelezers.

HooFDsTUK 5 | PILoTsTUDY

5.1 Inleiding

In dit hoofdstuk wordt verslag gedaan van de pilotstudy die is uitgevoerd: het doel, de wijze waarop de dataverzameling en analyse heeft plaats gevonden en de resultaten. Aan de hand van achttien interviews onder tien bestuurders van zorgorganisaties en zes ‘andere deskun- digen’ is het conceptueel model uit hoofdstuk 3 verder uitgewerkt met subcategorieën van kenmerken (de variabalen) die een rol spelen bij het werken aan inclusie en kwaliteit van bestaan. Het gaat om een verdere verduidelijking van de gehanteerde clusters van kenmer- ken rond succes- en faalfactoren. De opbouw van dit hoofdstuk is: eerst een beschrijving van het doel van de pilot en de gevolgde werkwijze (5.2 t/m 5.4), daarna de verwerking van de data (5.5). Voor de analyse van de proefinterviews is gebruik gemaakt van de kwalitatieve analyse van Wester & Peters (2004) en Miles & Huberman (1994). Per cluster van kenmer- ken (5.6) uit het conceptueel model wordt een korte weergave gegeven van de bevindingen. Deze leiden tot een verdere operationalisering van de kenmerken in verschillende elemen- ten die worden opgesomd en van een aantal veronderstellingen worden voorzien. onder 5.7 is de operationalisering van de veronderstellingen opgenomen. Besloten wordt met een grafische weergave van het verder geconcretiseerde conceptueel model. In bijlage 5 is een totaaloverzicht van de veronderstellingen opgenomen. De verschillende fasen in het onder- zoek zijn niet steeds scherp te onderscheiden. Dat is in hoofdstuk 4 geïllustreerd met het interactief model van Maxwell (4.1, fig. 11). De pilotstudy is gestart met een conceptueel mo- del op basis van de literatuur (zie 3.10, fig. 9). De bevindingen tijdens de pilot hebben tot een bijstelling geleid (zie 5.18, fig. 13). De bevindingen in de casussen leiden tot de uiteindelijke versie die in hoofdstuk 8 (schema 19) wordt weergegeven. Er is in hoofdstuk 5 voor gekozen om de veronderstellingen in zijn geheel op te nemen, ook die ontstaan zijn in een later sta- dium (na de pilot). Hiermee wordt beoogd de rapportage overzichtelijker te maken.

5.2 Doel

De pilotstudy (Yin 2003, Hutjes & Van Buren 1992) beoogt enerzijds een proeftuin te zijn voor de casestudies, anderzijds wordt met de uitkomsten bijgedragen aan de operationali- sering van het conceptueel model uit hoofdstuk 3.