Kwaliteit van onderzoek

Aan het slot van deze paragraaf over onze onderzoeksopzet stellen we de kwaliteit van ons onderzoek aan de orde en staan we kort stil bij de geldigheid, betrouwbaarheid en generali- seerbaarheid van ons onderzoek. We sluiten af met de bespreking van de manier waarop in ons onderzoek gebruik is gemaakt van het kwaliteitsinstrument triangulatie.

Geldigheid, betrouwbaarheid, generaliseerbaarheid

In kwantitatief onderzoek betreft geldigheid en betrouwbaarheid de vraag of er daadwerke- lijk gemeten werd wat beoogd werd te meten (geldigheid) en of indien men de meting elders zou herhalen er hetzelfde resultaat uit zou komen (betrouwbaarheid) (Boeije 2005). Voor ons kwalitatief onderzoek gaat het om mogelijke beïnvloeding van de onderzoeksresultaten door toevallige en onsystematische fouten (geldigheid) en systematische fouten (betrouwbaarheid). Wat betreft generaliseerbaarheid gaat het om de vraag of de resultaten uit het onderzoek ook geldigheid hebben voor niet-onderzochte praktijken. De vraag die dan naar aanleiding van ons onderzoek opkomt, is of wat geldt voor de alledaagse omgang tussen lvb-jongeren en hun zorgprofessionals ook geldig is voor andere vormen van alledaagse zorgrelaties. Ons vermoe- den is dat dit zeker geldt voor andere vormen van langdurige zorg, zoals jeugdzorg, psychiatrie of verpleeghuiszorg.

ontbijt, de fietstocht of taxirit naar hun werk, het meewerken, de thuiskomst, de huishoudelijke taken, de verveling, de ontmoetingen met medebewoners, etc. Van tevoren was afgesproken dat we arriveerden op het moment van opstaan en ontbijt en dat we tot ongeveer 20.00 – 21.00 uur ’s avonds bleven. De gastvrijheid waarmee bewoners ons hebben ontvangen en de zorg en verantwoordelijkheid die ze allen, ieder op hun eigen manier, tentoonspreidden op zo’n dag, heeft ons zeer geraakt.

De observaties zijn kort na de dagen zelf verwerkt tot verslagen en ingevoerd in Atlas.ti. De observatieverslagen zijn in een iteratief proces van coderen, reflectie en constante vergelijking geanalyseerd. Daarna is met behulp van een uitgebreide gegevensmatrix de dynamiek tussen het handelen van bewoner, begeleider en institutionele context beschreven. Vervolgens is een verdichte matrix gemaakt en aan de hand van een aantal stappen van verdichten, hernoemen, herordenen en aanvullen van de matrix op zoek gegaan naar patronen in de onderlinge dyna- miek. Met behulp van een eigenschappenruimte is daarna inzicht verkregen in de dynamiek van de alledaagse omgang. Tot slot is met behulp van de metafoor van de voelbaltraining deze dynamiek zo goed mogelijk in kaart gebracht. Dat is uitgemond in een typologie van drie typen van alledaagse omgang tussen lvb-jongeren en hun begeleiders.

Documentanalyse

We werden bij het voorbereiden van onze analyse van de observatieverslagen geconfronteerd met de vraag hoe we nu precies de institutionele invloeden gefundeerd aan konden wijzen. Deze institutionele invloeden worden binnen institutionele etnografie ‘extern geproduceerde betekenissen’ genoemd. Langs de weg van de institutionele etnografie hebben we deze ‘extern geproduceerde betekenissen’ door middel van documentanalyse op noemer gebracht. Het is binnen de institutionele etnografie gebruikelijk verschillende vormen van organisatieliteratuur te verzamelen die inzicht kunnen verschaffen in de institutionele invloeden in de praktijk. In dit onderzoek hebben wij ervoor gekozen ons te beperken tot één bron, te weten het persoon- lijk ondersteuningsplan. Ons uitgangspunt was daarbij dat in deze POP’s allerlei verschillende extern geproduceerde betekenissen aan de orde komen. Het bood ons uiteindelijk, na het ont- wikkelen van een passend analyse-instrument (het onderwaterscherm), de mogelijkheid de institutionele invloed in de observatieverslagen op gefundeerde wijze aan te kunnen wijzen.

Dat daarmee alle institutionele invloeden zijn afgedekt betwijfelen we. Het ging er ons vooral om de aanwezigheid van de institutionele actor boven ‘de intuïtie’ uit te tillen. We hebben echter wel een manier ontwikkeld om op een nuchtere en kritische manier te kúnnen kijken naar wat ‘buiten’ met ‘binnen’ doet, gezien de centrale rol van POP’s. Het door ons ontwikkel- de onderwaterscherm laat daarmee vooral de werking van de institutionele actor zien. Voor zover wij in de literatuur hebben kunnen achterhalen, bestaan er geen vergelijkbare analy- se-instrumenten. In een grounded theory benadering (Strauss & Corbin 1990, Charmaz 2006) bestaat weliswaar de zogenaamde conditional/consequential matrix dat op een vergelijkbare manier in het analyseproces tot een interactie probeert te komen tussen micro- en macroni- veau, maar dit instrument wordt op een andere manier en in een andere fase van de analyse

hoofdstuk 8

kritische evaluatie en nuchtere vooruitblik

196 197

deweg de analyse van de observatieverslagen, liepen we tegen het probleem aan dat we de institutionele invloed waar we naar op zoek waren in de observatieverslagen niet op gefundeer- de manier konden aanwijzen. Uiteindelijk zijn de persoonlijk ondersteuningsplannen gebruikt als ‘organisatieliteratuur’ om daarin de institutionele invloed op noemer te brengen. Hierdoor beschikten we over een onderwaterscherm (codeerschema), ook weer een kijkraam om scher- per de alledaagse omgang te kunnen waarnemen. Deze onverwachte ‘omweg’ in het onder- zoeksproces bleek noodzakelijk omdat door ons nergens in de literatuur een onderzoeksin- strument werd gevonden dat de institutionele invloeden zo scherp in de observatieverslagen aanwijsbaar kon maken. De belangstelling voor de invloed van institutionele complexiteit op het handelen van mensen is binnen de institutionele theorie (Vermeulen 2012, Glaser, Fast & Green 2012) weliswaar groeiende, maar deze literatuur mist nog vaak de empirische toetsing of is sterk psychologisch georiënteerd.

Onderzoekerstriangulatie

Kort nadat alle 19 observaties hadden plaatsgevonden en we de observatieverslagen voor een eerste keer hadden gecodeerd, hebben we alle drie de organisaties aangeboden onze eerste bevindingen terug te koppelen. De organisaties zijn daar alle drie op ingegaan, maar organi- seerden dat op verschillende manieren. In de ene organisatie mocht ik te gast zijn bij de team- vergadering van de betreffende woonvoorziening waar ik het grootste deel van de observaties binnen die organisaties had gedaan; in de andere organisatie werd ik uitgenodigd mijn bevin- dingen te presenteren aan de verantwoordelijk manager en twee gedragswetenschappers; en in de derde organisatie werden alle betrokken begeleiders en teamleiders van de woonvoorzie- ningen die mee hadden gedaan uitgenodigd en waren daarnaast een beleidsmedewerkster en zelfs een van de bestuurders aanwezig. Opvallend was dat geen enkele organisatie de lvb-jon- geren die aan het onderzoek hadden meegedaan hiervoor hadden uitgenodigd. De uitkomst uit deze terugkoppelingsgesprekken was beperkt. Wel werd het door ons gesignaleerde thema grenservaringen bevestigd, wat ons gesterkt heeft dit als eerste nader uit te werken.

Door de looptijd van het onderzoek, dat in totaal bijna zo’n 6 jaar in beslag heeft genomen, was het in latere fases van het onderzoek niet meer mogelijk betrokken begeleiders en lvb-jon- geren nog te achterhalen om hen de resultaten voor te leggen. Veel begeleiders en jongeren waren inmiddels elders werkzaam of woonachtig. Even is nog overwogen om een soort van ‘peer debriefing’ te organiseren (Boeije 2005), waarbij met behulp van vertegenwoordigers uit de drie deelnemende organisaties een kritisch panel zou worden gevormd ter controle van het onderzoeksproject. Ook dit bleek door het voortschrijden van de tijd en de grote afstand tussen de drie betrokken organisaties niet meer realiseerbaar. Om de betrouwbaarheid van het onderzoek toch op een bepaalde manier te kunnen borgen is gebruik gemaakt van onderzoe- kerstriangulatie (Boeije 2005). In ons project is het naast de beide promotoren, Frans Vosman en Andries Baart, Guus Timmerman die op een intensieve wijze heeft meegekeken naar de consistentie van het codeersysteem en de interpretaties van de analyses zowel bij het analy- seren van de persoonlijk ondersteuningsplannen en het realiseren van het onderwaterscherm, als bij de analyse van de observatieverslagen en het komen tot een typologie van de alledaagse In de literatuur rondom de kwaliteit van onderzoek (Smaling 2009) wordt verder onderscheid

gemaakt tussen ontworpen generaliseerbaarheid en communicatieve generaliseerbaarheid. Het eerste betreft de onderzoeker die in het ontwerp van zijn onderzoek veralgemeniseert, het tweede betreft de lezer van het onderzoeksverslag die de onderzoeksresultaten veralgeme- niseert. De ontworpen veralgemeniseerbaarheid is in dit onderzoek beperkt. Het onderzoek is niet statistisch representatief, hooguit variatiedekkend voor wat betreft lvb-jongeren in de context van een zorgorganisatie. Op basis van de door ons gebruikte theorieën over liminali- teit, publieke moraal en levensvormen, is er in onze ogen wel op een sterkere manier sprake van een theoriegedragen veralgemeniseerbaarheid. Naast de ontworpen generaliseerbaarheid, onderscheidt Smaling ook communicatieve generaliseerbaarheid. Smaling onderscheidt twee vormen, te weten participatieve en receptieve generaliseerbaarheid. Bij de eerste participatieve vorm gaat het om ervaringen die worden opgedaan door betrokken medeonderzoekers. Bij receptieve generaliseerbaarheid gaat het om de beoordeling van de veralgemeniseerbaarheid door de lezer zelf.

In deze studie hebben we gebruik gemaakt van literatuurstudie, observaties en documentana- lyse. Toch is hier niet direct sprake van triangulatie zoals dat vaak binnen kwalitatief onderzoek aan de orde is. Wel kunnen we op basis van het onderscheid dat gemaakt wordt in de literatuur (Boeije 2005) tussen theoretische triangulatie, datatriangulatie, methodische triangulatie en onderzoekerstriangulatie, iets zeggen over de kwaliteit van ons onderzoek.

Theoretische triangulatie

Wat betreft theoretische triangulatie, waarbij verschillende theorieën worden onderzocht om de geldigheid van de interpretaties te versterken (Boeije 2005), willen we benadrukken dat we in dit onderzoek niet op de klassieke manier te werk zijn gegaan door eerst literatuuronderzoek te doen en vervolgens naar het empirisch materiaal te gaan kijken. Wel hebben we literatuur gezocht bij problemen waar we in de analyse van het empirische materiaal tegenaan liepen. Een voorbeeld daarvan is het thema grenservaringen dat na een ‘eerste lezing’ van de obser- vatieverslagen naar voren kwam. Om goed te kunnen onderzoeken wat daar nu precies aan de orde was, is het theoretische concept ‘liminaliteit’ ingevoerd. De theoretische concepten zijn dus in een wisselwerking met de empirische bevindingen gevonden en als een kijkraam toe- gepast. De verschillende theoretische concepten zijn dus ingezet om beter naar de alledaagse omgang te kunnen kijken en te zien wat daar nu precies plaatsvindt.

Methodische en data triangulatie

Naast literatuurstudie hebben we in dit onderzoek gebruik gemaakt van twee methoden van kwalitatief onderzoek, te weten observaties en documentanalyse. Bij methodische triangula- tie wordt verondersteld dat waarnemingen worden herhaald en dat het gebruik van andere methoden ook andere verschijnselen in het materiaal doen oplichten (Boeije 2005, p.152). De documenten die in ons onderzoek gebruikt zijn betroffen de persoonlijk ondersteuningsplan- nen van de 19 jongeren die we ieder een dag lang mochten volgen. Aanvankelijk wilden we een soort vergelijking maken tussen de jongeren in ‘de werkelijkheid’ en ‘op papier’, maar gaan-

hoofdstuk 8

kritische evaluatie en nuchtere vooruitblik

198 199

Oefenplaats, werkplaats, broedplaats

Om te kunnen laten zien wat de alledaagse omgang specifiek te bieden heeft voor de verschil- lende actoren, introduceren we binnen de metafoor ‘vindplaats’ drie andere metaforen die het betreffende perspectief vertegenwoordigen. Dit zijn voor wat betreft de lvb-jongere de metafoor van alledaagse omgang als ‘oefenplaats’, voor de professional de metafoor van de ‘werkplaats’ en voor de zorgorganisatie die van ‘broedplaats’. Deze drie metaforen overlappen elkaar ook deels. Wat voor de oefenplaats van jongeren geldt, geldt in zekere mate ook voor de professio- nal en de zorgorganisatie en vice versa.

Net zoals in hoofdstuk 7 waarin we de metafoor van het voetbalspel gebruiken, zijn we ons be- wust van de precaire aard van metaforen. Waar we in hoofdstuk zeven de metafoor gebruiken om verder te kunnen theoretiseren en dieper in te gaan op wat we in het empirische materiaal aantreffen, gebruiken we de metaforen hier om de morele betekenissen van de alledaagse omgang inzichtelijk te maken. Via de beeldspraak wordt aanschouwelijk wat er in de complexi- teit en ambivalentie van de alledaagse omgang aan het goede naar voren komt en wordt het dominante denken over zorg in termen van gewenste effecten bekritiseerd. Plaats, in de zin van ruimte, is de essentie van de gebruikte metaforen.