Kwaliteitscriteria

In ‘Praktijkgericht onderzoek voor reflectieve professionals (De Lange, et al., 2011)’ worden drie fundamentele criteria genoemd waar goed onderzoek aan moet voldoen: validiteit, betrouwbaarheid en ethische gedragsregels. Binnen validiteit wordt een onderscheid gemaakt tussen externe validiteit (generaliseerbaarheid) en interne validiteit (causaliteit).

Binnen actieonderzoek staat handelen en de verandering van het handelen centraal. Het belangrijkste beoordelingscriterium ligt bij het praktisch nut of voordeel dat betrokkenen van actieonderzoek hebben (Migchelbrink, 2007 in Bobelyn, 2012). Daarnaast speelt binnen dit onderzoek objectiviteit een rol omdat ik als onderzoeker ook werkzaam ben als uitvoerend professional. Naast de generaliseerbaarheid, interne validiteit, betrouwbaarheid en ethische gedragsregels worden voor dit onderzoek ook objectiviteit en praktisch nut toegevoegd als kwaliteitscriteria.

2.4.1 GENERALISEERBAARHEID

Smaling (2009, p.5) definieert generaliseerbaarheid als ‘de graad waarin onderzoeksresultaten en conclusies van een onderzoek ook opgaan voor personen, situaties, organisaties, gevallen en verschijnselen die in dat onderzoek niet onderzocht zijn.’ Met andere woorden, het gaat om de externe validiteit. Smaling (2009) geeft aan dat generaliseerbaarheid geen algemene eis is voor de kwaliteit van een onderzoek, maar dat het toch vaak van belang wordt gevonden om te weten hoe het met de generaliseerbaarheid van een onderzoek is gesteld.

Om de generaliseerbaarheid zo groot mogelijk te maken wil ik naast het interviewen van vaste ‘Koffie om de Hoek’ bezoekers ook bewoners interviewen die niet meer bij ons komen, of bewust niet naar ‘Koffie om de Hoek’ komen. Op die manier betrek ik zowel mensen die regelmatig naar ‘Koffie om de Hoek’ komen als mensen die hier niet (meer) komen maar wel vallen onder de doelgroep bewoners met een achtergrond in de psychiatrie.

Doordat dit een zeer diverse doelgroep is, is het lastig om te zeggen dat de onderzoeksresultaten straks generaliseerbaar zijn voor alle bewoners met een achtergrond in de psychiatrie in de regio. ‘Koffie om de Hoek’ is een regionaal project wat op vier verschillende plekken wordt uitgevoerd. Op alle vier de plekken zijn er andere begeleiders, andere invulling van de middag maar ook andere gemeenten die een stempel drukken op het beleid van de organisatie van ‘Koffie om de Hoek’. In eerste instantie zijn de resultaten bedoeld voor Hilversum, maar de resultaten worden wel besproken in het regio brede stuurgroep overleg. De andere drie ‘Koffie

om de Hoek’ locaties kunnen wellicht iets met de uitslagen of zij kunnen het onderzoeksinstrument dat in Hilversum is toegepast, toepassen op hun eigen groep bezoekers. Daarnaast speelt dit praktijkprobleem op veel meer plekken in het land en ook worden er meerdere (kleinschalige) onderzoeksinterventies uitgevoerd. Een mogelijkheid is om na afloop van het onderzoek de resultaten van diverse onderzoeken in het land naast elkaar te leggen, te vergelijken en te analyseren en op deze manier wellicht tot theorievorming te komen.

2.4.2 INTERNE VALIDITEIT

Met interne validiteit wordt het kunnen aantonen van causaliteit bedoeld (Swanborn, 2006). Bij praktijkgericht onderzoek wordt dit ook wel de term geloofwaardigheid gebruikt.

Om de onderzoeksresultaten zo geloofwaardig mogelijk te maken wordt de selectieprocedure van geïnterviewde personen uitvoerig beschreven in het onderzoeksverslag. Omdat het een grote doelgroep is, waarvan niet iedereen bij ons bekend is en het niet mogelijk is om aan gegevens te komen, is het niet mogelijk om een steekproef te trekken. Daarom worden de geïnterviewde persoonlijk benaderd door een van de professionals.

2.4.3 BETROUWBAARHEID

‘De mate waarin een meting vrij is van toevalsfouten, dat wil zeggen de mate waarin het resultaat stabiel is bij (a) een andere onderzoeker, (b) een ander tijdstip, (c) een ander meetinstrument, (d) andere overige omstandigheden, noemen we de betrouwbaarheid van de meting’ (Swanborn, 2006).

Mede door de samenstelling van de doelgroep is het lastig om dit onderzoek te herhalen. Hoe bezoekers, die deel nemen aan het interview, zich op dat tijdstip voelen kan van invloed zijn op de onderzoeksresultaten. Daarnaast kan hun relatie met de interviewer ook van invloed zijn op het onderzoeksresultaat.

Wel worden de interviewvragen vastgelegd zodat iemand anders de interviews zou kunnen herhalen. Ook worden alle uitgeschreven interviews bewaard zodat iemand anders een herhaling van de analyse van de onderzoeksgegevens uit zou kunnen voeren. Ook wordt het analyseproces zo transparant mogelijk gemaakt zodat er in de focusgroep met elkaar in gesprek gegaan kan worden over de resultaten van de analyse.

Om het hele onderzoeksproces zo transparant mogelijk te maken wordt gebruik gemaakt van een logboek. Een logboek kan op verschillende manieren gebruikt worden (McNiff, Lomax &

Whitehead, 2003). Voor dit onderzoek zal ik het logboek gebruiken als tijdlijn en om bepaalde punten in het onderzoek te illustreren met voorbeelden en anekdotes, die gebruikt kunnen worden in het onderzoeksverslag.

2.4.4 ETHISCHE GEDRAGSREGELS

Ethiek speelt een belangrijke rol binnen dit onderzoek. Het onderzoek wordt immers uitgevoerd gezamenlijk met collega’s en bewoners uit de doelgroep. Daarom wil ik binnen mijn onderzoek rekening houden met de volgende ethische aspecten, zoals beschreven in De Lange et al. (2011). Er moet een veilig klimaat zijn, zowel tijdens de interviews als tijdens de focusgroep. Belangrijk is dat men meningen moet kunnen uitten, zonder dat dit gevolgen heeft. Om dit veilige klimaat te creëren garandeer ik de deelnemers aan de interviews dat deze anoniem meegenomen worden in het onderzoeksverslag. Daarnaast wordt ook voor de focusgroep met uitvoerend professionals benadrukt dat ook hier meningen geuit mogen worden zonder dat hier consequenties aan verbonden zijn.

De rol van de onderzoeker moet zuiver en transparant zijn. Het doel van het onderzoek wordt dan ook voor deelname aan de interviews besproken met de geïnterviewde. Ook wordt het doel van de focusgroep benadrukt voor deelname en bij de start van de focusgroep.

2.4.5 OBJECTIVITEIT

Omdat ik zelf bij ‘Koffie om de Hoek’ betrokken ben als begeleider speelt de vraag of het verstandig is als ik de interviews bij de bezoekers zelf afneem. Nadeel is dat dit de objectiviteit vermindert; voordeel is dat ik bekend ben met de bezoekers en zij eerder aan een interview deel zullen nemen als het met een bekend en vertrouwd persoon is. Omdat dit laatste een belangrijk argument is, heb ik er voor gekozen dat ik zelf de interviews uitvoer.

Het is moeilijk om binnen kwalitatief onderzoek de objectiviteit aan te tonen omdat het onderzoek berust op interpretaties en waarnemingen van de onderzoeker (Bryman, 2008). Het inzichtelijk maken van de dataverzameling vergroot de objectiviteit. De dataverzameling wordt in dit onderzoek inzichtelijk gemaakt door alle interviews en de focusgroep-bijeenkomsten letterlijk uit te schrijven. Ook wordt tijdens het onderzoek een logboek bijgehouden.

2.4.6 PRAKTISCH NUT

Om de bruikbaarheid van dit onderzoek in de praktijk te vergroten worden zowel de doelgroep als de uitvoerend professionals betrokken. Daarnaast is er regelmatig contact met twee leden

van de stuurgroep om hen ook bij het onderzoek betrokken te houden. Er is voor gekozen om de focusgroep met de uitvoerend professionals uit te voeren omdat dit in deze fase van het onderzoek de belangrijkste eerste stap was. Na dit onderzoek wordt verder gegaan met het betrekken van de doelgroep wat het praktisch nut nog meer vergroot.

2.5 ROL ONDERZOEKER

Als onderzoeker vind ik open waarnemen van groot belang. Aandachtspunt is om goed naar de geïnterviewde te luisteren, zonder steeds voor hen in te vullen of met ideeën te komen. Daarnaast is het ook belangrijk om te observeren wat de interviews en de focusgroep met de bezoekers doen.

Met dit onderzoek wil ik niet alleen inspelen op de bovenstromen rond dit praktijkvraagstuk, maar juist ook op de onderstromen. Boven- en onderstromen worden wel eens vergeleken met een ijsberg. De bovenstroom bestaat uit de concrete dingen als organisatie strategieën en doelen. Het zijn de woorden die vertellen wat we doen. Dit is de bovenste 10% van de ijsberg. Maar zo’n 90% van de ijsberg bevindt zich onder water, de onderstroom. De onderstroom zijn de onbewuste, achterliggende structuren (De Kleine, 2013). Processen tussen betrokken medewerkers onderling of tussen medewerkers en bezoekers zijn bijvoorbeeld een onderstroom. Doordat ik mijn betrokken collega’s actief betrek bij de focusgroep hoop ik bepaalde onderstromen zichtbaar en bespreekbaar te maken.

2.5.1 ONDERZOEKSPARADIGMA

Er zijn drie belangrijke wetenschappelijke paradigma’s; het positivistische, het interpretatieve en het kritische emancipatorische paradigma (Cohen et al, 2000 in De Lange, Schuman & Montesano Montesorri, 2011).

Dit onderzoek is te plaatsen binnen het interpretatieve onderzoeksparadigma. Binnen dit paradigma worden een aantal aannames gedeeld die erg van toepassing zijn op dit onderzoek. Bijvoorbeeld dat situaties constant in beweging zijn en dat gebeurtenissen en mensen uniek zijn en daardoor niet te generaliseren. Ook wordt de werkelijkheid omschreven als complex en is elke situatie onderhevig aan meervoudige interpretaties. Een aanname die goed aansluit bij het doel van dit onderzoek is dat situaties bekeken moeten worden door de ogen van deelnemers in plaats van door de bril van de onderzoeker (Cohen et al 2000, in De Lange et al., 2011). Binnen het interpretatieve onderzoeksparadigma blijft er wel sprake van ‘een onderzoeker die onderzoek doet (subject) naar het leven, de taal of de beroepspraktijk van onderzochten (object)’ (De Lange et al., 2011 p.45).

Ook is dit onderzoek, in mindere mate, te plaatsen binnen kritisch-emancipatorische onderzoeksparadigma. Deze benadering ziet de onderzoekssituaties namelijk in de politieke en ideologische context waarin zij voorkomen. ‘Het doel van kennisverwerving in dit paradigma is ‘het blootleggen van (verborgen) machtsstructuren om daarmee de weg vrij te maken voor het bevorderen van individuele en maatschappelijke vrijheid alsmede de emancipatie van minderheden of gemarginaliseerde groepen’ (De Lange et al., 2011, p.47). Binnen mijn onderzoek speelt de emancipatie van ‘minderheden of gemarginaliseerde groepen’ (in dit geval wijkbewoners met een achtergrond in de psychiatrie) een grote rol. Alleen gebeurt dit minder door het blootleggen van machtsstructuren.

2.6 ANALYSE

De analyse benadering die het best past bij de methode van dataverzameling is de inductieve benadering. Bij inductie wordt zoveel mogelijk geprobeerd om min of meer afzonderlijke verschijnselen waar te nemen. Vervolgens wordt er gezocht naar verbinding tussen die verschijnselen. Dit betekent ook dat bij interviews de gesprekken zo open mogelijk gevoerd moeten worden. Er worden algemene vragen gesteld en de geïnterviewde wordt aan het woord gelaten. De onderzoeker probeert de resultaten van de gesprekken met elkaar te verbinden tot meer algemene uitspraken. ‘Hij probeert te vangen wat ‘uit zichzelf’ naar boven komt’ (De Lange et al., 2011, p.207).

Wat betreft de verslaglegging betekent dit dat de onderzoeker beschikt over letterlijk uitgeschreven verslagen van de gesprekken. Daarin gaat hij op zoek naar relevante begrippen en verbindingen tussen die begrippen. Boeije (2005, in de Lange et al. 2011) gebruikt de term ‘coderen’ wat zoiets betekent als categorieën ontwerpen om een algemeen beeld te kunnen schetsen na een serie interviews. Zij onderscheidt hierin drie stadia:

• Het eerste stadium is open coderen. ‘De onderzoeker leest de interviewverslagen integraal door en noteert de begrippen of categorieën die hij meent waar te nemen in de uitspraken van de geïnterviewden’ (De Lange et al. 2011, p.208). Er ontstaat een lange lijst van begrippen, waarvan sommige meer prominent zijn en waarvan sommige min of meer synoniem zijn.

• Het tweede stadium is axiaal coderen. ‘De onderzoeker probeert de lijst korter te maken door de categorieën met een min of meer gelijke betekenis samen te voegen. Tevens probeert hij een hiërarchisch patroon te maken van overkoepelende, belangrijke begrippen en ondergeschikte begrippen, een zogenoemde ‘codeboom’’ (De Lange et al. 2011, p.208).

• Het laatste stadium is selectief coderen. De onderzoeker gaat op zoek naar één of meer centrale begrippen, zogenoemde ‘kerncategorieën’.

De uiteindelijke uitkomsten van de analyse zijn gebruikt om in de focusgroep de eerste stappen te nemen om tot een actieplan te komen.