Ik heb gedurende dit onderzoek verschillende dingen ondernomen om de methodologische kwaliteit te optimaliseren. Daarnaast zijn er in het onderzoek een aantal dingen geweest die deze kwaliteit beïnvloed hebben. Ik bespreek daarom betrouwbaarheid en validiteit, wat ik eraan gedaan heb om de kwaliteit te waarborgen en de elementen die invloed hebben gehad.
Betrouwbaarheid
Onder betrouwbaarheid wordt verstaan: de afwezigheid van toevallige of onsystematische vertekeningen van het object van studie. Het gaat over de mate waarin een onderzoek herhaalbaar is: het zou door andere onderzoekers nagedaan moeten kunnen worden, als er sprake zou zijn van een identieke onderzoekssituatie. Aangezien dit laatste zelden het geval is wordt er gesproken van virtuele herhaalbaarheid (Maso & Smaling, 1998). Er wordt een onderscheid gemaakt tussen interne en externe betrouwbaarheid.
Interne betrouwbaarheid is de betrouwbaarheid binnen een onderzoeksproject. Het gaat hierbij om intersubjectieve overeenstemming binnen een onderzoeksgroep. Aangezien ik dit onderzoek alleen heb uitgevoerd, was er geen sprake van een onderzoeksgroep. Ten vervanging daarvan heb ik geregeld overleg gehad met mijn begeleider en meelezer en heb aan hen steeds tussentijds de interviews en analyses voorgelegd.
De interne betrouwbaarheid kan beïnvloed worden door interpretatieproblemen bij het coderen van de citaten. In veel gevallen gebruikten de respondenten spontaan dezelfde woorden als die ik in mijn hypotheses gebruikte. Dat maakte het coderen relatief makkelijk. Deze overeenkomst in taalgebruik en het voordeel hiervan voor de codering, vergroten naar mijn idee de virtuele herhaalbaarheid.
Het gebruik van de opname-apparatuur bij het verzamelen van de gegevens en de woordelijke uitwerking van de interviews maken dat deze gedurende het proces van dit onderzoek opnieuw gebruikt kunnen worden. Echter in verband met privacy zal na voltooiing de originele geluidsopnamen en de uitgewerkte interviews worden vernietigd; dan blijft alleen de analyse als startmateriaal beschikbaar.
Maso en Smaling geven aan dat ‘Computerprogramma’s voor kwalitatieve analyse slechts hulpmiddelen [zijn] die het vroegere knip- en plakwerk vervangen’ (Maso & Smaling, 1998, p.69). Daaruit maak ik op dat mijn keuze om de analyse handmatig te doen op zich geen bezwaar geeft. Het maakt alleen de controleerbaarheid door andere onderzoekers minder makkelijk, maar niet onmogelijk.
De interne betrouwbaarheid wordt ook bepaald door een consistente werkwijze van de onderzoeker. Deze consistentie heb ik proberen te bereiken door bijvoorbeeld in hoofdlijnen steeds dezelfde interviewopbouw te gebruiken en door consequent te zijn in de formulering en de codering van mijn hypotheses. Consistentie is mij ook opgelegd door de UMC procedure van de Medisch Ethische Toetsingscommissie: na goedkeuring mag geen verandering in de onderzoeksopzet meer plaatsvinden. Als dat wel gebeurt, is het indienen van een nieuwe aanvraag vereist. Achteraf bezien had ik eventueel wel aanpassingen willen doen, maar heb ik gezien de tijd die de bijbehorende procedure zou kosten besloten me aan deze opzet te houden.
Tijdsdruk heeft op twee manier invloed gehad op dit onderzoek. Ik wilde de interviews binnen een bepaalde periode doen die niet te ver van de Herdenkingsbijeenkomst af lag. Had ik een langere periode genomen, dan had ik meer tijd gehad en misschien meer diepgang in mijn analyse aan kunnen brengen,
maar dan was het nadeel geweest, dat de respondenten in de latere interviews een wat vagere herinnering zouden kunnen hebben aan de bijeenkomst.
Tijdsdruk binnen de interviews in combinatie met ethische overwegingen heeft zeker invloed gehad op de onderwerpen die aan bod zijn gekomen. In ieder interview moest ik een afweging maken in te gaan op de rouwbeleving en de verhalen over het kind, explorerend verder te werken aan de hand van mijn open startvraag, of toch meer gerichte vragen stellen aan de hand van mijn puntenlijst. Een andere onderzoeker zal hierin een andere mix kiezen, maar volgens mij zal dat niet tot principieel andere resultaten leiden.
De externe betrouwbaarheid gaat over de herhaalbaarheid en navolgbaarheid van het hele onderzoek (Maso & Smaling, 1998). Hiervoor is het belangrijk om van het onderzoek een zodanig dossier aan te leggen dan onderzoekers de hele gang van het onderzoek kunnen nagaan en het kritisch kunnen beoordelen. Daartoe leg ik in dit onderzoeksverslag verantwoording af van grote en kleine keuzes tijdens het onderzoek. Naast dit verslag heb ik de documentatie over het onderzoek geordend en ondergebracht in drie ordners die in principe geraadpleegd kunnen worden.
Validiteit
Validiteit wordt door Maso en Smaling (1998) beschreven als de afwezigheid van systematische vertekeningen in de tussen- en eindresultaten. Baarda, De Goede en Teunissen (2001) spreken hierover in termen van ‘geldigheid’.
De interne validiteit gaat over de deugdelijkheid van argumentatie (verzamelde gegevens) en redenering (de onderzoeksopzet en de analyse) die tot de onderzoeksconclusies hebben geleid. Het gaat om de mate waarin je als onderzoeker waar kunt maken dat de onderzoeksresultaten een juiste weergave zijn van de onderzochte praktijksituatie (Baarda e.a., 2001). Deze argumentatie moet een goed beeld geven van de werkelijkheid en zo veel mogelijk vrij zijn van systematische vertekeningen.
Als dit onderzoek gedaan zou zijn door een team van onderzoekers met gebruik van verschillende methodes, dan zou het op het punt van interne validiteit sterker zijn geweest. Ik heb dit element nu proberen te vergroten door mijn onderzoek en de verschillende stappen die ik daarin nam aan anderen voor te leggen en kritisch met hen te bespreken. In de eerste plaats deed ik dit met mijn begeleider en meelezer, maar daarnaast ook met anderen met onderzoekservaring uit mijn directe omgeving. Door het zoeken naar een zo heterogeen mogelijke groep respondenten (binnen de mogelijkheden) heb ik geprobeerd te zorgen dat eventuele diversiteit van betekenisverleningen aan de orde kon komen.
Tenslotte heeft mijn houding en rolneming ertoe bijgedragen dat de open interviews in een goede sfeer verlopen zijn, waarbij de respondenten ook de vrijheid hadden en voelden voor het maken van kritische opmerkingen. Hierdoor loopt het onderzoek minder kans vertekeningen op te lopen door eenzijdige belichting.
De externe validiteit gaat over de mate waarin de onderzoeksconclusies generaliseerbaar zijn: in hoeverre zijn ze toepasbaar en overdraagbaar naar andere situaties (Maso & Smaling, 1998). Aangezien ik slechts een klein aantal respondenten gesproken heb en het verzadigingspunt waarschijnlijk nog niet bereikt is, is de generaliseerbaarheid van mijn onderzoeksresultaten beperkt.
De uitkomsten zijn echter in lijn met soortgelijk onderzoek naar rouwprocessen en naar het gebruik van rituelen, waardoor de externe validiteit toeneemt.