Betrouwbaarheid en validiteit

attitude, die omschreven is als ‘een mentale activiteit, waardoor de ervaringen als het ware voor ons komen te staan, niet meer als vaststaande feiten in onze wereld, maar als fenomenen, directe ervaringen in ons bewustzijn’. Hoewel het denken van Husserl op fundamentele kritiek binnen en buiten de fenomenologie kan rekenen, is zijn denken van grote invloed op de praktijk van empirisch fenomenologisch onderzoek. Fenomenologisch onderzoek kan als volgt worden gekenmerkt.

In de eerste plaats is empirisch fenomenologisch onderzoek gericht op geleefde ervaringen en betekenissen. Belangrijk is om op te merken dat het in empirisch

fenomenologisch onderzoek niet gaat om het onderzoeken van individuele ervaringen, maar dat het doel is de betekenissen van een fenomeen bloot te leggen.

Het tweede kenmerk van empirisch fenomenologisch onderzoek is dat het gericht is op rijke en diepgaande beschrijvingen van de ervaringen. Een goede

fenomenologische tekst leidt ertoe dat we plotseling iets ‘zien’ op een manier die ons begrip van alledaagse ervaringen verrijkt.

Empirisch fenomenologisch onderzoek, en dat is een derde kenmerk, wordt gekarakteriseerd door een open attitude en reflexiviteit van de onderzoeker en van diegene die de ervaring inbrengt.Dit betekent dat theoretische vooronderstellingen en aannames zo veel mogelijk expliciet worden gemaakt door de onderzoeker

(bracketing).

Het vierde kenmerk is de zoektocht naar de essentie of een thematische

beschrijving van het fenomeen. De essentie kan worden begrepen als de rode draad die door de ervaringen van alle participanten heen loopt en wordt ‘ontdekt’ door de

onderzoeker tijdens de data-analyse. De essentie is een linguïstische constructie en haar bepalen kan worden gezien als een soort samenvatten, omdat het de kern van de ervaring beschrijft.

Al in de interviews zijn we met deze aanpak gestart, onder meer door in de gesprekken enerzijds de motieven en overwegingen van managers voor de inzet van MCE te achterhalen en anderzijds de ervaringen van medewerkers ermee te achterhalen.

3.5 Betrouwbaarheid en validiteit

In deze paragraaf gaan we in op de wetenschappelijke eisen die aan de uitvoering van het onderzoek kunnen worden gesteld. Het is van groot belang dat in casestudie onderzoek wordt voldaan aan de kwaliteitscriteria van betrouwbaarheid en validiteit (Yin, 2014). In deze

35

paragraaf zullen we aangeven hoe we zoveel mogelijk aan deze eisen zijn tegemoet gekomen. De volgende vier testen worden daarvoor doorgaans toegepast.

Construct validity of begripsvaliditeit heeft betrekking op de kwaliteit van de

vertaalslag (operationalisatie) van een abstract concept naar meetbare grootheden: zijn de metingen betrouwbaar en in hoeverre wordt gemeten wat wordt beoogd? Omdat de conclusies van het onderzoek hieraan zijn gekoppeld, is vooral dat laatste punt erg belangrijk. Voor begripsvaliditeit hebben we in ons onderzoek het volgende gedaan. In de eerste plaats hebben we gespecificeerd met welke variabelen zou worden gemeten en op welke wijze. Voor de concepten van de MC elementen en de configuratie van de MC package hebben we aansluiting gevonden bij gevestigde theorie. Er is al intensief studie gemaakt van de

operationalisaties in bestaand onderzoek (zie Merchant en Van der Stede, 2012; Ouchi, 1979; Ferreira en Otley, 2009). Voor de concepten substituten en complementen maken we gebruik van definities in de gevestigde theorie (zie Friis et al., 2015; Grabner en Moers, 2013;

Roberts, 2004; Milgrom en Roberts, 1990,1995). Voor het concept conflicterende relaties hanteren we een voorlopige werkdefinitie die gedurende het empirisch onderzoek kan worden aangepast en mogelijk zal leiden tot theorievorming. De operationalisaties zijn vertaald naar de vragenlijst voor de interviews (zie bijlage 1). Ten tweede is het van belang om te kunnen vaststellen dat (specifieke kenmerken van) de variabelen betrouwbaar zijn gemeten. Daartoe hebben we open interviewvragen gebruikt waarmee de mogelijkheid werd geboden om nieuwe informatie in te brengen. Verder hebben we verschillende theorieën toegepast en gebruik gemaakt van verschillende databronnen (interviews en documentanalyse) en het vergeleken of die dezelfde informatie opleverden. Tot slot is de consistentie van de bewijsvoering continue besproken en bewaakt door een kritische buitenstaander (studiebegeleider).

Interne validiteit heeft betrekkking op de causaliteit: in welke mate weet de

onderzoeker overtuigend het gevonden causale verband tussen de variabelen aan te tonen? Verifieerbaarheid kan hierbij behulpzaam zijn. Door een zorgvuldige operationalisatie in de meetmethodiek- en gegevensanalyse en door gebruik te maken van uitvoerig

literatuuronderzoek, theoretische proposities en pattern matching, wordt de interne validiteit versterkt. Daarbij zijn conclusies naar aanleiding van onze bevindingen alleen gedaan indien patronen op een gestructureerde en consistente niet-conflicterende wijze zichtbaar werden. Hiervoor is een fenomenologische aanpak gehanteerd. Met behulp van het beschreven coderingsysteem is de gegevensanalyse gestructureerd. In de case beschrijving hebben we citaten van de geïnterviewden gebruikt.

36

Externe validiteit heeft betrekking op de mate waarin de onderzoeker in staat is de

generaliseerbaarheid van zijn onderzoeksresultaten aan te tonen. Het gaat hierbij vooral om het geldig verklaren van de onderzoeksresultaten voor een grotere populatie aan de hand van een logische bewijsvoering van deze resultaten. Zoals Yin (2014) aangeeft vormen de theorie of de theoretische proposities waarmee de empirische bevindingen in onze casestudie zijn vergeleken de basis voor de theoretische generalisatie. De bevindingen van een enkele casestudie maakt nieuwe generalisaties mogelijk. Met andere woorden, theoretische

generalisatie vindt zijn basis in (a) bevestiging, aanpassing of verwerping van de theorie of theoretische proposities die in de casestudie als referentie zijn toegepast of (b) in nieuwe concepten op basis van de conclusie van de casestudie (Yin, 2014). Zoals gememoreerd worden theoretische modellen van Ouchi, 1979; Ferreira en Otley, 2009; Merchant en Van der Stede, 2012 in deze casestudie geïntegreerd. Het model van Merchant en Van der Stede is een krachtig analyse instrument en het voordeel is dat het model zich richt op het gehele spectrum van controls (Sandelin, 2008). Ten opzichte van de meer conventionele zienswijze op MCS, geeft deze typologie een beter inzicht in het opereren van MCS voor organisaties in zowel de profit als non-profit sector (Hared, Abdullah, Huque, 2013). Om de onderlinge relatie tussen control elementen te kunnen identificeren, hebben we gebruik gemaakt van een in de literatuur veel voorkomende definitie van complementen en substituten. Aan de hand van het model van Ouchi (1979) hebben we twee (geneste) cases geselecteerd waarbij de context verschilt. Door verandering van twee relevante criteria hebben we bekeken of het geldigheidgebied van de resultaten kan worden uitgebreid.

Betrouwbaarheid verwijst naar een consistente en navolgbare methode van onderzoek.

Teneinde hetzelfde onderzoek te kunnen reproduceren dient in de paper voldoende aandacht te worden besteed aan het beschrijven van de procedures, condities en context. Op de volgende wijze hebben we de betrouwbaarheid en herhaalbaarheid van het onderzoek

vergroot. De stappen in ons onderzoek zijn in de vorige paragrafen uitvoerig beschreven. Er is inzicht gegeven in de interviews (transcripten), vragenlijst, lijsten van geraadpleegde

literatuur en documenten. Gegevens zijn gestructureerd en geanalyseerd met behulp van een coderingsysteem en een matrix database. Teneinde de onafhankelijkheid van de onderzoeker te vergroten hebben we zoveel mogelijk gebruik gemaakt van standaardisatie. Daarom zullen we gebruik maken van semi-gestructureerde interviews in plaats van open interviews. Om te voorkomen dat onjuistheden zouden optreden in het onderzoek, zijn de resultaten tussentijds met de studiebegeleider besproken.

37