Hoofdstuk 2 Methodologie
2.6 Methodologische kwaliteit van het onderzoek
2.6.1 Betrouwbaarheid
Betrouwbaarheid wordt door Maso en Smaling (1998) omschreven als de herhaalbaarheid van de onderzoeksresultaten. Dit betekent dat een andere, onafhankelijke onderzoeker in staat zou moeten zijn om het gehele onderzoeksproces te reconstrueren en gelijke resultaten te bekomen. In realiteit is een feitelijke herhaling van het onderzoeksproces echter onmogelijk, aangezien de onderzochte situatie steeds verandert. Daarom spreekt men in kwalitatief onderzoek eerder van “virtuele herhaalbaarheid” (Maso & Smaling, 1998). Dit houdt in dat onderzoek in principe herhaald moet kunnen worden, waardoor ook de term “navolgbaarheid” gehanteerd kan worden (Smaling, 1987). In de literatuur wordt bovendien vaak een onderscheid gemaakt tussen interne en externe betrouwbaarheid (Maso & Smaling, 1998; Wiersma, 1995).
Met de term interne betrouwbaarheid wordt de intersubjectieve overeenkomst tussen onderzoeksmedewerkers binnen eenzelfde onderzoek bedoeld en verwijst men naar de overeenstemming tussen de methoden die de verschillende onderzoekers gebruiken binnen eenzelfde onderzoek (Smaling, 1987; Wiersma, 1995). In dit masterproefonderzoek hebben we hier expliciet aandacht aan besteed: we namen beiden onafhankelijk van elkaar interviews af en deze interviews waren bovendien semi-gestructureerd. Om die reden kozen we er voor als interviewer steeds dezelfde leerkrachten te interviewen en de gebruikte interviewvragen goed te rapporteren. Ook maakten we de keuze de verzamelde data na transcriptie ervan uit te wisselen, nauwkeurig na te lezen en bij enige twijfel elkaar meteen om verduidelijking te vragen om zo de interne betrouwbaarheid te verhogen. Bovendien werden de getranscribeerde interviews door de andere onderzoeker ook herbeluisterd om fouten of hiaten op te sporen.
Externe betrouwbaarheid gaat over de herhaalbaarheid van het volledige onderzoek,
waarbij men de vraag stelt of andere, onafhankelijke onderzoekers het onderzoek zouden kunnen repliceren in gelijkaardige omstandigheden (Kelchtermans, 1994; Maso & Smaling, 1998; Wiersma, 1995). In navolging van Van IJzendoorn en Miedema (1986) vatten we betrouwbaarheid op in termen van “argumentatieve betrouwbaarheid”. Dit wil zeggen dat argumenten en redeneringen geëxpliciteerd worden, opdat een andere onderzoeker het onderzoek zou kunnen overdoen en zo de herhaalbaarheid van het onderzoeksproces wordt verhoogd (Guba & Lincoln, 1988; Kelchtermans, 1994; Miles & Huberman, 1994; Yin, 1994). In dit masterproefonderzoek probeerden we hieraan tegemoet te komen door de methodologische stappen zo nauwkeurig mogelijk te rapporteren.
Vervolgens hebben we ook door middel van triangulatie de betrouwbaarheid trachten te verhogen, met name door het toepassen van verschillende onderzoekstechnieken op hetzelfde fenomeen (Creswell, 1998; Kelchtermans, 1994; Merriam, 1998; Miles & Huberman, 1994; Wardekker, 1999; Wester, 1987; Yin, 1994). We combineerden daartoe zowel documentenanalyses, het invullen van het netwerkformulier als semi-gestructureerde interviews. Bovendien bevroegen we meerdere personen met verschillende functies (beginnende leerkrachten, een directielid, een mentor). In navolging van Kelchtermans (1999a) benoemen we dit met de term “datatriangulatie in persoon”. Ten slotte gebruikten we ook een onderzoekslogboek om de onderzoekssubjectiviteit onder controle te houden (Kelchtermans, 1994, 1999a). Binnen dit logboek werden reflecties en informatie over het onderzoeksverloop genoteerd, zodat ze beschikbaar bleven en geraadpleegd konden worden tijdens de data-analyse (Kelchtermans, 1999a; Maso & Smaling, 1998). Concreet noteerden we nauwgezet bedenkingen, problemen etc. waarop we stootten bij het verzamelen, analyseren en schrijven van bepaalde stukken uit deze masterproef. Tenzij anders vermeld, is deze paragraaf gebasseerd op voorgaand onderzoek aan het Centrum
voor Onderwijsbeleid – en vernieuwing en Lerarenopleiding (Appeltans & Vermeir, 2012; Ballet, 2007).
2.6.2 Validiteit
Een tweede essentieel criterium voor methodologische kwaliteit van wetenschappelijk onderzoek is de validiteit. Een onderzoek heet valide te zijn wanneer er geen vertekeningen zijn en er dus sprake is van overeenstemming tussen de verzamelde gegevens en de sociale werkelijkheid (Maso & Smaling, 1998; Wardekker, 1999). Net zoals bij het begrip betrouwbaarheid, wordt er een onderscheid gemaakt tussen interne en externe validiteit. Er is sprake van interne validiteit wanneer de sociale werkelijkheid, zijnde de beleving en interpretatie van de respondenten, authentiek wordt weergegeven (Kelchtermans, 1994, 1999a; Wardekker, 1999). Om hieraan tegemoet te komen werden de respondenten op voorhand en ook bij aanvang van elk interview geïnformeerd over het doel van het onderzoek en het onderzoeksverloop. Ook hebben we bij het afnemen van de interviews steeds getracht zo goed mogelijk te begrijpen wat de respondenten bedoelden en dit op twee manieren. Eerst en vooral poogden we in de interviews te achterhalen wat de respondenten precies bedoelden met wat ze reeds in hun netwerkformulier geformuleerd hadden. Vervolgens hadden we ook tijdens het interview de nodige aandacht voor het goed begrijpen van wat bedoeld werd en stelden we hiervoor de nodige bijvragen.
Verder maakten we gebruik van een onderzoekslogboek om de vertekening door een selectief geheugen te bestrijden en de authenticiteit van de analyses te verhogen (Maso & Smaling, 1998). Ook hier speelde het proces van triangulatie een rol voor het verhogen van de interne validiteit: het hanteren van verschillende databronnen geeft een meer waarheidsgetrouw beeld en vormt een validering van de onderzoeksgegevens en de daaruit afgeleide inzichten (Ballet, 2007). Vervolgens vond er tijdens de data-analyse een continue interactie plaats tussen de verzamelde data, de gemaakte interpretaties en de onderzoeksliteratuur, wat het mogelijk maakte de geldigheid van de gemaakte interpretaties na te gaan (Miles & Huberman, 1994). Tot slot maakten we in de analyseteksten gebruik van originele interviewcitaten en “thick descriptions” om zo dicht mogelijk bij het spontane, narratieve taalgebruik van de respondenten te blijven (Kelchtermans, 1999a).
Externe validiteit betreft de generaliseerbaarheid en de geldigheid van de
onderzoeksconclusies buiten de context van het onderzoek (Maso & Smaling, 1998; Wardekker, 1999). Aangezien we geïnteresseerd zijn in de betekenisgeving van individuen in concrete situaties, beogen we geen statistische generaliseerbaarheid maar streven we naar generalisering van de gevonden inzichten (Yin, 1994). We trachtten met andere woorden te komen tot wat we ook wel “theoretische” of “inhoudelijke generalisatie” noemen (Boeije,
2005; Maso & Smaling, 1998). Dit houdt in dat de ontwikkelde inzichten “overdraagbaar” zijn naar situaties met gelijkende structurele en contextuele kenmerken (Ghesquière & Staessens, 1999; Guba, 1981; Kelchtermans, 1994). Mede dankzij het opnemen van de neo- institutionele theorie als perspectief en hiermee gepaard gaand de aandacht voor structurele kenmerken, besteedden we extra aandacht aan de contextgebondenheid en poogden we zo tegemoet te komen aan de externe validiteit. Tenzij anders vermeld, is deze paragraaf gebasseerd op voorgaand onderzoek aan het Centrum voor Onderwijsbeleid – en vernieuwing en Lerarenopleiding (Appeltans & Vermeir, 2012; Ballet, 2007).
2.7 Uitleiding
In dit tweede hoofdstuk werd uitvoerig ingegaan op de probleemstelling en methodologie van dit masterproefonderzoek. Eerst beargumenteerden we waarom kwalitatief-interpretatief onderzoek en sociale netwerkanalyse de meest aangewezen methoden zijn voor dit onderzoek (2.1). Vervolgens stonden we stil bij sociale netwerkanalyse als onderzoeksmethode (2.2). In paragraaf 2.3 bespraken we de onderzoekscyclus, toegepast op deze masterproef. Vervolgens gingen we dieper in op het verloop van de dataverzameling (2.4), dewelke nauw gerelateerd was aan de data-analyse (2.5). Ten slotte bespraken we ook nog hoe we poogden tegemoet te komen aan de methodologische kwaliteit (2.6). In de twee volgende hoofdstukken rapporteren we onze bevindingen.