Methodologische kwaliteit van de gevolgde onderzoeksprocedure

Zowel bij kwalitatief als kwantitatief onderzoek moet de onderzoeker maatregelen treffen om de methodologische kwaliteit te garanderen en optimaliseren. Wanneer conclusies overtuigend beargumenteerd kunnen worden, spreken we van methodologische kwaliteit (Maso & Smaling, 1998). Hiervoor is het belangrijk om kwaliteitsaspecten zoals betrouwbaarheid, validiteit en bruikbaarheid in acht te nemen (De Munter, 2008; Wardekker, 1999).

6.1 Bruikbaarheid

De praktijkonderzoeker moet voor de rechtvaardiging van zijn beslissingen rekening houden met de bruikbaarheid van de onderzoeksresultaten (De Munter, 2008;

Swanborn, 1999). Wardekker (1999) wijst in zijn betoog op het belang van de kwaliteit van het product: “het moet bijdragen aan de kwaliteit van het handelen van de gebruikers” (p.50). Allereerst wensen wij met dit onderzoek een praktisch meetinstrument aan te bieden dat peilt naar de kwaliteit van de ondersteuning vanuit het perspectief van de cliënt. Ook wil deze studie een aanzet vormen voor de deelnemende Opvoedingswinkels om kritisch te zijn ten aanzien van hun werking – op basis van het gehanteerde kwaliteitskader met bijhorende criteria – en te reflecteren over groeimogelijkheden. Als laatste kunnen onze resultaten een voorbeeldfunctie hebben en inspirerend zijn voor andere verwante praktijken (Wardekker, 1999).

De Munter (2008) stelt echter dat betrouwbaarheid en validiteit voorwaarden zijn voor bruikbare kennis.

6.2 Betrouwbaarheid

Externe betrouwbaarheid – repliceerbaarheid – verwijst naar de mate waarin onafhankelijke onderzoekers het onderzoek in gelijkaardige omstandigheden kunnen herhalen (Wiersma, 1995). Als het onderzoek extern betrouwbaar is, dan zal een onderzoeker die dezelfde methoden, condities en dergelijke gebruikt tot resultaten moeten komen die vergelijkbaar zijn met de resultaten uit voorgaand onderzoek (Wester & Peters, 2004). Om repliceerbaarheid mogelijk te maken, hebben wij in de rapportering voldoende aandacht geschonken aan een nauwkeurige beschrijving van de procedures, condities en algemene setting. Deze argumentatieve betrouwbaarheid (zie intersubjectieve navolgbaarheid) houdt in dat alle motieven, redeneringen,

vooronderstellingen en beslissingen tijdens het onderzoeksproces geëxpliciteerd werden in het onderzoeksverslag (De Munter, 2008; Ghesquière & Staessens, 1999).

Interne betrouwbaarheid verwijst naar de mate waarin de gegevensverzameling, de data-analyse en de conclusies binnen het onderzoek zelf consistent zijn (Wiersma, 1995). Hier stelt zich ondermeer de vraag van interbeoordelaarsbetrouwbaarheid of intersubjectieve overeenstemming (De Munter, 2008). In ons onderzoek werd hieraan tegemoet gekomen door de manier van werken van beide onderzoekers. Zo hebben wij voortdurend alle data samen verzameld, bekeken, vergeleken en besproken (Boeije, 2005). De interviews werden bijvoorbeeld door elke onderzoeker apart gecodeerd en vervolgens werden de bevindingen samen gelegd (intercodeurbetrouwbaarheid). Verder achtten wij het relevant om de interviews met twee onderzoekers uit te voeren. Zo werd het telkens op dezelfde manier afnemen van de vraaggesprekken beoogd. Bovendien vulden we elkaar aan tijdens het interview zodat vermeden werd dat belangrijke vragen niet gesteld werden (Boeije, 2005). Ook werd in het kader van interne betrouwbaarheid gekozen om in de rapportering zo dicht mogelijk bij de originele data te blijven. De resultaten werden namelijk geïllustreerd met oorspronkelijke gegevens (Janssens, 1985). Tot slot draagt de evaluatie van het onderzoeksverloop door een externe deskundige (promotor) bij tot deze consistentie (Ghesquière & Staessens, 1999; Janssens, 1985; Swanborn, 1999).

Met betrekking tot de instrumentbetrouwbaarheid van de vragenlijst is de consistentie van de gebruikte authentieke instrumenten (bijvoorbeeld de FES) gekend. Deze van de aangepaste versie – onze retrospectieve vragenlijst – is echter niet geweten (Portney &

Watkins, 2000). Ook is aangetoond dat de betrouwbaarheid van de procedure groot is bij een Likertschaal (Swanborn, 1982).

Betrouwbaarheid is een noodzakelijke maar onvoldoende voorwaarde voor de validiteit in onderzoek (Moss, 1994, vermeld in De Munter, 2008).

6.3 Validiteit

Externe validiteit – generaliseerbaarheid – verwijst naar de mate waarin de resultaten van een empirisch onderzoek veralgemeenbaar zijn naar een bredere populatie en/of andere omstandigheden (Hammersley, 1991; Maso & Smaling, 1998). Het heeft te maken met de geldigheid van de resultaten buiten de directe context van het onderzoek (Wardekker, 1999). Bij kwalitatief onderzoek wordt er eerder gesproken

over ‘overdraagbaarheid’ of ‘transferwaarde’ (Guba, 1981, vermeld in Ghesquière &

Staessens, 1999): de onderzoeksresultaten kunnen overdragen naar situaties met gelijkaardige contextuele kenmerken. Om dit mogelijk te maken, hebben wij de kenmerken van de onderzochte situaties uitvoerig beschreven. Wij wensen hiermee organisaties die aan opvoedingsondersteuning doen – en willen werken aan de kwaliteit van hun werking – te inspireren (zie bruikbaarheid).

Interne validiteit – interpreteerbaarheid – verwijst naar de mate waarin de verzamelde data en de eruit gedistilleerde inzichten, wetmatigheden, interpretaties en dergelijke, een authentieke weergave zijn van de sociale werkelijkheid (Hammersley, 1991;

Janssens, 1985; Wardekker, 1999).

Het kwantitatieve gedeelte van ons onderzoek heeft niet de gewenste interne validiteit door de lage respons (responsbias). Bij het opstellen van de retrospectieve vragenlijst, hebben wij veel aandacht besteed aan de inhoudsvaliditeit: de mate waarin het instrument het kennisdomein in kwestie meet (Carmines & Zeller, 1979). Wij achtten het essentieel dat de items een goede afspiegeling waren van ‘kwaliteit in opvoedingsondersteuning met de nadruk op empowerment’. Deze overeenstemming tussen het ‘begrip-zoals-bedoeld’ en het ‘begrip-zoals-bepaald’ beargumenteerden we door erop te wijzen dat de indicatoren (variabelen) een representatief staal zijn van de inhoud van het theoretisch begrip (Billiet, 1992; De Munter, 2008). De begripsvaliditeit van gebruikte instrumenten in onze vragenlijst is aangetoond, maar deze van onze eigen versie niet. Wel is onze vragenlijst gebaseerd op een uitgebreide literatuurstudie, wat leidt tot een zinvol, relevant en meer valide onderzoek (Wester & Peters, 2004).

Bij kwalitatief onderzoek stelt de vraag naar validiteit zich in hoeverre resultaten samenhangen met de aanwezigheid van de onderzoeker, aangezien deze zelf wordt ingezet als belangrijk ‘instrument’ (Kelchtermans, 1999b; Wardekker, 1999). “Men moet als het ware door de onderzoeker heen, zonder last van hem te hebben, kunnen kijken naar de onderzochte werkelijkheid. Dit criterium is analoog aan objectiviteit (…) als richtinggevend ideaal” (Wardekker, 1999, p.61). Objectiviteit kan hier nagestreefd worden via allerlei technieken. Zo hebben wij de interne validiteit – en ook de betrouwbaarheid – van de onderzoeksgegevens verhoogd door middel van triangulatie (Janssens, 1985). Hierbij worden meerdere onderzoeksmethoden of technieken op hetzelfde fenomeen toegepast om te zien of men hetzelfde vaststelt en om de tekorten van de afzonderlijke technieken op te heffen (Kelchtermans, 1999b). Ons onderzoek is gebaseerd op data uit interviews, documentenanalyses en vragenlijsten. Verder werd

de subjectiviteit van de interpreterende onderzoeker ook gecontroleerd door het – samen met de andere onderzoeker – reflecteren op het onderzoeksproces en een transparante rapportering (Billiet, 1992). Hiermee werd het controleren van de onderzoeksbias (Swanborn, 1999) beoogd. Een laatste belangrijke valideringstechniek is de communicatieve validering of ‘member checks’. Dit houdt in dat de onderzoeksresultaten terug gekoppeld worden naar de betrokkenen om na te gaan of hun standpunt goed begrepen werd (De Munter, 2008; Ghesquière & Staessens, 1999;

Kelchtermans, 1999b). Dit toetsen naar de houdbaarheid van onze interpretaties beschouwden wij reeds aan de start van onze studie een waardevolle methode. Spijtig genoeg hebben we deze niet kunnen uitvoeren wegens gebrek aan tijd. Wel werd er getracht de juistheid van de data en bijgevolg de interpretaties te controleren door de gepaste onderzoekersrol aan te nemen, namelijk “deze van actieve, geïnteresseerde en niet-beoordelende luisteraar (…) met empathie, erkenning, waardering en loyaliteit”

(Kelchtermans, 1999b, p.145). De houding van de onderzoeker heeft een belangrijke invloed op hoe de respondent zich voelt, hoeveel deze vertelt en de echtheid van wat deze meedeelt (Sparkes, 1994).

Hoofdstuk V: Onderzoeksresultaten

Dit vijfde hoofdstuk omvat de rapportering van de resultaten van de data-analyse.

Allereerst worden de uitkomsten van onze kwantitatieve studie – het vragenlijstenonderzoek – benoemd. Deze geven een antwoord op het merendeel van de onderzoeksvragen op het microniveau (zie bijlage 2 en 4). Vervolgens worden de resultaten van de kwalitatieve studie – het onderzoek op basis van interviews en documenten – vermeld. Deze beantwoorden alle onderzoeksvragen op het mesoniveau en enkele op het microniveau (zie bijlage 2 en 5).

In onderstaande rapportering wordt telkens verwezen naar de vooropgestelde onderzoeksvragen – kwaliteitsfactoren – door middel van vetgedrukte tekst en hun nummer – tussen vierkante haakjes – zoals weergegeven in bijlage 2.