Kritische kanttekeningen bij het onderzoek

Een belangrijke beperking van ons kwantitatief vragenlijstonderzoek is de afwezigheid van de graad van respons (‘response rate’). Baruch (1999) stelt dat het ontbreken van deze responsgraad niet wenselijk is in functie van valide en betrouwbare resultaten, maar wijst er tegelijkertijd op dat het moeilijk is om te evalueren hoe bevredigend deze is indien wel aanwezig. Hij benadrukt de nood aan een duidelijke norm voor wat een aanvaardbare graad van respons is.

Ondanks onze vraag aan de begeleiders van de Opvoedingswinkels – om de responsgraad aan te duiden op de voorziene plaats op de begeleidende brief – werd hier geen gevolg aan gegeven. Dit door het reeds hoger aangegeven gebrek aan

‘inbedding’ en het laagdrempelige karakter van de winkel. Deze twee elementen zijn eveneens oorzaken voor de beperkte respons op onze vragenlijsten.

“Ik vergat het veel, dat moet ik toegeven, meestal vergat ik het gewoon omdat dat niet in ons routine zit van dat we dat moesten doen. (…) Maar dit vraagt gewoon teveel en maakt het ook gewoon veel hoogdrempeliger terwijl het juist de bedoeling is om laagdrempelig hé.” (Tinne).

Omdat wij – om hoger beschreven redenen (zie hoofdstuk IV) – ervoor kozen de vragenlijsten te laten uitdelen door winkelmedewerkers, vormde dit een extra ‘filter’

voor de uiteindelijke onderzoeksrespons.

“Op zich denk ik, als ze vonden dat het ouders waren die daar vatbaar voor zijn, zullen ze dat wel gevraagd hebben maar zeker niet aan iedereen.” (Lieve).

De medewerkers bepaalden aan welke ouderfiguren werd gevraagd deel te nemen aan ons vragenlijstonderzoek.

“En mensen die je maar één keer ziet, doe je dat eigenlijk ook niet want dat is heel onnatuurlijk om dat dan zo te geven. En ook een beetje afhankelijk van de persoon. Ik weet bij sommige mensen, die vraag ik dat direct, anderen weet ge op voorhand die ga ik ook nooit terugzien. Dat is misschien persoonlijk niet zo goed, want het kan zijn dat die dat wel terugsturen, maar ja dat is echt een drempel om dat te vragen om dat te doen.” (Marie).

Vaak gebeurde dit enkel bij mensen die meerdere malen op gesprek kwamen en waar de begeleider een zekere verbondenheid mee had opgebouwd.

“Weet je, als je een relatie hebt met mensen die verder gaat dan één gesprek of twee gesprekken, heb je het gevoel dat je u wat meer kunt permitteren. (…) Maar als je geen relatie hebt met mensen om dan, want dan vraagt ge echt wel iets van mensen hé, dat is niet evident hé.” (Tinne).

Doordat Triple P in de winkels van Antwerpen, Turnhout en Mechelen werd aangeboden – en de cliënten hiervoor reeds een vragenlijst dienden in te vullen –

werden net de ouderfiguren die regelmatig opvoedingsondersteuning genoten, uitgesloten van ons onderzoek.

“Met de Triple P zit je al met die vragenlijsten dus de mensen die ik individueel zag, vier gesprekken ja, dan moet je het echt al twee keer vragen, dus ja dat doe je dan al niet.”

(Marie).

De responsgrootte werd in de Antwerpse, Leuvense en Mechelse Opvoedingswinkels ook beïnvloed doordat deze drie voorzieningen nog in hun opstartfase zaten, waardoor er minder energie kon uitgaan naar onze studie.

“Ik denk eigenlijk het enige, allé voor ons dan persoonlijk, dat het ook iets wat te vroeg was hé voor ons.” (Marie).

Als voorlaatste, gaven begeleiders van de winkels de lengte van de vragenlijst aan als een mogelijke oorzaak voor de lage respons.

“Ik vind de vragenlijst echt heel lang. (…) Maar ik denk dat de mensen zuchten als ze die vijf bladzijden zien, hoewel je heel veel werkt met kruisjes.” (An).

“Ik denk voor ons dan, als ge een veel kortere zou hebben, zou je het rapper geven denk ik, denk ik hé. Maar echt bij wijze van spreken een A4, allé ik weet dat dat wetenschappelijk wel moeilijker ligt.” (Marie).

Tot slot zegden winkelmedewerkers ook niet goed te kunnen vatten waarom de reactie op onze vragenlijst zo beperkt is gebleven.

“En verder heb ik er heel eerlijk geen idee over. We hebben er verschillende meegegeven en nooit teruggekregen. Ik denk dat die mensen op dat moment ook tevreden zijn of niet, of niet?

Maar ik ga er van uit wel en dat die er dan ook niet meer aan denken. We hebben er opgestuurd, we hebben er meegegeven met een extra opslag, met de postzegels er al op en het adres enzo.” (Geert).

Het is belangrijk om na te gaan waarom de respons zo laag is, zoals hierboven weergegeven. Bij een lage respons kan men namelijk vraagtekens plaatsen bij de representativiteit van de resultaten en de mate waarin men er conclusies aan mag verbinden (Maris, 2003; Van Yperen & Veerman, 2008).

Een tweede beperking aan het vragenlijstonderzoek is de constructie van het meetinstrument. Wij hebben veel zorg besteed aan de theoretische onderbouwing van de retrospectieve vragenlijst. Wegens tijdsgebrek kon dit instrument echter niet voldoende besproken worden met de medewerkers van de verschillende Opvoedingswinkels, zodat dit instrument niet echt ‘van hun’ – iets waar zij volledig achter staan – kon worden. Wij hebben slechts eenmalig en via mail een preliminaire draft van de vragenlijst kunnen voorleggen aan winkelmedewerkers ter beoordeling.

Met betrekking tot het kwalitatieve onderzoek in deze masterproef is de grootste restrictie dat we de tijd niet hadden om onze verkregen interviewdata communicatief te valideren. Het terugkoppelen van de kwalitatieve analyse naar de respondent – en het op basis daarvan hebben van verscheidene interviews – had ons meer zekerheid gegeven over de juistheid van de onderzoeksinterpretaties.