Kwaliteit van de onderzoeksresultaten

Na het onderzoek gebruiken de onderzoekers de informatie waarover ze beschikken om de feiten te verklaren en de gestelde vragen te beantwoorden. Of het onderzoek gegrond of waardevol is, hangt in grote mate van de kwaliteit van de resultaten af, met andere woorden van "de betrouwbaarheid en de

Deelname van personen met een handicap aan verkiezingen │ 2019 127

validiteit van de verzamelde gegevens".⁶³ Dit betekent dat "de waargenomen feiten authentiek, stabiel en waarheidsgetrouw moeten zijn en dat er geen toevallige of systematische fouten ingeslopen mogen zijn".⁶⁴ Deze verschillende wetenschappelijke doelstellingen zijn "idealen die moeilijk te realiseren zijn, gelet op alle mogelijke oorzaken voor fouten in elke fase van het empirisch onderzoeksproces".⁶⁵

7.4.1. Kwaliteit van het kwalitatieve deel

Kwalitatief wetenschappelijk onderzoek wordt enkel als van hoge kwaliteit beschouwd, wanneer het aan een aantal kwaliteitscriteria voldoet. Volgens van Zwieten & Willems⁶⁶ (2004) zijn betrouwbaarheid en validiteit de gangbare criteria om kwalitatief onderzoek te beoordelen. Bij betrouwbaarheid wordt een onderscheid gemaakt tussen interne en externe betrouwbaarheid. Ook bij validiteit wordt datzelfde onderscheid gemaakt tussen interne validiteit en externe validiteit.

Bij kwalitatief onderzoek speelt de onderzoeker een belangrijke rol. Hij of zij is degene die waarneemt, interpreteert en analyseert. Daarom is het van cruciaal belang om de invloed van de onderzoeker op de onderzoeksresultaten goed te beschrijven (Plochg & van Zwieten, 2007).⁶⁷ Door deze rol zo duidelijk mogelijk te maken, proberen we vertekeningen te voorkomen (van Zwieten & Willems, 2004).

Betrouwbaarheid

Onder betrouwbaarheid verstaan van Zwieten en Willems (2004, p. 631) "de afwezigheid van toevallige vertekeningen".

Interne betrouwbaarheid

Bij interne betrouwbaarheid wordt onderzocht of de onderzoeksresultaten niet kunnen worden vertekend door een individuele invloed van de onderzoeker (van Zwieten & Willems, 2004).

63

66 van Zwieten, M. & Willems, D. (2004). Waardering van kwalitatief onderzoek. Huisarts en Wetenschap, 47(13), 631-635.

67 Plochg, T., & van Zwieten, M.C.B (2007). Kwalitatief onderzoek. In Plochg, T., Juttman, R.E., Klazinga, N.S., Mackenbach, J.P. (Eds.), Handboek gezondheidszorgonderzoek (pp. 77-93). Houten, Nederland: Bohn Stafleu Van Loghum.

128 2019 │ Deelname van personen met een handicap aan verkiezingen

Er worden een aantal technieken toegepast om de interne betrouwbaarheid te vergroten. De triangulatie van methoden en de triangulatie van het onderzoek zijn twee manieren om de interne betrouwbaarheid te vergroten (Maso en Smaling, geciteerd in van Staa & Evers, 2010).

Bij dit onderzoek werden verschillende methoden gebruikt om gegevens te verzamelen. Unia nam interviews af, organiseerde focusgroepen en verstuurde een onlinevragenlijst. Het gebruik van meerdere methoden om gegevens te verzamelen, wordt de triangulatie van methoden genoemd (van Staa & Evers, 2010). Volgens Tremblay leidt "het gebruik van verschillende instrumenten tot een grotere betrouwbaarheid en validiteit van de resultaten".⁶⁸

De tweede procedure die wordt genoemd om de interne betrouwbaarheid te vergroten, is het toepassen van de triangulatie van het onderzoek. Bij deze methode wordt een beroep gedaan op een aantal onderzoekers die samenwerken om de gegevens te verzamelen en te analyseren (van Zwieten & Willems, 2004; Maso & Smaling, geciteerd in van Staa & Evers⁶⁹, 2010). De onderzoekers kunnen vervolgens samen de verschillende gegevens uitwisselen en raadplegen. Tijdens het onderzoek vond heel wat teamwerk plaats om deze triangulatie mogelijk te maken.

Om de interne betrouwbaarheid te waarborgen, werden citaten uit andere wetenschappelijke onderzoeken aangehaald om de resultaten te verduidelijken. Bovendien werd bijzondere aandacht besteed aan de plaatsen waar de interviews of focusgroepen plaatsvonden. De deelnemers kozen de setting voor de interviews. Zo wisten we zeker dat ze zich op hun gemak voelden en hun verhaal vrij konden vertellen.

Externe betrouwbaarheid

De kwaliteitscriteria van externe betrouwbaarheid laten toe om te beoordelen of het onderzoek in zijn geheel herhaalbaar is. Onderzoeksresultaten moeten meer zijn dan een unieke bevinding en intrinsiek herhaalbaar zijn.

Als een andere onderzoeker het onderzoek zou overdoen, zou die dan tot dezelfde resultaten en conclusies komen? (van Zwieten & Willems, 2004). Een meting is betrouwbaar als ze stabiel is, dat wil

68 http://www.fractale-formation.net/dmdocuments/Initiation-%C3%A0-la-recherche-dans-les-sciences-humaines.pdf.

69 van Staa, A.L, & Evers, J.C. (2010)

4. ‘Thick analysis’: strategie om de kwaliteit van kwalitatieve data-analyse te verhogen. KWALON.

Tijdschrift voor Kwalitatief Onderzoek in Nederland, 43(1), 5–12. Retrieved from http://hdl.handle.net/1765/23133.

Deelname van personen met een handicap aan verkiezingen │ 2019 129

zeggen als dezelfde resultaten worden verkregen door het onderzoek één of meerdere keren onder dezelfde omstandigheden te herhalen.

Om een beoordeling van externe betrouwbaarheid of herhaalbaarheid mogelijk te maken, moeten de originele gegevens toegankelijk zijn voor derde partijen. Om die externe betrouwbaarheid te garanderen, wordt de manier waarop dit onderzoek wordt uitgevoerd, gedetailleerd beschreven in de methodologie.

De methodologische keuzes en de bijbehorende voordelen worden ook toegelicht.

Validiteit

Validiteit geeft een indicatie van de wetenschappelijke waarde of kwaliteit van empirisch onderzoek. "Hoe groter de validiteit van een onderzoek is, des te groter de kans dat de onderzoeker er betrouwbare, ware of geldige conclusies uit kan trekken."⁷⁰ Een kwalitatief onderzoek is valabel als "het een authentiek verslag van de realiteit geeft en als het nauwkeurig alle aspecten onderzoekt."⁷¹ Validiteit geeft aan of de verkregen resultaten voldoen aan alle eisen van de wetenschappelijke onderzoeksmethode. Validiteit is

"de afwezigheid van systematische vertekeningen van het onderwerp van onderzoek" (van Zwieten &

Willems, 2004, p. 631). "In de praktijk wordt de validiteit van de resultaten meestal beoordeeld aan de hand van de validiteit van de gebruikte instrumenten."⁷²

Interne validiteit

Bij interne validiteit gaan we na of het onderzoek - en de bijbehorende methodologie - inderdaad hebben onderzocht wat men beweert te onderzoeken (Plochg & van Zwieten, 2007).

"Een kwalitatief onderzoek is valabel als het onderzoekt wat men wil onderzoeken."

Om de interne validiteit te garanderen, hadden de respondenten de gelegenheid om het interview of het verslag van de focusgroep na te lezen en commentaar op het interview te geven. Mortelmans (2007) noemt dit proces de "member check".

Hoewel alle deelnemers de mogelijkheid hadden om dit te doen, heeft niet iedereen dit gedaan. Het was geen verplichting.

70 http://pagesped.cahuntsic.ca/sc_sociales/psy/methosite/consignes/validite.htm.

71 file:///C:/Users/frbou/Downloads/537cd18bce5ae.pdf.

72 http://www.fractale-formation.net/dmdocuments/Initiation-%C3%A0-la-recherche-dans-les-sciences-humaines.pdf, p.231.

130 2019 │ Deelname van personen met een handicap aan verkiezingen

Externe validiteit of generaliseerbaarheid

Smaling (2009, p. 5) definieert generaliseerbaarheid als "de mate waarin de resultaten en conclusies van een onderzoek ook van toepassing zijn op andere mensen, situaties, organisaties, gevallen en fenomenen die niet in dit onderzoek zijn onderzocht". Anders gezegd: zijn de conclusies verplaatsbaar naar vergelijkbare contexten? Zoals we eerder aangaven, is generaliseerbaarheid geen prioriteit in dit onderzoek.

7.4.2. Kwaliteit van het kwantitatieve deel

De kwaliteit van kwantitatief onderzoek is een belangrijk aspect om rekening mee te houden bij het uitvoeren van online-enquêtes. De kwaliteit van onlinevragenlijsten kan om verschillende redenen in het gedrang worden gebracht. Hooker & Gil de Zúñiga⁷³ (2007) lichten toe welke problemen zich kunnen voordoen. De zelfbeschikking van de respondenten, een grote non-respons, onvolledige gegevens of de uitsluiting van mensen die geen toegang hebben tot het internet, kan de kwaliteit van online-enquêtes beïnvloeden.

Een ander mogelijk gevaar van het gebruik van een online-enquête is dat de onderzoeker een vertekend beeld krijgt. Hooker en Gil de Zúñiga (2007) beschrijven waarom een onlineonderzoek op basis van vrijwillige deelname de werkelijkheid kan verstoren. Als respondenten vrij zijn om deel te nemen, worden ze niet willekeurig gekozen. Ze kiezen zelf of ze al dan niet aan de enquête deelnemen. Dit kan leiden tot een vertekening van de gegevensset als de respondenten niet representatief zijn voor de hele populatie.

We hebben verschillende initiatieven genomen om de online-enquête zo valabel mogelijk te maken.

Om de volledigheid van de gegevens te waarborgen, gaven we duidelijke instructies toen we de online-enquête verspreidden. In de instructies stond duidelijk wat er in de online-enquête werd gevraagd en hoelang het invullen van de enquête in beslag nam. Bovendien was de vragenlijst zelf bijgevoegd. Zo hadden de organisaties al een goed beeld van de vragen en konden ze zich voorbereiden voor ze de online-enquête invulden. En was tegelijk de kans kleiner dat organisaties voor verrassingen kwamen te staan bij het invullen van de vragenlijst.

73 Hooker, Catherine & Gil de Zúñiga, Homero. (2017). Survey Methods, Online.

10.1002/9781118901731.iecrm0244.

Deelname van personen met een handicap aan verkiezingen │ 2019 131

Om non-respons tegen te gaan, werd de online-enquête meerdere keren verstuurd. Organisaties werden er tweemaal aan herinnerd om de vragenlijst in te vullen. We hebben zo geprobeerd om zoveel mogelijk antwoorden te ontvangen. Hoewel het aantal ontvangen antwoorden te klein is om representatief te zijn voor de hele populatie, komen er uit de studie toch een aantal interessante dingen naar voren.

We benadrukken hier ook dat er geen enkele compensatie aan de deelnemers is betaald. Gelet op de omvang van het project en de beperkte tijd en middelen was dit geen optie en was deelname aan de studie vrijwillig.

Hoewel we er alles aan hebben gedaan om tot een kwaliteitsvol kwantitatief onderzoek te komen, zijn we er niet in geslaagd bepaalde systematische fouten te vermijden die inherent zijn aan deze methode. Zoals in het vorige hoofdstuk vermeld, vormden de grote non-respons en de onvolledige gegevens een groot obstakel tijdens de online-enquête.