Kwaliteit van onderzoek

In deze paragraaf zal worden toegelicht hoe de kwaliteit van dit onderzoek gewaarborgd wordt. Dit gebeurt aan de hand van de begrippen betrouwbaarheid en validiteit. Allereerst zal ingegaan worden op de kwaliteit van het kwalitatieve deel en daarna op de kwaliteit van het kwantitatieve deel van dit onderzoek.

3.6.1 Kwaliteit van kwalitatief onderzoek.

De betrouwbaarheid van kwalitatief onderzoek betreft de vraag of de observaties van de onderzoeker intern en extern betrouwbaar zijn (Evaraert & Van Peet, 2006). Betrouwbaar onderzoek is vrij van toevallige fouten (Hoyle, Harris & Judd, 2002). Door de invloed van de onderzoeker op de resultaten kan een vertekening optreden in de resultaten. Dit is de kern van het begrip interne betrouwbaarheid (Van Zwieten & Willems, 2004). Om zo’n vertekening te voorkomen en de interne betrouwbaarheid van dit onderzoek te waarborgen is er gekozen voor een mixed-method design. Er worden semigestructureerde diepte-interviews gedaan in

32 combinatie met focusgroepen. Bovendien worden er in het kwantitatieve deel van dit onderzoek twee vragenlijsten afgenomen. Dit maakt het mogelijk om de resultaten van de verschillende methodes met elkaar te vergelijken en zo de invloed van de onderzoeker te minimaliseren.

Bij de externe betrouwbaarheid staat de repliceerbaarheid van een onderzoek centraal (Evaraert & Van Peet, 2006; Van Zwieten & Willems, 2004). Hierbij draait het dus om de vraag of een andere onderzoeker dezelfde resultaten zou krijgen of dat er dezelfde resultaten uit zouden komen als de onderzoeker het onderzoek nogmaals uitvoert. De externe betrouwbaarheid wordt gewaarborgd door de onderzoeksmethoden in detail te beschrijven. In de bijlagen van dit onderzoek zijn bovendien de interviewleidraden, topic-lists van de focusgroepen en uitgewerkte opdrachten uit de focusgroep te vinden. Ook kunnen de transcripten door geïnteresseerden worden opgevraagd.

De validiteit van een onderzoek betreft het al dan niet aanwezig zijn van vertekeningen in het onderzoek door de invloed van de onderzoeker (Van Zwieten & Willems, 2004). Er kan een onderscheid worden gemaakt in interne en externe validiteit. Bij de interne validiteit staat centraal of er daadwerkelijk de constructen gemeten worden die men beoogde te meten (Hoyle et al., 2002; Van Zwieten & Willems, 2004). De onderzoeksopzet is zorgvuldig gehandhaafd om dit type validiteit te waarborgen. Bovendien zijn de getrokken conclusies teruggekoppeld naar het team. Externe validiteit worden bereikt door de respondenten random te selecteren. Het doel van kwalitatief onderzoek is juist om doelgericht respondenten te selecteren, die diepgaande informatie over een case kunnen verschaffen. Daarom is er geen sprake van random selectie in dit onderzoek en is de externe validiteit niet van toepassing.

3.6.2 Kwaliteit van kwantitatief onderzoek.

Ook bij kwantitatief onderzoek gaat het er bij de betrouwbaarheid om in hoeverre de metingen vrij zijn van toevallige fouten (Evaraert & Van Peet, 2006; Hoyle et al., 2002). Hier

33 liggen statistische modellen aan ten grondslag. De betrouwbaarheid van de verschillende schalen van een vragenlijst kan worden bepaald met Cronbach’s Alpha (Sijtsma, 2009). Dit is een statistische maat voor de interne consistentie van de schaal, oftewel voor de mate waarin de items de betreffende schaal meten. In dit onderzoek werd een betrouwbaarheidsanalyse uitgevoerd bij de volgende subschalen van de SDQ: emotionele problemen, gedragsproblemen, hyperactiviteit, problemen met leeftijdsgenoten en de subschaal die het meest centraal staat: prosociaal gedrag. De statistische test liet zien dat alle waarden van Cronbach’s Alpha voldoen aan de norm van .70 en daarmee als betrouwbaar beoordeeld kunnen worden, zie Tabel 3. Daarnaast werden er geen items verwijderd uit de subschalen, omdat de verhoging in de Cronbach’s Alpha minimaal was (<0,05) en niet opweegt tegen de inhoudelijke bijdrage van het item aan de schaal.

Tabel 3

Interne consistentie van de subschalen van de SDQ

Subschaal Cronbach’s Alpha

Prosociaal gedrag .849

Gedragsproblemen .868

Hyperactiviteit .913

Problemen met leeftijdsgenoten Emotionele problemen

.765 .849

Vervolgens werd ook bij de PBS-vragenlijst (stellingen) een betrouwbaarheidsanalyse uitgevoerd. De test liet zien dat ook hierbij de waarde van Cronbach’s Alpha voeldoet aan de norm van .70, zie Tabel 4. Daarnaast werden er geen items (stellingen) verwijderd uit de

34 schaal, omdat de verhoging in de Cronbach’s Alpha minimaal was (<0,04) en niet opweegt tegen de inhoudelijke bijdrage van het item aan de schaal.

Tabel 4

Interne consistentie van de schaal PBS-sfeerbeleving

Subschaal Cronbach’s Alpha

PBS-sfeerbeleving .843

Bij kwantitatief onderzoek kan er ook nog gekeken worden naar de test-hertest betrouwbaarheid. Echter is er in dit onderzoek een variabele toegevoegd na de eerste meting, namelijk PBS. Daarom is dit type betrouwbaarheid niet van toepassing. Een ander type betrouwbaarheid is de inter-beoordelaars betrouwbaarheid. Dit onderzoek is alleen volledig uitgevoerd door één onderzoeker en dat maakt dat ook de inter-beoordelaars betrouwbaarheid niet van toepassing is.

Een hoge betrouwbaarheid van een onderzoek is een voorwaarde voor validiteit. Gezien het feit dat zowel de SDQ als de PBS-vragenlijst betrouwbaar zijn bewezen, kan worden gekeken naar de validiteit. Bij de validiteit wordt er nagegaan in hoeverre er in het onderzoek sprake is van systematische fouten (Hoyle et al., 2002). De interne validiteit betreft de vraag of de effecten toegeschreven kunnen worden aan de toegepaste manipulatie. In dit onderzoek gaat het er dus om of de effecten komen door PBS of dat er ook nog andere oorzaken aan toegeschreven kunnen worden. Dit type betrouwbaarheid kan in dit onderzoek niet gegarandeerd worden, aangezien er geen controlegroep bij betrokken is. Echter, door de resultaten te vergelijken met de interviews en de focusgroep, kan er wel wat gezegd worden over de waarschijnlijkheid van de PBS als oorzaak van eventuele effecten.

35 De essentie van de externe validiteit is, net als bij kwalitatief onderzoek, de generaliseerbaarheid van het onderzoek (Evaraert & Van Peet, 2006; Hoyle et al., 2002). Gezien het feit dat de respondenten in dit onderzoek niet random geselecteerd zijn, is er geen mogelijkheid tot generalisatie. Dat is echter ook niet het doel van dit onderzoek, want de resultaten moeten in eerste instantie vooral waardevol zijn voor de Admiraal de Ruyterschool. Daarom is het niet erg dat de externe validiteit laag is.