Samenvatting, validiteit en betrouwbaarheid

3.4.1 Samenvatting

Voor het onderzoek worden in totaal zeven variabelen gebruikt. De afhankelijke variabele methodologische kwaliteit bestaat uit vier indicatoren: duidelijke operationalisatie, duidelijke probleemdefinitie, het toepassen van triangulatie en de mate van repliceerbaarheid.

De onafhankelijke variabelen waarvan getoetst wordt of ze een invloed hebben op de kwaliteit zijn het budget van de rekenkamer, de structuur van de rekenkamer, en of het onderzoek is uitbesteed. Hiernaast zijn nog 3 controlevariabelen meegenomen die van invloed zouden kunnen zijn op de uitkomsten van het onderzoek, het aantal rekenkamerrapporten in 2018, samenwerking met andere rekenkamers, en het inwoneraantal van een gemeente in 2018.

De relatie tussen deze variabelen zal onderzocht worden doormiddel van een multinomiaal

logistische regressieanalyse. Op deze wijze is het mogelijk het effect van de verschillende variabelen op de methodologische kwaliteit, en de verschillen tussen variabelen onderling te bekijken. In een volgend hoofdstuk wordt er per variabele besproken hoe deze in de multinomiale logistische regressieanalyse wordt gebruikt, en wat de resultaten zijn.

Eerst zal er worden stilgestaan bij de assumpties waaraan de data moet voldoen, en een meer algemene beoordeling van de betrouwbaarheid en validiteit van dit onderzoek.

3.4.2 Assumpties

Voordat de multinomiale logistische regressieanalyse uitgevoerd kan worden moet er gecontroleerd worden of de data aan bepaalde assumpties voldoet. Als de data binnen een onderzoek aan deze assumpties voldoet is er sprake van een hogere betrouwbaarheid. Voor dit onderzoek zijn er vier assumpties waaraan voldaan moet worden: een nominale afhankelijke variabele, meerdere onafhankelijke variabele, geen multicollineariteit, en geen extreme waarden.

Afhankelijke variabele is nominaal of ordinaal

De afhankelijke variabele voor dit onderzoek is opgemaakt uit vier onderliggende variabelen. Dit zorgt ervoor dat de afhankelijke variabele niet continue en niet normaal verdeeld is. Omdat de variabele niet geschikt is voor statistische analyses, waarbij de afhankelijke variabele continue en normaal verdeeld moest zijn, is er gekozen voor een multinomiale logistische regressie. De variabele

33 methodologische kwaliteit bestaat uit drie categorieën, namelijk matig, goed en perfect is een ordinale variabele, en voldoet dus aan de assumptie.

Eén of meer onafhankelijke variabelen die continu, ordinaal of nominaal zijn

Voor dit onderzoek is er gebruik gemaakt van zes onafhankelijke variabelen. Van deze variabelen zijn er twee continu, namelijk het budget van de rekenkamer in euro’s en het aantal inwoners van de gemeente.

De variabele type rekenkamer is nominaal. De categorieën zijn als volgt, 1) Rekenkamercommissie met alleen externe leden, 2) Rekenkamercommissie met externe en raadsleden, 3)

Rekenkamercommissie met alleen raadsleden, 4) het directeursmodel, en 5) het collegemodel. Samenwerking van de rekenkamer is hercodeerd van een percentage van het de hoeveelheid rapporten waarin samengewerkt is naar drie groepen: 1) Nooit, 2) af en toe, en 3) altijd. Uitbesteding van de rekenkamer is op eenzelfde manier hercodeerd. De uiteindelijke variabele samenwerking heeft ook drie groepen: 1) Nooit, 2) af en toe, en 3) altijd. Dit maakt de variabelen ordinaal.

Het aantal rapporten is hercodeerd naar drie categorieën, 1) één rapport, 2) twee rapporten, en 3) drie of meer rapporten. Ook deze variabele is ordinaal.

Er is dus voldaan aan de assumptie dat er meerdere onafhankelijke variabelen zijn die continu, ordinaal of nominaal zijn.

Geen multicollineariteit tussen onafhankelijke variabelen

Multicollineariteit ontstaat wanneer twee of meer onafhankelijke variabelen significant met elkaar correleren. Hiervoor is gecontroleerd door de twee continue variabelen in een correlatietabel tegenover elkaar te zetten. Hieruit bleek dat de Pearson’s correlation 0.588 is. Dit is niet genoeg om van een correlatie te spreken die aanwijzing zou kunnen zijn voor multicollineariteit (Laerd Statistics, n.d.). Hierdoor voldoen de variabelen aan deze assumptie.

Geen outliers, extreme waarden voor continue variabelen

Er wordt gecontroleerd op extreme waarden omdat deze een bovengemiddelde invloed kunnen hebben op de uitkomsten van de analyse. Deze kunnen de uitkomsten van het onderzoek

beïnvloeden, waardoor deze minder betrouwbaar zijn. Extreme waarden worden geïdentificeerd aan de hand van een boxplot en een Extreme values check in SPSS.

34 Voor de variabelen budget en inwoners bleken vooral Amsterdam, Rotterdam en Den Haag

uitschieters te zijn. Deze gemeenten zijn groter dan het gemiddelde, en hebben ook een

bovengemiddeld budget voor rekenkameronderzoek. Om te controleren of deze gemeenten invloed hebben op het onderzoek is de analyse gedaan zonder de drie gemeenten om te kijken of de

uitkomsten significant verschillend waren met de originele analyse. Er bleken weinig verschillen te zitten tussen de twee analyses, en er is dus besloten om de gemeenten wel mee te nemen in het onderzoek. Hoewel het hoge waarden waren bleken ze geen grote invloed te hebben op de uitkomsten.

3.4.3 Validiteit en Betrouwbaarheid

Dit onderzoek maakt gebruik van een kwalitatieve onderzoeksmethode doormiddel van een inhoudsanalyse van de bestaande rekenkamerrapporten. De rapporten zijn gecodeerd volgens begrippen die gebaseerd zijn op bestaand evaluatieonderzoek, met name het werk van van Voorst en Mastenbroek (2019). Het betreft dus een deductieve manier van onderzoek, het is gebaseerd op bestaande theoretische onderbouwingen. Door de data uit deze coderingen statistisch te toetsen kunnen de onderzoeksvragen en hypothesen beantwoord worden.

De keuzes die binnen de methodesectie van dit onderzoek zijn gemaakt hebben invloed op de betrouwbaarheid en validiteit van het stuk. Validiteit bestaat uit interne en externe validiteit. Interne validiteit betreft het de geldigheid van het onderzoek, of er wel gemeten is wat er gezegd werd? (van Thiel, 2010, p. 58). Doordat de operationalisatie van de concepten op een gelijke manier is opgebouwd als in bestaand onderzoek, en het bestaande onderzoek een sterke theoretische fundering heeft, is de interne validiteit gewaarborgd. Op deze manier is er getracht om verwarring over de relatie tussen de variabelen te voorkomen welke de geldigheid van het onderzoek zou kunnen ondermijnen.

De externe validiteit gaat over de generaliseerbaarheid van het onderzoek, of de gevonden resultaten ook toepasbaar zijn op andere gevallen (van Thiel, 2010, p. 59). De situatie omtrent de gemeentelijke rekenkamers is vrij uniek. Daardoor is het niet 1 op 1 toe te passen op andere situaties. Wel is er door het gebruik van de variabelen en codes uit eerder onderzoek de mogelijkheid om het onderzoek met ander onderzoek op andere bestuurslagen te vergelijken. Betrouwbaarheid wordt gedefinieerd als de nauwkeurigheid en consistentie van het onderzoek. Zijn de bevindingen uit het onderzoek toevallig, of berusten deze op toeval? (van Thiel, 2010, p. 57). In dit onderzoek is getracht de betrouwbaarheid te verhogen door de bronnen inzichtelijk te maken, en

35 te laten zien waar deze vandaan komen. Daarnaast is, zoals al opgemerkt, gekeken of de data

36