STATISTISCH ONDERZOEK NAAR DE METHODOLOGISCHE KWALITEIT VAN GEMEENTELIJKE REKENKAMERRAPPORTEN

2021

Masterscriptie

STATISTISCH ONDERZOEK NAAR DE METHODOLOGISCHE

KWALITEIT VAN GEMEENTELIJKE REKENKAMERRAPPORTEN

TRIES VAN TINTELEN

STUDENTNUMMER: S1030573

RADBOUD UNIVERSITEIT NIJMEGEN

FACULTEIT DER MANAGEMENTWETENSCHAPPEN

OPLEIDING BESTUURSKUNDE

MASTER THESIS

JANUARI-2021

DR. P.J. ZWAAN

1

Inhoudsopgave

1.3 Maatschappelijke en wetenschappelijke relevantie ... 8

1.4 Leeswijzer ... 9

2. Theoretisch Kader ... 10

2.1 Het belang van kwaliteit ... 10

2.2 Methodologische kwaliteit volgens de rekenkamers zelf ... 11

2.3 Methodologische kwaliteit in wetenschappelijke literatuur ... 12

2.4 Factoren die van invloed zijn op kwaliteit ... 15

2.4.1 Technische Factoren ... 15

2.4.2 Politieke factoren ... 18

2.5 Samenvattend theoretisch analysekader ... 19

3. Methode... 21

3.1 Keuze voor onderzoeksmethoden ... 21

3.2 Data-analyse en verzameling ... 22

3.2.1 Afhankelijke variabele ... 22

3.2.2 Onafhankelijke variabelen ... 24

3.2.3 Controlevariabelen ... 24

3.3 Operationalisering ... 25

3.3.1 Afhankelijke variabele: Methodologische Kwaliteit ... 25

3.3.2 Onafhankelijke Variabelen: Budget ... 26

3.3.3 Onafhankelijke variabele: Rekenkamerstructuur ... 27

3.3.4 Onafhankelijke variabele: uitbesteding rekenkameronderzoek ... 28

3.3.5 Controlevariabele: Hoeveelheid rapporten in een jaar ... 28

3.3.6 Controlevariabele: samenwerking met andere rekenkamers ... 28

3.3.7 Controlevariabele: Aantal inwoners per gemeente... 29

3.4 Samenvatting, validiteit en betrouwbaarheid ... 32

3.4.1 Samenvatting ... 32

3.4.2 Assumpties ... 32

3.4.3 Validiteit en Betrouwbaarheid ... 34

4. Resultaten ... 36

2

4.2 Multinomiale logistische regressieanalyse ... 37

4.3 Verklarende resultaten ... 39

4.3.1 Hypothese 1: Budget (Technisch) ... 40

4.3.2 Hypothese 2: Uitbesteding (Technisch) ... 41

4.3.3 Hypothese 3: Aantal raadsleden (Politiek)... 42

4.3.4 Controlevariabelen ... 43 5. Conclusie ... 46 5.1 Vraagstelling ... 46 5.1.1 Technische variabelen ... 47 5.1.2 Politieke variabelen ... 48 5.1.3 Controlevariabelen ... 49 5.2 Discussie ... 49 5.2.1 Tekortkomingen ... 49 5.2.2. Aanbevelingen ... 51 Literatuurlijst ... 53

Bijlage 1: Multinomiale Logistische Regressieanalyse: Parameter Estimates ... 55

Bijlage 2: Multinomiale Logistische regressieanalayse: Likelihood Ratio Tests ... 56

3

Voorwoord

Beste lezer,

Voor u ligt mijn masterthesis ‘’ Statistisch onderzoek naar de methodologische kwaliteit van gemeentelijke rekenkamerrapporten’’ ter afronding van de specialisatie Beleidsadvisering van de master Bestuurskunde.

Het afronden van de master begon met een stage bij de Nederlandse ambassade in Zuid-Afrika, en eindigde met een scriptie over de methodologische kwaliteit van gemeentelijke

rekenkamerrapporten. Door de intrede van het coronavirus liep het allemaal wat anders dan gepland. Mijn supervisor Pieter Zwaan heeft mij erg geholpen om snel te kunnen schakelen om een nieuw onderwerp te kiezen om het tijdsverlies zo kort mogelijk te maken. Dit tezamen met zijn goede en snelle feedback heeft ervoor gezorgd dat er uiteindelijk een scriptie is gekomen.

Verder wil ik ABC bedanken voor het zorgen voor een positieve werkomgeving. Amke voor alle hulp met statistiek. En familie en vrienden voor het aanhoren van alles over de scriptie de afgelopen maanden.

Tries van Tintelen Utrecht

4

Samenvatting

Dit onderzoek is begonnen als een project van Klaartje Peters om inzicht te krijgen in de situatie van de Nederlandse gemeentelijke rekenkamers. Tezamen met het commentaar van minister Ollongren op het functioneren van de rekenkamers kwam hier een onderzoek naar de methodologische kwaliteit van de rekenkamerrapporten uit voort. De centrale vraagstelling werd als volgt geformuleerd: In hoeverre voldoen de rapporten van de gemeentelijke rekenkamers aan de

methodologische vereisten die aan evaluaties worden gesteld? Met een voorname rol voor de

factoren die van invloed zouden kunnen zijn op de methodologische kwaliteit.

Om deze vraag te beantwoorden is er eerst een overzicht gegeven van wat methodologische kwaliteit eigenlijk inhoudt binnen de wetenschappelijke literatuur, en volgens de rekenkamers zelf. Het onderzoek van Schwartz & Mayne (2005) en van Voorst en Mastenbroek (2019) wordt als basis gebruikt in dit onderzoek.

Vervolgens zijn er aan de hand van deze bevindingen factoren geïdentificeerd die van invloed zouden kunnen zijn op de methodologische kwaliteit. Door middel van deze factoren zijn er hypothesen geformuleerd, welke met behulp van een statistische analyse zijn getoetst. Voor dit onderzoek is er gebruik gemaakt van een multinomiale logistische regressieanalyse. Het jaar dat werd gekozen was 2018.

Uit de resultaten van deze statistische analyse bleek dat de rekenkamers over het algemeen gezien goed scoren op de methodologische kwaliteitseisen. Een merendeel van de rekenkamers scoort goed of perfect op de kwaliteitseisen. Voor wat betreft de factoren die van invloed zijn op deze kwaliteit was het beeld niet zo overduidelijk.

De statistische analyse liet zien dat er twee factoren een significante invloed hadden op de

methodologische kwaliteit, het uitbesteden van rekenkameronderzoek en het type rekenkamer. Het bleek dat de relatie tussen de factoren en de methodologische kwaliteit soms anders liepen dan vooraf was verwacht. Over het algemeen gezien waren er geen factoren aan te wijzen die een overduidelijke positieve of negatieve invloed hadden op de kwaliteit.

Voor eventueel vervolgonderzoek zijn er nog aanbevelingen gedaan om tot betere resultaten te komen. Het uitbreiden van de onderzoeksperiode zou de onderzoeker in staat stellen om veranderingen in de rekenkamerstructuur goed te monitoren, en eventuele veranderingen in de methodologische kwaliteit beter te duiden. Ook het uitbreiden van de hoeveelheid onderzochte rapporten zou kunnen bijdragen aan een completer beeld van de situatie omtrent kwaliteit.

5

1. Inleiding

1.1 Aanleiding Onderzoek

Gemeentelijke rekenkamers zijn belast met het onderzoeken van de doelmatigheid,

doeltreffendheid, en de rechtmatigheid van het door het gemeentebestuur gevoerde bestuur (Gemeentewet Artikelen 81o 81oa, 2020). Door de toenemende verantwoordelijkheden van de gemeenten moeten de gemeentelijke rekenkamers steeds complexer beleid toetsen. Sinds de decentralisatie in 2015 zijn onder andere de jeugdzorg en andere zorgtaken overgedragen aan de gemeenten (Rijksoverheid, n.d.). Deze nieuwe verantwoordelijkheden vragen om een verdere professionalisering van de rekenkamers. Naarmate de materie lastiger wordt, is er meer expertise binnen de rekenkamer benodigd. Dit heeft geleid tot discussies over hoe de rekenkamers op gemeentelijk niveau vorm moeten worden gegeven.

Er is voornamelijk onvrede over de afhankelijkheid die de rekenkamers hebben ten opzichte van de raad, dit zou de onafhankelijk kiezen van onderzoeken bemoeilijken (Ollongren, 2019, pp. 5-6). Het verbeteren van de kwaliteit van beleid kan door de kwaliteit van toezicht te verhogen. Dit gebeurt onder andere door het verbieden van raadsleden in de rekenkamer. Op deze manier zou de onafhankelijkheid van het toezicht door de gemeentelijke verbeteren, en daarmee ook de kwaliteit van haar onderzoeken. Met het afschaffen van de rekenkamerfunctie wordt de rekenkamer compleet onafhankelijk van de gemeenteraad. Hierdoor zou de controlerende functie van de rekenkamer gewaarborgd worden (Ollongren, 2019, p. 2). Dit zou het functioneren van de rekenkamers binnen gemeenten verbeteren, waardoor de kwaliteit en effectiviteit van het rekenkamerwerk toenemen (Ollongren, 2019, p. 14).

Dat niet alle rekenkamers perfect aan de eisen voldoen blijkt uit recent onderzoek. Momenteel voldoen 110 gemeenten niet aan deze eisen, deze rekenkamers zouden dus hervormd moeten worden (Bekkers, 2020). Hoewel er sinds 2006 een verplichting geldt voor gemeenten om een rekenkamerfunctie te hebben, blijkt dat er na 14 jaar niet in elke gemeente een goed

functionerende rekenkamer is (De Jong, Lunsing, Fogl, & Haven, 2013, p. 4). De ontevredenheid over het huidige functioneren van de gemeentelijke rekenkamers blijkt uit het recente wetsvoorstel ‘’wet versterking decentrale rekenkamers’’ dat momenteel door de Eerste Kamer wordt behandeld (Eerste Kamer, 2020). Een van de doelen van de wetsherziening is volgens de minister om de kwaliteit van het toezicht te verhogen.

6 Hoewel het lijkt alsof iedereen ontevreden is, blijkt dat de raadsleden zelf deze zienswijze van de minister niet altijd delen. Gemeenteraadsleden blijken grotendeels tevreden te zijn met de kwaliteit van de rapporten die door desbetreffende rekenkamers worden afgeleverd (De Jong, Lunsing, Fogl, & Haven, 2013, p. 76). Raadsleden waarvan de rekenkamer ‘’slapend’’, oftewel niet actief is, geven aan dat de aanbevelingen meestal niet aansluiten bij de verwachtingen (De Jong, Lunsing, Fogl, & Haven, 2013, p. 52). Een kanttekening bij het onderzoek is dat deze gebaseerd is op vragenlijsten, en dat raadsleden misschien niet te hard in het oordeel willen zijn.

Net als de raadsleden, lijken ook de gemeenten niet geheel overtuigd van de zienswijze van de minister. De gemeenten zijn uiterst kritisch op dit geplande ingrijpen van de minister. Het aanpassen van de rekenkamers zou een erg zware ingreep zijn voor het verhelpen van een relatief klein

probleem. Ook wordt de effectiviteit van de voorgestelde maatregel in twijfel getrokken, gaat deze wel tot een kwaliteitsverbetering leiden? (Bekkers, 2019). Er is binnen de verschillende partijen dus nog onenigheid over of hervormingen überhaupt wel nodig zijn.

Hieruit blijkt dat de verschillende betrokkenen een ander oordeel hebben over de kwaliteit van de lokale rekenkamerrapporten. Gezien het belang van toezicht op de overheid, en de implicaties van de geplande wetswijziging is het van belang om de huidige situatie te inventariseren. Ook moet er duidelijk gemaakt worden wat kwaliteit nou eigenlijk inhoudt. Dit vraagt om een verder onderzoek naar de kwaliteit van lokale rekenkamerrapporten.

Daarbij zal er niet afgegaan worden op de perceptie of indrukken die actoren hebben van de kwaliteit, maar zal er meer systematisch gekeken worden naar de rapporten. Voldoen de rapporten aan de wetenschappelijke standaarden die er aan evaluaties gesteld zijn?

Door het beoordelen van de methodologische kwaliteit van de rekenkamerrapporten kan er gekeken worden naar het nut van de rapporten die ze produceren, en of de minister gelijk heeft dat de rekenkamers hervormd moeten worden. Door het kijken naar de methodologische kwaliteit is het ook mogelijk om uitspraken te doen of er bepaalde factoren zijn die invloed hebben op deze kwaliteit. De invloed van de structuur van de rekenkamer op de kwaliteit van rekenkamerrapporten is iets wat centraal staat in dit onderzoek.

7

1.2 Probleemstelling

Het doel van dit onderzoek is om de methodologische kwaliteit van de lokale rekenkamerrapporten te evalueren. De beoordeling vindt plaats aan de hand van een set criteria gebaseerd op

methodologische normen.

De focus zal daarbij voornamelijk liggen op ex-post evaluaties die zich richten op de doeltreffendheid en doelmatigheid uitgevoerd door de rekenkamers. Op deze manier wordt er gekozen voor

evaluaties die dicht bij de kerntaken van de gemeenteraad liggen.

De probleemstelling luidt als volgt: In hoeverre voldoen de rapporten van de gemeentelijke

rekenkamers aan de methodologische vereisten die aan evaluaties worden gesteld? De volgende

deelvragen zullen helpen om deze probleemstelling te beantwoorden.

- Welke criteria kunnen gesteld worden aan de methodologische kwaliteit van evaluaties? - Hoe kunnen deze factoren gemeten en toegepast worden op de Nederlandse situatie? - In hoeverre zijn er factoren van invloed op de methodologische kwaliteit van de rapporten? Voor dit onderzoek zal er gebruik gemaakt worden van een evaluatief onderzoek. De

rekenkamerrapporten zullen worden beoordeeld aan de hand van een beoordelingskader dat gebaseerd is op bestaande evaluatieliteratuur binnen het vakgebied. Er zal onder andere gebruik gemaakt worden van het werk van Klein Haarhuis (2008) omtrent wetsevaluaties. Ook zal er gebruik gemaakt worden van de criteria die door Van Voorst en Mastenbroek (2017) zijn opgesteld voor het beoordelen van methodologische kwaliteit, welke weer zijn gebaseerd op het werk van Schwartz & Mayne (2005). Uiteindelijk zal er een eigen set van criteria worden opgesteld om de

rekenkamerrapporten te kunnen beoordelen.

Voor dit onderzoek zal er een selectie van rekenkamerrapporten uit 2018 gebruikt worden. Er is gekozen voor dit jaar omdat het tot een representatieve hoeveelheid rapporten leidt, en het ook zorgt voor voldoende tijd na fusieslag op gemeentelijk niveau, waardoor er voldoende recente onderzoeken meegenomen kunnen worden. Er zal een gemiddelde worden genomen van de kwaliteit van de rapporten om deze te kunnen analyseren aan de hand van de structuur van de rekenkamers. De specifieke keuzes die gemaakt zijn bij de selectie zullen in het methode hoofdstuk verder uitgelicht worden.

8

1.3 Maatschappelijke en wetenschappelijke relevantie

Methodologische kwaliteit is iets wat al vaker het onderwerp is geweest van wetenschappelijk onderzoek. In het komende stuk zal benadrukt worden waarom het onderzoeken van de methodologische kwaliteit van rekenkamerrapporten een nuttige toevoeging is.

Het bestaande onderzoek naar evaluaties bevindt zich voornamelijk op de hogere bestuurslagen. Er is verschillend onderzoek onder andere evaluaties door de Europese Commissie (Van Voorst & Mastenbroek, 2017), de wetsevaluaties op een landelijk niveau (Klein Haarhuis & Niemeijer, 2008) en landelijke rekenkamers (Schwartz & Mayne, 2005). Er is echter nog geen diepgaand onderzoek gedaan naar de evaluaties door de lokale rekenkamers. Doordat er een trend van verregaande overheveling van macht naar gemeenten is, en er een fusieslag tussen gemeenten plaatsvindt bevindt zich een steeds groter beleidsveld op dit lokale niveau. Het zou goed zijn om de

onderzoeken die gedaan zijn op de andere niveaus van overheid toe te passen op het lokale, en te kijken of er vergelijkbare lessen uit getrokken kunnen worden.

Het rekenkameronderzoek is gericht op het inzicht geven in het werk en beleid van de

gemeenteraad, het is dus belangrijk dat er een bepaalde kwaliteit van deze evaluaties verwacht kan worden om het beleid op waarde te kunnen beoordelen. Doordat er steeds meer taken vanuit de Rijksoverheid bij de gemeentes wordt neergelegd leidt dit ook tot meer verantwoordelijkheid voor de rekenkamers. Om deze steeds complexere zaken goed te kunnen beoordelen, en om invloed op de raad te kunnen houden is het van belang om kwalitatief hoogstaande evaluaties af te leveren. De kwaliteit van het rekenkameronderzoek is van belang omdat het invloed heeft op de manier waarop de raad met het onderzoek omgaat. Bij een overtuiging van matige kwaliteit zal de raad niet snel zijn met het overnemen van het rekenkameradvies. In 2013 was 11% neutraal of negatief over de geboden kwaliteit (De Jong, Lunsing, Fogl, & Haven, 2013, p. 32). Met de recente druk vanuit de politiek om de positie van gemeentelijke rekenkamers te versterken is het ook van belang om een overzicht te hebben van wat de situatie op dit moment eigenlijk is. Wat voor kwaliteit wordt er op dit moment geleverd? Op deze manier kan er beoordeeld worden of de maatregelen tot een verbetering hebben geleid.

Door het toepassen van de criteria uit bestaande onderzoeken zal het ook mogelijk zijn om de evaluaties op de verschillende niveaus te vergelijken. Een bijkomend voordeel is dat doormiddel van een duidelijke set criteria raadsleden zelf ook een beoordeling kunnen maken van de kwaliteit die door de rekenkamers wordt geleverd. Als de raadsleden een beter inzicht krijgen in welke kwaliteit

9 er geleverd, en verwacht kan worden van lokale rekenkamers zal dit de samenwerking en

verwachtingen alleen maar verduidelijken.

1.4 Leeswijzer

Het volgende hoofdstuk beslaat het theoretisch kader van het onderzoek. Hierin wordt beschreven wat methodologische kwaliteit inhoudt in het huidige onderzoek. Verder worden de factoren die invloed kunnen hebben op deze kwaliteit besproken. In het daaropvolgende hoofdstuk wordt het methodologisch kader behandeld, met een nadruk op de onderzoeksstrategie en het

operationaliseren van de variabelen die onderdeel zijn van dit onderzoek. Hoofdstuk vier bestaat uit de analyse van het onderzoek. Het daaropvolgende hoofdstuk beslaat de conclusie, hierin wordt een antwoord geformuleerd op de onderzoeksvraag en de hypothesen die eerder gesteld zijn. De scriptie wordt afgesloten met een reflectie op het uitgevoerde onderzoek, en aanbevelingen voor een vervolgonderzoek.

10

2. Theoretisch Kader

In dit hoofdstuk zal de theoretische fundering van het onderzoek verder worden toegelicht. Het hoofdstuk is opgedeeld in vier delen. Ten eerste zal er ingegaan worden op wat de huidige evaluatieliteratuur zegt over het belang van kwaliteit. Daarna zal er gekeken worden naar de methodologische kwaliteit, en hoe de rekenkamers hier invulling aan geven. Hierna zal er een beeld geschetst worden van de manier waarop deze methodologische kwaliteit in het huidige

wetenschappelijke debat gebruikt wordt. Daarna wordt er ingegaan op de factoren die van invloed zijn op de methodologische kwaliteit, onderverdeeld in politieke en technische factoren.

Vervolgens wordt ingegaan op deze factoren die van invloed kunnen zijn op de methodologische kwaliteit, met een bijzondere nadruk op de politieke invloed op het rekenkameronderzoek. Op basis van het theoretisch kader worden hypothesen opgesteld.

2.1 Het belang van kwaliteit

Kwalitatief goede evaluaties zijn van belang om ervoor te zorgen dat het beleid wat uit deze evaluaties voortvloeit van een bepaald niveau is (Van Voorst & Mastenbroek, 2019, p. 626). Deze toegevoegde waarde van evaluaties kan pas worden gezien als de kwaliteit van de evaluatie als voldoende wordt ervaren. Beslissingen die op basis van de evaluatie worden genomen zullen eerder verkeerd zijn als de kwaliteit van de evaluatie niet afdoende is. Verder wordt de betrouwbaarheid van evaluaties geschaad als deze als niet objectief worden beschouwd, dit heeft ook invloed op het vertrouwen in latere evaluaties.

De kwaliteit van een evaluatie wordt binnen de wetenschappelijke literatuur als variabele

aangedragen voor de bruikbaarheid van de evaluaties. Naarmate de methodologische kwaliteit van een evaluatie toeneemt, zal het gebruik van de evaluaties voor beleidsbepalingen toenemen (Cousins & Leithwood, 1986, p. 352). In later onderzoek blijft methodologische kwaliteit een van de criteria die genoemd blijft worden als een significant effect hebbende op het gebruik (van Voorst & Zwaan, 2019, p. 370). Pas als een evaluatie van een bepaald niveau is wordt er serieus gebruikt gemaakt van de aanbevelingen in de evaluatie.

11

2.2 Methodologische kwaliteit volgens de rekenkamers zelf

Voordat er gekeken wordt naar de criteria die binnen de wetenschappelijke literatuur worden opgesteld is het van belang om te kijken of de rekenkamers zelf eisen stellen aan de

methodologische kwaliteit. De gemeentelijke rekenkamers hebben een bepaalde vrijheid om de inhoud van de evaluaties in te vullen. Er zijn in het verleden wel initiatieven geweest om bepaalde kwaliteitseisen te stellen aan de rekenkamerrapporten (Vereniging van Nederlandse Gemeenten, 2011).

Deze kwaliteitseisen blijken vaak vaag gedefinieerd te zijn, en op meerdere manieren te interpreteren. Een voorbeeld hiervan zijn de kwaliteitseisen die in de handreiking lokale rekenkamers en rekenkamerfuncties van de Vereniging Nederlandse Gemeenten staan. De

kwaliteitseisen die genoemd worden zijn, zorgvuldigheid, objectiviteit, onderbouwing, consistentie, bruikbaarheid, onafhankelijkheid, doelmatigheid en controleerbaarheid (Vereniging van

Nederlandse Gemeenten, 2011, pp. 60-61). Onderbouwing wordt in de handreiking op de volgende manier beschreven:

‘’methoden en technieken van gegevensverzameling voldoen aan de eisen van validiteit en

betrouwbaarheid, het onderzoek ontwerp is zo dat conclusies van het onderzoek logisch voortvloeien uit de bevindingen. Bevindingen zijn zoveel mogelijk gebaseerd op schriftelijke bronnen of andere vastleggingen en liefst op meer dan één bron. Feiten zijn geverifieerd aan de bron.’’ (Vereniging van

Nederlandse Gemeenten, 2011, p. 61)

Dit lijken meer algemene eisen voor gedegen onderzoek te zijn, zonder dat ze specifiek zijn toegepast op het onderzoek dat meestal binnen de gemeentelijke rekenkamers plaatsvindt. Deze vorm van eisen zijn ook terug te vinden in het kwaliteitshandvest van de gemeentelijke rekenkamers uit de grote steden. Hier wordt verder ingegaan op de verschillende vereisten waaraan voldaan moet worden om een kwalitatief goed rapport te kunnen leveren. Ook deze criteria lijken algemene eisen voor een gedegen onderzoek. Onder goed methodisch onderzoek wordt verstaan: ‘’De keuze

van de te hanteren methoden en technieken voor dataverzameling en data-analyse is geschikt voor de beantwoording van onderzoeksvragen’’. En ‘’Er vindt tijdens de uitvoering van het onderzoek een interne kwaliteitscontrole plaats’’ (Rekenkamer Metropool Amsterdam; Rekenkamer Den Haag;

Randstedelijke Rekenkamer; Rekenkamer Rotterdam; Rekenkamer Utrecht, 2020, p. 19). In het onderstaande zal er gekeken worden of deze criteria overeenkomen of aansluiten bij de criteria die binnen de wetenschappelijke literatuur worden aangehaald als er over de

12 methodologische kwaliteit van evaluaties wordt gesproken en op welke wijze daar invulling aan wordt gegeven.

2.3 Methodologische kwaliteit in wetenschappelijke literatuur

Om de methodologische kwaliteit van de rekenkamerrapporten te kunnen beoordelen is het van belang om een goede definitie te hanteren van methodologische kwaliteit. Daarvoor zal er een overzicht gegeven worden van een deel van het bestaande onderzoek naar methodologische kwaliteit, en welke criteria deze auteurs gebruiken om dit te beoordelen. Om een goed overzicht te krijgen van de huidige wetenschappelijke inzichten zal er een combinatie van Nederlandse en internationale bronnen bekeken worden.

Een internationaal voorbeeld is Methodological Quality Standards for Evaluation Research van Farrington (2003). Hij bouwt verder op de bestaande literatuur over methodologische kwaliteit, en voegt deze samen tot een eigen set van criteria op basis waarvan de methodologische kwaliteit kan worden beoordeeld: interne validiteit, beschrijvende validiteit, statistische conclusie validiteit, construct validiteit en externe validiteit. Dit is ook de volgorde van belangrijkheid die Farrington hanteert (Farrington, 2003, p. 61). Volgens Farrington is het met deze set van criteria mogelijk om de methodologische kwaliteit van evaluaties te vergelijken, en dus een waardeoordeel te vellen. Door het benadrukken van deze criteria kan het niveau van het evaluatieonderzoek verder verbeterd worden. Door het duidelijk maken van de criteria zal er een toename in kwaliteit plaatsvinden. Schwartz en Mayne (2005) proberen in Assuring the quality of evaluative information: Theory and

Practice de theorie met bestaande onderzoeken te rijmen, en hieruit te beoordelen of er een

universele vereisten kunnen worden opgezet. Ze hebben voor dit onderzoek gekeken naar instanties die evaluaties uitvoerden, en naar landelijke rekenkamers uit verschillende delen van de wereld. Zij komen tot een lijst van punten die over het algemeen door de meeste instanties worden gebruikt om de kwaliteit van de output te beoordelen. Het gaat om het goed beschrijven van het doel van het onderzoek, het hebben van betrouwbare data, het baseren van onderzoek op robuuste

methodologie, en het baseren van conclusies op basis van bewijzen, zonder inmenging van andere partijen (Schwartz & Mayne, 2005, p. 6).

In het artikel over de kwaliteit van de ex-post evaluaties van de Europese Commissie gebruiken van Voorst en Mastenbroek (2019) de criteria die door Schwartz en Mayne (2005) worden gebruikt. De criteria zijn door hen verder geoperationaliseerd:

13 • Het doel van het onderzoek wordt beoordeeld doormiddel van een goed gedefinieerde

probleemdefinitie en een reconstructie van interventielogica.

• De betrouwbaarheid van de data zou moeten worden beoordeeld aan de hand van content validiteit beoordeeld door een duidelijke operationalisatie.

• De externe validiteit beoordeeld is door de selectie van staten en cases. Zijn de onderzochte zaken representatief?

• De repliceerbaarheid van het onderzoek wordt meegenomen.

• De robuustheid van de methodologie wordt gemeten door te kijken of er stakeholders meegenomen zijn in het onderzoek, en of er triangulatie is toegepast in het onderzoek. Voor de robuustheid van het onderzoek is het van belang om te controleren of de conclusies van de evaluaties een link hebben met de resultaten (Van Voorst & Mastenbroek, 2019, pp. 634-635). Dit betreft dus een uitbreiding op het model van Schwartz en Mayne (2005) om het te kunnen toepassen op de evaluaties van de Europese Commissies.

Voor wat betreft de Nederlandse situatie met betrekking tot evaluatieonderzoek moet er vooral worden gekeken naar onderzoek dat niet specifiek over rekenkamers gaat. Een van de Nederlandse gezaghebbende werken is Methodologie: Grondslagen van onderzoek en denken in de

gedragswetenschappen van De Groot (1961). Zijn werk kan gezien worden als een handboek voor

het doen van verantwoord wetenschappelijk onderzoek binnen de sociale wetenschappen. De Groot beschrijft bijvoorbeeld ook al de mate van belang van het duidelijke definiëren wat er nou precies onderzocht moet gaan worden (De Groot, 1961, p. 336). De Groot presenteert echter nog niet een bruikbare set van criteria die gebruikt om de rekenkamerrapporten te beoordelen. Het werk van De Groot gebruikt om een set van criteria op te bouwen om evaluaties te beoordelen, dit heeft Klein Haarhuis (2008) bijvoorbeeld gedaan in haar onderzoek naar de kwaliteit van wetsevaluaties. Voor haar onderzoek naar Nederlandse wetevaluaties heeft Klein Haarhuis (2008) criteria opgesteld om de methodologische kwaliteit te beoordelen. Het betreft de aanwezigheid van een centrale doel of vraagstelling, een beoordeling van de methodologische validiteit aan de hand van design,

steekproeftrekking en meetinstrumenten. De descriptieve validiteit wordt beoordeeld doormiddel van de helderheid van concepten, de verslaglegging en de verantwoording van keuzes (Klein Haarhuis & Niemeijer, 2008, p. 65). De betrouwbaarheid wordt beoordeeld doormiddel van triangulatie, steekproefomvang en controleerbaarheid (Klein Haarhuis & Niemeijer, 2008, p. 66). In een ander onderzoek naar de evaluatieonderzoeken van wetshandhaving gebruikt Klein Haarhuis (2005) een iets andere set van criteria om naar de kwaliteit van de evaluaties te kijken. Er wordt beoordeeld op het gebruik van meerdere informatiebronnen, of de maatregel überhaupt is

14 geïmplementeerd, en naar hoe een beleidsmaatregel wordt verwacht te werken (Klein Haarhuis, Ooyen-Houben, Kleemans, & Leeuw, 2005, p. 19).

Zoals te zien is in deze samenvatting van artikelen over evaluatiekwaliteit zijn er verschillende criteria die door de onderzoekers gebruikt worden om de methodologische kwaliteit van evaluatief onderzoek te beoordelen. De internationale en Nederlandse onderzoeken geven allemaal een andere draai aan hoe ze de problemen omtrent validiteit en kwaliteit beoordelen. De onderzoeken van Farrington (2003), de Groot (1961) en Klein Haarhuis (2008) werken toe naar een steeds concretere lijst van indicatoren die gebruikt kunnen worden voor het beoordelen van evaluatief onderzoek. Het werk van Voorst en Mastenbroek (2019) als voortzetting op het werk van Schwartz en Mayne (2005) geeft de meest uitgebreide en concrete set van criteria die worden gebruikt om de kwaliteit te beoordelen. Daardoor zal deze set criteria leidend zijn voor dit onderzoek.

Een combinatie van deze criteria zal worden gebruikt om de rekenkamerrapporten te beoordelen. Het gaat om de repliceerbaarheid van het onderzoek, het toepassen van triangulatie, het hebben van een duidelijke probleemdefinitie, en het duidelijk operationaliseren. Een gedetailleerde beschrijving en operationalisering van de gebruikte criteria zal worden gegeven in het methode hoofdstuk waar de operationalisatie van de variabelen wordt beschreven.

De kwaliteit wordt beoordeeld aan de hand van vier indicatoren, die allemaal op aanwezigheid worden gescoord. Er is gekozen om alle indicatoren op dezelfde manier te wegen. Dit omdat het in het voorgaande onderzoek van Mastenbroek & van voorst ook op deze manier is uitgevoerd (Van Voorst & Mastenbroek, 2017).

De keuze voor het gebruiken van bestaande criteria is gebaseerd op het mogelijk maken van vergelijkingen met andere onderzoeksresultaten. Door het gebruik van dezelfde definities is het mogelijk om evaluatierapporten van verschillende instanties met elkaar op de methodologische kwaliteit te vergelijken. Door het voortbouwen op de criteria van van Voorst en Mastenbroek (2017) is het mogelijk om een set van algemeen geaccepteerde criteria van methodologische kwaliteit te formuleren. Dit maakt het makkelijker om verbeterpunten aan te wijzen waar de rekenkamers zelf op kunnen letten. Hierdoor wordt het mogelijk om de eigen kwaliteit te kunnen beoordelen, en waar nodig te verbeteren. Op deze manier wordt het voor de rekenkamers ook duidelijker wat er precies verwacht moet worden van de onderzoeksrapporten die ze produceren.

15 Tabel 1

Overzicht van indicatoren Methodologische kwaliteit

Kwaliteitseisen Definitie Indicator Score

Duidelijke operationalisatie

Een duidelijke lijst van

indicatoren voor het beoordelen in de evaluatie

Een lijst van concrete indicatoren voor de resultaten 0 (Niet aanwezig) 1 (Aanwezig) Duidelijke probleemdefinitie

Is er een duidelijk doel van de evaluatie?

Een duidelijk geformuleerd doel van het onderzoek/is er een duidelijke

vraagstelling?

0 (Niet aanwezig) 1 (Aanwezig) Triangulatie Zijn er meerdere bronnen

gebruikt?

Meerdere bronnen aangehaald 0 (Niet aanwezig) 1 (Aanwezig) Repliceerbaarheid Is de evaluatie te herhalen Alle bronnen zijn genoemd zodat

onderzoek herhaald kan worden

0 (Niet aanwezig) 1 (Aanwezig)

2.4 Factoren die van invloed zijn op kwaliteit

Er zijn verschillende variabelen die invloed kunnen hebben op de methodologische kwaliteit van de onderzoeksrapporten. In onderzoek van van Voorst en Mastenbroek (2019) is er onderscheid gemaakt tussen politieke en technische verklaringen voor het verschil in kwaliteit (Van Voorst & Mastenbroek, 2019, p. 630). Om het vergelijken tussen onderzoeken te vergemakkelijken zal er binnen dit onderzoek ook gebruik gemaakt worden van dit onderscheid. Eerst zullen de technische verklaringen besproken worden, namelijk de invloed van meer financiële middelen, en de invloed van meer expertise tijdens het doen van evaluaties. Daarna zal er gekeken worden naar wat de literatuur zegt over politieke invloeden op de evaluatiekwaliteit, waarna er in detail wordt ingegaan op het effect van de rekenkamerstructuur en de mogelijkheden die deze structuur biedt voor politieke beïnvloeding.

2.4.1 Technische Factoren

Budget

Uit meerdere onderzoeken blijkt dat geld invloed heeft op de methodologische kwaliteit. Zo bleek uit onderzoek van Cooksy en Mark (2012) dat meer financiële middelen tot leidt hogere kwaliteit

16 (Cooksy & Mark, 2012, p. 81) . Ook in Nederland bleek afdoende budget een belangrijke variabele die invloed heeft op het doen van gedegen onderzoek (De Jong, Lunsing, Fogl, & Haven, 2013). De verwachting is dat een hoger budget in de eerste plaats een rekenkamer in staat stelt om duurdere onderzoeksmethoden toe te passen, wat uiteindelijk tot beter onderzoek zou moeten leiden. Bijvoorbeeld het gebruik van triangulatie, of het opzetten van duurdere

onderzoeksmethoden (Forss & Carlsson, 1997, p. 498). Een ander voorbeeld hiervan is dat met meer geld er beter geschoold personeel ingehuurd kan worden, wat tot betere dataverzameling binnen het onderzoek kan leiden (Van Voorst & Mastenbroek, 2017, p. 632). Uit onderzoek blijkt dat het budget van een rekenkamer met 1,66 euro toeneemt naarmate het inwoneraantal met 1 toeneemt (De Jong, Lunsing, Fogl, & Haven, 2013, p. 33). Dit leidt tot de volgende hypothese:

H1: Een hoger budget per rekenkamerrapport leidt tot een hogere methodologische kwaliteit van het rapport.

Naast het budget van de rekenkamers is de capaciteit ook een factor met invloed. Naarmate er meer capaciteit en ondersteuning is wordt de verwachting uitgesproken dat dit een positief effect heeft op de kwaliteit van de evaluatie (Cooksy & Mark, 2012, p. 81).

Het beoordelen van de capaciteit van de afzonderlijke rekenkamers is lastig omdat dit meestal niet gespecifieerd is. Ook is er een onderscheid tussen de medewerkers van de rekenkamer zelf, en de ambtelijke ondersteuning die de rekenkamer krijgt uit andere delen van het gemeentebestuur. Naarmate er meer ambtelijke ondersteuning is, neemt het rekenkamerbudget af, zonder dat er een verklaring is gevonden voor dit verband (De Jong, Lunsing, Fogl, & Haven, 2013, p. 34). Dit laat zien dat het beeld wat de rekenkamers geven over de ambtelijke ondersteuning waarschijnlijk niet volledig is. Een mogelijke verklaring is dat de ambtelijke ondersteuning bij andere onderdelen van de gemeente op de loonlijst staan. Er is geen overzichtelijk beeld van de ambtelijke ondersteuning te maken door de wijze waarop de administratie van gemeenten is geregeld (De Jong, Lunsing, Fogl, & Haven, 2013, p. 34) .Doordat bij sommige gemeenten de ambtelijke ondersteuning via de raad was geregeld, en soms via de rekenkamer zelf, is het niet mogelijk dit te vergelijken.

Capaciteit van de rekenkamers kan dus een invloed hebben op de methodologische kwaliteit van de rapporten. Maar door de geschetste problemen is het slecht meetbaar, en daardoor is ervoor gekozen om alleen budget mee te nemen in dit onderzoek.

Uitbesteding

Een andere variabele die in de literatuur als belangrijke invloed op de kwaliteit van evaluaties wordt gezien is of een evaluatie extern of intern is uitgevoerd. Doordat externe evaluatoren over het

17 algemeen gezien meer expertise hebben in het doen van evaluaties is de output van een hoger niveau (Van Voorst & Mastenbroek, 2019, p. 632)..

Uitbesteding van rekenkameronderzoek is iets wat veel voorkomt. Uit onderzoek uit 2015 blijkt dat slechts in 19% van de gevallen het onderzoek alleen in eigen beheer wordt uitgevoerd (van der Mark & de Wal, 2015). 30 tot 36% van de rekenkamers die in het onderzoek zijn onderzocht besteden het onderzoek altijd uit (p.32). Uit bestaand onderzoek blijkt dat de gemeenteraad over het algemeen gezien positief is over de kwaliteit van het onderzoek dat door externe bureaus wordt uitgevoerd (De Jong, Lunsing, Fogl, & Haven, 2013). Omdat een deel van de rekenkamerrapporten is uitbesteed is de verwachting dat rekenkamers die hier gebruik van maken een hogere methodologische kwaliteit hebben in de rapporten die ze afleveren

Op basis van deze verwachting is de volgende hypothese opgesteld:

H2: Een uitbestede evaluatie heeft een hogere methodologische kwaliteit dan een interne evaluatie.

Uitbesteden is niet de enige optie die de rekenkamers hebben om door een andere partij onderzoek te laten doen. Sommige rekenkamers maken gebruik van een samenwerking. Samenwerking kan plaatsvinden, op vaste basis, door een gezamenlijke rekenkamer op te richten, of samenwerking met andere rekenkamers voor een bepaald onderzoek. Uit onderzoek blijkt dat samenwerking soms een invloed kan hebben over de tevredenheid over de kwaliteit (van der Mark & de Wal, 2015, p. 36). Dit zal worden meegenomen als een controlevariabele om een eventueel vertekend beeld te kunnen corrigeren.

Ook het aantal rapporten dat een rekenkamer per jaar produceert kan van invloed zijn op de methodologische kwaliteit. Deze variabele is van belang om het budget per rapport te beoordelen. Ook laat bestaand onderzoek zien dat er grote verschillen zijn in het aantal rapporten dat de

verschillende typen rekenkamers produceren (De Jong, Lunsing, Fogl, & Haven, 2013, p. 30). Daarom wordt het aantal rapporten dat de rekenkamer uitbrengent, meegenomen als controlevariabele binnen het onderzoek.

Verder wordt ook het aantal inwoners van een gemeente meegenomen als controlevariabele. Dit kan helpen om een onderscheid te maken tussen de verschillende gemeente, en of de toenemende fusies een effect kunnen hebben. Hebben grotere gemeenten inderdaad baat bij het fuseren als het op de rekenkamers aankomt? De controlevariabelen zullen in het methodologie hoofdstuk verder toegelicht worden.

18

2.4.2 Politieke factoren

Naast de technische verklaringen, die voornamelijk met middelen te maken hebben zijn er ook nog politieke overwegingen die een invloed kunnen hebben op de methodologische kwaliteit van de rekenkamerrapporten. Deze zullen in deze komende paragraaf worden besproken.

De relatie tussen de politiek en evaluaties binnen het publieke domein is innig. Deze verhouding zorgt voor legitimiteit voor de politieke en evaluerende partij. De evaluator krijgt deze rol, en de legitimiteit van de verwachting dat politieke actoren verantwoording afleggen binnen overheden. Omdat er van overheden verwacht wordt dat ze de gemaakte keuzes verantwoorden tegenover de burgers, krijgen de bevindingen van evaluatoren legitimiteit (Chelimsky, 2008, p. 401). En het doen van evaluaties zorgt weer voor een gelegitimeerde overheid. Deze wisselwerking kan dus zorgen voor een toenemende legitimiteit van het hele politieke beleidsmakingsproces.

Er zijn echter situaties waarin deze legitimiteit wordt ondermijnt. Politieke druk kan de kwaliteit van evaluaties negatief beïnvloeden. Er ontstaat door politieke druk een situatie waarin de evaluatie wordt gemanipuleerd om het standpunt van de politieke actor te ondersteunen. Manipulatie van de evaluatie komt de methodologische kwaliteit niet ten goede. Doormiddel van het weglaten van data die niet als wenselijk wordt gezien neemt de integriteit van het onderzoek af (Van Voorst &

Mastenbroek, 2019, p. 630). In een groot deel van het veld wordt van de evaluator verwacht dat deze een betrouwbaar onderzoek zonder beïnvloeding en politieke vooringenomenheid uitvoert (Datta, 2011, p. 282).

Naast politieke invloed op de manier van onderzoek is ook de keuze over welke onderwerpen er geëvalueerd gaan worden is een beslissing met politieke gevolgen. De keuze om een bepaald project binnen de gemeente te gaan onderzoeken, terwijl er een andere ongemoeid wordt gelaten is een beslissing die mede door politieke overtuigingen genomen kan worden (Weiss, 1993, p. 101). De structuur van een rekenkamer is een van de factoren die invloed heeft op de mate van politieke beïnvloeding. Er is dus keuze tussen verschillende modellen rekenkamercommissies en een

rekenkamer. Afhankelijk van de structuur van rekenkamercommissies bestaat een

rekenkamercommissie niet, gedeeltelijk, of soms zelfs compleet uit gemeenteraadsleden. Verder is er nog een rekenkamer die aan hogere wetmatige eisen moet voldoen, en waarvan de juridische basis verder van de gemeenteraad staat. De keuze tussen een rekenkamer en een

rekenkamercommissie, en de keuze voor de opbouw van de commissie hebben dus invloed op de afstand tussen rekenkamer en politiek (De Jong, Lunsing, Fogl, & Haven, 2013, p. 24). Afhankelijk van

19 de structuur van de rekenkamer is de kans meer of minder groot dat politieke overwegingen een rol spelen bij het doen van onderzoek en de kwaliteit van onderzoek.

Het ligt in de lijn der verwachtingen dat een rekenkamercommissie met meerdere raadsleden zich eerder voor deze politieke overwegingen laat verleiden. Doordat de evaluatie onderdeel wordt van de politieke arena is er een risico op het gebruik van de evaluatie als politieke ammunitie (Weiss, 1993). Hoe meer een evaluatie als politieke speelbal wordt gebruikt, hoe meer de focus van het onderzoek kan verschuiven. Hierdoor ontstaat de mogelijkheid dat de evaluatie op een bepaalde manier wordt opgezet waardoor er een vooraf bepaalde uitkomst naar voren komt (Van Voorst & Mastenbroek, 2019, p. 626). Er kunnen keuzes gemaakt zijn, niet op basis van wetenschappelijke kwaliteitseisen, maar op basis van politieke belangen om tot een bepaalde conclusie te komen. Dit beïnvloedt de methodologische kwaliteit van het onderzoek. Door politieke inmenging verschuift de focus van gedegen wetenschappelijke onderzoek naar politieke belangen. Dit leidt tot de volgende verwachting:

H3: Een rekenkamer met minder raadsleden levert rapporten af met een hogere methodologische kwaliteit.

2.5 Samenvattend theoretisch analysekader

Om de methodologische kwaliteit van de rekenkamerrapporten te beoordelen is er eerst getracht duidelijk te maken wat er binnen de wetenschappelijke literatuur onder dit begrip verstaan wordt. Er is gekozen om de indicatoren uit bestaand onderzoek te gebruiken, waardoor het vergelijken tussen verschillende evaluatie instanties mogelijk is. Ook zorgt het voor een degelijke theoretische basis voor het onderzoek.

Hierna is er gekeken naar welke potentiële verklaringen er zijn om de verschillen binnen de kwaliteit tussen de rapporten te verklaren. Er is gekozen om deze verklaringen onder te verdelen in twee verschillende categorieën: de technische en politieke factoren. Hieruit zijn drie verschillende hypothesen geformuleerd, twee gebaseerd op technische factoren, en één op een politieke factor.

H1: Een hoger budget per rekenkamerrapport leidt tot een hogere methodologische kwaliteit van het rapport. (Technisch)

H2: Een uitbestede evaluatie heeft een hogere methodologische kwaliteit dan een interne evaluatie. (Technisch)

H3: Een rekenkamer met minder raadsleden levert rapporten af met een hogere methodologische kwaliteit. (Politiek)

20 Ook zijn er drie controlevariabelen die meegenomen worden in het onderzoek, het aantal

rekenkamerrapporten dat een rekenkamer per jaar heeft geproduceerd, of er gebruik is gemaakt van samenwerking met andere rekenkamers, en het aantal inwoners per gemeente.

In het volgende hoofdstuk wordt de operationalisatie van de variabelen beschreven en zal beschreven worden op welke wijze de hypothesen worden getoetst.

21

3. Methode

In dit hoofdstuk worden de keuzes toegelicht die op het methodologische vlak zijn gemaakt. Er zal worden uitgelegd waarom er bepaalde keuzes zijn gemaakt, en op welke literatuur deze keuzes berusten. Eerst zal de onderzoeksstrategie worden uitgelegd, met een nadruk op de methode die voor dit onderzoek is gekozen. Vervolgens zal de selectie van cases voor dit onderzoek worden behandeld. Daarna zullen de theoretische variabelen concreet gemaakt worden in de

operationalisering. Hierna volgt een korte toelichting op het proces van dataverzameling. In de data-analyse zal besproken worden hoe de rekenkamerrapporten zijn gecodeerd, en welke statistische toetsen er zijn toegepast. Afsluitend zal er een samenvatting worden gegeven van de methode, waarna er wordt gereflecteerd op wat voor invloed dit heeft op de validiteit en betrouwbaarheid van het onderzoek.

3.1 Keuze voor onderzoeksmethoden

Voor het toetsen van de hypothesen is er gekozen voor een kwantitatief onderzoek doormiddel van een statistische analyse van een dataset gebaseerd op de rekenkamerrapporten. De data worden geanalyseerd met behulp van het statistische computerprogramma Statistical Package for the Social

Sciences (SPSS). Doormiddel van een multinomiale logistische regressie worden de hypothesen

getoetst. Gezien de aard van de afhankelijke variabele is gekozen voor deze manier van toetsen. Als dit in een formule neergezet wordt is Y de afhankelijke variabele, en X de onafhankelijke variabelen. In een meervoudige regressieanalyse zijn er dus meerdere X variabelen (van Thiel, 2010, pp. 148-149).

Formule 1:

𝑌 = 𝑎 + 𝛽1𝑋1+ 𝛽2𝑋2+ 𝛽3𝑋3

In deze formule is Y de afhankelijke variabele, a is de constante waarde. De 𝛽 waarden laten zien hoeveel de waarde van Y verandert als de waarde van X toeneemt. Wanneer de formule compleet wordt ingevuld aan de hand van de variabelen uit dit onderzoek ziet deze er als volgt uit:

Formule 2:

𝑚𝑒𝑡ℎ𝑜𝑑𝑜𝑙𝑜𝑔𝑖𝑠𝑐ℎ𝑒 𝑘𝑤𝑎𝑙𝑖𝑡𝑒𝑖𝑡

= 𝑎 + 𝛽1𝐵𝑢𝑑𝑔𝑒𝑡 𝑅𝑒𝑘𝑒𝑛𝑘𝑎𝑚𝑒𝑟 + 𝛽2𝑈𝑖𝑡𝑏𝑒𝑠𝑡𝑒𝑑𝑖𝑛𝑔 𝑜𝑛𝑑𝑒𝑟𝑧𝑜𝑒𝑘 + 𝛽3𝐻𝑜𝑒𝑣𝑒𝑒𝑙ℎ𝑒𝑖𝑑 𝑅𝑎𝑎𝑑𝑠𝑙𝑒𝑑𝑒𝑛 Naast deze genoemde onafhankelijke variabelen zijn er controlevariabelen toegevoegd om het effect van de onafhankelijke variabelen zo zuiver mogelijk te toetsen. Dit zijn het aantal

22 rekenkamerrapporten per jaar, of er samen is gewerkt met andere rekenkamers, en het aantal inwoners per gemeente. Wanneer deze aan de formule worden toegevoegd ziet het er als volgt uit: Formule 3:

𝑘𝑤𝑎𝑙𝑖𝑡𝑒𝑖𝑡 = 𝑎 + 𝛽1𝐵𝑢𝑑𝑔𝑒𝑡 𝑅𝑒𝑘𝑒𝑛𝑘𝑎𝑚𝑒𝑟 + 𝛽2𝑈𝑖𝑡𝑏𝑒𝑠𝑡𝑒𝑑𝑖𝑛𝑔 𝑜𝑛𝑑𝑒𝑟𝑧𝑜𝑒𝑘 + 𝛽3𝐻𝑜𝑒𝑣𝑒𝑒𝑙ℎ𝑒𝑖𝑑 𝑅𝑎𝑎𝑑𝑠𝑙𝑒𝑑𝑒𝑛

+ 𝛽4𝐴𝑎𝑛𝑡𝑎𝑙 𝑅𝑎𝑝𝑝𝑜𝑟𝑡𝑒𝑛 + 𝛽5𝑆𝑎𝑚𝑒𝑛𝑤𝑒𝑟𝑘𝑖𝑛𝑔 𝑅𝑒𝑘𝑒𝑛𝑘𝑎𝑚𝑒𝑟𝑠 + 𝛽5𝐴𝑎𝑛𝑡𝑎𝑙 𝑖𝑛𝑤𝑜𝑛𝑒𝑟𝑠 𝑝𝑒𝑟 𝑔𝑒𝑚𝑒𝑒𝑛𝑡𝑒 Door het toetsen op deze manier is het mogelijk om te kijken welke invloed de onafhankelijke variabelen hebben op de methodologische kwaliteit, en of deze invloed significant is.

Om een multinomiale logistische regressieanalyse uit te voeren is het van belang dat de variabelen op een categorische manier gecodeerd worden. In het komende gedeelte wordt per variabele beschreven hoe deze codering tot stand is gekomen.

3.2 Data-analyse en verzameling

3.2.1 Afhankelijke variabele

Voor het verzamelen van data over de afhankelijke variabele, de methodologische kwaliteit is een inhoudsanalyse van rekenkamerrapporten uitgevoerd. Inhoudsanalyse is het bestuderen van de inhoud van bestaande bronnen, meestal geschreven documenten (van Thiel, 2010, p. 123). Het voordeel van een inhoudsanalyse is dat het een objectieve en systematische manier van beschrijven van een fenomeen mogelijk maakt (Elo & Kyngas, 2008, p. 108).

Een inhoudsanalyse kan op twee manieren worden uitgevoerd, een inductieve en een deductieve manier (Elo & Kyngas, 2008, p. 109). Een inductieve manier van onderzoek heeft het doel om doormiddel van waarnemingen die tijdens het onderzoeksproces worden gedaan algemene uitspraken te formuleren. Tijdens een deductief onderzoek is het doel meer om op de basis van bestaande theorieën naar de data te kijken, en de theorieën aan de data te toetsen (Elo & Kyngas, 2008, pp. 109-110). Omdat er in het onderzoek naar de methodologische kwaliteit van de

rekenkamerrapporten gebruik wordt gemaakt van bestaand onderzoek, en er ook criteria worden toegepast die in eerder onderzoek getoetst zijn betreft het hier een deductieve inhoudsanalyse. De voordelen van deze deductieve, ook weleens de directe manier van inhoudsanalyse genoemd, is dat het expliciet een bouwende manier is. Het doel is om bestaande theorie te toetsen, en waar nodig uit te breiden. Door gebruik te maken van bestaande theorieën kan er voorkomen worden dat er fouten worden gemaakt door niet beproefde manieren van onderzoek doen te gebruiken (Hsieh

23 & Shannon, 2005, p. 1283). Het zorgt voor een sterkere basis van het onderzoek door het werk van meerdere onderzoekers in te zetten voor het verbeteren van toekomstig onderzoek. Ook biedt het de mogelijkheid om de uitkomsten van andere onderzoeken die aan de hand van de theorie hebben getoetst te vergelijken met de uitkomsten van dit onderzoek.

Tijdens het onderzoek naar de rekenkamerrapporten bleek dat bij sommige rekenkamers de

rapporten slecht te vinden waren. Niet elke rekenkamer had de rapporten openbaar toegankelijk op de website staan. Ook bleek er dat er door de gemeentelijke herindelingen, en de nieuwe

rekenkamers die er na deze fusies ontstonden niet altijd toegang hadden tot de rapporten van de voorgaande rekenkamers. Voor een groot deel van de rekenkamers waren de rapporten op de websites van de rekenkamers, of desbetreffende gemeenten te vinden. Als dit niet het geval was, is er contact opgenomen met de rekenkamers of deze documenten nog aangeleverd kunnen worden. In de meeste gevallen heeft bij de meeste actieve rekenkamers na emailcontact of telefonische navraag dit tot een compleet beeld van de rekenkameractiviteit in 2018 geleidt.

Gezien het gebrek aan info in sommige gevallen is er gekozen om de output van rekenkamers uit meerdere jaren mee te nemen tijdens de dataverzameling. Op deze manier kon er een goed overzicht gecreëerd worden om te zien welk jaar de meeste bruikbare rapporten zou opleveren. Er is gekozen om de output van 2017, 2018 en 2019 te verzamelen. Uit deze jaren was 2018 het jaar met de meeste bruikbare rekenkamerrapporten, waardoor dit jaar is gekozen voor analyse voor dit onderzoek. Voor elke rekenkamer wordt er dan een gemiddelde score van de methodologische kwaliteit voor het jaar berekend, welke gebruikt wordt om de kwaliteit van het onderzoek te beoordelen. Door de keuze voor 2018 wordt er gebruik gemaakt van recente rapporten, die waar mogelijk zijn uitgevoerd door de meest recente samenstelling van de rekenkamers. Hierdoor zijn er geen grote verschillen tussen de leden en samenstelling van de rekenkamer binnen een gemeente. Op deze manier is het mogelijk om de opbouw van de rekenkamer goed te coderen, en deze te vergelijken met rekenkamers met een andere vorm. Hierdoor worden de rapporten gecodeerd volgens de invulling die er in 2018 aan de rekenkamer is gegeven. Ook de vele fusies op 1 januari 2019 hebben meegespeeld bij deze keuze (Centraal Bureau voor de Statistiek, 2020).

Wat betreft de producten die een rekenkamer uitbrengt is er gekozen om alleen volledige rapporten mee te nemen voor het onderzoek. Rekenkamerbrieven of tussentijdse evaluaties worden niet meegenomen in het onderzoek, omdat deze niet per se een goede reflectie zijn van de kwaliteit van het rekenkameronderzoek. Dit zijn meestal documenten van slechts enkele pagina’s waarin een voorstel tot onderzoek, of kort commentaar wordt gegeven door de rekenkamer. Deze zijn niet bedoeld als compleet onderzoek, en worden daarom niet meegenomen.

24 Door de keuze voor een jaar en volledige rekenkamerrapporten kan er een vergelijkbaar beeld geschetst worden van de methodologische kwaliteit van rekenkamerrapporten binnen de lokale rekenkamers.

3.2.2 Onafhankelijke variabelen

Voor het verzamelen van data over de onafhankelijke variabelen is gebruik gemaakt van een combinatie van gegevens van verschillende bronnen. De onafhankelijke variabelen zijn het budget van de rekenkamer en de rekenkamerstructuur. De data over deze variabelen is verzameld uit de rekenkamerrapporten en externe bronnen.

Het budget van de rekenkamer is zoveel mogelijk beoordeeld aan de hand van data die door de gemeenten zelf is aangeleverd. Bijvoorbeeld door middel van begrotingen op de websites van de rekenkamers of gemeenteraden. Mocht dit niets hebben opgeleverd is er gekeken naar bestaand extern onderzoek naar rekenkamerfinanciering. In een substantieel aantal van de rekenkamers is er geen budget gevonden. Dit terwijl openheid wel een van de pijlers was waarom de rekenkamers werden ingesteld.

Voor wat betreft de rekenkamerstructuur is er tijdens het verzamelen van de rekenkamerrapporten gekeken naar de wettelijke grondslag waarop de rekenkamerfunctie is gebaseerd. In dit document is te vinden welke rekenkamerstructuur de gemeente in gedachten had voor de rekenkamer.

De samenwerking tussen rekenkamers is beoordeeld aan de hand van de rekenkamerrapporten. Bij elk rekenkamerrapport is er gekeken of deze tot stand kwam in samenwerking met andere

rekenkamers. Dit is gecodeerd, en leidt tot een gemiddelde samenwerkingsscore per rekenkamer.

3.2.3 Controlevariabelen

De drie controlevariabelen in dit onderzoek zijn: het aantal rapporten dat een rekenkamer produceert in een jaar, of er samenwerking is tussen rekenkamers, en het aantal inwoners in een gemeente.

Het aantal rapporten is beoordeeld door het verzamelen van alle rekenkamerrapporten per rekenkamer, en dan van alle rekenkameroutput alleen de volledige rapporten of QuickScans te coderen.

25 Het inwoneraantal per gemeente is verzameld doormiddel van de gegevens van CBS-statline, die de inwoneraantallen per 1-1-2018 hebben verzameld (Centraal Bureau voor de Statistiek, 2020).

3.3 Operationalisering

Operationaliseren is het vertalen van een theoretisch begrip naar iets wat meetbaar is (van Thiel, 2010, p. 52). Doormiddel van een duidelijke definitie van de variabelen is het mogelijk om te afbakenen wat er precies onderzocht gaat worden in het onderzoek. Ook wordt er tijdens het operationaliseren duidelijk gemaakt hoe de variabelen gescoord gaan worden. Aan de hand van deze scorekaart zal de kwaliteit van de rapporten op een systematische manier geanalyseerd worden.

3.3.1 Afhankelijke variabele: Methodologische Kwaliteit

Als eerste zal de afhankelijke variabele geoperationaliseerd worden, de methodologische kwaliteit van de rekenkamerrapporten. De criteria waarop de methodologische kwaliteit gebaseerd is, zijn opgebouwd vanuit de theorie van Schwartz & Mayne (2005), met de invulling die van Voorst en Mastenbroek (2017) eraan gegeven hebben. De operationalisatie van methodologische kwaliteit bestaat uit: een duidelijke operationalisatie, een duidelijke probleemdefinitie, het toepassen van triangulatie, en de repliceerbaarheid van het uitgevoerde onderzoek.

Ten eerste, bestaat een duidelijke operationalisatie uit het hebben van een set indicatoren die worden gepresenteerd voordat er aan de uitkomsten van de evaluatie wordt begonnen. Er is een toetsingsschema waaraan de conclusie van het onderzoek beoordeeld kan worden. Wanneer deze set in het rapport aanwezig is zal het met een 1 gescoord worden, als deze afwezig is met een 0. Een tweede punt van beoordeling is een duidelijke probleemdefinitie, dit gaat over het duidelijk laten zien van het doel van het rekenkamerrapport. Wat gaat er precies onderzocht worden? Dit moet duidelijk worden voordat de resultaten van het onderzoek gepresenteerd worden. Het gaat om het duidelijk aangeven wat de doelen van het onderzoek zijn, wat willen de onderzoekers te weten komen door het onderzoek uit te voeren? Als de duidelijke probleemdefinitie aanwezig is zal deze met een 1 gescoord worden, als deze afwezig is met een 0.

De derde indicator gaat over het toepassen van triangulatie, dit houdt in dat er van meerdere manieren van dataverzamelingen gebruik wordt gemaakt binnen het onderzoek. Het kan hier bijvoorbeeld gaan om interviews en gebruik van andere bronnen. Het hebben van twee

26 verschillende bronnen komt de betrouwbaarheid van het onderzoek ten goede, en is dus een teken van methodologische kwaliteit. Als er triangulatie is toegepast scoort het rekenkamerrapport 1, als het afwezig is een 0.

Tot slot, zal de repliceerbaarheid van het onderzoek worden beoordeeld aan de hand van de manier waarop de dataverzameling is vastgelegd. Worden de manieren goed vastgelegd zodat het

onderzoek op een later moment herhaald kan worden? Het gaat voornamelijk om het noteren van de respondenten tijdens het onderzoek, en het vastleggen van de gebruikte bronnen in een onderzoek. Is dit het geval dan scoort het rapport een 1, zijn deze afwezig dan scoort het rapport een 0.

Elke indicator van methodologische kwaliteit wordt dus gescoord doormiddel van een 1 voor een aanwezige indicator, en een 0 als deze afwezig is. Vervolgens wordt de totale methodologische kwaliteit berekend door de scores op de vier indicatoren op te tellen. Wanneer een rekenkamer meer dan één rapport had, is een gemiddelde van alle rapporten berekend voor de methodologische kwaliteit. Hoe hoger de score hoe hoger de kwaliteit van één of meerdere rekenkamerrapporten was.

Gezien de aard van de variabele, moest deze aangepast worden om te kunnen toetsen in SPSS. Er is onderscheid gemaakt tussen rekenkamers die rapporten van een matige, goede, of perfecte kwaliteit afleverden. De methodologische kwaliteit werd gekwalificeerd als matig wanneer een rapport (gemiddeld) aan twee of minder indicatoren van kwaliteit voldeed. Wanneer er werd voldaan aan meer dan twee, maar minder dan vier indicatoren, werd de kwaliteit als ’goed’ gezien. De methodologische kwaliteit was ‘perfect’ wanneer aan alle methodologische kwaliteitseisen werd voldaan, en dus op vier van de indicatoren scoorde.

3.3.2 Onafhankelijke Variabelen: Budget

Een van de variabelen die invloed kan hebben op de methodologische kwaliteit van de rekenkamerrapporten is het budget dat de rekenkamers hebben voor onderzoek. Voor dit onderzoek zal het budget van de rekenkamers meegenomen worden om te kijken of een hoger budget zoals verwacht een positief effect heeft op de kwaliteit van de rapporten.

Omdat we te maken hebben met gemeenten van verschillende grootte, en gemeenten ook meer of minder rapporten kunnen produceren, is ervoor gekozen een gemiddeld budget per rapport te berekenen. Door het delen van het rekenkamerbudget door het aantal kan er een grove schatting gemaakt worden van het budget per onderzoeksrapport.

27 Op die manier kan er bekeken worden of het budget van de rekenkamer een significant effect heeft op de methodologische kwaliteit van de onderzoeksrapporten. Door het meenemen van het budget per rapport in het onderzoek kunnen we kijken of dit van invloed is op de methodologische kwaliteit van de rapporten.

Budget is een continue variabele met een theoretisch oneindig bereik, waardoor deze meegenomen kan worden in de multinomiale logistische regressievergelijking in SPSS. Wel is er gekozen om het budget te delen door 1000 om de spreiding van de budgetten beter in kaart te kunnen brengen.

3.3.3 Onafhankelijke variabele: Rekenkamerstructuur

De variabele die misschien wel de grootste verschillen tussen de rekenkamers kan verklaren is de structuur van de rekenkamer. In de huidige wetgeving hebben de gemeentes veel vrijheid om een bepaalde invulling aan de rekenkamer te geven. De rekenkamerstructuur is gecodeerd aan de hand van de indeling die in ‘’Onderzoek naar budgetten en samenwerking van gemeentelijke rekenkamers

en rekenkamercommissies’’ uit 2015 is gemaakt. Er wordt onderscheidt tussen vijf verschillende

rekenkamerstructuren (van der Mark & de Wal, 2015, pp. 5-8). 1: Rekenkamercommissies met alleen externe leden

2: Rekenkamercommissies met externe en raadsleden 3: Rekenkamercommissies met alleen raadsleden 4: Het directeursmodel

5: Het collegemodel

Het collegemodel betreft een meerhoofdige rekenkamer waarin alleen onafhankelijke leden

plaatsnemen. Door de vorm van deze rekenkamer komt deze voornamelijk bij grote gemeenten voor (van der Mark & de Wal, 2015, p. 2). Bij het directeursmodel bestaat de rekenkamer uit 1 persoon, die per onderzoek hulp inschakelt (van der Mark & de Wal, 2015, p. 2).

Aan de hand van de definities die in het onderzoeksrapport van van der Mark & de Wal (2015) zijn gegeven kunnen de rekenkamers die worden gecodeerd. Het is mogelijk om de rekenkamers te beoordelen aan de hand van de verordening waarop ze gebaseerd zijn, hier staat de structuur vaak in. Tijdens het verzamelen van de rekenkamerrapporten is de structuur van de rekenkamer volgens deze vijf definities genoteerd.

28

3.3.4 Onafhankelijke variabele: uitbesteding rekenkameronderzoek

Door te noteren of rekenkamers hun onderzoek hebben uitbesteed is het mogelijk om te toetsen of er een verschil in methodologische kwaliteit is tussen uitbesteed en zelf uitgevoerd onderzoek. Om de hoeveelheid uitbesteding per rekenkamer te kunnen beoordelen is het aantal uitbestede rapporten gedeeld door het totaal aantal rapporten van de rekenkamer. Wanneer rekenkamers alle rapporten zelf uitvoerden, werd dit gecodeerd als ‘nooit uitbesteding’. Als zij een deel, maar niet alle rapporten hadden uitbesteed, werd dit gecodeerd als ‘af en toe uitbesteding’. Wanneer alle

rapporten werden uitbesteed, werd dit gecodeerd als ‘altijd uitbesteding’.

3.3.5 Controlevariabele: Hoeveelheid rapporten in een jaar

Het aantal rapporten dat een rekenkamer in één jaar produceert zal ook meegenomen worden in het onderzoek als controlevariabele. Omdat het aantal rapporten ook meegenomen wordt om te bepalen wat het budget is per rapport, kan er ook gekeken worden of een rekenkamer die meer rapporten levert een betere methodologische kwaliteit heeft. Naast het budget zijn er namelijk meer redenen waarop de hoeveelheid rapporten in een jaar invloed kan hebben.

Bijvoorbeeld door het hebben van meer ervaring in het doen van de evaluaties. Als een rekenkamer één rekenkameronderzoek per jaar uitvoert en een andere vijf zou dit invloed kunnen hebben op de kwaliteit van de onderzoeken. Meer ervaring met bepaalde onderzoeksmethoden zou tot een hogere kwaliteit kunnen leiden. Het aantal rapporten voor 2018 wordt genoteerd. Het gaat alleen om uitgebreide rekenkameroutput, rekenkamerbrieven worden bijvoorbeeld niet meegenomen in dit overzicht. Dit is om de vergelijking echt alleen te baseren op volledig onderzoek van de

rekenkamers. Het meenemen van de andere output zou tot een vertekenend beeld kunnen leiden. Om de controlevariabele mee te nemen in het onderzoek moet deze aangepast worden voor gebruik in de multinomiale logistische regressievergelijking. Er is gekozen om drie categorieën te maken, één rapport is 1, twee rapporten is 2, en drie of meer rapporten is 3.

3.3.6 Controlevariabele: samenwerking met andere rekenkamers

De samenwerkingen met andere rekenkamers is ook iets wat invloed zou kunnen hebben op de methodologische kwaliteit van het rapport. Doormiddel van het noteren of een rapport binnen een jaar tot stand is gekomen met samenwerking tussen verschillende rekenkamers kan er gekeken

29 worden of de methodologische kwaliteit mede bepaald wordt door de kennis of middelen die in een andere rekenkamer aanwezig zijn, en dus niet per se iets zeggen over de ervaring en expertise die binnen een rekenkamer aanwezig is. Als een kleinere rekenkamer aanhaakt bij een onderzoek van een grotere rekenkamer is de verwachting dat het onderzoek anders wordt uitgevoerd dan als de rekenkamer zelfstandig te werk zou gaan.

Dit zal gescoord worden door het aantal rekenkamerrapporten waarbij is samengewerkt te delen door het totale aantal rapporten. Hierdoor ontstaat er een percentage van de mate waarin een rekenkamer tot samenwerking is gekomen. Het beoordelen van de hoeveelheid samenwerking is belangrijk omdat sommige rekenkamers in een vaste samenwerking zitten, waardoor het niet altijd mogelijk is om de individuele kwaliteit te beoordelen.

Het percentage alleen is niet te gebruiken in de SPSS-analyse en moet hierdoor opnieuw gecodeerd worden. Er is gekozen voor 3 categorieën, 0 is nooit samenwerking, 1 is soms samenwerking, hier ligt het percentage tussen de 1 en 99%, en altijd samenwerking is 2, waar de samenwerking 100% is.

3.3.7 Controlevariabele: Aantal inwoners per gemeente

Tot slot het aantal inwoners per gemeente op 1-1-2018. Doordat de documentatie van de rekenkamers niet altijd op orde is, wordt het aantal inwoners meegenomen om te kijken of het invloed heeft op de kwaliteit. Bijvoorbeeld de documentatie omtrent ambtelijke ondersteuning was niet compleet, waardoor er een verschillen kunnen ontstaan tussen rekenkamers die niet uitgelegd kunnen worden. De grootte van de gemeente kan hier een indicator voor zijn, door het meenemen van het inwonersaantal aan de hand van de gegevens van CBS Statline kan er gekeken worden of dit van invloed is op de onderzoeksresultaten. In de analyse is het aantal inwoners per gemeente gedeeld door 1000 om de spreiding beter te kunnen weergeven.

Doordat het inwoneraantal een continue variabele is met theoretisch oneindige waarde kan deze zonder aanpassing worden meegenomen in de SPSS-analyse.

30 Tabel 2

Overzicht variabelen en operationalisatie

Variabele Definitie Indicator Hoe te meten?

Methodologische Kwaliteit

Optelsom van onderliggende variabelen

(0-4) Duidelijke

operationalisatie

Een duidelijke lijst van indicatoren voor het beoordelen in de evaluatie

Een lijst van concrete indicatoren voor de resultatensectie 0 (Niet aanwezig) 1 (Aanwezig) Duidelijke probleemdefinitie

Is er een duidelijk doel van de evaluatie?

Een duidelijk geformuleerd doel van het onderzoek/Is er een duidelijke

vraagstelling

0 (Niet aanwezig) 1 (Aanwezig)

Triangulatie toegepast Zijn er meerdere bronnen gebruikt? Meerdere bronnen aangehaald 0 (Niet aanwezig) 1 (Aanwezig) Repliceerbaarheid Is de evaluatie te herhalen?

Alle bronnen zijn genoemd zodat onderzoek herhaald kan worden

0 (Niet aanwezig) 1 (Aanwezig)

Budget Rekenkamer Hoeveel geld heeft de rekenkamer voor onderzoek?

Budget toegekend aan de rekenkamer in

gemeentebudget

Budget van de rekenkamers in Euro x1000

Rekenkamerstructuur Welke vorm heeft de rekenkamer binnen de gemeente?

Staat aangegeven in de wettelijke bepaling van de rekenkamer

1: Rekenkamercommissies met alleen externe leden

2: Rekenkamercommissies met externe en raadsleden 3: Rekenkamercommissies met alleen raadsleden

4: Het directeursmodel 5: Het collegemodel (van der Mark & de Wal, 2015)

Aantal

rekenkamerrapporten

Hoeveel rapporten heeft de rekenkamer binnen een jaar uitgebracht? Aantal geproduceerde rekenkamerrapporten Het aantal rekenkamerrapporten in het gegeven jaar Samenwerking tussen rekenkamers Wordt er voor rekenkameronderzoek samengewerkt met andere rekenkamers? In hoeveel van de rekenkamerrapporten is er samengewerkt Het aantal rekenkamerrapporten waarin samengewerkt is gedeeld door het totaal aantal rapporten in het jaar

31 Is het rekenkameronderzoek uitbesteed? Is het rekenkameronderzoek door een extern bureau uitgevoerd?

In hoeveel

rekenkamerrapporten is het onderzoek uitbesteed?

Het aantal

rekenkamerrapporten dat is uitbesteed gedeeld door het totaal aantal rapporten in het jaar

Aantal inwoners per gemeente

Hoeveel inwoners had de gemeente in 2018?

Aantal inwoners in de gemeente

Inwoners in Gemeente per 1-1-2018 x1000

32

3.4 Samenvatting, validiteit en betrouwbaarheid

3.4.1 Samenvatting

Voor het onderzoek worden in totaal zeven variabelen gebruikt. De afhankelijke variabele methodologische kwaliteit bestaat uit vier indicatoren: duidelijke operationalisatie, duidelijke probleemdefinitie, het toepassen van triangulatie en de mate van repliceerbaarheid.

De onafhankelijke variabelen waarvan getoetst wordt of ze een invloed hebben op de kwaliteit zijn het budget van de rekenkamer, de structuur van de rekenkamer, en of het onderzoek is uitbesteed. Hiernaast zijn nog 3 controlevariabelen meegenomen die van invloed zouden kunnen zijn op de uitkomsten van het onderzoek, het aantal rekenkamerrapporten in 2018, samenwerking met andere rekenkamers, en het inwoneraantal van een gemeente in 2018.

De relatie tussen deze variabelen zal onderzocht worden doormiddel van een multinomiaal

logistische regressieanalyse. Op deze wijze is het mogelijk het effect van de verschillende variabelen op de methodologische kwaliteit, en de verschillen tussen variabelen onderling te bekijken. In een volgend hoofdstuk wordt er per variabele besproken hoe deze in de multinomiale logistische regressieanalyse wordt gebruikt, en wat de resultaten zijn.

Eerst zal er worden stilgestaan bij de assumpties waaraan de data moet voldoen, en een meer algemene beoordeling van de betrouwbaarheid en validiteit van dit onderzoek.

3.4.2 Assumpties

Voordat de multinomiale logistische regressieanalyse uitgevoerd kan worden moet er gecontroleerd worden of de data aan bepaalde assumpties voldoet. Als de data binnen een onderzoek aan deze assumpties voldoet is er sprake van een hogere betrouwbaarheid. Voor dit onderzoek zijn er vier assumpties waaraan voldaan moet worden: een nominale afhankelijke variabele, meerdere onafhankelijke variabele, geen multicollineariteit, en geen extreme waarden.

Afhankelijke variabele is nominaal of ordinaal

De afhankelijke variabele voor dit onderzoek is opgemaakt uit vier onderliggende variabelen. Dit zorgt ervoor dat de afhankelijke variabele niet continue en niet normaal verdeeld is. Omdat de variabele niet geschikt is voor statistische analyses, waarbij de afhankelijke variabele continue en normaal verdeeld moest zijn, is er gekozen voor een multinomiale logistische regressie. De variabele

33 methodologische kwaliteit bestaat uit drie categorieën, namelijk matig, goed en perfect is een ordinale variabele, en voldoet dus aan de assumptie.

Eén of meer onafhankelijke variabelen die continu, ordinaal of nominaal zijn

Voor dit onderzoek is er gebruik gemaakt van zes onafhankelijke variabelen. Van deze variabelen zijn er twee continu, namelijk het budget van de rekenkamer in euro’s en het aantal inwoners van de gemeente.

De variabele type rekenkamer is nominaal. De categorieën zijn als volgt, 1) Rekenkamercommissie met alleen externe leden, 2) Rekenkamercommissie met externe en raadsleden, 3)

Rekenkamercommissie met alleen raadsleden, 4) het directeursmodel, en 5) het collegemodel. Samenwerking van de rekenkamer is hercodeerd van een percentage van het de hoeveelheid rapporten waarin samengewerkt is naar drie groepen: 1) Nooit, 2) af en toe, en 3) altijd. Uitbesteding van de rekenkamer is op eenzelfde manier hercodeerd. De uiteindelijke variabele samenwerking heeft ook drie groepen: 1) Nooit, 2) af en toe, en 3) altijd. Dit maakt de variabelen ordinaal.

Het aantal rapporten is hercodeerd naar drie categorieën, 1) één rapport, 2) twee rapporten, en 3) drie of meer rapporten. Ook deze variabele is ordinaal.

Er is dus voldaan aan de assumptie dat er meerdere onafhankelijke variabelen zijn die continu, ordinaal of nominaal zijn.

Geen multicollineariteit tussen onafhankelijke variabelen

Multicollineariteit ontstaat wanneer twee of meer onafhankelijke variabelen significant met elkaar correleren. Hiervoor is gecontroleerd door de twee continue variabelen in een correlatietabel tegenover elkaar te zetten. Hieruit bleek dat de Pearson’s correlation 0.588 is. Dit is niet genoeg om van een correlatie te spreken die aanwijzing zou kunnen zijn voor multicollineariteit (Laerd Statistics, n.d.). Hierdoor voldoen de variabelen aan deze assumptie.

Geen outliers, extreme waarden voor continue variabelen

Er wordt gecontroleerd op extreme waarden omdat deze een bovengemiddelde invloed kunnen hebben op de uitkomsten van de analyse. Deze kunnen de uitkomsten van het onderzoek

beïnvloeden, waardoor deze minder betrouwbaar zijn. Extreme waarden worden geïdentificeerd aan de hand van een boxplot en een Extreme values check in SPSS.