4. Resultaten
4.3 Verklarende resultaten
4.3.3 Hypothese 3: Aantal raadsleden (Politiek)
De hypothese voor het politieke deel van het onderzoek was dat minder politieke inmenging een gunstig effect zou hebben op de methodologische kwaliteit van de rekenkamerrapporten. In andere woorden, de verwachting is dat naarmate een rekenkamer minder raadsleden heeft, de
methodologische kwaliteit toeneemt.
Het type rekenkamer is in vijf groepen verdeeld, waarbij de rekenkamer met enkel raadsleden de referentiecategorie is. Hiervoor is gekozen omdat dit het model is waar de meeste kritiek op is, en onder andere als reden wordt gegeven door de minister om in te grijpen. Uit de analyse blijkt dat dit een significante invloed heeft op de methodologische kwaliteit van de rekenkamerrapporten (χ2(8)
=18.131, p =.020).
In tabel 5 is af te lezen dat gemeenten met een directeursmodel een grotere kans hebben om rapporten van een matige kwaliteit te hebben dan een van perfecte kwaliteit vergeleken met de rekenkamers met enkel raadsleden (b = 1.068). Dit is dus niet conform de verwachtingen dat een afname van politieke leden tot een hogere methodologische kwaliteit zou leiden. De rekenkamers met alleen raadsleden hebben een grotere kans om rapporten van een perfecte kwaliteit af te leveren vergeleken met het directeursmodel. Het bekritiseerde model scoort hier dus beter.
De rekenkamers met een mix van externe en raadsleden (b = -0,471), het collegemodel (b = -29,196), en met alleen externe leden (b = -0,659) hebben een negatief effect op de logodds om rapporten van een matige kwaliteit te hebben vergeleken met een perfecte kwaliteit. Zoals verwacht heeft het collegemodel de hoogste score. Vergeleken met de rekenkamers met enkel raadsleden hebben rekenkamers met het collegemodel een grotere kans om rapporten van een perfecte kwaliteit af leveren, dan van een matige kwaliteit. Oftewel, rekenkamers met het collegemodel hebben een hogere kans om ‘’perfect’’ te scoren vergeleken met rekenkamers met alleen raadsleden.
Wanneer er gekeken wordt naar de vergelijking tussen goede en perfecte methodologische kwaliteit is een meer wisselend beeld te zien. Vergeleken met een rekenkamer met enkel raadsleden, hebben rekenkamers met externe en raadsleden (b = 0,026), en met alleen externe leden (b = 0,894) een grotere kans om rapporten van een goede methodologische kwaliteit te hebben dan rapporten met een perfecte kwaliteit. Dus het toevoegen van externe leden aan een rekenkamer leidt niet per se tot een grotere kans om een rapport met een ‘’perfecte’’ methodologische kwaliteit af te leveren.
43 Verder kunnen het directeursmodel en collegemodel worden vergeleken met het type rekenkamer met alleen raadsleden. Hierbij is te zien dat de kans dat rekenkamers met een directeursmodel (b = - 20,871) en het collegemodel (b = -21,549) rapporten van een goede kwaliteit afleveren kleiner is dan de rapporten van perfecte kwaliteit zijn, vergeleken met rekenkamers met enkel raadsleden. Het directeursmodel en collegemodel hebben dus een grotere kans om een rapport van perfecte kwaliteit af te leveren, dan rekenkamers met enkel raadsleden. Dit is conform de verwachtingen die in de theorie werden geformuleerd, rekenkamers met meer externe leden hebben een grotere kans om ‘’perfect’’ te scoren, vergeleken met alleen raadsleden.
Als de data dus in detail wordt bekeken doet zich er een verwarrend beeld voor. Er is een type rekenkamer dat er duidelijk bovenuit steekt; het collegemodel. Dit type rekenkamer heeft in
vergelijking met het type rekenkamer met alleen raadsleden de grootste kans om rapporten van een perfecte kwaliteit af te leveren. Voor de andere type rekenkamers is dit beeld minder eenduidig; deze scoren op een of beide van de vergelijkingen ‘’slechter’’ dan het model met alleen raadsleden. Ze hebben dus soms een hogere logodds om in een groep met mindere methodologische kwaliteit te zitten dan de rekenkamer met alleen raadsleden. Dit gaat in tegen de hypothese, waar de
verwachting werd uitgesproken dat met minder politieke invloed de methodologische kwaliteit van een hoger niveau zou zijn.
De hypothese moet dus verworpen worden, want dit kon niet worden aangetoond. Wel scoorde de variabele een significantiescore waardoor kan worden aangetoond dat het type rekenkamer wel invloed heeft, maar niet op de manier waarop aan het begin van het onderzoek werd verwacht.
4.3.4 Controlevariabelen
Aantal rekenkamerrapporten
Rekenkamers met twee (b = -0,585) of drie of meer rapporten (b = -34,447) hebben een kleinere kans om rapporten van een matige kwaliteit af te leveren dan een perfecte kwaliteit, vergeleken met de rekenkamers met één rapport. Vooral voor gemeenten met drie of meer rekenkamerrapporten is de coëfficiënt hoog, en is er dus een aanzienlijk grotere kans om de perfecte methodologische kwaliteit te hebben dan een matige kwaliteit, vergeleken met gemeenten met één rapport. Het aantal rapporten lijkt een minder groter invloed te hebben op de kans om rapporten van een goede kwaliteit te hebben dan een perfecte kwaliteit. Voor rekenkamers die drie of meer rapporten afleveren (b = 0,582) is de kans groter dat zij rapporten van een goede kwaliteit hebben dan een perfecte kwaliteit, vergeleken met de rekenkamers met één rapport. Een tegengesteld verband is te
44 zien voor rekenkamers die twee rapporten afleveren vergeleken met de rekenkamers met één rapport. Rekenkamers met twee rapporten hebben een hogere kans om een rapport met perfecte methodologie te hebben uitgebracht dan een met goede kwaliteit, vergeleken met de rekenkamers met één rapport.
Ook bij deze variabele voltrekt zich dus een beeld wat niet aan de verwachtingen voldoet die vooraf aan het onderzoek werden geformuleerd. Uit het onderzoek blijkt dat het aantal rapporten geen significante invloed heeft op de methodologische kwaliteit van de rekenkamerrapporten (p = 0,156). Er blijkt geen bewijs te zijn dat het uitbrengen van meer rekenkamerrapporten leidt tot een hogere kans om goed te scoren op de methodologische kwaliteitseisen. Dit tezamen met het ontbreken van een statistische significantie zorgt ervoor dat de aanname dat het aantal rapporten van invloed zou zijn verworpen wordt.
Samenwerking tussen rekenkamers
Uit tabel 5 blijkt dat de rekenkamers die hun rapporten altijd (b = -0,401) of af en toe uitbesteden (b = -18,724), een kleinere kans hebben om rapporten van matige kwaliteit af te leveren dan van een perfecte kwaliteit, vergeleken met rekenkamers die hun rapporten nooit uitbesteden. Het is echter onverwacht dat rekenkamers die af en toe samenwerken een lagere logodds hebben om rapporten van een matige kwaliteit af te leveren dan rekenkamers die altijd uitbesteden. De verwachting was dat meer samenwerking zou leiden tot een betere methodologische kwaliteit van de rapporten. Wanneer de kans op het hebben van een goede methodologische kwaliteit worden vergeleken met een perfecte methodologische kwaliteit, lijkt dit ook niet te voldoen aan de verwachtingen die vooraf waren opgesteld. Rekenkamers die altijd (b = 0,416) of af en toe (b = 0,011) samenwerken, hebben een grotere kans om een goede methodologische kwaliteit te hebben dan een perfecte kwaliteit, vergeleken met rekenkamers die nooit samenwerken. Het effect is dus sterker voor de rekenkamers die altijd samenwerken dan voor rekenkamers die af en toe samenwerken. Dit is niet volgens de verwachtingen.
De resultaten laten zien dat er geen duidelijk verband is tussen de samenwerking die rekenkamers met elkaar hebben, en de methodologische kwaliteit van de rekenkamerrapporten die afgeleverd worden. Ook is er geen statistische significantie (p = 0,599), en kan er niet worden aangenomen dat de variabele een significante invloed heeft op de methodologische kwaliteit van de rapporten.
Aantal inwoners gemeente
Het aantal inwoners heeft een positief effect op de logodds, voor een matige methodologische kwaliteit (b = 0,017) en een goede methodologische kwaliteit (b = 0,010) ten opzichte van een
45 perfecte methodologische kwaliteit. Als de andere variabelen gelijken blijven, heeft een gemeente met 1000 inwoners meer, een grotere kans om rapporten van een matige of goede kwaliteit af te leveren dan van perfecte kwaliteit.
Het effect van het inwoneraantal op de logodds van de methodologische kwaliteit is klein. Dit gecombineerd met het ontbreken van een statistische significantie (p = 0,129) betekent dat de invloed niet bewezen is. Er kan niet gezegd worden dat het inwoneraantal een invloed heeft op de methodologische kwaliteit van de rekenkamerrapporten.
Samenvattend
Als deze resultaten bekeken worden vanuit de centrale vraag van het onderzoek, welke factoren zijn van invloed op de methodologische kwaliteit van rekenkamerrapporten dan blijkt dat er twee onderzochte variabelen van belang zijn. Het type rekenkamer en de mate van uitbesteding van de rekenkamerrapporten hebben invloed op de kwaliteit. Naarmate de rekenkamer verder van de politiek staat heeft dit een positief effect op de kwaliteit, ook hebben uitbestede rapporten een hogere kwaliteit dan intern onderzoek. De andere variabelen bleken allemaal niet significant te zijn, en hadden geen grote invloed op de methodologische kwaliteit van de rapporten. In de conclusie wordt wat uitgebreider stilgestaan bij deze resultaten.
46
5. Conclusie
In dit hoofdstuk worden de conclusies besproken die kunnen worden getrokken uit de statistische analyse in het voorgaande hoofdstuk. Eerst worden de vragen die aan het begin van het onderzoek opgesteld zijn, beantwoord. Daarna zal er aandacht zijn voor het onderzoek zelf, en of dit voldoet aan de verwachtingen die vooraf zijn geformuleerd. Als laatste zal er stil worden gestaan bij de eventuele problemen die zich tijdens het onderzoek hebben voorgedaan, en aanbevelingen hoe deze in vervolgonderzoek verbeterd kunnen worden.
5.1 Vraagstelling
Gemeenten hebben te maken met steeds complexere financiële vraagstukken door een verschuiving van verantwoordelijkheden van het Rijk naar gemeenten. Met de toenemende decentralisering kwam uit Den Haag ook de roep om een professionalisering van de rekenkamerfunctie binnen de gemeenten. Er liggen wetsvoorstellen om dit te bewerkstelligen, en vooral om het grootste
kritiekpunt, het plaatsnemen van raadsleden in een toetsingsorgaan tegen te gaan. Uiteindelijk zijn deze hervormingen bedoeld om de kwaliteit van het toezicht op de gemeenteraad te verhogen. Om te kijken wat de huidige situatie van de rekenkamers is, stond de volgende vraag centraal: In
hoeverre voldoen de rapporten van de gemeentelijke rekenkamers aan de methodologische vereisten die aan evaluaties worden gesteld, en welke factoren zijn hierop van invloed?
Er waren drie deelvragen die het beantwoorden van deze hoofdvraag mogelijk maakten. De vragen omtrent de criteria die gesteld kunnen worden, en hoe deze kunnen worden toegepast op de Nederlandse situatie zijn beantwoord doormiddel van een onderzoek naar het bestaande
wetenschappelijk onderzoek. Hieruit kwamen een set van indicatoren die gebruikt kunnen worden om de methodologische kwaliteit van rekenkamerrapporten te beoordelen: Duidelijke
operationalisatie, duidelijke probleemdefinitie, triangulatie en repliceerbaarheid. Vervolgens is er met behulp van de derde deelvraag gekeken naar factoren die mogelijk van invloed waren op de methodologische kwaliteit van de rapporten. Deze factoren werden gebruikt om hypothesen op te stellen.
Er werden drie hypotheses opgesteld waarin factoren werden belicht waarvan verwacht werd dat deze een invloed zouden hebben op de methodologische kwaliteit van de rekenkamerrapporten. Hypothese 1 ging over budget als variabele, 2 over uitbesteding, en 3 over het aantal raadsleden binnen een rekenkamer. Naast deze variabelen werden er ook 3 controlevariabelen meegenomen in
47 het onderzoek: het aantal rekenkamerrapporten, samenwerking tussen rekenkamers en het aantal inwoners per gemeente.
Om methodologische kwaliteit vast te stellen is de output van de rekenkamers in 2018 verzameld. De rapporten zijn aan de hand van vier indicatoren beoordeeld op de methodologische kwaliteit: duidelijke operationalisatie, duidelijke probleemdefinitie, triangulatie en repliceerbaarheid. Elk rapport werd op deze vier indicatoren gescoord, waarna er een score werd berekend voor elke afzonderlijke rekenkamer.
Uit het onderzoek blijkt dat de kwaliteit van de rekenkamerrapporten over het algemeen gezien goed is. 61,0% van de gemeenten scoort ‘’perfect’’ op de indicatoren voor methodologische kwaliteit, terwijl 29,5% van de gemeenten ‘’goed’’ scoort op de indicatoren. Slechts 8,6% scoort matig op de indicatoren van methodologische kwaliteit. Het beeld dat is ontstaan over het gebrek aan kwaliteit van rekenkamerrapporten komt niet naar voren in dit onderzoek.
Vergeleken met onderzoek op andere bestuurslagen is dat ook een goede score. In het onderzoek van van Voorst en Mastenbroek (2019) bleek dat 75% aan meer dan de helft van de indicatoren voldeed, maar slechts twee van de 153 voldeden aan alle criteria (Van Voorst & Mastenbroek, 2019, pp. 637-638). In haar onderzoek naar wetsevaluaties komt Klein Haarhuis (2008) tot 21% van de onderzochte evaluaties die niet aan de gestelde methodologische eisen voldoen (Klein Haarhuis & Niemeijer, 2008, p. 67). Dit laat zien dat de rekenkamerrapporten die in dit onderzoek zijn
meegenomen over het algemeen gezien een goede score weten neer te zetten in vergelijking met bestaand onderzoek.
De variabelen waarvan is onderzocht of ze invloed hebben op de methodologische kwaliteit zullen in de komende paragrafen één voor één worden behandeld, en er wordt er een conclusie getrokken over de hoofd en deelvragen.
5.1.1 Technische variabelen
In het onderzoek is onderscheid gemaakt tussen technische en politieke factoren die invloed zouden kunnen hebben op de methodologische kwaliteit van rekenkamerrapporten. De technische factoren zijn het budget en uitbesteding van het rekenkameronderzoek. In de theorie werd verwacht dat deze een positieve invloed hebben op de methodologische kwaliteit van de rapporten.
48 Uit dit onderzoek blijkt dat deze verwachte relatie niet bewezen kan worden. Uit het statistisch onderzoek blijkt dat een toename in budget geen meetbare invloed heeft op de methodologische kwaliteit.
De andere technische factor was de uitbesteding van rekenkameronderzoek. De verwachting was dat door uitbesteden van onderzoek aan gespecialiseerde bureaus de methodologische kwaliteit beter zou zijn dan bij intern onderzoek. Uit de data blijkt dat uitbesteding inderdaad een invloed heeft op de methodologische kwaliteit van de rapporten. Naarmate een rekenkamer meer onderzoek uitbesteed neemt de kans af dat deze rekenkamer laag scoort op de methodologische kwaliteitseisen.
5.1.2 Politieke variabelen
Naast de technische factoren werd ook een politieke variabelen meegenomen in het onderzoek, namelijk de samenstelling van de rekenkamers. De hervormingen van de rekenkamers zoals voorgesteld door de minister, zijn voornamelijk gericht op een verandering in de samenstelling van de rekenkamers. Rekenkamers met meer raadsleden, en dus politieke leden zouden minder in staat zijn om gedegen onafhankelijk onderzoek te doen, en dit zou de methodologische kwaliteit niet ten goede komen. In dit onderzoek kan deze verwachting niet eenduidig bevestigd worden.
Er is wel bewezen dat de samenstelling van de rekenkamer invloed heeft op de methodologische kwaliteit, maar de manier waarop is niet volledig volgens verwachting. De samenstelling van de rekenkamers werd beoordeeld aan een bestaand schema, er waren vijf mogelijke structuren: rekenkamers met alleen externe leden, een mix van extern en raadsleden, alleen raadsleden, het directeursmodel en het collegemodel.
De verwachting was dat rekenkamers met minder raadsleden een hogere methodologische kwaliteit van de rapporten zouden hebben. Alleen het collegemodel wijkt niet af van de verwachting;
rekenkamers met een collegemodel hebben een grotere kans om rapporten van een goede methodologische kwaliteit af te leveren, vergeleken met rekenkamers die enkel bestaan uit
raadsleden. Voor de andere type rekenkamers is het beeld niet zo duidelijk. Deze hebben niet altijd een hogere kans om een rapport van goede kwaliteit af te leveren vergeleken met het bekritiseerde model. Er kan dus niet gezegd worden dat een rekenkamer met alleen maar raadsleden bij voorbaat slechtere rapporten aflevert dan rekenkamers met andere modellen.
Hoewel het effect niet zo is als verwacht, is uit dit onderzoek wel gebleken dat het type rekenkamer van invloed is op de methodologische kwaliteit van de rekenkamerrapporten. Echter is het niet de
49 relatie die vooraf verwacht werd. Dit heeft mogelijk te maken met de manier waarop het onderzoek is opgezet, dit zal in de discussie verder besproken worden.
5.1.3 Controlevariabelen
Het aantal rekenkamerrapporten, de mate van samenwerking tussen rekenkamers, en het
inwoneraantal van een gemeente werden meegenomen als controlevariabelen. Uit het onderzoek blijkt dat alle controlevariabelen geen bewijsbare invloed hebben gehad op de methodologische kwaliteit. Ook wanneer er in meer detail naar de cijfers wordt gekeken, blijkt dat de veranderingen in kans om hoog of laag te scoren in de meeste gevallen nihil waren. De controlevariabelen zoals deze voorgaand aan het onderzoek zijn geformuleerd hebben dus geen invloed gehad op de methodologische kwaliteit van de rekenkamerrapporten.
Hoofdvraag
Dit zorgt voor het volgende antwoord op de hoofdvraag die aan het begin van het onderzoek zijn opgesteld. In hoeverre voldoen de rapporten van de gemeentelijke rekenkamers aan de
methodologische vereisten die aan evaluaties worden gesteld, en welke factoren zijn hierop van invloed? De meeste gemeenten hadden rapporten van een goede methodologische kwaliteit. Dus
de rekenkamers voldoen over het algemeen aan een groot deel van de gestelde eisen. Voor wat betreft de factoren die hierop van invloed zijn geweest blijken alleen de mate van uitbesteding en het type rekenkamer een significante invloed te hebben gehad op de methodologische kwaliteit. Het aantal raadsleden bleek geen invloed te hebben.
5.2 Discussie
In de discussie wordt ingegaan op de redenen die er kunnen zijn voor het niet voldoen van de resultaten aan de theoretische verwachtingen die vooraf aan het onderzoek zijn uitgesproken. Verder zal er ingegaan worden op de tekortkomingen van dit onderzoek, en de verbeterpunten die in een volgend onderzoek meegenomen kunnen worden.
5.2.1 Tekortkomingen
Van de vooraf genoemde theoretische verwachtingen blijken er maar twee van significante invloed te zijn op de methodologische kwaliteit. Er zijn verschillende tekortkomingen die deze conclusie
50 hebben kunnen beïnvloeden. Een van de eerste dingen die van invloed zijn geweest is de manier van data verzamelen. Er zijn zoveel mogelijk rapporten verzameld, door op de websites te kijken, en mocht dit niet tot resultaat hebben geleid de rekenkamers via email of telefonisch te benaderen. Er zijn echter ook 28 gemeenten waarvan er geen rapporten zijn verkregen. Het kan zijn dat het een bewuste keuze was om de rapporten niet te verstrekken, eventueel omdat er een vermoeden was dat deze niet aan de methodologische kwaliteitseisen zouden voldoen. Dit kan ervoor gezorgd hebben dat er te veel ‘’goede’’ rapporten in het onderzoek werden meegenomen.
Ook de keuze om één jaar, 2018, als onderzoeksgroep te gebruiken, heeft ervoor gezorgd dat het aantal rapporten wat gecodeerd kon worden niet bijzonder groot was. Uiteindelijk had het merendeel van de rekenkamers maar één rapport in de gekozen periode. Dit kan ook zorgen voor een vertekenend beeld. Er kan bijvoorbeeld in januari 2019 een uitgebreid rapport uitgekomen zijn waar de rekenkamer in 2018 haar tijd in heeft gestoken. Deze rapporten zouden voor dit onderzoek dan niet meegenomen worden.
Verder bleek tijdens het doen van de statistische analyse dat de rekenkamers over het algemeen erg vergelijkbaar scoren op bepaalde punten. Bijvoorbeeld scoren 61% van de rekenkamers perfect op de methodologische kwaliteit, terwijl maar 8,6% matig scoort op deze categorie. Ook de typen rekenkamers waren niet evenredig verdeeld, 58,6% had een rekenkamer met externe leden, terwijl er drie modellen waren die 6,7% per type scoorde. Dit laat zien dat de rekenkamers over het algemeen gezien vrij veel op elkaar lijken, wat een gedegen verschillenanalyse lastig kan maken omdat een groep over gerepresenteerd is.
Gezien de verklaringskracht van het model is het mogelijk dat er andere factoren zijn die invloed hebben gehad op de methodologische kwaliteit maar niet zijn meegenomen in dit onderzoek. Capaciteit is zoals eerder genoemd een factor die van invloed zou kunnen zijn op de mogelijkheden voor het doen van onderzoek. Het hebben van meer ambtelijke ondersteuning kan het onderzoek vergemakkelijken, en tot een solidere methodologische fundering zorgen. Binnen dit onderzoek was