Een analyse van de volwassenheid van de
informatievoorziening voor planning- en
controlgerelateerde informatie in
Nederlandse gemeenten
An analysis of the maturity of the information provision for planning and control related information within Dutch municipalities
Wouter van der Loop Student nr. 10327193
University of Amsterdam
Master Information studies: Business Information Systems
Keywords. Planning en control, informatievoorziening, concerncontrol,
1
Naam Wouter van der Loop
Studentnummer 10327193
E-mail adres Wouter.vanderloop@student.uva.nl
Woutervdloop@gmail.com
MSc programma Information Studies: Business Information
Systems
Scriptietitel Een analyse van de volwassenheid van de
informatievoorziening voor planning- en controlgerelateerde informatie in Nederlandse gemeenten
Thesis titel An analysis of the maturity of the information
provision for planning and control related information within Dutch municipalities
Universiteit / Faculteit University of Amsterdam / Faculty of Science
Adres Science Park 904, 1098 XH Amsterdam
Telefoonnummer +31 20525 8626
Email receptie-fnwi@uva.nl
Stage bedrijf Celcus B.V.
Adres Amersfoortsestraat 15, 3769 AD Soesterberg
Telefoonnummer +31 34 676 90 47
Email info@celcus.nl
Supervisor
Universiteit of Amsterdam
1e supervisor Loek Stolwijk
2e supervisor Tom van Engers
vanuit Celcus B.V.
1e supervisor Steven Koelemeijer
2
Samenvatting
Gemeenten krijgen steeds meer taken en steeds minder middelen. Decentralisaties zorgen voor gemeente steeds efficiënter en effectiever te werk moeten gaan. Om dit mogelijk te maken hebben gemeente de laatste jaren veel geïnvesteerd in inzicht in hun organisatie en is er groeiende belangstelling voor goede (stuur) informatie. Het doel van dit onderzoek is om met behulp van volwassenheidsmodellen de huidige staat van de informatievoorziening met betrekking tot planning- en controlgerelateerde informatie te meten.
De onderzoekers hebben de verwachting dat binnen Nederlandse gemeenten de informatiehuishouding vaak nog achterloopt en veel belangrijke informatie in de hoofden van de medewerkers zit of wordt verkregen en bewerkt met enkel standaard Officesoftware, zoals spreadsheets. Aangezien een goede informatiehuishouding geacht wordt een bijdrage te leveren aan betere (stuur)informatie probeert dit onderzoek de huidige staat van de informatievoorziening in Nederlandse gemeenten weer te geven aan de hand van een volwassenheidsscore. Naast het meten van de informatievoorziening wordt ook de informatiebeleving van concerncontrol gemeten. Door deze twee met elkaar te vergelijken krijgt men antwoord op de vraag of de gemeenten beschikken over de benodigde (stuur) informatie en of de mate waarin de informatievoorziening volwassen is van invloed is op de beschikbaarheid van informatie.
Voor het ontwikkelen van het beoordelingsinstrument voor het gemeentelijke Planning & Control Volwassenheidsmodel is er gebruikt gemaakt van semigestructureerde interviews met experts op het gebied van gemeentelijke planning en control. Voor de ontwikkeling van het P&CVM zelf is gebruik gemaakt van drie bestaande volwassenheidsmodellen; het Capability Maturity Model (CMM), het IT Infrastructure and Operations Maturity Model (I&OMM) en het IT Infrastructure Maturity Model (ITI-MM). Het uiteindelijk ontwikkelde model is toegepast in een casestudie bij zestien Nederlandse gemeenten.
Uit de resultaten van de casestudie blijkt dat er tussen de volwassenheid van de informatievoorziening en de beleving met betrekking tot de beschikbaarheid van informatie grote verschillen zitten. Kort gezegd scoort de informatievoorziening laag tot gemiddeld qua volwassenheid, maar ervaren gemeenten toch een beschikbaarheid van gemiddeld tot hoog. In dit onderzoek is er, mede door de verschillende meetschalen, geen verklaring voor deze verschillen gevonden. Een mogelijke verklaring kan zijn dat gemeenten veel gebruik maken van “het gesprek” om tot de gewenste informatie te komen. Wel blijkt uit dit onderzoek dat spreadsheetsoftware inderdaad een groot aandeel heeft in de informatievoorziening van gemeenten. Drieënzestig procent van de ondervraagde geeft aan dat planning en control zelfs afhankelijk is van spreadsheetsoftware en tachtig procent van de ondervraagde ziet graag dat het gebruik van spreadsheetsoftware teruggedrongen wordt. De belangrijkste
3 conclusie van dit onderzoek is dat het ontwikkelde volwassenheidsmodel gemeenten inzicht geeft in de huidige staat van hun informatievoorziening en deze kan vergelijken met die van andere gemeenten. Deze informatie kan gebruikt worden als beginpunt voor een meer diepgaande analyse.
Summary
Municipalities are getting more responsibilities and fewer resources. Decentralizations are forcing municipalities to work more efficient and more effective. In order to make that increase of efficiency happen, municipalities in recent years have invested heavily into gaining insight into their organization which drives the growing need for good (management) information. This study aims at measuring the current state of the information provisioning for planning and control related information using maturity models.
The researchers have the expectation that the information provisioning within Dutch municipalities often lags behind, and that important information is often tacit, or is stored and processed with just standard office software like spreadsheets. Since good information provisioning should contribute to better (management) information, this thesis tries to test the current state of the information provisioning within Dutch municipalities by scoring their maturity. In addition to measuring the information provisioning this research also measures the information perception of concern control on the availability of (management) information. By comparing these two measurements an answer is given to the question of whether municipalities have the necessary (management) information available and whether a highly mature information provisioning has influence on this.
For the development of the assessment tool for the municipal Planning and Control Maturity Model (P&CMM) semi-structured interviews with experts in the field of municipal planning and control are used. For the development of the P&CMM itself three existing maturity models where used; the Capability Maturity Model (CMM), the IT Infrastructure and Operations Maturity Model (I&OMM) and the IT Infrastructure Maturity Model (ITI-MM). The P&CMM and assessment tool where then applied in a case study consisting of sixteen municipalities.
The results of the case study show differences between the maturity of the information provision and the information perception of concern control on the availability of (management) information. Summarized, the maturity of the information provision itself scores low to average and the information perception scores average to high. Unfortunately in this study, there has been found no explanation for this, partly because the measure methods vary too much. A possible explanation can be that municipalities often process and collect (management) information through “dialogue”. However, this study does show that spreadsheet software takes a substantial place within the
4 information provision. Sixty three percent of the participants indicated that planning and control even depends on spreadsheet software and eighty percent of the participants responded that they would like to see the use of spreadsheet software to be reduced. The main conclusion of this study is that the developed maturity model can provide municipalities with insights into the current state of their information provisioning, and that of other municipalities. This information can then be used as a starting point for a more in-depth analysis.
5
Inhoudsopgave
Samenvatting ... 2 Summary ... 3 1. Inleiding ... 7 1.1. Onderzoeksdoel ... 7 1.2. Onderzoeksvraag ... 8 1.3. Onderzoeksopzet ... 9 1.4. Onderzoeksbijdrage ... 9 1.5. Bedrijfsprofiel ... 10 1.6. Scriptieopzet ... 11 2. Gerelateerde literatuur ... 112.1. New Public Management ... 12
2.2. Planning en control ... 13 2.3. Nederlandse gemeenten ... 14 2.4. Volwassenheidsmodellen ... 15 3. Onderzoeksmethode ... 16 3.1. Onderzoeksmethode ... 16 3.1.1. Literatuuronderzoek ... 19 3.1.2. Brainstorming ... 19 3.1.3. Semigestructureerde interviews ... 20 3.1.4. Casestudie ... 20 3.1.5. Convenience sampling ... 21 3.2. Validiteit en betrouwbaarheid ... 22 3.2.1. Validiteit ... 22
4. P&CVM: Gemeentelijke Planning & Control VolwassenheidsModel .. 23
Capability Maturity Model (CMM) ... 24
IT Infrastructure and Operations Maturity Model (I&OMM) ... 24
IT Infrastructure Maturity Model (ITI-MM) ... 24
4.1. Modeloverzicht ... 25
4.2. Het P&CVM ... 25
5. Resultaten ... 27
6
5.2. Analyse ... 28
6. Conclusies en aanvullend onderzoek ... 35
6.1. Bevindingen ... 35
6.2. Conclusie ... 37
6.3. Aanbevelingen ... 39
7. Literatuur reverenties ... 40
Bijlage A: Semigestructureerd interview voor ontwikkeling beoordelingsinstrument ... 45
Bijlage B: Beoordelingsinstrument voor casestudie ... 50
Bijlage C: Controlevragen casestudie ... 56
Bijlage D: Radargrafieken van alle gemeenten ... 63
7
1. Inleiding
Voor gemeenten volgen veranderingen elkaar in hoog tempo op. Gemeenten krijgen aan de ene kan steeds meer taken en verantwoordelijkheden en aan de andere kant moet er steeds meer worden bezuinigd. De noodzaak van een goede informatiehuishouding wordt hierdoor alleen maar belangrijker. Gemeenten hebben de afgelopen jaren veel geïnvesteerd in het vergaren van inzicht in hun organisatie, oftewel business intelligence. Andere gemeenten hebben ook al systemen die hen meer grip geven op de toekomst. Systemen waarmee verwachtingen gedeeld kunnen worden in de organisatie of scenario’s
kunnen worden gemaakt. Vanwege het toenemende belang van
(stuur)informatie is het interessant om te begrijpen hoe gemeenten hun huidige informatievoorziening hebben ingericht, waar er nog ruimte is voor verbetering en welke verschillen tussen gemeenten bestaan.
1.1. Onderzoeksdoel
Het doel van dit onderzoek is om gemeenten inzicht te geven in de huidige staat van hun informatievoorziening. Het idee bestaat bij de onderzoekers dat
veel gemeenten nog erg achterlopen op het gebied van hun
informatievoorziening. Ambtenaren zijn vaak al vele jaren in dienst in gemeenteland en hebben hierdoor heel veel kennis in het hoofd. Daarnaast zijn zij gewend geraakt aan een werkwijze waarbij de informatievoorziening nog niet heel volwassen was. Dit kan leiden tot gewenning aan het gebruik van zogenaamde legacy software. De onderzoekers hebben de verwachting dat deze
legacy applicaties voornamelijk bestaan uit zelf ontworpen
spreadsheetapplicaties, ook wel Excel-carrousels genoemd. Dit onderzoek
probeert gemeente inzicht te geven in de staat van huidige
informatievoorziening en deze tevens te kunnen vergelijken met die van andere gemeenten. In dit onderzoek wordt het probleem vanuit twee kanten benaderd. Enerzijds wordt er dus gekeken naar de huidige staat van de informatievoorziening met betrekking tot planning- en controlgerelateerde informatie en anderzijds wordt er gekeken vanuit de perceptie van concerncontrol over de beschikbaarheid van hun stuurinformatie. In verband met de scope van het onderzoek wordt er ingezoomd en enkel gekeken naar de informatieperceptie vanuit de financiële functie en de algemene planning- en controlcyclus. Deze komen binnen gemeenten over het algemeen samen bij de concerncontroller of hoofdfinanciën. Als er in dit onderzoek wordt gesproken over gemeenten of concerncontrol, dan wordt de hiervoor besproken scope bedoeld. Naast het onderzoeken of concerncontrollers beschikken over de benodigde informatie kijkt dit onderzoek ook hoe de informatie wordt aangeboden. Zo krijgt men inzicht of informatie beschikbaar is, maar ook of de informatievoorziening dusdanig ingericht is dat informatie ook gemakkelijk is op te vragen. Het doel van dit onderzoek kan als volgt worden omschreven:
8
1.2. Onderzoeksvraag
Dit onderzoek bestaat uit één hoofdvraag en vier deelvragen die een bijdrage hebben aan het beantwoorden van de hoofdvraag. De hoofdvraag is als volgt:
Om de huidige staat van de informatievoorziening met betrekking tot planning- en controlgerelateerde informatie te kunnen meten is het van belang om een grondige kennis te hebben van de informatiebehoefte vanuit concerncontrol. Ook is het belangrijk bekend te zijn met de gemeentelijke planning- en controlcyclus en de daarbij behorende processen en producten. Dit leidt tot de eerste deelvraag:
Na het definiëren van de informatiebehoefte van concerncontrol met betrekking tot de processen en producten van de jaarlijkse planning- en
controlcyclus is de volgende stap het onderzoeken van
volwassenheidsmodellen. Tegenwoordig zijn er heel veel verschillende volwassenheidsmodellen beschikbaar. Voor de in dit onderzoek gestelde scope is er nog geen model beschikbaar, maar het ontwerpen van een geheel nieuw model is een verspilling van tijd en moeite. Een oplossing hiervoor is gebruik te maken van bestaande volwassenheidsmodellen. Dit leidt tot de tweede deelvraag:
De informatie die is verzameld door deelvraag één en twee te beantwoorden kan worden gebruikt in deelvraag drie. Hierbij worden bestaande volwassenheidsmodellen geselecteerd en getransformeerd in een nieuw
Het doel van dit onderzoek is om met behulp van
volwassenheidsmodellen de huidige staat van de informatievoorziening voor planning- en controlgerelateerde informatie, gezien vanuit concerncontrol, in Nederlandse gemeenten te meten.
OV: Op welke wijze kan de huidige staat van de informatievoorziening met betrekking tot de planning- en controlgerelateerde informatie, gezien vanuit de informatiebehoefte van concerncontrol, worden gemeten en beoordeeld?
DV1: Wat is planning en control binnen Nederlandse gemeenten en wat is dan de informatiebehoefte voor planning en control vanuit concerncontrol?
DV2: Welke volwassenheidsmodellen zijn er beschikbaar die gerelateerd zijn aan het onderwerp en het doel van dit onderzoek, zodat ze als basis kunnen fungeren voor dit onderzoek?
9 volwassenheidsmodel voor planning- en controlgerelateerde informatie. Deelvraag drie wordt daarmee:
Nu het model is ontworpen is de volgende stap het analyseren van Nederlandse gemeenten. De resultaten kunnen dan gebruikt worden om de volwassenheid van Nederlandse gemeenten te beoordelen. De laatste deelvraag is:
1.3. Onderzoeksopzet
In dit onderzoek wordt er gebruikt gemaakt van designscience. Hierbij is gekozen voor combinatie van de designsciencerichtlijnen van Hevner et al. (2004) en de stappen van de designsciencecyclus van Vaishnavi en Kuechler (2007). In hoofdstuk 3 worden deze theorieën verder uitgewerkt. De designscience-onderzoeksmethode zorgt ervoor dat een kwalitatief onderzoek
gestructureerd wordt uitgevoerd en waarborgt de kwaliteit. De
onderzoekstechnieken in dit onderzoek bestaan uit een literatuuronderzoek, brainstorming, semigestructureerde interviews en een casestudie gebaseerd op de multiple casestudietheorie van Yin (2009).
1.4. Onderzoeksbijdrage
Ondanks dat er vele volwassenheidsmodellen zijn ontwikkeld voor diverse onderwerpen is er nog geen model beschikbaar voor planning en control. Op het gebied van informatievoorziening en bedrijfsprocessen zijn diverse modellen ontwikkeld. Met behulp van deze modellen kan men een weergave geven van de mate waarin bedrijfsprocessen zijn toegepast of een informatievoorziening is geïmplementeerd. Aan de hand van een aantal dimensies wordt er een score gegeven over de volwassenheid van het gemeten onderwerp. Deze informatie is bijvoorbeeld waardevol voor het opsporen van zwakheden en het definiëren van verbeterpunten. In hoofdstuk 2.4 wordt dieper ingegaan op het onderwerp volwassenheidsmodellen.
Zoals omschreven in de inleiding is er een toenemend belang voor (stuur)informatie. Een goede informatiehuishouding wordt geacht een bijdrage te leveren aan betere (stuur)informatie. De onderzoekers hebben de verwachting dat binnen Nederlandse gemeenten de informatiehuishouding juist nog achterloopt en veel belangrijke informatie wordt verkregen en bewerkt met
DV3: Op welke wijze kan een bestaand volwassenheidsmodel worden gebruikt als basis voor het ontwerpen van een volwassenheidsmodel voor de informatievoorziening van planning- en controlgerelateerde informatie, gezien vanuit concerncontrol?
DV4: Op welke wijze kan het ontworpen model worden gebruikt als beoordelingsinstrument (assessment tool) om gemeenten te analyseren?
10 enkel standaard Officesoftware, zoals spreadsheets. Het gevoel bestaat bij de onderzoekers dat gemeenten hierin veel efficiënter en effectiever te werk kunnen gaan. Dit onderzoek probeert een bijdrage te leveren door de huidige staat van de informatievoorziening in Nederlandse gemeenten weer te geven aan de hand van een volwassenheidsscore. Naast het meten van de informatievoorziening wordt ook de informatiebeleving van concerncontrol gemeten. Door deze twee met elkaar te vergelijken krijgt men antwoord op de vraag of gemeenten de benodigde stuurinformatie beschikbaar hebben en of de mate van volwassenheid van de informatievoorziening hierop van invloed is.
In de momenteel beschikbare literatuur met betrekking tot gemeentelijke planning en control wordt veel ingegaan op de beoogde doelen van planning en control en de mate waarin deze zijn behaald. Daarnaast zijn er stukken geschreven over performance management en de mate waarin prestatie-indicatoren succesvol zijn binnen Nederlandse gemeente. Dit onderzoek heeft een bijdrage op de bestaande literatuur door inzicht te geven op de eventuele invloed van een goede informatievoorziening op gemeentelijke planning en control.
Als men kijkt naar de sociale bijdrage van dit onderzoek is het van belang om te kijken naar de functie van gemeenten. Gemeenten zijn een zelfstandige bestuurseenheid in het Nederlandse staatsbestel (Overheid, n.d.). Kort gezegd is het tot hun taak de bevolking te dienen namens de Nederlandse staat. De financiën komen grotendeels van belastingbijdrage die door de Nederlandse burger worden betaald. De samenleving heeft dus baat bij een zo efficiënt en effectief mogelijk gemeente. Planning en control is binnen gemeenten het proces dat ondersteunend is in wat er wordt uitgegeven en waaraan dit wordt uitgegeven. Dit onderzoek brengt de huidige staat van een onderdeel van gemeentelijke planning en control in kaart en geeft inzicht in bepaalde zwakke of sterke punten. Dit geeft gemeente informatie voor verbeterpunten welke indirect van invloed zijn op de dienstverlening naar de samenleving toe.
1.5. Bedrijfsprofiel
Het in deze thesis beschreven onderzoek werd uitgevoerd als onderdeel van een
afstudeerstage bij het bedrijf Celcus i. Celcus is een ICT bedrijf dat
gespecialiseerd is in Business Intelligence en Performance Management oplossingen voor het bedrijfsleven en de publieke sector. Celcus richt zich op oplossingen die snel en eenvoudig geïmplementeerd kunnen worden en direct van toegevoegde waarden zijn voor de klant. Hun missie is: “Het verstrekken
van toegankelijke Business Intelligence en Performance Management oplossingen die zich onderscheiden in prijs, implementatietijd en toegevoegde waarde voor de business.”(Celcus, 2013)
Celcus is een gecertificeerd partner van de opensourcesoftware Jedox en biedt naast diensten en oplossingen op maat, ook zijn eigen innovatieve software op basis van Jedox aan. Deze oplossingen zijn Celcus planning &
11 forecasting, Celcus financiële consolidatie, Celcus activity based management, Celcus performance management dashboards, Celcus risicomanagement, Celcus project portfolio management, Celcus openbaar bestuur en Celcus maatschappelijk verantwoord ondernemen.
Met deze producten kan Celcus een breed scala aan services en oplossingen bieden zoals scenarioanalyses, cashflow forecasting, risicobeheer en rolling forecasting, die alle planning en controlinstrumenten zijn. Daarnaast biedt Celcus een softwareoplossing voor publiekmanagement, waardoor de resultaten van dit onderzoek zeer interessant zijn voor het bedrijf. Celcus ondersteunt graag de wetenschap met het inhuren van stagiaires. Vanuit Celcus is een onderzoek gedaan naar de volwassenheid van PMO’s binnen Nederlandse bedrijven door Stroe (2012). De opzet en gebruikte methodes voor dit onderzoek zijn daarop gebaseerd.
1.6. Scriptieopzet
De opzet van deze scriptie is als volgt. Hoofdstuk 2 omvat het theoretische kader van dit onderzoek. Hierin wordt gekeken naar de geschiedenis van planning en control in gemeenten, evenals het heden. Daarnaast worden volwassenheidsmodellen behandeld. Vervolgens wordt in hoofdstuk 3 ingegaan op het onderzoeksmodel. In dit onderzoek is er gebruik gemaakt van de designsciencetheorieën van Hevner (2004) en Vaishnavi en Kuechler (2007). In hoofdstuk 4 wordt de ontwikkeling van het Planning en Control VolwassenheidsModel (P&CVM) omschreven. Hiervoor zijn drie bestaande volwassenheidsmodellen gebruikt welke samen als basis dienen voor het P&CVM. De analyse van de casestudie die is uitgevoerd bij zestien Nederlandse gemeenten wordt in hoofdstuk 5 behandeld. Uiteindelijk worden de bevindingen en de evaluatie van het onderzoek in hoofdstuk 6 beschreven. Hierin wordt ook advies gegeven voor toekomstig onderzoek.
2. Gerelateerde literatuur
In het huidige informatietijdperk is er steeds meer informatie beschikbaar, maar door de grote hoeveelheid beschikbare data is het nog niet zo vanzelfsprekend dat men ook de beschikking heeft over de benodigde informatie. Uit onderzoek blijkt dat managers vaak niet tevreden zijn met de beschikbare informatie via bestaande informatiesystemen (Choo, 2002). Daarentegen blijkt dat managers ook moeite hebben met het identificeren van de juiste informatie die benodigd is voor het maken van beslissingen (O’Reilly, 1980). Men moet enerzijds dus een beeld hebben van zijn informatiebehoefte en anderzijds een
informatievoorziening hebben die het mogelijk maakt aan deze
informatiebehoefte te voldoen.
Nog voordat de informatievoorziening een groot onderdeel ging uitmaken in de informatiebehoefte van concerncontrol waren gemeenten in de jaren ‘80
12 op zoek naar manieren om efficiënter en effectiever te werken en meer transparantie naar de burgers te tonen. Om dit te bereiken werden bedrijfsmatige tools en technieken geïntroduceerd. De opkomst hiervan kwam onder de noemer New Public Management (NPM). Eén van de doelen van NPM was het verhogen van de efficiëntie en effectiviteit van overheidsinstanties (Pollitt, 2000). In Nederland is NPM bij gemeenten geïntroduceerd onder het Policy en Management Instrumentenproject (PMI) (ter Bogt, 2004). Tegenwoordig zijn deze zogenaamde planning- en controlgerelateerde producten en -processen overal in Nederlandse gemeenten in gebruik. Ondanks soms wisselende resultaten op het gebied van NPM is planning en control wel een standaard proces geworden binnen gemeenten.
2.1. New Public Management
Veel westerse overheidsorganisaties zijn eind jaren ‘80 en begin jaren ‘90 begonnen met het implementeren van elementen vanuit New Public Management (NPM) (ter Bogt, 2004). Het Policy en Management Instrumentenproject (PMI), wat diende als basis voor het nu bekende planning en control, liep in Nederlandse gemeenten van 1988 tot en met 1995 (van Helden, 1998; van Helden & Jansen, 2003; ter Bogt, 2004).
In het begin waren de lokale politici en ambtenaren in Nederland zeer enthousiast over PMI (Kickert, 1997), maar toch bleek jaren later uit een onderzoek bij acht Nederlandse gemeenten dat de doelen van PMI maar deels waren behaald (van Helden & ter Bogt, 2001; ter Bogt & van Helden, 2000). Ander onderzoek toont aan dat wethouders niet erg positief zijn over de hoeveelheid prestatie-informatie en resultaten in jaarverslagen. Ook was de beschikbare informatie met betrekking tot de prestaties vaak niet relevant aan het dagelijkse werk. Zelfs als er in de begroting, jaarrekening of andere planning- en controldocumenten veel en correcte prestatie-indicatoren waren opgenomen, dan werd hier weinig tot geen gebruik van gemaakt. Dit als gevolg van de slechte kwaliteit van de beschikbare informatie (ter Bogt, 2004; van Helden & ter Bogt, 2001).
Stuurinformatie binnen de verschillende planning- en controldocumenten blijken niet de kwaliteit te hebben die nodig is om ze goed in te zetten voor het beoogde doel. Als het gaat om de relevantie en beheersbaarheid van prestatie-indicatoren dan blijkt de kwaliteit van de prestatie-indicatoren nogal slecht te zijn en zijn vele indicatoren nutteloos voor besluitvorming (van Helden & Johnsen, 2002; Bordewijk & Klaassen, 2000; van Helden & Jansen, 2003). Redenen voor het gebrek aan goede stuurinformatie kunnen liggen in de aard van de organisatie. Gemeenten streven maatschappelijke, soms onduidelijke doelen na en de effecten zijn lastig te meten. Een veel gehoorde statement vanuit gemeenten is dat ze geen commercieel bedrijf zijn en dat het invoeren van planning en control zoals bedrijven dit kennen niet één op één haalbaar is (Hofstede, 1981; Ouchi, 1979). Toch zijn er ook meningen dat commerciële bedrijven net zulke
13 onduidelijke doelen kunnen hebben en hier dynamisch mee om wordt gegaan (Groot & van de Poel, 1985).
In de loop der jaren is men vooral tot het oordeel gekomen dat niet alles met cijfermatige data gezegd kan worden. Wel wordt de waarde ingezien dat de raad en het college van burgemeester en wethouders hun publieke verantwoording kunnen versterken door inzicht te geven in de middelen (inputs) en de verwachte en gerealiseerde activiteiten, resultaten en producten (outputs) (ter Bogt, 2002). Het puur sturen op prestaties en effecten heeft tot op de dag van vandaag nog geen succes gehad. Toch kan gezegd worden dat de bedrijfsmatige aanpak via PMI volwassen is geworden in de huidige planning- en controlcyclus. De jaarrekening, 4-jaren begroting, jaarlijkse begroting en de tussentijdse rapportage zijn de standaard geworden in het gemeentelijke bestuur. Het ondersteunt de gemeenten om te voldoen aan de eisen van de burger, die inzicht, inspraak en transparantie eist in de verantwoording voor activiteiten, resultaten en informatie over prestaties (ter Bogt, 2004; Pollitt, 2000).
2.2. Planning en control
Planning en control is de term die wordt gebruikt voor dit gehele proces van besturing en besluitvorming waar een gemeente jaarlijks doorheen gaat. Het staat voor alle processen en instrumenten die gebruikt worden voor besturing, controle, evaluatie van beleid en management en organisatie van de lokale overheid. De planning- en controlcyclus bestaat uit de stappenplanning, begroting, rapportage en verantwoording. Het loopt van de planning via berichtgeving en bijsturen tot evaluatie (Koemans, 2009; van Helden & Jansen, 2003). Samengevat omvat het planningsproces het formuleren van de gewenste doelen en effecten ("resultaten"), het bepalen van de diensten, producten en goederen die benodigd zijn om die resultaten (de producten, "outputs") te realiseren, het plannen van de activiteiten die nodig zijn binnen de organisatie om deze producten (het werkproces, 'throughput') te produceren en de instrumenten en middelen die nodig zijn om dit alles mogelijk te maken (financiën, personeel, apparatuur enzovoort, "inputs") (Koemans, 2009). Het controleproces zorgt er dan voor dat alles gebeurt binnen de vast gestelde kaders. Het onderdeel dat dit alles verbindt is de (jaarlijkse) begroting (Groot & van Helden, 2003). Volgens Houwaart (1995) wordt de aanwezigheid van een begroting waarin de begrotingsfuncties worden ondersteund door prestatie-indicatoren vaak beschouwd als het belangrijkste element van de nieuwe
planning- en controltechnieken. Samen met andere planning- en
controlproducten maakt de begroting het mogelijk om de relatie tussen de gewenste effecten enerzijds en de werkelijke prestaties anderzijds te visualiseren. Zoals eerder aangegeven blijkt dit in de huidige praktijk niet zo gemakkelijk te realiseren.
14
2.3. Nederlandse gemeenten
In Nederland is de gemeenteraad, of kort gezegd de raad, het hoogste gezag binnen een gemeente (ter Bogt, 2004). De raad wordt om de vier jaar gekozen door de burgers die zijn ingeschreven in de gemeente. Naast de raad zijn er twee andere bestuursorganen, het college van burgemeester en wethouders en de burgemeester. De samenstelling en bevoegdheden van de gemeente zijn via de wet bepaald. Gemeenten zijn verder wel vrij (autonoom) in de uitvoering van hun bevoegdheden. De gemeentelijke huishouding mag dus naar eigen inzicht worden geregeld en bestuurd. Wel kunnen gemeenten vanuit de rijksoverheid hogere regels opgelegd krijgen die zij moeten uitvoeren. Dit is bijvoorbeeld het geval bij het verstekken van uitkeringen via de wet werk en bijstand. Dit proces wordt medebewind genoemd (Brons & van Vliet, 2012).
De raad, als hoogste gezag, vertegenwoordigt de bevolking van een gemeente. Zoals eerder vermeld wordt de gemeenteraad om de vier jaar verkozen en iedere Nederlandse burger kan zich verkiesbaar stellen, mits 18 jaar of ouder, geboren in een land dat behoort tot de Europese Unie en legaal wonende is in Nederland voor een ononderbroken periode van vijf jaar. In de praktijk worden de meeste verkiesbare mensen voorgedragen door politieke partijen. De leden van de gemeenteraad kiezen de wethouders, waarbij deze vaak komen uit de lokale politieke partijen. De wethouders zijn dus geen onderdeel meer van de gemeenteraad. Sinds 2002 kunnen wethouders ook van buiten de gemeente worden gekozen. Een voorwaarde is dan wel dat de wethouder binnen een jaar in de gemeente zelf wonende is. Het scheiden van de gemeenteraad en het college van burgemeester en wethouders heet het dualisme. Door het invoeren van het dualisme functioneert het politieke orgaan beter, wat vergelijkbaar is met de eerste en tweede kamer in landelijke politiek. De gemeenteraad wordt gekozen door de burger en door het dualisme stelt de gemeenteraad nu de kaders, de budgetten en controleert. De uitvoerende taak ligt bij het college van burgemeester en wethouders (ter Bogt, 2004; Brons & van Vliet, 2012).
De wethouders samen met de burgemeester vormen het college van burgemeester en wethouders. De burgemeester zelf wordt niet verkozen, maar benoemd door de kroon. De burgemeester is de voorzitter voor zowel de gemeenteraad als het college van burgemeester en wethouders en is meestal niet actief in de politieke leiding van een gemeente. De belangrijkste functie van de burgemeester is het verzorgen van een goede vertegenwoordiging van de gemeentelijke zaken. De burgemeester is dus meer een leider en coördinator. Doordat de gemeenteraad wordt verkozen door het volk, vertegenwoordigt hij het volk. Naast het vertegenwoordigen van het volk is de belangrijkste taak van de raad het stellen van de kaders waarbinnen de wethouders moeten opereren, het voorzien van budgetten en de controle. Het dagelijks bestuur van de gemeente is de verantwoordelijkheid van het college van burgemeester en wethouders. De feitelijke uitvoering wordt gedaan door de ambtenaren. De
15 posities van ambtenaren zijn meestal geen politieke posities en daardoor worden ambtenaren niet verkozen en ook niet beperkt tot een duur van vier jaar. De gemeenteraad stelt dus de kaders en controleert, het college van burgemeester en wethouders bestuurt, voert uit (door middel van de ambtelijke organisatie) en rapporteert.
2.4. Volwassenheidsmodellen
Een volwassenheidsmodel, of maturity model, biedt een organisatie een eenvoudige maar effectieve manier om de kwaliteit van hun processen te meten (Wendler, 2012). Het eerste volwassenheidsmodel werd geïntroduceerd door Crosby (1979) in 1979 en voorziet in verschillende stadia van volwassenheid die telkens op elkaar voortbouwen en gepaard gaan met verschillende meetcategorieën. Sindsdien zijn er vele verschillende volwassenheidsmodellen voor verschillende interessegebieden ontworpen met op dit moment het
Capability Maturity Model (CMM) als het meest bekende
volwassenheidsmodel (Wendler, 2012; Hansen et al., 2004). Als we het woord 'maturity' opzoeken in het Oxford Engels Woordenboek dan wordt dit beschreven als “The state of being mature; fullness or perfection of development or growth”. Grofweg vertaalt, "De staat van volwassen; volheid of volmaaktheid van ontwikkeling of groei". Voor niet materiële dingen wordt de betekenis verder omschreven als “The state of being complete, perfect or ready”. Vertaalt, “de toestand van compleet, volmaakt of klaar” (Simpson & Weiner, 1989). Een algemeen internationaal erkende definitie van de term maturity model bestaat niet, maar de definitie van Becker et al. (2009) vat de meest voorkomende punten in één definitie samen. "Een maturity model bestaat uit een reeks volwassenheidsniveaus voor een bepaald type objecten. Het vertegenwoordigt een verwachte, gewenste of typische ontwikkelroute van deze objecten in de vorm van afzonderlijke fasen. Deze objecten omvatten meestal organisaties of processen."
Volwassenheidsmodellen blijken dus een effectieve manier om bewustzijn te creëren voor het geanalyseerde onderwerp. Daarnaast dient het als een goed referentiekader voor het systematisch en gericht aanpakken van verbeteringen door te zorgen voor een bepaalde kwaliteitsgarantie, het voorkomen van fouten en het beoordelen van eigen capaciteiten (Kohoutek, 1996; Cooke-Davies, 2007; Wendler, 2012). Uitgaande van Saleh en Alshawi (2005) zijn er twee soorten volwassenheidsmodellen; het productgebaseerde (beoordeling van de kenmerken van producten) en het procesgebaseerde (meting van de effectiviteit van de processen). Daarnaast zijn er ook twee verschillende benaderingen, namelijk een volwassenheidsmodel gericht op prestaties en één gericht op levenscyclus. De levenscyclusaanpak bestaat uit een ontwikkelingstraject met een goed gedefinieerde laatste fase, terwijl de prestatiegerichte aanpak zich focust op verschillende stadia van mogelijke verbeterpunten en de keuze voor
16 het gewenste niveau van volwassenheid aan de gebruikers zelf overlaat (Kohoutek, 1996; Wendler, 2012).
3. Onderzoeksmethode
In dit hoofdstuk worden de verschillende onderzoeksmethoden omschreven alsmede de validiteit om de kwaliteit van het onderzoek te waarborgen. Zoals
eerder vermeld is de basis van dit onderzoek het PMO
volwassenheidsonderzoek van Stroe (2012). In navolging van dat onderzoek zal hier tevens gebruik worden gemaakt van de designsciencerichtlijnen (Hevner et al., 2004) in samenwerking met de stappen van de designsciencecyclus (Vaishnavi & Kuechler, 2007).
3.1. Onderzoeksmethode
Bij kwalitatief onderzoek gaat het om het creëren van ideeën. Van groot belang bij het ontwikkelen van nieuwe ideeën en theorieën is om elke genomen stap te omschrijven. Een gestructureerde manier om dit te doen is met behulp van de designscience-onderzoeksmethode (Hevner et al., 2004; Peffers et al., 2007; Vaishnavi & Kuechler, 2007). Het belangrijkste aspect bij designscience-onderzoek is het ontwikkelen van nuttige oplossingen op het gebied van informatiesystemen door middel van het ontwerpen, creëren en evalueren van
zogenaamde artefacten (Wendler, 2012). In het geval van
volwassenheidsmodellen kan men stellen dat het model zelf het zogenaamde artefact is en dus is het gebruik van designscience-onderzoek toepasbaar. Eén van de meest gebruikte en geciteerde methodes voor designscience-onderzoek is het designscience-onderzoeksraamwerk van Hevner et. al. (2004; Wendler, 2012). Het doel van het conceptueel raamwerk is om een ontwerpgericht paradigma te creëren, gebruikmakende van een conceptueel raamwerk en duidelijke richtlijnen om de kwaliteit van het onderzoek te evalueren. Deze richtlijnen betreffen de bouw, de evaluatie en de presentatie van artefacten en kan worden gebruikt om de wetenschappelijke achtergrond en praktische relevantie van een artefact te onderzoeken (Hevner et al., 2004; Wendler, 2012).
In tabel 1 is weergegeven hoe de richtlijnen van Hevner et al. (2004) zijn toegepast in dit onderzoek.
17
Richtlijn Omschrijving
Richtlijn 1: Ontwerp als een artefact
Designscience moet een haalbaar / levensvatbaar artefact opleveren. Dit onderzoek levert een model op
dat betrekking heeft op een gemeentelijk vraagstuk zoals omschreven in de probleemstelling.
Richtlijn 2:
Probleem relevantie
Het doel van de designsciencemethode is om IS-oplossingen te ontwerpen voor belangrijke en
relevante business problemen. De
informatievoorziening met betrekking tot planning en control is van groot belang binnen gemeente. Het P&CVM meet de huidige staat met betrekking tot die informatievoorziening.
Richtlijn 3: Ontwerp evaluatie
Het artefact moet voldoen aan strenge kwaliteitseisen voor het vakgebied. Het P&CVM wordt om die rede
gevalideerd door verschillende experts op het gebied van planning en control en vervolgens toegepast in een casestudie.
Richtlijn 4: Bijdrage van het onderzoek
Effectief designscience-onderzoek moet een duidelijk bijdrage leveren aan het (wetenschappelijke) vakgebied. Met het P&CVM krijgen gemeenten meer
inzicht in hun informatievoorziening en zijn ze instaat een grotere mate van bewustzijn te creëren in de organisatie
Richtlijn 5: Strengheid / nauwkeurigheid onderzoek
Designscience-onderzoek dient gebruik te maken van heldere en relevante methodes. In dit onderzoek is
daarom gebruik gemaakt van deze richtlijnen in combinatie met de general design cyclus. Het P&CVM is daarna getest en gevalideerde met een casestudie. Richtlijn 6:
Ontwerp als een zoekproces
In designscience-onderzoek is het belangrijk dat bestaande kennis wordt gebruikt. De basis van het
P&CVM is ontstaan in een zoektocht naar bestaande theorieën of modellen.
Richtlijn 7: Communicatie van het onderzoek
Het is belangrijk dat de resultaten van
designscience-onderzoek worden gecommuniceerd naar
verschillende doelgroepen (technisch en management).
De resultaten van dit onderzoek zullen worden gepresenteerd aan de onderzoekscommissie en dit paper kan worden toegevoegd aan de kennisbank van de universiteit. Tevens is er een hoofdstuk dat ruimte
geeft voor toekomstig onderzoek. Individuele
analyseresultaten worden gedeeld met de
geanalyseerde gemeenten. Tabel 1: Designsciencerichtlijnen (Hevner et al., 2004)
18 Naast het conceptueel raamwerk van Hevner zijn er nog vele andere artikelen geschreven over methodes met betrekking tot designscience-onderzoek. Peffers et al., (2007) onderzochten zeven van deze theorieën en concludeerde dat er onderling enkel kleine verschillen zijn. Als aanvulling op de richtlijnen van Hevner is in dit onderzoek gekozen voor de general design cyclus (Vaishnavi & Kuechler, 2007). De general design cyclus bestaat uit vijf processtappen en is weergegeven in figuur 1.
Figuur 1. General design cyclus (Vaishnavi & Kuechler, 2007)
De vijf stappen bestaan uit probleemstelling (awereness of problem), suggestie (suggestion), ontwikkeling (development), evaluatie (evaluation) en conclusie (conclusion). Een omschrijving van de stappen en hun plaats binnen dit onderzoek volgt hieronder.
Probleemstelling: definieer een specifieke probleemstelling. Volgens
Peffers et al., (2007) helpt een conceptuele weergave van het probleem bij het succesvol ontwerpen van een efficiënte artefact. Benodigde middelen bij deze stap zijn kennis van het probleem, opgedaan uit diverse bronnen (literatuur, gesprekken vanuit experts en medewerkers in het vakgebied) en het belang van de oplossing. In dit onderzoek bestaat deze stap uit een verkennend literatuuronderzoek en een uitwerking van een onderzoeksopzet.
19
Suggestie: Als het probleem is vastgesteld kunnen er suggesties worden
gedaan voor een oplossing. Kennis is opgedaan van wat mogelijk en haalbaar is. De benodigde middelen voor deze stap zijn diepgaande kennis van de staat van het probleem en eventuele bestaande oplossingen. In dit onderzoek is die kennis opgedaan door uitgebreid literatuuronderzoek. Deze stap betreft ook het vaststellen van het type volwassenheidsmodel dat kan worden gebruikt en de belangrijkste informatiegebieden gezien vanuit gemeentelijk concerncontrol.
Ontwikkeling: Ontwikkeling en implementatie van het artefact op basis van
de suggesties uit de vorige stap. Deze stap is recursief. De artefacten zijn potentiële modellen, methoden of andere constructen (Peffers et al., 2007) en indien nodig kan er worden teruggekeerd naar suggestie. In deze stap wordt het P&CVM ontworpen. Een beoordelingsinstrument wordt ontwikkeld. Interviews met experts in het vakgebied zijn gebruikt om dit beoordelingsinstrument te valideren en te verbeteren.
Evaluatie: Het ontwikkelde artefact wordt geëvalueerd en gevalideerd.
Observaties en analyses behoren tot de middelen om te testen of het artefact geschikt is voor het oplossen van het probleem. Afhankelijk van de aard van het probleem kan de evaluatie vele vormen aannemen. Het P&CVM wordt toegepast in casestudies. De resultaten worden geanalyseerd en gevalideerd en gemeenten gescoord en vergeleken.
Conclusie. De resultaten van de evaluatie worden samengevoegd tot een
conclusie. Communicatie over het artefact behoort ook in deze stap. Conclusies
bevatten ook aanbevelingen voor verdergaand onderzoek. Het
onderzoeksdocument wordt uitgewerkt en voorstellen voor aanvullend onderzoek worden gedaan.
3.1.1. Literatuuronderzoek
Een uitgebreid literatuuronderzoek is uitgevoerd in voornamelijk de eerste twee stappen van de designsciencecyclus. Het doel van het literatuuronderzoek is het opdoen van voldoende kennis om het probleem te definiëren en een eerste concept te ontwikkelen voor het beoordelingsinstrument voor het P&CVM. De gebruikte literatuur bestaat uit boeken, wetenschappelijke artikelen en (openbare) gemeentelijke documenten.
3.1.2. Brainstorming
Brainstorming is een techniek die zeer bruikbaar is voor het vergroten van creativiteit (Robson, 2002). De methode kan worden toegepast om op een creatieve wijze tot een lijst met mogelijke oplossingen voor een probleem te komen. Het doel is dan ook niet om een directe oplossing voor het probleem te vinden, maar wel om richting te geven naar mogelijke oplossingen (Stroe, 2012). In dit onderzoek is een brainstorm gebruikt om tot een eerste (concept) versie van het beoordelingsinstrument te komen. Deze brainstormsessie heeft
20 intern bij Celcus B.V. plaats gevonden met consultanten die ervaring hebben op het gebied van planning en control en / of gemeenten.
3.1.3. Semigestructureerde interviews
In de ontwikkelingsfase is er gebruikt gemaakt van semigestructureerde interviews met experts op het gebied van gemeentelijke planning en control. Semigestructureerde interviews zijn een vaak toegepaste techniek in kwalitatief onderzoek. Door het open karakter is het een goede manier om nieuwe informatie te ontdekken. Zo kan er tijdens het interview ingegaan worden op nieuw ontdekte informatie zonder dat er gevreesd hoeft te worden dat bepaalde onderwerpen niet worden behandeld. Semigestructureerde interviews geven een zekere flexibiliteit die bij het ontwikkelen van artefacten veel meerwaarde geeft.
Het doel van de semigestructureerde interviews is om diepgaande informatie te verzamelen met betrekking tot de informatiebehoefte van concerncontrol binnen gemeenten op het gebied van planning & control. Deze informatie dient ervoor om de conceptversie van het beoordelingsinstrument verder te ontwikkelen en te valideren. In totaal zijn vier verschillende interviews gehouden met vier verschillende personen. De ondervraagde zijn gekozen op basis van hun verschillende kennis en kunde van het vakgebied. Van de ondervraagde is één persoon werkzaam bij een internationale multinational en gespecialiseerd in oplossingen voor de publieke sector. De overige drie zijn werkzaam binnen Nederlandse gemeenten, twee concerncontrollers en één controller. De drie gemeenten hebben verschillende grote, respectievelijk 40.000, 50.000 en 70.000 inwoners. De volgorde van interviews is 1) controller, 2) concerncontroller, 3) multinational en 4) concerncontroller. Na elk interview is het beoordelingsinstrument aangepast en in een volgend interview weer gevalideerd en verbeterd. Aangezien de focus van het onderzoek ligt op de informatievoorziening gezien vanuit concerncontrol, is er gekozen om het laatste interview met een concerncontroller te doen.
De interviews waren ingepland voor 90 minuten. Enkel het eerste interview heeft extra tijd nodig gehad, omdat in dat interview veel informatie beschikbaar kwam om de conceptversie te transformeren naar een eerste werkversie. Zoals aangegeven lag de nadruk van de interviews in het open karakter. Vooraf was de vragenlijst (bijlage A) toegestuurd als voorbereiding. Op deze wijze kon zoveel mogelijk kennis worden vergaard.
3.1.4. Casestudie
Voor het toepassen van het ontwikkelde model en is er gebruik gemaakt van een casestudie. Casestudies zijn zeer geschikt voor het opdoen van kennis over omgeving en participant(en) en zo theorieën te creëren (Benbasat et al., 1987). Gegevens worden verzameld in hun eigen omgeving, wat het een passende
21 methode maakt voor onderzoek in gebieden waarin weinig voorgaande studies zijn gedaan. Volgens Roethlisberger (1977) is een casestudie de uitgesproken manier voor problemen waarin onderzoek en theorie in hun eerste vormende fase zijn.
Voor dit onderzoek is het multiple casestudiedesign van Yin (2009) gekozen (figuur 2). Deze methode is toepasbaar in situaties waarbij de uitkomsten van meerdere cases met elkaar vergeleken moeten worden. De input is bij elke case dus hetzelfde, alleen wordt de data ergens anders vergaard. Zo kunnen de verschillende situaties in de analyse met elkaar worden vergeleken. Hierdoor wordt het ook mogelijk de resultaten te generaliseren en mogelijk bredere uitspraken te doen.
Figuur 2: Multiple casestudiedesign (Yin, 2009)
De casestudie is uitgevoerd bij 16 Nederlandse gemeenten. De gebruikte gemeenten zijn verschillend van grootte, variërende van 15.000 tot 150.000 inwoners. Het onderzoek is gericht op de concerncontrollers of hoofdfinanciën binnen de gemeente.
3.1.5. Convenience sampling
Het selecteren van gemeenten voor dit onderzoek is uitgevoerd op basis van convenience sampling (Bryman & Bell, 2011; Marshall, 1996). Convenience (gemak) sampling is zoals de naam doet vermoeden de minst strenge en vaak gemakkelijk toepasbare manier om een onderzoekspopulatie te selecteren. Een probleem met convenience sampling is dat het onderzoek moeilijk te generaliseren valt. Is de gemakkelijk gekozen samplegroep wel representatief voor iedereen? Of zijn resultaten toch anders omdat de sample toevallig
22 aanwezig was en daardoor verschillende invloeden op de resultaten van toepassing zijn geweest.
Bij convenience sampling dient rekening te worden gehouden met mogelijke generalisatieproblemen. Dit is deels ondervangen doordat de gemeenten zelf wel random zijn gekozen. De onderzoekers hebben hun selectie
gemaakt door op LinkedInii te zoeken op de functie concerncontroller of
hoofdfinanciën en werkzaam in planning en control en/of gemeente. De gevonden personen zijn benaderd. Hiervan wilden elf gemeenten participeren in het onderzoek. Vijf andere gemeenten zijn benaderd via het netwerk van de onderzoekers. Convenience sampling is toegepast omdat het zeer lastig is in contact te komen met de juiste personen binnen gemeenten zonder enige voorkennis van namen en functie. In dit geval zagen de onderzoekers meer voor- dan nadelen aan het gebruik van convenience sampling.
3.2. Validiteit en betrouwbaarheid
In de volgende paragrafen worden de betrouwbaarheid en de validiteit van het onderzoek beschreven. Het gaat hier om constructvaliditeit, interne validiteit, externe validiteit en betrouwbaarheid. Na een korte uitleg over wat de maatregel inhoudt wordt er per stuk omschreven hoe hier aan is voldaan.
3.2.1. Validiteit
Constructvaliditeit gaat erom of het concept de juiste kenmerken meet met
betrekking tot dat gene wat wordt onderzocht (Yin, 2009). Of zoals Robson (2002) het stelt: “meet het datgene wat je denkt dat het meet?” Een manier om aan deze validiteit te voldoen is door gebruik te maken van Triangulation (Maxwell, 2013; Robson, 2002). Dit houdt in dat de verzamelde data op verschillende wijze en uit meerdere bronnen wordt verzameld. In dit onderzoek is gebruikt gemaakt van semigestructureerde interviews, afgenomen bij verschillende experts op het gebied van planning en control in gemeenten. Binnen deze expertise was ieder toch verschillend, zoals in hoofdstuk 3.1.3 is omschreven. Voordat deze interviews zijn uitgevoerd, is er eerst een conceptmodel gemaakt op basis van een literatuuronderzoek, gevolgd door een brainstorm.
Interne validiteit staat voor de mate waarin de resultaten nauwkeurig en
waarheidsgetrouw zijn. Met behulp van de Respondent Validation (ondervraagde validatie) techniek is er aan deze validiteit voldaan. Respondent Validation is een systematisch proces in welke er feedback wordt gevraagd aan de geïnterviewde. De resultaten van een interview worden gedeeld met een geïnterviewde om te verifiëren dat de resultaten correct zijn. (Maxwell, 2013). Doormiddel van een nabel- en mailactie is er bij de gemeenten gecontroleerd of de uitkomsten van het onderzoek in lijn waren met het eigen beeld. Zeven gemeenten hebben hierop antwoord gegeven en waren hier positief over. Naast dit is er na elk interview nog een online vragenlijst
23 verstuurd met controlevragen (bijlage C). Elke gemeenten heeft deze beantwoord waarbij zeventig procent of meer overeen kwam met de originele antwoorden.
Externe validiteit staat voor de mate waarin een onderzoek te generaliseren
valt. Dus zeggen de bevindingen ook iets in de wereld buiten het onderzoek.
Om hieraan te voldoen is er gebruik gemaakt van multiple
casestudieonderzoeksmethode. Uiteindelijk zijn er zestien gemeenten onderzocht in de casestudie. Het gaat hier ook om gemeenten van verschillende grootte.
Betrouwbaarheid betreft de mate waarin een meting onafhankelijk is van
toeval. Het doel van betrouwbaarheid is het minimaliseren van fouten en vooroordelen (Yin, 2009). In de praktijk is dit erg lastig, helemaal voor kwalitatief onderzoek. Een manier om hieraan te voldoen is door gebruik te maken van Maxwells numbers technique (Maxwell, 2013), of zoals Becker (1970) het noemt; quasi-statistics. Zij stellen dat menig conclusie uit een kwalitatief onderzoek toch in zekere zin één of meerdere kwantitatieve
onderdelen heeft. In dit onderzoek geldt hetzelfde voor het
beoordelingsinstrument. Hierin is een vijfpunt likertschaal opgenomen.
Het gebruik van een online vragenlijst met controlevragen is ook een maatregel die bijdraagt aan het ondervangen van betrouwbaarheid. De omstandigheden waarin een observatie wordt gedaan kan van invloed zijn op de resultaten, net zoals de gemoedstoestand van een geïnterviewd persoon. Door enkele dagen na het interview nog een online vragenlijst met controlevragen in te laten vullen is gecontroleerd of de kwantitatieve antwoorden overeen kwamen met de antwoorden gegeven in de interviews.
Herhaalbaarheid betreft de herhaalbaarheid van een onderzoek. Dus indien
een onderzoek nogmaals zou worden uitgevoerd onder precies dezelfde omstandigheden en met dezelfde procedures en methodes, dan zou de uitkomst hetzelfde zijn. Een manier om aan herhaalbaarheid te voldoen is uitgebreide documentatie. Alle stappen en gebruikte methodes in dit onderzoek zijn duidelijk gedocumenteerd. Alle verzamelde informatie kan gemakkelijk gevonden en herhaald worden door het gebruik van semigestructureerde interviews. Alle semigestructureerde interviews zijn opgenomen om eventuele fouten in het herhalen van semigestructureerde interviews te voorkomen.
4. P&CVM: Gemeentelijke Planning & Control VolwassenheidsModel
Dit hoofdstuk behandeld de volwassenheidsmodellen die zijn gebruikt voor het ontwerp van het gemeentelijke Planning & Control Volwassenheidsmodel (P&CVM). Van elk model volgt hieronder een korte omschrijving
24
Capability Maturity Model (CMM)
Het CMM is één van de oudste modellen. De meeste hedendaagse volwassenheidsmodellen zijn gedeeltelijk afgeleid van dit model. Het model werd ooit ontwikkeld voor het analyseren van softwareprocessen, maar kan op diverse andere gebieden worden toegepast zoals projectmanagement, risicomanagement of informatietechnologie. Voor het meten van de volwassenheid wordt een vragenlijst gebruikt als beoordelingsinstrument (Paulk et al., 1993). Het model omvat vijf volwassenheidsniveaus; initieel, herhaalbaar, gedefinieerd, gemanaged en geoptimaliseerd. Het laagste volwassenheidsniveau omschrijft een niet gedocumenteerd proces en het hoogste niveau een proces dat draait om optimalisatie en verbetering.
IT Infrastructure and Operations Maturity Model (I&OMM)
Het volgende model is ontworpen door Gartneriii. Gartner is een van ‘s werelds
meest gerespecteerde onderzoeks- en adviesbureaus. Het I&OMM is gebaseerd op het CMM dat hierboven is besproken. Waar het CMM enkel zich focust op processen heeft het I&OMM dit aangevuld met nog drie dimensies: mensen, technologie en business waarde. Gartner is van mening dat er wel degelijk focus moet zijn op het proces, maar dat dit niet voldoende is om iets te kunnen zeggen over de volwassenheid van ICT en vooral niet in het geval van infrastructuur en operatie. Het uitsluitend meten van processen werkt alleen als het te meten onderwerp puur gedreven wordt door processen. In het geval van ICT is dit niet zo. Gartner stelt dat technologie, mensen en business waarde allemaal invloed uitoefenen op elkaar en op de bedrijfsprocessen. Toch zijn ze allemaal los van elkaar te meten en zal het vaker voorkomen dat de verschillende dimensies een verschillende volwassenheid hebben. Bedrijven hebben zo inzicht in hun zwakkere dimensies en kunnen hier een focus op
leggen. Naast de dimensies meet het Gartner I&OMM zes
volwassenheidsniveaus. Deze zijn vergelijkbaar met die van het CMM, alleen maakt het I&OMM ook gebruik van niveau 0, overleving (Scott et al., 2007).
IT Infrastructure Maturity Model (ITI-MM)
Het ITI-MM is een volwassenheidsmodel met als doel de IT infrastructuur van een organisatie te meten. Het model is ontworpen op basis van twee andere volwassenheidsmodellen, het Gartner Infrastructure Maturity Model en het NHS Infrastructure Maturity Model. Om tot het model te komen zijn er in totaal acht modellen geanalyseerd (Haris, 2010). Het uiteindelijke model bestaat uit dertien dimensies en vijf volwassenheidsniveaus. Het gebruik van dit model is voornamelijk gekozen omdat er in zowel het uiteindelijke model als de geanalyseerde modellen veel punten worden aangehaald die betrekking hebben op informatievoorzieningen.
25
4.1. Modeloverzicht
Met de in de vorige paragraaf behandelde volwassenheidsmodellen als basis is
er uiteindelijk gekomen tot een volwassenheidsmodel voor de
informatievoorziening met betrekking tot planning- en controlgerelateerde informatie, het P&CVM. Omdat er geen modellen zijn gevonden die een relatie hebben met de informatiebehoefte vanuit concerncontrol zijn de dimensies van het model gebaseerd op een literatuuronderzoek met betrekking tot planning en control en de geïnterviewde experts. Ondanks dat men verschillende type concerncontrollers kan definiëren, hebben ze, kijkende naar planning- en controlgerelateerde stuurinformatie, toch allemaal behoefte aan één en dezelfde soort informatie (Anderson, 2006). De basis ligt in de planning- en controlproducten die als stuurinstrument worden gebruikt. Denk hierbij aan begroting, jaarrekening en indicatoren. Om deze producten in goede banen te leiden is ondersteunende informatie nodig over bijvoorbeeld vooruitzichten of risico’s. Om de informatie op te slaan en beschikbaar te stellen is er een informatievoorziening nodig. Op deze wijze is er tot de volgende dimensies gekomen: Begroting & budgetten, prestatie- en effectindicatoren, forecasting, risicomanagement en informatievoorziening.
4.2. Het P&CVM
Het P&CVM bestaat uit vijf volwassenheidsniveaus: ad hoc, initieel, gedefinieerd, geoptimaliseerd en geautomatiseerd. Daarnaast bevat het model vijf dimensies. In figuur 3 is het model grafisch weergegeven.
26 De vijf dimensies worden hieronder kort omschreven.
Begroting & budgetten: Hierin gaat het om alles wat te maken heeft met de
budgetten en begroting. Hoe wordt er tot een begroting gekomen? Zijn actuals direct inzichtelijk en op welke wijzen? Kan er gestuurd worden op overhead?
Prestatie- & effectindicatoren: Hierbij gaat het om de indicatoren die
betrekking hebben op de planning- en controldocumenten. Dit betreffen de indicatoren die gelinkt zijn aan de jaardoelen van de gemeenten en worden opgenomen in de jaarbegroting. Het gaat er dan om of er indicatoren zijn gedefinieerd en op welke wijze deze worden opgeslagen, gerapporteerd en geüpdate. Zijn prestaties aan gewenste effecten gekoppeld?
Forecasting: Hier is gekeken of gemeenten beschikken over rolling forecast
methodes. Dit houdt in dat er altijd een periode van 12 maanden vooruit wordt gekeken (of enkel naar einde jaar). De rolling forecast laat voorspellingen zien voor de rest van het jaar op basis van bepaalde keuzes. Scenarioplanning is een onderdeel. Daarnaast is er gekeken naar andere manieren van voorspellen en hoe dit wordt gedaan. Is er een prognose op winst en verlies (of balansrekening). Wordt dit ondersteund door software?
Risicomanagement: Hier is gekeken naar de implementatie van risicomanagement. In hoeverre worden risico’s geïdentificeerd? Maakt de gemeente gebruik van software en hoe wordt dit toegepast. Hoe past risicomanagement binnen planning en control?
Informatievoorziening: Hierin wordt nog specifiek gekeken naar de
informatievoorziening als geheel voor planning en control. In de overige dimensies wordt alleen gekeken naar de informatievoorziening voor dat stuk. In deze dimensie gaat het over het algemeen. Zaken als het gebruik van spreadsheetsoftware wordt hier in meegenomen evenals rapportage en dashboards.
27 Figuur 4: P&CVM scoringsmatrix
5. Resultaten
5.1. Casestudie-overzicht
Zoals omschreven in hoofdstuk drie is er gebruik gemaakt van de multiple casestudiemethode van Yin (2009). Door gebruik te maken van de multiple casestudiemethode is men instaat één dezelfde analyse uit te voeren op meerdere omgevingen. In dit onderzoek gaat het om zestien gemeenten van
level Omschrijving Begroting & budgetten Prestatie- en effectindicatoren forecasting Risicomanagement Informatievoorziening
1 Ad hoc
▪ Geen standaard software of instrumenten. Informatie wordt handmatig verzameld ▪ Begroting is opgemaakt in 1 of meerdere spreadsheets met gecodeerde koppelingen.
▪ Geen software of tools voor het ondersteunen bij prestatie- en effectindicatoren. ▪ Informatie omtrent prestaties worden vaak ad hoc of via gesprekken opgevraagd, samengevoegd en beschikbaar gesteld.
▪ Geen rolling forecast via software of mbv standaard desktop tools ▪ Matig tot geen forecasting of controle op budgetten, winst verliesrekening , voornamelijk gebruik van standaard desktop tools
▪ Ad hoc tot paar keer per jaar terugkerende risico-informatieverzoeken ▪ Eventueel wat tools, voornamelijk gebruik van standaard desktop tools ▪ Er is geen formeel plan voor het gebruik van tools
▪ Geen formele P&C informatievoorziening. Men maakt ad hoc gebruik van systemen voor allerlei informatie.
2 initieel
▪ Begin gestandaardiseerde begroting mbv standaard desktop software. Ondersteuning is puur door individuele kennis key-users. ▪ Begroting is zeer afhankelijk van Excel. Financieel systeem is enkel eindpunt. ▪ Zogenaamde Excel carousels kunnen gebruikt worden ▪ Kennis van benodigde en beschikbare informatievoorziening is beperkt tot enkele mensen
▪ Buiten de P&C documenten is er geen opslag van indicatoren ▪ Softwarehulpmiddelen bestaan uit standaard desktop en office tools ▪Vaak enkel prestatie-indicatoren zijn gedefinieerd. Vooral alleen financieel gericht en opgenomen in begroting en jaarrekening
▪ Kennis van benodigde en beschikbare informatievoorziening is beperkt tot enkele mensen
▪ Geen rolling forecast via software of mbv standaard desktop tools ▪ Forecasting op basis van tussentijdse rapportages opgemaakt in spreadsheets ▪ Eventueel wat tools, voornamelijk gebruik van standaard desktop tools ▪ Kennis van benodigde en beschikbare informatievoorziening is beperkt tot enkele mensen
▪ Eventueel gemeenschappelijke aanpak voor het gebruik van instrumenten. Oplossing is gebaseerd op aanpak van key-users
▪ Vendor software kan zijn aangeschaft, maar nog niet op de juiste wijze ingezet of helemaal niet ingezet. ▪ Kennis van benodigde en beschikbare informatievoorziening is beperkt tot enkele mensen
▪ P&C cyclus is afhankelijk van standaard desktop software ▪ Kennis van benodigde en beschikbare informatievoorziening is beperkt tot enkele mensen ▪ Enkele standaarden op het gebied van de informatievoorziening ▪ Informatie verzoeken reactief en ad hoc
▪ Rapportages, analyses of dashboards worden op individuele basis gemaakt met voornamelijk spreadsheets
3 gedefinieerd
▪ Goede werkwijze worden herhaaldelijk gebruikt om een gestandaardiseerde werkwijze te krijgen die niet afhankelijk is van key-user kennis ▪ Meerjarenbegroting opgeslagen in financieel systeem ▪ Begroting gemaakt door dumps uit financiële systeem te bewerken met standaard desktop tools (bv spreadsheets)
▪ Buiten de P&C documenten is er (vaak) geen opslag van indicatoren ▪ Softwarehulpmiddelen bestaan uit standaard desktop en office tools ▪ Prestatie- en effectindicatoren zijn gedefinieerd. Enkele indicatoren zijn aan elkaar verbonden ▪ Kennis van benodigde en beschikbare informatievoorziening is verspreid in kennissilo's
▪ Soms vorm van rolling forecasting in spreadsheets op afdelingsniveau door key-users ▪ Forecasting op basis van tussentijdse rapportages ▪ Standaard desktop software of (een begin vorm van) P&C software wordt gebruikt (met standaarden) ▪ Enig inzicht in verwachte eindjaarsprognoze en winst/verlies ▪ Kennis van benodigde en beschikbare informatievoorziening is verspreid in kennissilo's
▪ Plannen en ideeën voor het gestandaardiseerd gebruik van software en tools ▪ Enkel de basis functies van softwarehulpmiddelen worden gebruikt en niet altijd volgens de plannen
▪ Kennis van benodigde en beschikbare informatievoorziening is verspreidt in kennissilo's
▪ Rapportages, analyses of dashboards worden op individuele basis gemaakt met voornamelijk spreadsheets ▪ P&C informatie is toegankelijk via verschillende softwareprogramma's ▪ Informatie is reactief beschikbaar. ▪ P&C cyclus is grotendeels afhankelijk van standaard desktop software ▪ Kennis van benodigde en beschikbare informatievoorziening is verspreidt in kennissilo's
4 geoptimaliseerd
▪ Best practises van zowel binnen als buiten de organisatie worden toegepast om gestandaardiseerde werkwijze te krijgen. ▪ Meerjarenbegroting opgeslagen in financieel systeem ▪ Begroting opgemaakt in Financieel systeem of P&C software
▪ Standaard desktop tool zijn enkel soms ter ondersteuning
▪ Indicatoren zijn opgeslagen in de P&C documenten en eventueel in daarvoor geschikte software ▪ Standaard desktop tool zijn enkel soms ter ondersteuning ▪ Prestatie- en effectindicatoren zijn gedefinieerd. ▪ Prestatie- en effectindicatoren zijn voor het grootste geval aan elkaar gerelateerd
▪ Soms rolling forecast voor financieel inzicht tot einde jaar, meestal nog met spreadsheets ▪ Forecasting voornamelijk op basis van actuals en tussentijdse rapportages en altijd inzichtelijk in financieel systeem of P&C overkoepeld softwaresysteem ▪ Instrumenten worden ingezet volgens een gestandaardiseerd gebruik.
▪ software en tools worden ingezet volgens een gestandaardiseerd gebruik. ▪ Integratie met P&C software en het proces is op enkele onderdelen begonnen ▪ Softwarehulpmiddelen ondersteunen het proces voornamelijk voor management en kritieke onderdelen.
▪ De Informatievoorziening voorziet in de mogelijkheid tot analyse, rapportage en dashboards door een softwareprogramma ▪ P&C informatie is toegankelijk via verschillende softwareprogramma's ▪ Informatie is proactief beschikbaar.
▪ P&C cyclus wordt ondersteund door standaard desktop software
5 geïntegreerd
▪ Begroting wordt volledig opgezet en bijgewerkt via overkoepelde P&C software ▪ Overige financiële informatie of acties komen ook via P&C software
▪ Standaard desktop tool zijn enkel soms ter ondersteuning ▪ Best practises van zowel binnen als buiten de organisatie worden toegepast om gestandaardiseerde werkwijze te krijgen.
▪ Indicatoren zijn opgeslagen en te raadplegen in/via P&C softwareprogramma. ▪ Prestatie-indicatoren zijn gelinkt aan effectindicatoren ▪ Indicatoren zijn bekend en toegankelijk door de gehele organisatie
▪ Gestandaardiseerde instrumenten worden gebruikt door de gehele organisatie ▪ Rolling forecast geeft inzicht in de verwachtingen gedurende het jaar
▪ Rolling forecasting wordt ondersteund door een P&C softwareprogramma
▪ Gestandaardiseerde software en tools zijn volledig geïntegreerd met de P&C software (of een standaard onderdeel daarvan) ▪ Risicomanagement en de software zijn een geïntegreerd onderdeel van planning & control
▪ Softwarehulpmiddelen worden dusdanig gebruikt dat ze ondersteunen in het verbeteren van het proces en afwijkingen automatisch detecteren
▪ P&C informatie is toegankelijk via 1 softwareprogramma. ▪ 1 softwareprogramma ondersteund de P&C cyclus ▪ Cockpitinformatie is beschikbaar ▪ Informatie is proactief beschikbaar ▪ 1 versie van de waarheid is beschikbaar
28 verschillende grootte. In bijlage B is het beoordelingsinstrument opgenomen dat is gebruikt voor de casestudies.
5.2. Analyse
In tabel 2 zijn de resultaten van de volwassenheidsanalyse weergegeven. Van links naar rechts staat per gemeente de volwassenheidsscore die gemeten is op de verschillende dimensies. De kleuren in de tabel geven de kleuren weer die horen bij de verschillende volwassenheidsniveaus van het P&CVM. Rood staat bijvoorbeeld voor het volwassenheidsniveau ad hoc en donkergroen voor geïntegreerd. Twee gemeenten hebben een kruis voor hun score op prestatie- en
effectindicatoren. Binnen deze gemeenten worden prestatie- en
effectindicatoren uitbesteed en is er niet voldoende informatie opgedaan voor een volwassenheidsscore. De laatste kolom geeft de mediaanscore per gemeenten weer. Gemeente nu mm er aantal in won ers gemee nt e Bud getten & beg ro tin g Prestatie -& effec tin di cato ren Fo reca stin g Risico -ma nag eme nt In fo rma tie -vo or zienin g Med iaan scor e G1 150.000 4 4 2 3 4 4 G2 71.000 2 2 1 2 2 2 G3 112.000 4 2 4 4 4 G4 80.000 3 3 3 2 3 3 G5 155.000 5 5 3 2 4 4 G6 40.000 3 3 2 2 3 3 G7 67.000 2 3 2 1 3 2 G8 33.000 3 1 2 1 3 2 G9 63.000 2 4 3 3 2 3 G10 61.000 2 2 3 4 3 3 G11 76.000 3 1 1 3 2 G12 23.000 3 2 2 2 3 2 G13 48.000 2 3 2 2 2 2 G14 15.000 2 1 2 1 2 2 G15 41.000 3 2 2 4 2 2 G16 98.000 3 3 2 4 3 3
