Auteur: Niels Wortman Afstudeerorganisatie: Provincie Drenthe
Rijksuniversiteit Groningen Faculteit Bedrijfskunde Februari 2004
Indicatoren bij de provincie Drenthe:
Naar een resultaatgericht collegeprogramma
Een doctoraal scriptie ter afronding van de studie Bedrijfskunde aan de Rijksuniversiteit Groningen
Auteur: Niels A. Wortman
1e begeleider RuG: Dr. E.P. Jansen 2e begeleider RuG: Mr. S. Parijs
Begeleider afstudeerorganisatie: Mr. drs. E.H.C. van der Laan Afstudeerorganisatie: De provincie Drenthe
Westerbrink 1 9405 BJ Assen
Faculteit: Bedrijfskunde
Afstudeerrichting: Financieel Waardemanagement Groningen,
februari 2004
De auteur is verantwoordelijk voor de inhoud van het afstudeerverslag; het auteursrecht van het afstudeerverslag berust bij de auteur.
Voorwoord
In de zomer van 2003 begon ik vol goede moed aan een zeven maanden durend onderzoek bij de provincie Drenthe. Door de grote vrijheid die ik kreeg voor de invulling van mijn onderzoek, heeft het wel even geduurd voordat ik de juiste onderzoeksopzet op papier had. Ik herinner me nog goed de middag dat Pieter Jansen en ik een pizza gingen eten, na een gesprek te hebben gehad met Erik van der Laan bij de provincie Drenthe. Op dat moment moet ik bekennen dat ik het niet helemaal meer zag zitten. Dit etentje bleek achteraf een keerpunt in het proces. Het werd me namelijk duidelijk dat er keuzes gemaakt moesten worden die nodig waren voor een goede afbakening van mijn onderzoek. Hierna kwam het einddoel me steeds beter voor ogen. Ik wil dan ook beginnen met het bedanken van mijn eerste begeleider, Pieter Jansen voor zijn heldere aanwijzingen, opbouwende kritieken en zijn betrokkenheid bij mijn onderzoek. Ook mijn tweede begeleider van de universiteit, Sergei Parijs dank ik voor zijn zinvolle suggesties, en het snel en kritisch lezen van de stukken die ik inleverde.
Mijn begeleider bij de provincie, Erik van der Laan wil ik bedanken voor de vrijheid die hij mij heeft gegeven bij het uitvoeren van mijn onderzoek. Ik heb zijn manier van werken als zeer stimulerend en motiverend ervaren. Na een gesprek met Erik was ik soms wel eens wat verward door de storm aan informatie, maar hij wist me altijd erg enthousiast te maken.
Ik wil met name nog twee mensen van de afdeling Financiën & Control bedanken voor hun hulp bij mijn onderzoek: Bert Evers en Yvonne Wijchers. Tevens bedank ik de statenleden en gedeputeerden die ik heb mogen interviewen voor hun kostbare tijd. Zonder hun inbreng was deze scriptie niet tot stand gekomen.
Met het afronden van deze scriptie beëindig ik tevens mijn studie. Ik zal het studentenleven absoluut gaan missen, maar ben tevens blij dat ik mijn studie nu afgerond heb. Wie zeker nog meer verheugd zullen zijn met dit feit, zijn mijn ouders. Hen wil ik dan ook van harte bedanken voor hun steun gedurende mijn studietijd.
Niels Wortman Groningen, februari 2004
INHOUDSOPGAVE
pag.
Samenvatting ... 4
Inleiding ... 6
Hoofdstuk 1. Introductie van de provincie Drenthe... 7
1.1. De organisatie ... 7
1.2. Strategie... 8
1.3. Activiteiten ... 9
1.4. De overheidsorganisatie ... 11
Hoofdstuk 2. Aanleiding onderzoek en probleemstelling... 13
2.1. Aanleiding onderzoek ... 13
2.2. Probleemstelling ... 14
2.3. Theoretisch kader... 15
Hoofdstuk 3. Methodologie ... 18
3.1. Dataverzamelingsmethoden ... 18
3.2. De interviews ... 19
3.3. De kwaliteit van metingen... 21
3.3.1. Betrouwbaarheid ... 21
3.3.2. Validiteit ... 23
3.3.3. Verifieerbaarheid... 23
Hoofdstuk 4. Indicatoren... 25
4.1. Introductie prestatie-indicatoren ... 25
4.2. Soorten indicatoren ... 26
4.3. Criteria van indicatoren en normen... 29
4.3.1. Criteria van indicatoren ... 30
4.3.2. Normen ... 33
4.3.3. Vaststellen van begrippen... 33
4.4. Valkuilen bij het werken met indicatoren ... 34
4.4.1. Zeven disfunctionele effecten bij prestatiemeting ... 34
4.4.2. Vijf hefbomen voor prestatiemeting ... 36
Hoofdstuk 5. Sturing met indicatoren... 38
5.1. Sturingsrelaties... 38
5.2. Indicatoren en sturingsniveaus ... 41
5.3. Collegeprogramma... 42
Hoofdstuk 6. Beoordelen van prestatie-informatie door PS ... 43
6.1. Het gebruik van prestatiedocumenten... 43
6.1.1. Collegeprogramma ... 43
6.1.2. Begroting en jaarrekening... 45
6.1.3. Andere documenten... 45
6.2. Van collegeprogramma naar begroting ... 46
6.3. Kwaliteit doelstellingen... 48
6.3.1. Doelstellingen in het collegeprogramma ... 48
6.3.2. Doelstellingen in de begroting en jaarrekening ... 50
6.4. Indicatoren... 52
6.4.1. Geleverde resultaten ... 52
6.4.2. Maatschappelijke effecten ... 53
6.5. Informatiebehoefte ... 55
6.5.1. Een overzicht op hoofdlijnen ... 55
6.5.2. Wat moet er veranderen... 56
Hoofdstuk 7. Beoordelen prestatie-informatie door GS... 59
7.1. Gebruik prestatie-informatie... 59
7.2. Van collegeprogramma naar begroting en jaarrekening ... 61
7.3. Doelstellingen ... 62
7.4. Indicatoren... 63
Hoofdstuk 8. Een overzicht op hoofdlijnen... 65
Hoofdstuk 9. Algemene conclusies en aanbevelingen ... 69
9.1. Algemene conclusie ... 69
9.2. Aanbevelingen ... 71
9.3. Ter afsluiting... 73
Literatuurlijst ... 74
Bijlagen ... Error! Bookmark not defined.
Bijlage I: Organigram provincie Drenthe ... Error! Bookmark not defined.
Bijlage II: Interviewlijst leden GS... Error! Bookmark not defined.
Bijlage III: Interviewlijst leden PS ... Error! Bookmark not defined.
Bijlage IV: ‘doorvragen’ bij interviews leden PS ... Error! Bookmark not defined.
Bijlage V: ‘doorvragen’ bij interviews leden GS ... Error! Bookmark not defined.
Samenvatting
In dit onderzoek is ingegaan op de vraag wat voor rol indicatoren spelen binnen de provincie Drenthe om het collegeprogramma 2003 – 2007 afrekenbaar te laten zijn. Om iets afrekenbaar te laten zijn, moet het resultaat in kaart kunnen worden gebracht. Het collegeprogramma is uitgewerkt in speerpunten welke in feite de strategie voor de komende jaren vormen. Het probleem van deze speerpunten is echter dat deze niet in concrete, afrekenbare termen zijn geformuleerd. Nu is er in de overheidssector de laatste tien jaar een ontwikkeling te zien waarbij overheidsorganisaties instrumenten en stijlen gaan gebruiken die afkomstig zijn uit het bedrijfsleven. De opvatting is dat er onder andere meer op output (resultaten) gestuurd moet worden, en niet zo zeer op middelen. Deze gedachte vormt ook het uitgangspunt in dit onderzoek. Bij dit resultaatgericht sturen moeten ook de juiste indicatoren ontwikkeld worden.
Het collegeprogramma is een document waarin door het college inhoudelijke afspraken zijn gemaakt en wat de staten de mogelijkheid biedt om het college aan te spreken op de uitvoering ervan. De provinciale staten (PS) en de gedeputeerde staten (GS) samen worden als hoogste sturingsniveau in de provincie Drenthe beschouwd. Op dit sturingsniveau wil PS er voor zorgen dat er bepaalde effecten in de maatschappij worden gerealiseerd. Deze effecten worden echter vaak geformuleerd in termen van doelen en prestaties die door de organisatie geleverd moeten worden. Op het sturingsniveau GS – PS (en dus ook bij het collegeprogramma) zal dan op effecten moeten worden gestuurd, maar ook op resultaten.
Indicatoren zijn kengetallen en bieden snel inzicht in de toestand of ontwikkeling op een bepaald beleidsterrein. In dit onderzoek worden vier soorten indicatoren onderscheiden:
input-, throughput-, output- en outcome-indicatoren. Deze meten respectievelijk de middelen, de voortgang, de producten of prestaties, en de effecten van deze prestaties. Bij de vergelijking van deze indicatoren met het sturingsniveau GS – PS is de conclusie dat bij het collegeprogramma gebruik moet worden gemaakt van outcome- en output-indicatoren.
Echter, verschillende onderzoeken hebben uitgewezen dat het meten van outcome in de praktijk uiterst moeilijk is. Mede hierom zal de nadruk vooral op de output moeten komen te liggen.
Indicatoren moeten wel zo geformuleerd worden dat ze de juiste informatie laten zien.
Hiervoor is een aantal criteria gepresenteerd. De belangrijkste hiervan zijn dat indicatoren het spiegelbeeld moeten zijn van doelen en strategieën, dat ze door meerdere mensen uit verschillende niveaus van de organisatie ontwikkeld moeten worden voor een brede acceptatie, dat ze valide moeten zijn, dat er een norm gedefinieerd moet worden, en dat er op het hoogst mogelijke niveau moet worden gemeten. Dit laatste punt betekent dat wanneer outcome dus niet mogelijk is om te meten, er gepoogd moet worden om output te gaan meten.
Vermeden moet ook worden dat er vaag omschreven outcome-indicatoren worden opgesteld
die in feite niets zinnigs meten. Hier zal dan gebruik gemaakt moeten worden van output- indicatoren.
Uit interviews met statenleden is gebleken dat er in de huidige geformuleerde speerpunten geen concrete, meetbare doelstellingen staan. Nu moet in de begroting worden gezocht naar (de concretere) uitwerkingen van het collegeprogramma. De statenleden vinden het ook niet gemakkelijk om de onderwerpen uit het collegeprogramma terug te vinden in de begroting.
Het wordt zelfs omschreven als een puzzel. Er is een verschil van opvatting bij de geïnterviewde statenleden over de vraag of doelstellingen in het collegeprogramma meetbaar zouden moeten zijn. De ene groep legt meer de link met het bedrijfsleven waar de resultaten meer van tevoren zijn gespecificeerd. De andere groep vindt concretere doelstellingen in een collegeprogramma echter niet nodig, omdat ze op die manier zelf meer invloed uit kan oefenen. Desondanks zal het collegeprogramma nu wel concretere invulling moeten krijgen, iets dat de geïnterviewde gedeputeerden ook aangeven.
Er bestaat bij de statenleden wel een duidelijke behoefte aan een overzicht op hoofdlijnen van het collegeprogramma. De oorzaak ligt hier enerzijds aan het meer ‘bedrijfsmatig’
specificeren van resultaten, en anderzijds aan de behoefte aan een overzichtelijke vorm van informatie. Een veel gehoord idee voor een overzicht op hoofdlijnen is dat dit een systematiek moet krijgen die op enige wijze aan de begroting is gerelateerd. Er wordt in hoofdstuk 8 getoond dat een overzicht tot stand kan komen via een selectieproces. De criteria hiervoor kunnen dan de meest omvangrijke projecten en de meest politiek relevante onderwerpen zijn.
De belangrijkste aanbeveling die uit het onderzoek volgt, is het maken van een apart overzicht van het collegeprogramma op hoofdlijnen, waarin mogelijk enkele effecten van het beleid, maar met name concrete resultaten van enkele, door een selectieproces tot stand gekomen, onderwerpen. Dit overzicht zal tevens een relatie met de begroting moeten hebben, zodat informatie snel en gemakkelijk terug kan worden gevonden.
Inleiding
In de afgelopen jaren is er in de control-literatuur en bij veel overheidsorganisaties een sterk toenemende belangstelling voor een meer bedrijfsmatige aanpak van prestatiemeting te zien.
Waar vroeger met name op input en budgetten werd gestuurd, lijkt de sturing nu meer en meer op resultaten gericht. Dit sturen op resultaten heeft voor de overheidsorganisaties grote consequenties voor de manier van werken. In dit onderzoek wordt ingegaan op de gevolgen voor het collegeprogramma 2003-2007, dat een beleidsdocument is van het college van gedeputeerden staten van de provincie Drenthe. Dit collegeprogramma moet op een of andere manier zo concreet worden, dat inzichtelijk kan worden gemaakt of de beloofde afspraken ook zijn nagekomen. Het resultaat van het gevoerde beleid zal dus in kaart moeten worden gebracht.
In een collegeprogramma gaat het onder andere over de effecten die in de samenleving bereikt moeten worden. Wensen als ‘toenemen van veiligheid’ en ‘leefbaarheid’ zijn veelgehoorde, maar weinig concrete termen. Op welke wijze moet hier nu mee worden omgegaan? Valt dit überhaupt wel te meten? Het concreet maken van dit soort zaken staat centraal in dit onderzoek. Met name zal de rol die indicatoren kunnen spelen bij het concreet maken van het collegeprogramma onderzocht worden. Er is hiervoor gesproken met gedeputeerden, met statenleden, en met medewerkers van het ambtelijk apparaat. Door deze gesprekken en door het bestuderen van relevante literatuur is in dit onderzoek een antwoord gezocht op bovenstaande vragen.
In de provincie Drenthe is met de aanstelling van een nieuw college in maart 2003 een start gemaakt met een nieuw besturingsmodel: het dualisme. Dit bracht een nieuw aantal uit te voeren taken en functies met zich mee voor statenleden en gedeputeerden. Voor oude en nieuwe statenleden was het in het begin dan ook nogal onwennig hoe er met het dualisme moest worden omgegaan. Mede hierdoor was het soms lastig om dit onderzoek uit te voeren.
De taken van de provinciale staten en de gedeputeerden waren gedurende het onderzoek nog niet voor iedereen duidelijk. Daarnaast moest de begroting 2004 in een korte periode opgesteld worden, zodat er nog geen optimale uitwerking van het collegeprogramma in stond.
In de afgenomen interviews werd hier door de respondenten ook meerdere malen op gewezen.
Hoofdstuk 1. Introductie van de provincie Drenthe
In dit eerste hoofdstuk wordt de provincie Drenthe gepresenteerd. Allereerst zal worden ingegaan op de wijze waarop de organisatie bestuurd wordt, en uit welke organisatieonderdelen de provincie Drenthe bestaat. In paragraaf 1.2. wordt vervolgens gekeken wat voor strategie de provincie Drenthe voert. Hier wordt ook het collegeprogramma 2003-2007 gepresenteerd, dat verder een centrale rol in dit onderzoek zal spelen. Daarna komen in paragraaf 1.3. de verschillende producten en diensten aan de orde die de provincie Drenthe voortbrengt. In deze paragraaf wordt tevens getoond hoe de prestatie- informatiedocumenten zoals de begroting en de jaarrekening er uit zien. Als laatste wordt in paragraaf 1.4. ingegaan op het verschil tussen profitorganisaties en non-profitorganisaties (zoals de provincie Drenthe) bij het meten van prestaties.
1.1. De organisatie
De provincie Drenthe is met ongeveer 480.000 inwoners een van de kleinere provincies van Nederland. Ze vormt als zelfstandig regionaal bestuur de schakel tussen het Rijk en de gemeenten. In maart 2003 is de provincie Drenthe op een andere bestuursvorm overgegaan.
Waar vroeger een monistisch model werd gehanteerd, maakt men nu gebruik van een dualistisch bestuursmodel. Dit heeft als doel om de scheiding tussen de provinciale staten en de gedeputeerde staten helder te maken. Met dualisering moet de doeltreffendheid van het bestuur worden vergroot en het democratisch proces bevorderd. Rollen en posities van provinciale staten (PS) en gedeputeerde staten (GS) worden helderder en herkenbaarder, waardoor het politieke debat wordt versterkt. Gedeputeerden zijn niet langer lid van PS. Zij mogen ook geen lid of voorzitter meer zijn van statencommissies. De provinciale staten hebben in een dualistisch bestel een vertegenwoordigende, kaderstellende en controlerende functie. Het college van GS voert het beleid uit en legt hierover verantwoording af richting PS.
De commissaris van de Koningin is meestal het gezicht van de provincie. Op dit moment is dit de heer A.L. ter Beek. Deze tekent de besluiten van de provincie en speelt een belangrijke rol bij het benoemen van de burgemeesters van gemeenten. Verder is de commissaris vooral de ambassadeur van de provincie. Hij of zij vertegenwoordigt de provincie bij officiële gelegenheden en behartigt de belangen van de provincie, onder andere in Den Haag.
Het algemeen bestuur wordt gevormd door de provinciale staten die in Drenthe uit 51 leden bestaan. Eén keer in de vier jaar worden de leden door de Drentse burgers gekozen.
Provinciale staten stellen de kaders, controleren, en vervullen de rol van volksvertegenwoordiger. De staten kiezen op hun beurt de gedeputeerde staten. De commissaris van de Koningin vormt samen met de gedeputeerde staten (GS) het college van gedeputeerde staten. Het college telt momenteel vijf gedeputeerden. Iedere gedeputeerde heeft
een eigen beleidsterrein of portefeuille. Gedeputeerden besturen actief, nemen initiatieven en voeren het provinciebeleid uit. In 2003 is er een nieuw college van gedeputeerde staten gekomen dat gevormd wordt door de PvdA en de VVD. Zogezegd is dit de eerste keer dat er met een duaal bestuursmodel wordt gewerkt. De commissaris is zowel voorzitter van het college van gedeputeerde staten als van de provinciale staten. Hij heeft echter geen stemrecht in de provinciale staten. In de vergaderingen van gedeputeerde staten heeft de commissaris dat wel.
Onder het college van GS staat de directie welke uit twee personen bestaat. De directie is er voor ondersteuning van de bestuursorganen en in het bijzonder voor het college van gedeputeerde staten. Daarnaast zorgt de directie voor de aansturing van de ambtelijke organisatie. Dit zijn bij de provincie Drenthe acht productgroepen, zeven stafgroepen, en daarnaast enkele aparte concernprojecten. In totaal heeft de provincie Drenthe meer dan 550 medewerkers in dienst. In bijlage I is een organigram van de provincie Drenthe opgenomen.
1.2. Strategie
De strategie van de organisatie provincie Drenthe hangt sterk af van de politieke partijen die het op dat moment voor het zeggen hebben. Deze partijen maken hun strategie namelijk (onder andere) zichtbaar in een collegeprogramma. Het collegeprogramma is een document dat door het college van gedeputeerde staten is geschreven. Dat wil zeggen dat de inhoudelijke afspraken in het collegeprogramma, politieke compromissen tussen de collegeleden zijn. Het collegeprogramma 2003-2007 van de provincie Drenthe is een programma voor vier jaar, en is getiteld: “Werk maken in een veilig en sociaal Drenthe!”. Het is een document van 11 pagina’s, waarin eerst een algemene visie is beschreven. Daarna volgen enkele uitgangspunten die al vastliggen in bestaand beleid, zoals omgevingsplannen, regiovisies en samenwerkingsverbanden. Vervolgens worden vijf hoofdlijnen gepresenteerd die uitgewerkt zijn in 53 speerpunten. De speerpunten geven over het algemeen alleen een richting aan over welke kant het college op wil. Om duidelijk te maken hoe de speerpunten geformuleerd zijn, wordt hieronder een deel van één van de hoofdlijnen te weten, Ontwikkelen stedelijk gebied, getoond:
Woningbouw
- Kwalitatief hoogwaardig, duurzaam stedelijk bouwen.
- Vernieuwende architectuur.
- Slimme combinaties van functies.
- Water en groen in bebouwde omgeving.
- Hoogbouw gecombineerd met groen.
- Bevorderen bouw en renovatie huurwoningen.
- Zuinig ruimtegebruik. Dus ook ondergronds.
Op deze manier zijn de speerpunten neergezet in het collegeprogramma. Er staan weinig concrete doelstellingen in en er wordt geen financiële informatie verstrekt, behalve dat er een resterende (financiële) ruimte is aangegeven per jaar. Hierin staat vermeld wat voor totaalbedragen zijn vrijgemaakt voor het beleid in het collegeprogramma.
Het college van gedeputeerde staten heeft in het collegeprogramma 2003-2007 ook een missie opgeschreven van enkele regels. Samengevat komt het neer op het volgende: het zorgen voor een sociale provincie waar iedereen zich veilig kan voelen, kan wonen, werken en recreëren.
Een dynamische provincie die een leefbare omgeving biedt. Een provincie die uitnodigt om in te investeren.
Een strategie om dit te bewerkstelligen is in het collegeprogramma in vijf hoofdlijnen uitgewerkt, waarvan hiervoor een deel van een hoofdlijn is getoond. De vijf hoofdlijnen zijn de volgende:
• Ontwikkelen stedelijk gebied
• Ontwikkelen landelijk gebied
• Bereikbaarheid
• Onderwijs en kennisinfrastructuur
• Veiligheid en sociaal evenwicht
Deze hoofdlijnen zijn dus verder uitgesplitst in 53 speerpunten. De vijf hoofdlijnen kunnen worden beschouwd als de strategie van de provincie Drenthe voor de komende vier jaar. De 53 speerpunten kunnen feitelijk beschouwd worden als een operationalisatie van de strategie.
Buiten het collegeprogramma is verder nergens een strategie of missie gedocumenteerd voor de provincie Drenthe als organisatie. De product- en stafgroepen hebben wel een persoonlijke missie/visie opgesteld die iets meer los staat van het collegeprogramma. Hierbij is wel een groot verschil in de uitwerking ervan door de verschillende product- en stafgroepen. Waar de productgroep milieu bijvoorbeeld een uitgebreide beschrijving geeft van de missie en de visie die daar bij hoort, beschrijft de productgroep bodem haar missie in twee regels.
Voor een non-profitorganisatie als de provincie Drenthe is het opstellen van een strategie een veel gecompliceerder verhaal dan bij een profitorganisatie. De naam ervan geeft dit al aan: het gaat bij de laatste vooral om de winst, uitgedrukt in geld. Bij een overheidsorganisatie zoals een provincie zijn de doelen (en de producten) veel meer divers. In de volgende paragraaf wordt dit duidelijk gemaakt.
1.3. Activiteiten
De provincie Drenthe levert een variëteit aan producten en diensten. Er zijn in totaal acht productgroepen die zorgen voor de uitvoering hiervan. De producten en diensten staan in twee
documenten: de begroting 2004 en de productenraming 2004. De begroting 2004 is een beleidsbegroting en is opgebouwd in 25 programma’s. Per programma staan doelstellingen aangegeven, vaak met indicatoren, daarnaast staan er bijbehorende beleidsvoornemens voor het komende jaar. In de productenraming 2004 staan dezelfde 25 programma’s uitgewerkt naar prestaties. Beschreven wordt wat de prestatie is, wie de klanten en wat de tegenprestaties zijn, en welke overige relevante partijen er zijn. Dit is gedaan volgens de maatschappelijke marketing van Buurma (zie voor uitleg paragraaf 4.2.). In dit document staan de doelstellingnummers, de prestatienummers en wordt duidelijk tot welk programma deze prestaties horen. De twee documenten begroting 2004 en productenraming 2004 zullen verder voor het gemak ‘de begroting’ genoemd worden.
In de begroting staan in totaal 96 doelstellingen met elk één of meer prestaties die daar bij horen. In totaal staan er in de begroting meer dan 350 verschillende prestatienummers. Deze prestaties kan men zien als de producten en diensten die de provincie Drenthe produceert en uitvoert. Om de diversiteit aan te geven worden hier enkele voorbeelden gegeven: het beoordelen van besluiten ingevolge bepaalde wetten, het coördineren en initiëren van oefeningen rampenbestrijding, vaarwegen beheren, onderzoeken grondwaterwinning uitvoeren, participatie in gedelegeerde muskusrattenbestrijding, provinciale milieuverordeningen opstellen, bossen aanleggen, bedrijventerreinen aanleggen, het subsidiëren van het project ‘Voortijdig schoolverlaten’, het subsidiëren van amateurkunstorganisaties, en beleid ontwikkelen voor stedelijke vernieuwing.
Hier houdt de onderverdeling echter nog niet op. Een prestatienummer kan namelijk ook over verschillende budgetnummers beschikken. Zo beschikt de prestatie ‘Subsidiëring instellingen’
onder de doelstelling ‘Participatie en sociale ontwikkeling’ en het bijbehorende programma
‘Welzijn’ nog over 11 verschillende budgetnummers (zie figuur 1.1.).
Figuur 1.1.: Prestaties in de begroting
Deze voorbeelden maken duidelijk dat een organisatie als de provincie Drenthe een enorme Budget nr.
443.007 443.013 442.028 Enz.
Welzijn Welzijn
Participatie en sociale ontwikkeling Subsidiëring instellingen
Activiteiten jeugd en samenleving Kinderopvang provinciale instellingen Scouting Noord-Nederland
Enz.
8.
8.0 38407 3840701 3840701 Hoofdfunctie
Programma Doelstelling Prestatie nr.
Budget bij Prestatie nr.
strategie. Het is moeilijk om één duidelijke strategie te formuleren die alles omvat wat de provincie Drenthe (of in dit geval het college van GS) wil bereiken.
1.4. De overheidsorganisatie
De provincie Drenthe is een overheidsorganisatie en bevindt zich in de non-profitsector. Dit heeft voor verschillende gebieden consequenties. Prestatiemeting in de overheid verschilt bijvoorbeeld nogal met prestatiemeting in een bedrijf uit de profitsector. De belangrijkste reden hiervoor heeft betrekking op de markt. Profitorganisaties zetten hun producten op een markt af waar vraag en aanbod is voor hun producten en daardoor ontstaat een marktprijs. Bij de non-profitsector ontbreekt deze marktwerking echter het meest van de tijd. Dit heeft als gevolg dat er geen marktprijzen beschikbaar zijn voor de output van de overheid. Volgens Jansen (1996) heeft dit drie belangrijke consequenties.
Allereerst kan hierdoor de identificatie van de productie worden bemoeilijkt. In een profitorganisatie is de identificatie van producten eenvoudig: een product kenmerkt zich doordat er buiten de eigen organisatie een (markt)prijs voor wordt betaald. Bij een non- profitorganisatie is dit echter niet zo simpel. Wat is bijvoorbeeld het product van de productgroep Cultuur en Welzijn die zich bezig houdt met het bevorderen van de kwaliteit van kunstproducties? Dit is niet eenvoudig te benoemen.
De tweede consequentie is dat op marktprijzen gebaseerde outputgegevens (zie voor uitleg output paragraaf 4.2.) het voordeel hebben dat zij gemakkelijk aggregeerbaar zijn.
Marktprijzen bieden inzicht in de waarde van één eenheid product. Omdat er in de non- profitsector nauwelijks marktprijzen zijn, gaat dit bij de provincie Drenthe niet op. Zodoende kan ook minder snel een vergelijking tussen verschillende producten van afdelingen gemaakt worden.
Als laatste complicatie noemt Jansen dat ‘algemeen erkende’ performance-maatstaven ontbreken in de non-profitsector. De afwezigheid van marktprijzen maakt toepassing van vele in de marktsector ontwikkelde en gebruikelijke technieken voor outputmeting aanzienlijk gecompliceerder. Bij een profitorganisatie is het veelal het geval dat er een winstdoelstelling is geformuleerd, waaraan wordt afgemeten hoe goed een organisatie heeft gepresteerd. Bij een organisatie als de provincie Drenthe is de doelstelling niet in winst (in geldeenheden) uitgedrukt, maar in geformuleerde beleidswensen en richtingen. Dit maakt het beoordelen van dit soort organisatie een stuk lastiger.
Resultaatgericht werken
Evenals veel gemeenten hebben de provincies gedurende de laatste vijftien tot twintig jaar hun planning- en controlinstrumentarium vernieuwd. Belangrijke impulsen hiervoor waren het BBI-project (Beleids- en beheerinstrumentarium) en de ontwikkelingen in enkele grote
gemeenten (Van Helden, 1999). Het gaat hierbij vooral over het resultaatgericht werken. In het afgelopen decennium kwam ook het New Public Management (NPM) in opkomst. NPM is een ontwikkeling waarbij overheidsorganisaties instrumenten en stijlen gaan gebruiken afkomstig uit de bedrijfsleven (Van Helden en Jansen, 2003). Dit zou er onder andere toe moeten leiden dat een overheidsorganisatie resultaatgerichter gaat werken.
Mol en De Kruijf (2002) concluderen in hun artikel dat een daadwerkelijk resultaatgerichte sturing bij de overheid maar moeilijk van de grond komt. Niet alleen bij de rijksoverheid, maar ook bij de decentrale overheden en de verzelfstandigde overheidsdiensten lijkt de sturing toch voornamelijk op middelen te zijn gericht. Wil je een organisatie als de provincie Drenthe echter resultaat gerichter laten werken, dan moet de nadruk meer komen te liggen op het resultaat (de output). Hiervoor dienen ook de juiste doelstellingen en indicatoren ontwikkeld te worden. Dit resultaat gerichter werken is zeker ook van belang als je een collegeprogramma (met daarin in feite de strategie) meer afrekenbaar wil maken. Deze onderwerpen staan in dit onderzoek centraal, en zullen in de verschillende hoofdstukken terugkomen.
Hoofdstuk 2. Aanleiding onderzoek en probleemstelling
Als eerste wordt in dit hoofdstuk de aanleiding van het onderzoek beschreven. Hierin wordt uitgelegd wat de redenen zijn geweest om dit onderzoek uit te voeren. Daarna wordt in paragraaf 2.2. de probleemstelling met daarin de doel- en vraagstelling gepresenteerd. Als laatste komt in paragraaf 2.3. het theoretisch model aan de orde, dat gebruikt wordt om verschillende relaties tussen de concepten via de theorie inzichtbaar te maken.
2.1. Aanleiding onderzoek
Vanuit de provincie Drenthe is de directe opdrachtgever de concerncontroller geweest. In zijn geformuleerde onderzoeksvraag wilde hij weten hoe prestatie-indicatoren eruit moeten zien om het collegeprogramma in 2007 afrekenbaar te kunnen laten zijn. Onderliggende gedachte is dat sturing op, en beheersing en verantwoording van dit programma beter mogelijk is.
Gekozen is voor het sturingsniveau gedeputeerde staten (GS) met provinciale staten (PS). De prestatie-indicatoren moesten vooral op dit niveau onderzocht worden. GS zal verantwoording moeten geven over het gevoerde beleid. Wanneer gekeken wordt of de doelstellingen zijn gehaald, moet dit op een of andere manier gemeten worden. Hiervoor wordt onder andere gebruik gemaakt van indicatoren. In dit onderzoek wordt de theorie over input-, throughput-, output- en effect-indicatoren beschreven. Op het niveau van PS-GS zouden idealiter effectindicatoren gebruikt worden om de doelstellingen te meten. Voor een non- profitorganisatie is dit echter om een aantal redenen nauwelijks mogelijk. In dit onderzoek wordt daarom met name de rol die output-indicatoren kunnen spelen onderzocht.
Tevens komt er van de concerncontroller de vraag naar gecomprimeerde informatie over begrotingen, jaarverslagen en jaarrekeningen. De gedachte hierachter is dat een jaarverslag ongeveer een half jaar na het eind van het betreffende jaar wordt besproken met PS. Dit bemoeilijkt de sturing via deze informatiedocumenten. Bovendien lijkt het grote aantal indicatoren in deze stukken teveel om het overzicht te kunnen houden. Onderzocht moet worden of het mogelijk is om deze stukken op een of andere manier te comprimeren, zodat sneller en gemakkelijker, ook tussentijds kan worden gestuurd, beheerst en verantwoording kan worden afgelegd. Hierbij moet echter ook de vraag gesteld worden of het nuttig en wenselijk is om dit te doen. In dit onderzoek zal vooral worden gekeken op welke manier het collegeprogramma gecomprimeerd kan worden. De systematiek hiervoor zou dan tevens kunnen worden gebruikt bij het comprimeren van andere prestatie-informatiedocumenten.
2.2. Probleemstelling
De probleemstelling bestaat volgens Verschuren (1999: 16) uit een doelstelling en een vraagstelling. Het gaat om de vragen ‘welk doel wil je bereiken?’ en ‘welke kennis wil je vergaren?’.
Doelstelling van het onderzoek:
Het doel van het onderzoek is het aangeven hoe verschillende indicatoren eruit moeten zien binnen de provincie Drenthe, zodat gedeputeerde staten provinciale staten van informatie kunnen voorzien over het uit te voeren collegeprogramma.
Vraagstelling van het onderzoek:
Wat voor rol kunnen indicatoren spelen binnen de provincie Drenthe om het collegeprogramma afrekenbaar te laten zijn, en zo een zo goed mogelijke uitspraak te kunnen doen over de maatschappelijke effecten?
Voor het beantwoorden van deze probleemstelling is een aantal deelvragen opgesteld. Deze vragen zijn afgeleid van de probleemstelling.
Deelvragen:
1. Wat zijn prestatie-indicatoren en welke soorten indicatoren bestaan er?
2. Wat voor criteria aan prestatie-indicatoren bestaan er in de literatuur en vanuit de provincie Drenthe?
3. Hoe zien de sturingsrelaties er binnen de provincie Drenthe uit?
4. Hoe zien indicatoren er nu in de provincie Drenthe uit, met name op het sturingsniveau PS-GS?
5. Wat zijn de valkuilen bij het ontwikkelen en implementeren van prestatie-indicatoren?
6. In hoeverre zorgt gecomprimeerde informatie voor verbeterde verantwoording over het collegeprogramma van GS aan PS?
7. Wat voor rol kunnen prestatie-indicatoren spelen bij gecomprimeerde informatie?
8. Wat voor informatie wil GS aan PS leveren?
Deze deelvragen zullen in de komende hoofdstukken beantwoord gaan worden. De eerste deelvraag wordt in hoofdstuk 4 beantwoord. In dit hoofdstuk komen tevens de criteria van deelvraag 2 aan de orde. De sturingsrelaties worden in hoofdstuk 5 beschreven waar ook de koppeling gemaakt wordt met de indicatoren. Om deelvraag 4 te beantwoorden is gebruik gemaakt van interviews met statenleden en gedeputeerden. Deze interviews zijn terug te vinden in respectievelijk hoofdstuk 6 en 7. De valkuilen van deelvraag 5 staan in het hoofdstuk over indicatoren (hoofdstuk 4). Bij het beantwoorden van de deelvragen over gecomprimeerde informatie is tevens gebruik gemaakt van de interviews (hoofdstuk 6 en 7).
De laatste deelvraag is ook beantwoord door gebruik te maken van de informatie verkregen
conclusiehoofdstuk (hoofdstuk 9) de probleemstelling beantwoord. Hiervoor is in hoofdstuk 8 ook nog een voorbeeld uitgewerkt waarin de resultaten van het collegeprogramma op een andere manier weergegeven kunnen worden. Hierin speelt de gecomprimeerde informatie ook een rol.
2.3. Theoretisch kader
Voor het onderzoek is een conceptueel model opgesteld, dat de relaties tussen de verschillende concepten in kaart brengt via de verschillende theorieën. Het conceptueel model is weergegeven in figuur 2.1. Er zal per pijl aangegeven worden wat de relatie is tussen de verschillende concepten.
Figuur 2.1.: Conceptueel model
Criteria – prestatie-indicatoren
Wanneer je wilt aangeven hoe verschillende indicatoren eruit moeten zien binnen de provincie Drenthe, dan zullen indicatoren moeten voldoen aan bepaalde criteria. Er bestaan in de literatuur heel uiteenlopende criteria die op een indicator van toepassing kunnen zijn. In hoofdstuk 4, paragraaf 3 wordt een aantal hiervan beschreven. Deze criteria moeten ervoor zorgen dat de prestatie-indicatoren zo worden geformuleerd, dat ze straks goed zijn te gebruiken in de organisatie. Door het zichtbaar maken van een aantal eisen voor goede indicatoren (zoals bijvoorbeeld het specificeren van een norm, of het opstellen van indicatoren met betrokkenen) en door zich ook te houden aan deze eisen, wordt de basis gelegd voor een goed en gemakkelijk gebruik van indicatoren. Het toepassen van de criteria leidt dus tot het goed formuleren en gebruiken van prestatie-indicatoren.
Valkuilen – prestatie-indicatoren
Aan de andere kant zijn er ook veel potentiële valkuilen waar bij het werken met prestatie- indicatoren rekening mee moet worden gehouden. Het feit dat indicatoren goed zijn geformuleerd wil nog niet zeggen dat ze altijd goed worden gebruikt. Er moet voor gewaakt
prestatie- indicatoren
criteria
valkuilen
sturingsniveau
gecomprimeerde informatie
informatie voorziening
resultaatgericht collegeprogramma
worden dat er niet in de valkuilen wordt getrapt. In hoofdstuk 4, paragraaf 4 is ingegaan op de rol die de directe gebruikers en de managers kunnen spelen bij het werken met indicatoren.
Door bepaalde disfunctionele effecten in kaart te brengen, wordt er op gewezen dat hiervoor gewaakt moeten worden. Met deze gevaren in het achterhoofd kan goed met prestatie- indicatoren gewerkt worden. Het rekening houden met deze valkuilen moet ertoe leiden dat er op een goede manier met de prestatie-indicatoren wordt omgesprongen door de gebruikers ervan.
Sturingsniveau – prestatie-indicatoren
In de probleemstelling wordt een bepaald sturingsdocument (het collegeprogramma) genomen als hoofdthema. Hiervoor dienen de juiste prestatie-indicatoren te komen, zodat de onderwerpen uit dit document gevolgd en gestuurd kunnen worden. Er zijn verschillende soorten indicatoren (beschreven in hoofdstuk 4, paragraaf 2) en verschillende sturingsniveaus in de provincie Drenthe (hoofdstuk 5, paragraaf 1). De verschillende niveaus van sturing lenen zich voor verschillende soorten indicatoren. Zo bepaalt uiteindelijk het sturingsniveau welk soort indicator gebruikt kan worden. In dit onderzoek gaat het om de vraag wat voor soort indicatoren er op het sturingsniveau GS – PS gebruikt kunnen worden.
Sturingsniveau – informatievoorziening
Het niveau van sturing (bijvoorbeeld het niveau GS – PS) bepaalt in wezen met wat voor soort informatie er wordt gewerkt. Elk soort document dat prestatie-informatie bevat, hoort bij één of meerdere sturingsniveaus. Zo zal er op een hoog sturingsniveau zoals GS – PS (prestatie-)informatie moeten zijn waarmee op hoofdlijnen gestuurd kan worden. Dit is in feite een tussenstap naar het bepalen van het soort indicator. Op het sturingsniveau GS – PS bestaat het collegeprogramma. Dit moet informatie leveren op hoofdlijnen over een periode van vier jaar. Zo bepaalt het sturingsniveau wat voor informatievoorziening geleverd moet worden.
Informatievoorziening – prestatie-indicatoren
Het soort prestatie-indicator (dat door het sturingsniveau is bepaald) moet ervoor zorgen dat deze informatievoorziening goed wordt weergegeven. Verschillende indicatoren passen bij verschillende soorten informatievoorziening. In hoofdstuk 5 wordt bijvoorbeeld aangegeven dat naarmate de informatievoorziening op een gedetailleerder niveau komt te liggen, als soort indicator eerder een input-indicator zal moeten worden gebruikt. Door een bepaalde vorm van informatie te leveren kan dan gezocht worden naar het soort indicator dat deze informatie kan weergeven. In dit onderzoek gaat het met name om de vraag welke indicatoren geschikt zijn om informatie op hoofdlijnen van het collegeprogramma te presenteren. Het soort indicator is dus afhankelijk van het type informatievoorziening.
Informatievoorziening – gecomprimeerde informatie
Waar met name in hoofdstuk 8 bij stil wordt gestaan, is de vraag of deze
interviews (zie hoofdstuk 6 en 7) is namelijk onder andere gebleken dat er een behoefte bestaat bij statenleden om een overzicht op hoofdlijnen te ontvangen van het collegeprogramma. De informatie op hoofdlijnen moet echter wel over de resultaten van het gevoerde beleid gaan. Er zal dus wel resultaatgerichte informatie in het overzicht moeten komen. Hiervoor moet de informatie zo concreet mogelijk gepresenteerd worden. In een overzicht op hoofdlijnen zal echter niet alle informatie passen. Daarom moet de (prestatie-) informatie in gecomprimeerde vorm gepresenteerd worden. Het hangt van het soort informatie af of het mogelijk is om te comprimeren en op welke wijze dit dan moet gebeuren.
Prestatie-indicatoren – informatievoorziening
Doordat er een relatie is gelegd tussen het soort indicator enerzijds en het sturingsniveau en de informatievoorziening anderzijds, kan nu in beeld worden gebracht welke indicatoren gebruikt kunnen worden bij het overzicht op hoofdlijnen van het collegeprogramma (de gecomprimeerde informatie). De indicatoren die passen bij het sturingsniveau en de informatievoorziening kunnen nu gebruikt worden bij de gecomprimeerde informatie. De prestatie-indicatoren bepalen op deze manier hoe de gecomprimeerde informatie eruit moet komen te zien.
Gecomprimeerde informatie – resultaatgericht collegeprogramma
Uiteindelijk moet de gecomprimeerde informatie tot een resultaatgerichter collegeprogramma leiden. Er is nu aangegeven aan welke criteria indicatoren moeten voldoen, met welke valkuilen rekening moet worden gehouden, bij welk sturingsniveau en bij welke informatievoorziening indicatoren passen. In hoofdstuk 8 wordt getoond dat via een selectieproces tot stand gekomen overzicht op hoofdlijnen, moet leiden tot een resultaatgerichtere manier van werken. Zo is laten zien hoe indicatoren er uit moeten zien (door het gebruik van gecomprimeerde informatie) om te leiden tot een resultaatgericht collegeprogramma.
Hoofdstuk 3. Methodologie
Het type onderzoek waarvan gebruik wordt gemaakt is afhankelijk van de probleemstelling.
Er zijn volgens Baarda en de Goede (1996: 21) drie soorten onderzoek te onderscheiden:
beschrijvend, explorerend en toetsend. In de probleemstelling van dit onderzoek wordt gevraagd naar de rol die indicatoren kunnen spelen bij het concreter maken van het collegeprogramma. Onderzocht moet worden waarom met de huidige doelstellingen en indicatoren van de provincie Drenthe het collegeprogramma niet concreet te meten valt, en hoe dit eventueel veranderd kan worden. De onderzoeker moet verkennen (exploreren) wat de redenen zijn dat het collegeprogramma niet concreet te meten valt en waar die redenen mee samenhangen. Er wordt in dit onderzoek dus gebruik gemaakt van explorerend onderzoek.
Met explorerend onderzoek wil je tot verklaringen van verschillen en samenhangen komen.
Van tevoren heb je als onderzoeker nog geen uitgesproken meningen over de mogelijke verbanden of verschillen, maar alleen vermoedens.
Dit hoofdstuk behandelt als eerste in paragraaf 3.1. de verschillende manieren waarop informatie is verkregen. In de volgende paragraaf komen de selectiecriteria aan bod waaraan de respondenten van de interviews moesten voldoen. Tevens wordt hier wat meer verteld over de wijze waarop de interviews hebben plaatsgevonden. In de laatste paragraaf (3.3.) wordt bekeken wat de kwaliteit is van de gedane metingen in dit onderzoek. Dit gebeurt aan de hand van een drietal deugdelijkheideisen waaraan data moeten voldoen, te weten de betrouwbaarheid, de validiteit en de verifieerbaarheid.
3.1. Dataverzamelingsmethoden
Volgens Baarda en de Goede (1996: 134) zijn er drie manieren om aan gegevens te komen:
- gebruik maken van bestaande informatie - verkrijgen van gegevens via observatie
- verkrijgen van gegevens via schriftelijk of mondeling interview Gebruik maken van bestaande informatie
Voor de hoofdstukken over indicatoren en de sturingsrelaties is de literatuur geraadpleegd.
Daarnaast is gebruik gemaakt van interne documenten van de provincie Drenthe, zoals de Reader Planning en Control Drenthe en uiteraard de begroting, de jaarrekening, en het collegeprogramma. Ook is vaak van het intranet van de provincie Drenthe: Huisnet Drenthe gebruik gemaakt. Deze informatiebronnen bleken vooral handig in de oriëntatiefase van het onderzoek. De literatuur (vooral over indicatoren) is daarnaast ook gebruikt bij het opstellen van de vragenlijsten van de interviews.
Verkrijgen van gegevens via observatie
Deze methode wordt vaak gebruikt wanneer het om gedrag gaat. Er is in die zin gebruik van gemaakt dat de onderzoeker enkele malen bij statenvergaderingen en commissievergaderingen op de publieke tribune plaats heeft genomen, om zo een beter inzicht in het politieke spel te krijgen. Bijkomend voordeel was dat de te interviewen personen geobserveerd konden worden. Op deze manier kon al voor het plaatsvinden van het interview een indruk worden gekregen van de manier van communiceren van de respondenten.
Verkrijgen van gegevens via schriftelijk of mondeling interview
In het begin van het onderzoek zijn eerst ongestructureerde gesprekken gevoerd met het hoofd van de productgroep Landelijk Gebied, het hoofd van de afdeling Financiën & Control en met medewerkers van deze afdeling. Het doel van deze gesprekken was om beter inzicht te krijgen in documenten als het collegeprogramma, de begroting en de jaarrekening. Tevens hebben deze gesprekken tot een beter begrip geleid van de totstandkoming van de begroting, de uitwerking van het collegeprogramma en de verschillende onderwerpen waar Landelijk Gebied mee te maken heeft. In dit onderzoek is daarnaast gebruik gemaakt van een aantal gestructureerde mondelinge interviews. Deze interviews worden in hoofdstuk 6 en 7 uitvoeriger behandeld.
3.2. De interviews
In deze paragraaf worden eerst de selectiecriteria waaraan de respondenten moesten voldoen beschreven. Daarna wordt dieper ingegaan op de methode van het interview. In de interviews is gebruik gemaakt van een aantal stellingen waarop de respondenten moesten reageren. Bij elke stelling diende de respondent aan te geven in welke mate hij of zij het hier mee eens was.
Er is gebruik gemaakt van een vijfpuntsschaalverdeling (zie figuur 3.1.).
1. Helemaal mee eens
2. Redelijk mee eens
3. Neutraal 4. Niet helemaal mee eens
5. Absoluut niet mee eens
Figuur 3.1.: Antwoordschema
De keuze voor deze schaalverdeling zal worden verantwoord en er zal worden uitgelegd op welke wijze de interviews zijn uitgewerkt.
Selectiecriteria respondenten
Voor het onderzoek zijn twee gedeputeerden geïnterviewd. De vragenlijsten die zijn gebruikt bij deze interviews zijn in bijlage II opgenomen. De twee gedeputeerden zijn geselecteerd op basis van hun portefeuille. De één is onder andere verantwoordelijk voor de begroting en jaarrekening en de ander is verantwoordelijk voor Landelijk Gebied. Dit is zo gekozen, omdat
de begroting en de jaarrekening belangrijke documenten worden geacht voor de weerspiegeling van het collegeprogramma. Deze documenten staan in dit onderzoek centraal.
In hoofdstuk 8 is een voorbeeld uitgewerkt van een overzicht van het collegeprogramma op hoofdlijnen. Hier wordt de hoofdlijn Landelijk Gebied uit het collegeprogramma gebruikt om verder uit te werken in het overzicht. Om deze reden zijn in de stellingen ook enkele onderwerpen gebruikt die specifiek betrekking hebben op Landelijk Gebied, en is gekozen om ook de verantwoordelijke gedeputeerde te interviewen.
In totaal zijn zes statenleden geïnterviewd voor dit onderzoek. De selectiecriteria waren er vooral op gericht om statenleden te kiezen die zich voornamelijk met de begroting en de jaarrekening bezig houden. Deze statenleden zitten veelal ook in de statencommissie Bestuur, Financiën en Economie (BFE). Ook zijn er drie leden die Landelijk Gebied in hun portefeuille hebben. Er is voor gekozen om statenleden te interviewen van de zes grootste fracties in de provinciale staten. Van beide coalitiepartijen is één statenlid geïnterviewd Daarnaast zijn er vier statenleden geïnterviewd van de vier grootste oppositiepartijen. Overigens hebben alle geïnterviewde statenleden naast hun lidmaatschap van de staten nog een fulltime baan.
De interviews
De interviewvragen zijn voor de zes statenleden dezelfde en zijn terug te vinden in bijlage III.
Per interview was een uur tijd uitgetrokken om in totaal 17 stellingen voor te leggen. Bij één respondent duurde het interview een half uur, waardoor dit interview een iets andere opzet kreeg. Bij dit interview zijn de 17 stellingen namelijk onder elkaar gezet, zodat de respondent een overzicht kreeg van de onderwerpen. Op een aantal stellingen is direct antwoord gevraagd, en bij het beantwoorden daarvan heeft de respondent impliciet ook antwoord gegeven op enkele andere stellingen. Bij de uitwerking van de interviews in hoofdstuk 6 zijn hierdoor soms maar vijf antwoorden per stelling verwerkt in plaats van zes.
Er is zoals gezegd gekozen voor een schaalverdeling met vijf antwoordmogelijkheden. Meer antwoordmogelijkheden leiden er namelijk toe dat er bij dit aantal respondenten nauwelijks nog algemene uitspraken kunnen worden gedaan. Minder antwoordmogelijkheden zouden echter de respondent te weinig kans laten om zijn antwoord te nuanceren. Tevens vergroot het de kans dat de respondent vaak in het midden gaat zitten met zijn antwoorden. Er is gepoogd veel van de stellingen zo scherp mogelijk te formuleren om zo de respondent zoveel mogelijk in een hoek te positioneren. Dit moet leiden tot een situatie waarin de respondent zijn positie gaat verdedigen en goed onderbouwde kritiek gaat leveren. Uiteraard hangt veel af van de kwaliteit van het doorvragen. Daarom is gebruik gemaakt van een vragenlijst met daarop per stelling een aantal van tevoren opgestelde ‘doorvragen’, die gebruikt kan worden bij het doorvragen. Deze lijst is tijdens de interviews naast de normale vragenlijst gehouden, maar is niet aan de respondenten laten zien. Zowel voor de interviews met de statenleden als met de gedeputeerden is van een dergelijke lijst gebruik gemaakt. De lijsten voor het doorvragen zijn opgenomen in bijlagen IV en V.
Bij de interviews met de twee gedeputeerden zijn verschillende stellingen gebruikt. Dit lag aan de ene kant aan het verschil in tijd dat voor de interviews beschikbaar was, en aan de andere kant aan het verantwoordelijke gebied van de gedeputeerden. Hierdoor zijn er zes dezelfde stellingen aan beide gedeputeerden voorgelegd. De gedeputeerde verantwoordelijk voor Landelijk Gebied heeft daarnaast nog één andere stelling voorgelegd gekregen over een onderdeel van Landelijk Gebied, en de gedeputeerde verantwoordelijk voor de begroting en jaarrekening heeft nog op drie andere stellingen gereageerd. Ook in deze interviews is gebruikt gemaakt van hetzelfde soort stellingen als in de interviews met de statenleden.
Sommige respondenten gaven misschien wel enigszins antwoorden die partij gerelateerd zijn.
Zo zijn de antwoorden van één van de respondenten vaak toe te wijzen aan het feit dat deze respondent lid is van een kleine oppositiepartij. De invloed die dan kan worden uitgeoefend, is nu eenmaal niet zo groot als bij een grote partij. Toch is dit één van de uitzonderingen. De respondent met de zwaarste kritiek op het huidige meetsysteem is namelijk afkomstig van een coalitiepartij. Tijdens de interviews met de gedeputeerden stelden beide respondenten zich wel kritisch op ten opzichte van het prestatiemeetsysteem. Wel waren ze iets behoudender met hun kritiek ten opzichte van de voortgang van het uitwerken van het collegeprogramma.
Bij de uitwerking van de interviews is gekozen om de resultaten in een vijftal thema’s te verdelen. De thema’s voor de interviews met de statenleden zijn het gebruik van prestatiedocumenten, de relatie tussen het collegeprogramma en de begroting, doelstellingen, indicatoren, en informatiebehoefte. Bij de uitwerking van de interviews met de gedeputeerden is het thema informatiebehoefte niet meegenomen.
3.3. De kwaliteit van metingen
Van de verzamelde data kan de kwaliteit met een aantal deugdelijkheideisen beoordeeld worden. In deze paragraaf worden drie van deze eisen behandeld. Als eerste wordt de betrouwbaarheid van de onderzoeksresultaten onderzocht. Een aantal zaken kan de betrouwbaarheid nadelig beïnvloeden. Vier van deze zaken worden in de eerste paragraaf behandeld. Daarna wordt de validiteit behandeld waarbij wordt ingegaan op de vraag of er ook is gemeten wat beoogd werd. Als laatste van de drie eisen komt in paragraaf 3.3.3.de verifieerbaarheid aan de orde.
3.3.1. Betrouwbaarheid
Een meetprocedure is betrouwbaar indien herhaalde meting dezelfde uitkomst oplevert terwijl er overigens niets is veranderd (de Leeuw 1996: 104). Dit betekent dus dat wanneer iemand anders de interviews had afgenomen, dezelfde resultaten uit het onderzoek waren gekomen.
Een aantal zaken kan de betrouwbaarheid nadelig beïnvloeden (Baarda, de Goede, 1998: 163).
Genoemd worden de situatie (de omgeving waarin het interview wordt afgenomen), de interviewer (niet alle interviewers roepen dezelfde reacties op), de vragenlijst (vooral bij het meten van abstracte, complexe begrippen) en de geïnterviewde persoon (bijvoorbeeld de stemming waarin de geïnterviewde verkeert).
Situatie
De helft van de interviews met de statenleden is gehouden op het werk van de respondenten.
De andere interviews hadden allemaal in een vergaderkamer in het provinciehuis plaats. De omstandigheden waren bij alle interviews rustig te noemen. Eén interview (bij iemand op het werk) kwam echter ietwat als een verrassing voor de respondent, omdat deze de afspraak niet in zijn agenda had gezet. Omdat de vragen echter niet van tevoren waren verstrekt aan de respondenten, en zo dus niet voorbereid konden worden, lijkt de betrouwbaarheid hierdoor er niet minder op geworden. In de brief met het verzoek tot een interview is bovendien uitgelegd waar het onderzoek en het interview over zouden gaan.
De interviewer
De onderzoeker heeft bij het afnemen van de interviews zoveel mogelijk zijn eigen voorkeur voor antwoorden proberen te verzwijgen. In de meeste gevallen is dit wel gelukt, maar soms is misschien ook in de richting van een gewenst antwoord gestuurd. De betrouwbaarheid hangt hier ook sterk af van het doorvragen van de interviewer. Niet alle ‘doorvragen’ zijn van tevoren gedocumenteerd, en zo heeft de interviewer naar bepaalde onderwerpen toegestuurd.
Omdat dit niet allemaal gedocumenteerd is, zouden bij een herhaling van dit onderzoek (op hetzelfde tijdstip) bepaalde onderwerpen meer of minder aandacht gekregen hebben. Echter, de strekking van de resultaten uit de interviews zou nagenoeg hetzelfde zijn geweest, omdat in de opgenomen stellingen de te onderzoeken begrippen zijn verwerkt.
De vragenlijst
De vragenlijst bestond voor de statenleden uit 17 dezelfde stellingen. Voor de interviews met de gedeputeerden waren er 6 dezelfde stellingen. Daarnaast is bij elke stelling gebruik gemaakt van een aantal ‘doorvragen’. Door met meerdere vragen de mening van de respondent over één onderwerp te onderzoeken wordt de kans op toeval verkleind. Wat dat betreft zijn in de onderzoeksresultaten (per respondent) ook geen opzienbaarlijke verschillen in antwoorden gegeven op verschillende stellingen die hetzelfde willen meten. Dit is ook gemakkelijker te controleren doordat de respondent bij 17 stellingen aan moest geven in welke mate hij het er mee eens was. Achteraf kan dan snel gecontroleerd worden of er verschillende antwoorden worden gegeven. Wanneer dit wel verschillend was, bleek bij de uitleg van de antwoorden (die ook mede door het doorvragen tot stand is gekomen) dat het allemaal iets genuanceerder was of dat het betreffende antwoord in een iets andere context moest worden gezien.
De geïnterviewde
Zoals gezegd had één van de respondenten er niet helemaal op gerekend dat het interview op het afgesproken tijdstip plaatsvond. De stemming van de respondenten is moeilijk te beoordelen. Het kan best zo zijn dat een andere stemming van de respondent tot iets andere antwoorden geleid zou hebben. De invloed die de onderzoeker hier op heeft, lijkt voor een onervaren onderzoeker niet veel. Bij één respondent kon de onderzoeker wel merken dat deze niet positief tegenover het opnemen van het gesprek stond. Na de eerste vraag vroeg de geïnterviewde dan ook of de taperecorder uit mocht, met als reden dat de respondent hierdoor vrijer zou kunnen praten. De onderzoeker heeft hierna toch nog geprobeerd om de geïnterviewde over te halen om het gesprek wel op te mogen nemen, waardoor het begin van het gesprek ietwat stroef verliep. Misschien dat een meer ervaren onderzoeker hier beter mee was omgegaan.
3.3.2. Validiteit
Validiteit wil volgens Baarda en de Goede (1998: 165) zeggen dat je dát gemeten moet hebben, wat je beoogde te meten. Er is bij het opstellen van de vragenlijst geprobeerd om complexe begrippen zoveel mogelijk te vertalen naar meetbare zaken. Hiervoor moeten theoretische begrippen geoperationaliseerd worden. Om bijvoorbeeld het derde thema doelstellingen te meten, wil je weten wat de kwaliteit ervan is. In de vragenlijst en tijdens het doorvragen komen dan vragen terug als: ‘wat voor doelstellingen worden gebruikt’, ‘zijn de doelstellingen meetbaar’, ‘zijn de doelstellingen concreet beschreven’, ‘kun je met de doelstellingen sturen’. Ook door het tonen van concrete voorbeelden aan de respondenten worden complexe begrippen beter meetbaar gemaakt. Het inbouwen van meerdere vragen die hetzelfde begrip pogen te meten, bevordert de validiteit van het onderzoek. In die zin is vooral het doorvragen erg belangrijk. Daarom is tevens gebruik gemaakt van de vragenlijst met de
‘doorvragen’ (zie bijlagen IV en V).
3.3.3. Verifieerbaarheid
Voor dit onderzoek bestaat een dataset met daarin gegevens in ruwe, ongeanalyseerde vorm.
De dataset bestaat voor dit onderzoek uit zes losse interviewverslagen met leden van provinciale staten en twee interviewverslagen met gedeputeerden. De interviewvragen zijn uitgewerkt door per stelling het kruis in het juiste vak te zetten, en vervolgens de motivering van het antwoord onder de stelling te zetten. Vervolgens is de uitwerking naar de betreffende respondent gestuurd, waar deze haar of zijn aan- en opmerkingen in kon plaatsten. Na deze opmerkingen verwerkt te hebben, is de aangepaste versie weer naar de respondent gestuurd, en hierna is het interviewverslag (de dataset) vastgesteld. Deze vastgestelde interviewverslagen behoren tot de (ruwe) dataset, en van daaruit werd de analyse gemaakt voor dit document. De dataset is dus gescheiden van de uiteindelijke scriptie. Dit maakt de
verifieerbaarheid gemakkelijker. Niet iedereen zal echter inzicht worden verschaft in de dataset, omdat er nog enige vorm van anonimiteit aanwezig moet blijven. Dit bevordert de transparantheid niet en werkt de verifieerbaarheid ook enigszins tegen. De uitwerking in hoofdstuk 6 en 7 geeft wel een precies beeld van de antwoorden van de respondenten op de stellingen. Op deze manier staan alle antwoorden erin, het is alleen niet altijd duidelijk voor de lezer, wie welk antwoord geeft. Alleen wanneer het nodig werd geacht, om bijvoorbeeld een causaal verband te leggen tussen de grootte van de partij en het betreffende antwoord, kwam dit terug in de analyse. In de analyse komt dus niet terug dat een respondent bij een bepaalde politieke partij behoort, maar wordt alleen een opmerking gemaakt over de grootte van de partij of over het wel of niet tot een coalitiepartij behoren van de respondent.
Hoofdstuk 4. Indicatoren
In dit hoofdstuk wordt begonnen met een algemene inleiding over wat nu eigenlijk prestatie- indicatoren zijn. In paragraaf 4.2. wordt ingegaan op de verschillende soorten indicatoren die er zijn. Daarna worden in paragraaf 4.3. verschillende criteria genoemd waaraan indicatoren moeten voldoen willen ze goed functioneren. Tevens wordt hier vastgesteld wat in dit onderzoek onder prestatie-indicatoren en andere definities wordt verstaan. Als laatste in dit hoofdstuk worden in paragraaf 4.4. belangrijke disfunctionele effecten (4.4.1.) en belemmeringen bij prestatiemeting (4.4.2.) behandeld.
4.1. Introductie prestatie-indicatoren
Een organisatie moet worden gestuurd, beheerst en moet verantwoording afleggen. Hiervoor heeft een organisatie informatie nodig over haar geleverde prestaties. Er bestaan verscheidene instrumenten om prestaties te meten: inspecties, audits, reviews en indicatoren. Het voordeel van indicatoren is dat ze compacte informatie bieden, inzicht geven in de trend en signaleren waar in het proces correctie nodig of verbetering mogelijk is. Voor dit laatste punt is een referentiekader nodig om aan te geven hoe goed prestaties van de organisatie zijn.
Het Platform Doelmatigheid (1997) stelt dat een indicator gelijk is aan een kengetal en valt te definiëren als een absoluut getal of verhoudingsgetal dat is uitgedrukt in fysieke of in geldeenheden. Daarnaast geeft het de toestand van of ontwikkeling op een bepaald beleidsterrein weer.
Het gaat hier dus om een getal wat een bepaalde toestand aangeeft. Om een ontwikkeling weer te geven is ook informatie nodig waarmee de indicator vergeleken kan worden. Dit betekent dat bij invoering van een prestatiemeetsysteem met indicatoren pas na enkele jaren een ontwikkeling kan worden weergegeven. Een trend is zo’n ontwikkeling. Voordat een trend gesignaleerd kan worden is nog een langere periode nodig, omdat daar het gemiddelde van een aantal jaren het uitgangspunt vormt. Het punt dat een indicator wordt uitgedrukt in geld of fysieke eenheden wil zeggen dat ze uitgedrukt wordt in kwantificeerbare eenheden.
Dit zorgt ervoor dat de indicatoren gemakkelijker met elkaar vergeleken kunnen worden.
Onder fysieke eenheden wordt volgens het Platform Doelmatigheid ook het aantal uren of aantal formatieplaatsen verstaan.
Kerklaan e.a. (1997) geven aan dat indicatoren informatie bieden over:
• afwijking van het (organisatie)doel;
• ontwikkeling in de omgeving;
• functioneren van de systemen;
• verbruik van middelen.
Het eerste punt impliceert dat er een doel is waarvoor een indicator is opgesteld. De indicator laat zien in hoeverre is afgeweken van het te realiseren doel. Er is een referentiekader nodig waarin de prestaties worden afgezet tegen een norm. In de doelstelling van een prestatie zal daarom ook altijd een norm moeten zitten.
Het tweede punt houdt in dat indicatoren vergelijkbaar moeten zijn in de tijd. Een indicator kan vergeleken worden met dezelfde indicator van een vorige periode.
Het derde punt, informatie bieden over het functioneren van het systeem, hangt samen met het eerste punt. Via een norm kan er een oordeel worden geveld over het functioneren van het systeem. Kerklaan e.a. richten zich niet specifiek op een overheidsorganisatie in hun boek.
Daarom zou dit punt ook anders uitgelegd kunnen worden binnen de context van een provincie. Wanneer er gekeken wordt naar de effecten van de prestatie, kijk je in wezen naar het functioneren van het systeem. Het systeem is in dit geval de geleverde prestatie. Zo zou een indicator dus informatie moeten bieden over het effect van de prestatie.
Het vierde en laatste punt gaat over het verbruik van middelen dat nodig is om de prestatie tot stand te brengen. Informatie over verbruik van middelen wil zeggen dat er bijvoorbeeld wordt aangegeven hoeveel geld of welk aantal uren er nodig is geweest om een bepaalde prestatie te produceren.
4.2. Soorten indicatoren
De overheidsorganisatie kan worden gemodelleerd als een transformatieproces. Op deze manier kunnen vier verschillende fasen onderscheiden worden, te weten input, throughput, output, en outcome (zie figuur 4.1.).
Figuur 4.1.: Model van het transformatieproces
Input
Volgens Van Helden en Jansen (1996), gaat het bij input om de middelen die in het productieproces gebruikt worden. Hier staat de informatie over het verbruik van middelen dat nodig is voor het leveren van een product of programma zoals Kerklaan e.a. (1997) bedoelen.
Throughput
De throughput heeft betrekking op de activiteiten, ook wel interne bedrijfsprocessen, die in de organisatie worden uitgevoerd. Het verschil tussen input en throughput is moeilijk aan te geven in serviceorganisaties. Daarom beschouwen Ter Bogt en Van Helden (1999) input en throughput ook als één categorie. Het kan voor de provincie Drenthe echter wel handig zijn in
throughput (proces)
outcome (effecten) output
(producten) input
(middelen)
wil weten hoever men is met de uitvoering van een bepaald project, lijkt het handig om van dit soort indicatoren gebruik te maken. Daarom worden in dit onderzoek beide categorieën aangehouden.
Output
De output geeft de uitkomsten van het productieproces weer, dus het aantal (te behalen of gerealiseerde) producten of diensten. Het kan enige problemen opleveren om dit te benoemen voor bepaalde producten die de provincie Drenthe voortbrengt. Als de provincie Drenthe een subsidie verleent aan een basisschool, zodat haar leerlingen 30 zwemlesuren per leerling krijgen, wat is dan de prestatie (en dus de output)? De provincie Drenthe geeft de zwemlessen niet zelf, maar zij beoordeelt of het in het beleid past om een subsidie hiervoor te geven. Haar input is het aantal uren dat nodig is voor het beoordelen en verlenen van de subsidie en de output is één verleende subsidie. Het effect (de outcome) is dan dat er 30 zwemlesuren per leerling worden gegeven. Zonder hier diep op in te gaan, is duidelijk dat het niet handig is om te gaan sturen op het aantal subsidies dat een afdeling per jaar verleent. Daarom kan bij het verlenen van subsidies de output beter gedefinieerd worden als het resultaat dat beoogd wordt met het geven van die subsidie. De output is dan niet meer het verlenen van één subsidie, maar wordt geformuleerd in termen die de beoogde uitkomsten weergeven van het verlenen van die subsidie. De output wordt dan ‘het geven van 30 zwemlesuren aan leerlingen van een basisschool door middel van een subsidie’.
Outcome
De outcome houdt verband met de effecten van het productieproces (Van Helden en Jansen, 1996). De outcome vormt een oordeel over de effectiviteit van een prestatie. Heeft de prestatie het resultaat behaald wat het beoogde? Er wordt een duidelijk relatie gelegd met de output. Deze relatie draagt een causaal verband met zich mee: door prestatie X te leveren, wordt gepoogd effect Y te bereiken. Om door te gaan met het voorbeeld van de zwemles, kan bij de output ‘het geven van 30 zwemlesuren’, de beoogde outcome zijn dat van de 1000 leerlingen die deze zwemlessen betreffen er 900 hun zwemdiploma A zullen gaan halen.
Buurma en de provincie Drenthe
In de provincie Drenthe is gepoogd om met begrippen te werken die zijn beïnvloed door de maatschappelijke marketing van Buurma (2000). In een document dat is opgesteld door een medewerker van de provincie Drenthe worden de volgende termen gebruikt: activiteiten, prestaties, beleidsdoelstellingen en maatschappelijke effecten. Er wordt uitgegaan van een principe van ‘overheidsmarketing’ met de burger als klant van de overheid. Maatschappelijke effecten zijn hier:
• de door de overheid bedoelde (maar soms ook niet bedoelde) veranderingen in de samenleving;
• vaak niet toe te rekenen aan alleen handelen van de overheid;
• uiteindelijk veroorzaakt door handelen (gedrag) van mensen in de samenleving.
Beleidsdoelstellingen zijn die bedoelde maatschappelijke effecten waarvan duidelijk is dat er een verband is tussen het handelen van de overheid en het effect. Ze worden vaak omschreven in termen van het gewenste gedrag van de burgers of de door de overheid (of intermediair) te realiseren voorzieningen. Wanneer dit vergeleken wordt met output en outcome, valt het op dat een beleidsdoelstelling zowel in termen van output als in termen van outcome beschreven kan worden. Het gewenste gedrag van de burger kan namelijk gemeten worden met outcome- indicatoren. Een gerealiseerde voorziening is echter een vorm van output. Het is hierdoor niet duidelijk waarop gestuurd moet worden. Een doelstelling die beschreven is in de vorm (van de inhoud) van een gerealiseerde voorziening of bijvoorbeeld in de vorm van ‘de veiligheid op de snelwegen moet toenemen’ geeft nogal een verschil in sturing. Wanneer deze twee verschillende doelstellingen allebei beleidsdoelstellingen worden genoemd, schept dit nogal onduidelijkheid voor de personen die aan de doelstellingen moeten werken.
Ter Bogt en Van Helden (1999) geven aan dat bij prestaties van overheidsorganisaties de nadruk zou moeten liggen op de outcomes, omdat het daar uiteindelijk om gaat. In de praktijk is het meten van outcomes echter zeer complex, omdat er veel factoren van invloed zijn op de outcomes van overheidsorganisaties en door de tijdsvertraging tussen de inputs en outputs aan de ene kant en de outcomes aan de andere kant. Hoe meet je bijvoorbeeld begrippen als leefbaarheid, veiligheid, en ‘Drentse dorpen moeten levend blijven’? Een honderd procent causaal verband tussen begrippen is onmogelijk. Als volgens bewoners de leefbaarheid is toegenomen nadat er meer groen in de stad is gekomen, komt dit dan alleen daardoor of zijn de huren misschien ook omlaag gegaan en is er misschien meer politie op straat gekomen?
Het geeft maar aan hoe moeilijk het is om de outcomes te bepalen die door specifieke acties van de overheid tot stand zijn gekomen. Ter Bogt en Van Helden zeggen dat wanneer outcome-indicatoren niet gebruikt kunnen worden, output-indicatoren dan het beste alternatief zijn, gevolgd door sturing via throughput- en tenslotte via input-indicatoren.
Bij de beleidsdoelstellingen in de provincie Drenthe kan dus zowel op outcome als op output gestuurd worden. Er wordt zoals gezegd ook gewerkt met de term prestaties. Onder deze prestaties worden handelingen van de overheid verstaan, waar de burger (de klant) concreet iets van merkt en die als gevolg hebben dat ze over een voorziening kunnen beschikken of die leiden tot een respons bij de burger. Het zijn abstracte of tastbare producten die de poort uitgaan. Als voorbeelden worden geboden, verboden, subsidies, heffingen, en voorzieningen genoemd. Hier wil ik weer wijzen op de moeilijkheid om de output goed te definiëren. Het heeft immers geen betekenis om aan te geven dat er 7 subsidies zijn verleend het afgelopen jaar. Het gaat erom wat er gedaan is met deze subsidies. Prestaties in die zin is dan hetzelfde als het eerder beschreven voorbeeld dat output het verlenen van één subsidie is. Het heeft geen zin om hierop te gaan sturen.
Drie soorten output van Anthony en Young
Anthony en Young (1999) spreken over drie soorten indicatoren om output te meten. Output
hebben het over drie soorten ‘output’ metingen: social indicators, results measures en process measures. Een social indicator geeft informatie over de mate van output die de impact weergeeft van de invloed op de gemeenschap. In die zin is de social indicator te vergelijken met de outcome-indicator zoals hierboven beschreven.
De result measure lijkt sterk op de eerder beschreven output-indicator. Er wordt onder verstaan dat dit type indicator de output probeert te vertalen in termen die gerelateerd zijn aan de doelen van de organisatie. Wanneer een organisatie erg klantgeoriënteerd is (zoals de provincie zou moeten zijn), moet de result measure zich verhouden tot wat de organisatie doet voor zijn klanten. Dit lijkt voor een provincie al snel in de richting te gaan van een effect in de maatschappij, waardoor je weer op het terrein van de outcome-indicatoren komt.
Als derde soort wordt gesproken over process measures of productivity measures, welke informatie verschaffen over een door de organisatie uitgevoerde activiteit. Er wordt een duidelijk verband gelegd tussen een activiteit en een tijdseenheid. Zo zijn process measures geformuleerd in termen die aangeven hoeveel activiteiten per uur, dag, maand of jaar zijn volbracht. Dit soort indicatoren komt sterk overeen met de eerder beschreven throughput- indicatoren en input-indicatoren. Ze geven een beeld van de input uitgedrukt in tijdseenheid.
De terminologie in de literatuur over indicatoren lijkt dus in grote lijnen met elkaar overeen te komen. In dit onderzoek wordt gebruik gemaakt van de terminologie die ook door Van Helden en Jansen (1996) wordt gebruikt. Er wordt hier echter wel onderscheid gehouden tussen input-indicatoren en throughput-indicatoren, omdat het soms handig kan zijn om informatie over de voortgang van de uitvoering van projecten te verschaffen. Op deze manier kunnen er vier soorten indicatoren in de provincie Drenthe worden onderscheiden: input-, throughput-, output-, en outcome-indicatoren.
Om straks inzichtelijk te maken met wat voor soort indicatoren in de provincie Drenthe wordt gewerkt, zijn in de vragenlijsten verschillende stellingen opgenomen die dit beogen te meten.
In bijlage III is in stelling 9 bijvoorbeeld gevraagd naar het inzicht in kosten van een prestatie wat duidt op de aanwezigheid van input-indicatoren. In stelling 10 en 11 gaat het specifiek over maatschappelijk effecten. Door op deze manier naar verschillende onderwerpen te vragen, kan een beeld worden verkregen over de aanwezigheid van verschillende soorten indicatoren (zoals de respondenten dit ervaren).
4.3. Criteria van indicatoren en normen
In de literatuur is enorm veel geschreven over criteria waaraan indicatoren moeten voldoen. In paragraaf 4.3.1. zullen de belangrijkste criteria aan bod komen die in een overheidsorganisatie als de provincie van belang zijn. Daarnaast wordt in paragraaf 4.3.2. iets dieper ingegaan op de normen die bij de doelstellingen horen. Als laatste worden in paragraaf 4.3.3. enkele begrippen vastgesteld voor dit onderzoek.
