Het vertrekpunt: uitgeklaarde motieven en duidelijke beleidsdoelstellingen

Voor de ontwikkeling van een capaciteit en instrument voor het monitoren van beleid zijn twee voorwaarden noodzakelijk.

Ten eerste moet het motief om te meten duidelijk zijn. Het motief bepaalt voor een groot deel het inhoudelijke profiel van de indicatorenset, net zoals de evaluatievragen en -criteria dit voor een evaluatie doen. Het motief om te meten kan aansluiten bij een frequent evaluatieschema dat men wil invoeren. In dat geval vertrekt men van gemeenschappelijke motieven om te evalueren en te meten (in functie daarvan). Bij monitoring ter ondersteuning van planning zal het zwaartepunt liggen op omgevingsindicatoren: kenmerken van de doelgroep of het doelgebied. Monitoring ter verbetering van het management en de uitvoering zal oog hebben voor efficiëntie en dus voornamelijk geconcentreerd zijn op input- en outputindicatoren. In het kader van het verantwoordingsperspectief verschuift de klemtoon naar output en effecten. Ten tweede dient het meetsysteem aan te sluiten bij duidelijk beleidsdoelstellingen. Voornamelijk om bestaand beleid op te volgen en te beoordelen aan de hand van gegevens uit monitoring, is het hebben van goede geformuleerde doelstellingen noodzakelijk voor het selecteren van de indicatoren.

Goede doelstellingen in het kader van meten beantwoorden aan het zogenaamde SMART- profiel: ze zijn specifiek, meetbaar, afgesproken of acceptabel, realistisch en tijdsgebonden. Specifiek

Een doelstelling moet concreet zijn. Van belang is de wat?-vraag: wat willen we bereiken? Het antwoord op deze vraag verschaft een focus aan de doelstelling; of een beoogd resultaat of gewenste evolutie. Termen die in de formulering vervat zijn, moeten eenduidig zijn en begrepen worden door alle stakeholders. Wanneer een doelstelling specifiek geformuleerd is, wordt het ook makkelijker er uitvoering aan te geven (hoe?-vraag).

Meetbaar

Een doelstelling dient in meetbare termen geformuleerd. Alleen dan kan men progressie en de mate van doelbereiking opvolgen. Een doelstelling volgens het SMART principe is dan ook normerend: ze bevat een maat voor de kwaliteit en/of kwantiteit van wat vooropgesteld wordt.

Kwantificeren draagt sterk bij tot de meetbaarheid van een doelstelling. Actiewerkwoorden zijn ook beter observeerbaar en geven ook de intentie van wat men probeert te doen beter weer. Sommige doelstellingen zijn in de praktijk moeilijker meetbaar dan andere. Moeilijk betekent echter nog niet onmogelijk. Daar komen we ook bij de eigenheid van indicatoren: ze zijn vaak een benadering, geven een indicatie van datgene wat men opvolgt. Het op onrechtstreekse wijze meten is meestal beter dan helemaal geen meetpunt hebben. Het komt er op aan om zo accuraat mogelijke indicatoren op te stellen. De doelstellingen dienen daartoe de aanzet te vormen.

Acceptabel

De doelstelling moet ook afgesproken of minstens acceptabel zijn onder de stakeholders. Er moet voldoende draagvlak zijn om de doelstelling na te streven. Voor beleidsdoelstellingen speelt uiteraard een politieke factor mee. Operationele doelstellingen behoren meestal tot de verantwoordelijkheid van het management, maar kunnen evenzeer vanuit het primaat van de politiek aangereikt worden. Ze kunnen bijvoorbeeld opgenomen worden in een beheersovereenkomst tussen een verzelfstandigde organisatie (agentschap, gemeentebedrijf,…) en de aansturende politiek verantwoordelijke (minister, college van burgemeester en schepenen). Een participatieve aanpak bij de formulering van de doelstelling kan het draagvlak vergroten. Operationele doelstellingen op korte termijn behoren idealiter tot de autonomie van de verantwoordelijke organisatie of afdeling.

Soms wordt de ‘A’ in SMART ook wel uitgelegd als “aanwijsbaar”, waarbij men refereert naar de noodzaak van verantwoordelijkheid en verantwoording. Nog een andere toelichting voor de ‘A’ is “activerend” of “actiegericht”, verwijzend naar een bijhorend actieplan. Hierin worden de beleidsinstrumenten en de processen bepaald in functie van de doelstellingen. Belangrijk is echter dat een doelstelling een bepaald resultaat voorschrijft, en niet zozeer de inspanningen. Deze laatste zijn voorwerp van het actieplan.

Realistisch

Doelstellingen moeten realistisch, d.w.z. haalbaar zijn. Wat theoretisch mogelijk of politiek wenselijk is, is niet altijd haalbaar in de praktijk. Kan men de hefbomen in beweging zetten om de doelstelling te halen? Heeft men voldoende kennis, capaciteit, middelen en bevoegdheden? Dit is belangrijk, anders komt de uitvoering in het gedrang. Een realistische doelstelling moet rekening houden met de praktijk. Dat neemt niet weg dat doelstellingen ambitieus en wervend mogen zijn. Het kan dan helpen om deze op te splitsen in subdoelstellingen of tussentijdse bakens. Soms wordt de 'R' in SMART ook wel uitgelegd als “relevant". Dit slaat op het verband tussen de doelstelling en de maatschappelijke behoefte of problematiek. Relevantie is tevens een evaluatiecriterium dat zowel bij ex ante als bij ex post evaluaties een belangrijke toetssteen kan zijn.

Tijdsgebonden

Een SMART doelstelling geeft ten slotte ook een tijdshorizon aan. De mate waarin een doelstelling realistisch is, hangt immers ook af van de vooropgestelde tijdspanne waarin men ze wil bereiken. Een concreet tijdskader is ook van belang om tussentijdse en/of ex post evaluaties er op af te kunnen stemmen.

Hieronder zetten we enkele voorbeelden van doelstellingen en geven we aan in welke mate met hun formulering aan het SMART principe is voldaan.

Doelstelling S M A R T

+ + + + +

1. “Op 11 december 1997 werd het Kyoto-Protocol goedgekeurd door 158 landen, waaronder de EU-lidstaten. Hiermee verbinden alle ondertekenende industrielanden er zich toe om tegen 2008-2012 hun gezamenlijke broeikasgasemissies met 5,2% te verminderen ten opzichte van het niveau van 1990. De reductiedoelstelling behelst zowel koolstofdioxide (CO2), methaan (CH4) en lachgas (N2O), de 3 belangrijkste broeikasgassen, als waterstoffluorkoolwaterstoffen (HFK's), perfluorkoolwaterstoffen (PFK's) en zwavelhexafluoride (SF6).”

- + + ? +

2. “Inzake verkeersveiligheid wil de regering het aantal verkeersslachtoffers verminderen met minstens 33 procent tegen 2006 en 50 procent tegen 2010. Daartoe zal de regering rekening houden met de aanbevelingen van de Staten-Generaal inzake verkeersveiligheid.”

+/- + + + +

3. “Eind vorig jaar waren er 4.200.000 mensen aan het werk in België. Onze ambitie is dat er na afloop van deze legislatuur 4.400.000 moeten worden, waardoor de activiteitsgraad tot boven 65 procent zal uitstijgen.”

+/- +/- + +/- -

4. “De Stad Gent wil met een ambitieus inclusieproject, Dubbelspoor, van start gaan: waarom zouden kinderen met speciale noden niet bij hun leeftijdsgenoten in het gewoon basisonderwijs school lopen? (…) Vier stedelijke basisscholen engageren zich ertoe om vanaf september 2003 niet langer leerlingen door te verwijzen en tegelijkertijd zelf kinderen op te nemen uit het buitengewoon basisonderwijs. Voor zover het aantal kinderen met een attest voor buitengewoon onderwijs de 10% niet overschrijdt.”

+ + + ? +

5. “In 1997 besliste de Vlaamse regering tot een gevoelige uitbreiding van de Vlaamse bossen: 10.000 hectare ecologisch verantwoorde bosuitbreiding, als onderdeel van het Ruimtelijk Structuurplan Vlaanderen; en 10.000 hectare bebossing van landbouwgronden en braakliggende terreinen, onder meer met Europese steun. De termijn van realisatie valt samen met die van het Ruimtelijk Structuurplan: 2007.”

+/- + ? ? -

6. “De FOD’s streven binnen hun personeelsbestand naar 1200 personen met een handicap (2%). De federale overheid blijkt nu dit cijfer geenszins te halen. ”

Tabel 4: Beleidsdoelstellingen getoetst aan het SMART-principe

Doelstelling 1 beantwoordt aan het SMART principe: ze is voldoende specifiek, meetbaar, realistisch en tijdsgebonden. Bovendien wordt aangegeven dat er een ruime consensus over bestaat.

Doelstelling 2 kan nog wat specifieker geformuleerd worden: welke soort verkeersslachtoffers bedoelt men: lichtgewond en/of zwaargewond, dodelijk? Het gaat hier duidelijk ook om een politiek engagement. De vraag is in welke mate de doelstelling realistisch is, dit wil zeggen is het ambitieniveau binnen de vooropgestelde termijn een haalbare kaart?

Doelstelling 3 beantwoordt in sterke mate aan het SMART principe. De formulering geeft aan dat er 200.000 jobs netto moeten bijkomen. Mogelijk is er nog discussie over het aantal voltijdse equivalenten.

Doelstelling 4 laat wat ambiguïteit bestaan: de doelstelling geeft een drempelwaarde aan met betrekking tot een ongewenste situatie, niet voor een gewenste situatie. Met andere woorden: wanneer in de praktijk helemaal geen inspanningen worden gedaan, er geen kinderen worden opgenomen uit het bijzonder onderwijs, is paradoxaal genoeg ook voldaan de doelstelling. Doelstelling 5 is in meetbare termen gesteld, bevat een tijdselement en is specifiek geformuleerd. Het realisme van deze doelstelling beantwoorden ligt moeilijker. Gaat het om het aanleggen van 10.000 hectare nieuw bos, of een surplus op het totaal in vergelijking met de startsituatie in 1997? Bij het beoordelen van de inspanningen zal men rekening moeten houden in welke mate er ook bestaand bos verdwenen is.

Doelstelling 6 mist ten eerste een tijdskader. Tegen wanneer wil men de doestelling halen? Bovendien kan men zich vragen stellen bij de formulering van de doelstelling. Om de cijfers te halen zouden FOD’s personen van een handicap kunnen aanwerven los van elke ander criterium in verband met competenties, ervaring of scholing in functie van de beschikbare jobs.

Met het oog op het ontwerpen van een instrumentarium voor monitoring zijn niet enkel inhoudelijke noodzakelijke voorwaarden van belang. Er is ook het organisatieperspectief, of de gereedheid van de organisatie om een monitoringcapaciteit op te bouwen. Volgende elementen zijn daarbij van belang.

• De bevoegdheden van de organisatie zijn door het beleid duidelijk afgebakend • De organisatie heeft een strategisch plan

• De organisatie kan haar operationele planning afleiden uit het strategische plan • Medewerkers hebben een inbreng bij het planproces

• Het management gebruikt het strategische plan om de organisatie te sturen op hoofdlijnen • De plannen bevatten SMART doelstellingen

• Het management vraagt en ondersteunt monitoring

• Verantwoordelijke medewerkers in het kader van monitoring kregen vorming rond de opzet en uitwerking van monitoring

• Er werd een verantwoordelijke aangewezen voor de coördinatie van de invoering van het monitoringsysteem

• Er is kennis in de organisatie aanwezig om verzamelde gegevens te interpreteren in het kader van het beleid en meer bepaald vanuit de achterliggende beleidstheorie

Tabel 5: Readiness checklist: is de organisatie klaar voor monitoring?