Capaciteitsopbouw

Evaluatiecapaciteit en evaluatiepraktijk zijn zeer nauw met elkaar verbonden. De evaluatiecapaciteit verwijst naar het menselijk kapitaal, de financiële en materiële bronnen die noodzakelijk zijn voor de uitvoering van een evaluatie. Evaluatie van beleid is in de praktijk enkel mogelijk indien de organisatie over de nodige capaciteit beschikt om evaluaties te plannen, te ontwikkelen en te implementeren of op te volgen. In deze sectie belichten we de noodzakelijkheid van een adequate evaluatiecapaciteit verder toe. Vervolgens behandelen we een drietal spanningsvelden en de kritische succesfactoren voor de opbouw van een evaluatiecapaciteit. Tot slot formuleren we enkele uitdagingen waarvoor organisaties en personen staan tijdens de ontwikkeling van een evaluatiecapaciteit.

De opbouw van evaluatiecapaciteit is noodzakelijk om evaluaties op een kwaliteitsvolle manier uit te voeren. De afwezigheid van een degelijke ondersteuning leidt tot beoordelingen en nieuwe initiatieven op

basis van weinig objectieve en onderbouwde vaststellingen. Tevens kan een organisatie, op dat ogenblik geen afweging maken tussen verschillende argumenten of keuzemogelijkheden. Hiervoor ontbreekt het de organisatie vaak aan voldoende en correcte informatie. Een laatste reden voor de ontwikkeling van een kwaliteitsvol evaluatiesysteem is de vaststelling dat overheidsorganisaties voortdurend de confrontatie aangaan met vragen die een antwoord vereisen. De ontwikkeling van een evaluatiesysteem maakt het beantwoorden van deze vragen mogelijk. Een goed functionerend evaluatiesysteem kan de onzekerheid bij beleidsbeslissingen verlagen. Dit zal op zijn beurt de kwaliteit en de performantie van het overheidsoptreden ten goede komen.

De koppeling van evaluatie met het beslissingsproces is afhankelijk van de mate waarin evaluatie geïnstitutionaliseerd is, ofwel verankerd is in het beleidsproces. Deze institutionele verankering speelt een zeer belangrijke rol in de ontwikkeling van een praktijk en cultuur van beleidsevaluatie.

In de literatuur worden drie belangrijke spanningsvelden aangehaald die zich voordoen bij de opbouw van een evaluatiecapaciteit:

(1) interne vs. externe capaciteit

(2) gecentraliseerde vs. gedecentraliseerde capaciteit

(3) het democratische perspectief vs. het managementperspectief

Het eerste spanningsveld heeft betrekking op de keuze tussen de evaluatie zelf uitvoeren ofwel uitbesteden. Deze keuze is niet altijd eenvoudig te maken; interne en externe evaluaties hebben elk voor- en nadelen (cf. supra). Essentieel is echter dat zelfs indien men ervoor kiest om alle evaluaties uit te besteden, ook deze optie een interne capaciteit vereist. Dergelijke capaciteit neemt dan de vorm aan van een kleine staf die de externe evaluatoren de opdracht geeft, opvolgt tijdens het evaluatieproces en beoordeelt na de uitvoering van de evaluatie. Zoals al gesteld zijn verschillende combinaties van interne en externe evaluatie denkbaar. Het spanningsveld tussen interne en externe capaciteit dient dan ook eerder gezien te worden als een continuüm. De vraag is niet of er een interne capaciteit nodig is, maar wel hoe uitgebreid men de interne capaciteit ontwikkelt en in welke mate men (daarnaast) beroep doet op een externe evaluatiecapaciteit.

Het tweede spanningsveld betreft plaatsing van de (minimale of uitgebreide) evaluatiefunctie binnen de betrokken organisatie. Hierin spelen twee aspecten een belangrijke rol: de opzet van de evaluatie en de geldende randvoorwaarden vanuit wetgeving en andere richtlijnen.

Een organisatie heeft hierbij de keuze uit drie opties: een gecentraliseerde evaluatiefunctie, een gedecentraliseerd systeem of een combinatie van beiden. De initiatiefnemers dienen zich zeer goed bewust te zijn van de verschillende mogelijkheden en beperkingen en de weerslag van hun keuze op de noodzakelijke evaluatiecapaciteit. De oprichting van een centrale dienst is vanuit het standpunt van de capaciteitsopbouw eenvoudiger dan de oprichting van decentrale diensten. Toch kan een combinatie van beide benaderingen in bepaalde omstandigheden aangewezen zijn. Zo blijkt uit de praktijk dat evaluaties gericht op de effectiviteit van beleid beter door gecentraliseerde diensten kunnen worden uitgevoerd. Dit in tegenstelling tot evaluaties gericht op het implementatieproces waarbij een gedecentraliseerde aanpak meer voordelen oplevert.

Het derde en laatste spanningsveld heeft te maken met het globale perspectief van waaruit men beslist om een evaluatiecapaciteit op te bouwen. Zo kan men de functie van evaluatie eerder als versterking van de democratie beschouwen, ofwel ter ondersteuning van beleidsmakers en het management. Evaluaties ter versterking van de democratie leggen de nadruk op een uitbreiding en versterking van de institutionalisering in de wetgevende macht. De klemtoon ligt hierbij op de verantwoording voor de beleidsbeslissingen en de besteding van de publieke middelen. Voorstanders van de versterking van evaluatie als beleidsondersteunend en managementinstrument pleiten voor de verankering in de uitvoerende macht. De nadruk hierbij, ligt op de verbetering van beleidsinitiatieven en de uitwerking van een systeem van beleidsopvolging via monitoringsystemen.

Ook dit spanningveld is terug te voeren naar de beginvraag: wat is de algemene opzet of beweegreden van beleidsevaluatie en welke gebruikswijze(n) stelt men voorop? In functie daarvan dient men keuzes te maken over de concrete verankeringspunten van beleidsevaluatie binnen het ruime politiekambtelijke systeem.

Naast een aantal spanningsvelden is de ontwikkeling van de vereiste evaluatiecapaciteit afhankelijk van een aantal kritische succesfactoren.

• Evaluatiecultuur

Een evaluatiecapaciteit kan maar opgebouwd worden vanuit een overtuiging van de meerwaarde die evaluatie voor het beleid kan hebben. Er dienen in de eerste plaats personen te zijn die als trekker kunnen optreden bij de uitbouw van een evaluatiecapaciteit in de organisatie. De verantwoordelijken dienen een duidelijk mandaat te krijgen. De mogelijkheden die deze verantwoordelijken krijgen zal in grote mate bepaald worden door de mate waarin er een fundament van een evaluatiecultuur aanwezig is. Op langere termijn zal er een wisselwerking kunnen ontstaan tussen een werkende evaluatiecapaciteit en een evoluerende evaluatiecultuur. Bij aanvang is echter leiderschap noodzakelijk.

• Informatie- en feedbacksystemen

Evaluaties kunnen maar uitgevoerd worden wanneer de organisatie de nodige gegevens en informatie kan verzamelen. Evaluaties kunnen steunen op diverse informatiebronnen (cf. infra). Een belangrijke soort vormen de informatie- en feedbacksystemen in de organisatie zelf. Monitoring- en rapporteringssystemen en daaraan gekoppelde databanken vormen dan ook mee de ruggengraat voor een performante en duurzame evaluatiecapaciteit. Evaluatie en beleidsmaken zijn, in een optimaal systeem, intrinsiek met elkaar verbonden waarbij via verschillende kanalen de uitwisseling van informatie plaatsvindt.

• Vorming en opleiding

Het plannen, zelf uitvoeren of opvolgen en beoordelen van evaluaties vergt ook een zekere know-how op het vlak van methoden en technieken. Het merendeel van de methoden en technieken die in evaluaties van toepassing zijn vindt zijn oorsprong in de sociale wetenschappen. Het is belangrijk dat beleidsmakers in evaluatiefuncties kennis hebben van welke evaluatietechnieken er bestaan, in welke context ze toegepast kunnen worden en welke mogelijkheden en beperkingen of voor- en nadelen eraan verbonden zijn. Professionele training in evaluatie dan een noodzakelijke bouwsteen voor de ontwikkeling van een interne evaluatiecapaciteit.

• Openheid voor de verschillende evaluatiemotieven

Op de diversiteit van beleidsevaluatie is al herhaaldelijk gewezen. Afhankelijk van de concrete organisatiecontext en achtergronden, zal men bepaalde ideeën hebben over de mogelijke meerwaarde van beleidsevaluatie. Het is belangrijk dat men zicht heeft op de verschillende algemene beweegredenen en de meer concrete evaluatiemotieven en gebruikswijzen, vooraleer men de belangrijke eerste keuzes maakt bij de opbouw van een evaluatiecapaciteit.

Zo wordt evaluatie door velen in de eerste plaats geassocieerd met verantwoording en controle. Dit is echter niet het enige motief om te evalueren. Voor de onderbouwing en verbetering van beleid in de planningsfase en de bijsturing van beleid in uitvoering kan evaluatie eveneens een unieke bijdrage leveren. Hetzelfde geldt voor beleidsleren: het verwerven van inzicht waarom en hoe beleid al dan niet succesvol is. Om een adequate evaluatiecapaciteit uit te bouwen die tegemoet komt aan de noden, dient men voldoende aandacht te besteden al de verschillende mogelijkheden van beleidsevaluatie.

De ontwikkeling van de noodzakelijke evaluatiecapaciteit wordt geconfronteerd met enkele uitdagingen. • Politisering van de evaluatiecontext

Evaluatie heeft inherent een politieke dimensie. Het gaat immers om het kritisch bekijken van gepland beleid, beleid in uitvoering of uitgevoerd beleid. Evaluatie stelt even wel niet de gepercipieerde noden en behoeften in vraag waarop de overheid wil inspelen. De onderkenning en prioriteitsbepaling daarvan is het exclusieve werkveld van politici. Evaluatie richt zich op de antwoorden die de overheid op een maatschappelijke problematiek formuleert. Bij de uitbouw van een evaluatiecapaciteit is het niet voldoende dat beleidsambtenaren overtuigd zijn van de meerwaarde van evaluatie voor het beleid. Politici zijn een voorname stakeholder bij de ontwikkeling van een evaluatiecultuur en een adequate evaluatiecapaciteit. Het creëren van synergieën tussen de verschillende belangen van stakeholders is een belangrijke voorwaarde in tweeërlei opzicht. Enerzijds om tot een breed gesteunde ontwikkeling van evaluatiecapaciteit te komen om evaluaties te kunnen (laten) uitvoeren. Anderzijds om te komen tot een maximaal gebruik van geproduceerde evaluaties ter ondersteuning van het beleid vanuit de eerder aangehaalde motieven.

• Naar een duurzame evaluatiecapaciteit

Het proces van de capaciteitsopbouw vereist permanent aandacht, bijsturing en investeringen. Expertise en ervaring met beleidsevaluatie opbouwen vraagt noodzakelijk tijd en middelen. Tal van auteurs concluderen dat de opbouw van evaluatiecapaciteit lang en vaak moeizaam proces is. De creatie van een ‘evaluatiecultuur’ is een proces van lange adem, veranderingen treden slechts zeer traag op. De inspanningen brengen slechts op wanneer ze gericht zijn op het installeren van een duurzame evaluatiecapaciteit. Het creëren van structurele koppelingen van evaluatie met het beleidsproces is dan ook een essentieel aandachtspunt.

• Afstemming tussen informatie- en feedbacksystemen (monitoring) en evaluatie

De strategische koppeling van evaluatie met het beleidsproces kan deels bereikt worden door een andere, meer operationele afstemming. Concrete informatie- en feedbacksystemen dienen afgestemd te worden in functie van terugkerende evaluatievragen. Monitoring vormt een potentieel erg belangrijke informatiebron voor beleidsevaluatie. Het is zelfs een noodzakelijke (maar onvoldoende) voorwaarde om bepaalde evaluatievragen te kunnen beantwoorden, bijvoorbeeld naar de mate van doelbereiking en de effectiviteit van beleid.