De status van de evaluator

De status van de evaluator is moet bij elke evaluatie een belangrijk aandachtspunt zijn, en meer bepaald de onafhankelijkheid. Onafhankelijkheid staat niet los van de geloofwaardigheid en de meerwaarde van een evaluatie. Dit geldt zowel bij interne als externe evaluaties. De omstandigheden waarin evaluatieteams opereren vertonen een grote variëteit. Als evaluatieteams zeer nauw samenwerken met de te evalueren instanties ontstaat, zoals in de literatuur omschreven, een ‘kritische vriend’. Deze vorm is het meest voorkomend in ex ante evaluaties gericht op de verbetering van het beleid en management.

Vaak zal in dit geval de onafhankelijkheid al minder duidelijk afgelijnd zijn. Opdrachtgever en evaluator maken afspraken afhankelijk van de context. De onafhankelijkheid van de evaluator ten opzichte van het te evalueren beleid kan zowel vanuit een structureel als een mentaal perspectief worden benaderd.

Een totaal onafhankelijke evaluatie of waardevrije evaluatie bestaat echter niet. Een evaluator is altijd onderworpen aan een hele resem invloeden. Een aantal factoren beïnvloeden de onafhankelijkheid van de evaluator. Sommige factoren zijn beheersbaar, andere zijn moeilijk te controleren. Bepaalde factoren spelen impliciet een rol, andere manifesteren zich expliciet. Hieronder vermelden we een aantal mogelijke invloeden waaraan een (interne of externe ) evaluator of evaluatieteam onderworpen kan zijn.

- Eigen visies, waarden en normen van de evaluator

In de interpretatie van de analyseresultaten en de formulering van conclusies speelt de evaluator een belangrijke rol. De evaluator staat niet los van eigen ervaringen, opleiding en persoonlijke waarden en normen. Het is belangrijk om zich daarvan bewust te zijn. De data-analyse dient volgens objectieve procedures en technieken te verlopen. De geformuleerde conclusies moeten steeds beargumenteerd worden vanuit de resultaten van de analyse en hun toetsing met het referentiekader, d.w.z. de geëxpliciteerde evaluatiecriteria, normen en standaarden.

Evaluatoren kunnen een persoonlijke sympathie of affiniteit hebben voor het beleid of met de betrokken doelgroep. De inschakeling van interne de selectie van externe evaluatoren gebeurt vaak op basis van hun substantiële kennis van een bepaald beleidsdomein, hun contacten en hun evaluatie-ervaring. De rapportering dient dergelijke elementen duidelijk te vermelden.

- Bijsturingen en cours de route

Hoewel het belangrijk is om de evaluatiescope vooraf vast te leggen, is het niet ondenkbaar dat tussentijdse bevindingen consequenties hebben op het verdere verloop van het evaluatieonderzoek. In het extreme geval wordt het evaluatiemotief aangepast en verschuift de klemtoon bijvoorbeeld van de verbetering van het management en de uitvoering naar beleidsleren. De evaluator dient dan het ganse evaluatiedesign bij te sturen. Dit brengt vaak een trade-off tussen wenselijkheid en haalbaarheid met zich mee.

- Vertrouwen tussen opdrachtgever en evaluator

Naast de contractuele relatie die ook de financiering (ingeval van een externe evaluatie) regelt, dient er een wederzijds vertrouwen tussen opdrachtgever en evaluator te bestaan doorheen het ganse evaluatieproces. Goede afspraken over fasering in de aanpak en communicatie zijn belangrijke hefbomen om dit vertrouwen te bewerkstelligen. Ook ethische codes kunnen daartoe bijdragen. We komen verderop nog terug op het communicatieaspect.

- Politieke context

Evaluatie van beleid vindt nooit in een politiek vacuüm plaats. Tal van organisaties, zoals politieke partijen, drukkingsgroeperingen en anderen oefenen invloed uit op het beleid. Deze groepen hebben verschillende en soms tegenstrijdige belangen en prioriteiten. Beleidsverantwoordelijke staan onder druk om de meerwaarde van hun beleidskeuzes en uitgevoerd beleid aan te tonen.

Laatstgenoemd spanningsveld kan leiden tot politieke druk op het evaluatieteam. Politici worden geconfronteerd met een snel veranderende en complexe handelingscontext, gekenmerkt door machtsverhoudingen en concurrerende belangen. Dit vormt vaak de aanleiding tot pogingen om invloed uit te oefenen op het design en de uitvoering van een beleidsevaluatie. Dergelijke invloed zal vaak optreden binnen de normale onderhandelingmarges. In de praktijk zijn er evenzeer situaties waarbij de politieke druk de aanvaardbare grenzen overschrijdt. Evaluatieteams kunnen anticiperen op dergelijke druk door vooraf de politieke belangen en invloeden in kaart te brengen. Ze kunnen zo rekening houden met het conflictgehalte bij de uitwerking van hun evaluatiedesign door bepaalde aanpak op het vlak van het betrekken van en feedback naar de verschillende stakeholders. We zetten een aantal adviezen voor de (interne of externe) evaluator op een rij.

- Probeer de gedachtegang van de betrokken politici te begrijpen en te achterhalen wat deze ze winnen of te verliezen hebben bij het evaluatieproces

- Wijs de opdrachtgever erop dat de interpretatie van de bevindingen leidt tot een aantal praktische

aanbevelingen ter verbetering van het beleid en management.

- Probeer te duidelijkheid te scheppen over de evaluatiecriteria die de machtigste politieke stakeholders hanteren om het beleid te beoordelen. Door deze criteria mee te nemen in het design, kunnen hun vragen zeker een antwoord krijgen. Dit impliceert niet dat daarnaast nog andere criteria worden opgenomen in het evaluatiedesign.

- Voorzie een structuur of feedbackmechanisme waardoor de belangrijkste politici en stakeholders

betrokken zijn bij de planning en opvolging van het evaluatieproces. Op die manier ligt de verantwoordelijkheid bij de opdrachtgevers om zelf een consensus te bereiken over zowel de inhoud als het resultaat van de evaluatie.

- Schrijf het evaluatierapport met aandacht voor de formulering van de bevindingen, zeker wat de

verantwoordelijkheden voor het falen of het succes van een beleid betreft. Review zelf de laatste versie alvorens deze over te maken aan de opdrachtgevers. Elk van de bevindingen en conclusies dient beargumenteerd en gestaafd te zijn.

Bovenstaande adviezen hebben niet de aspiratie om de politieke invloed te doen verdwijnen, maar ze kunnen bijdragen bij het anticiperen op en kanaliseren van politiek druk. Het leren omgaan met deze mogelijke invloeden zal de kwaliteit en de aanvaardbaarheid van de evaluatieresultaten ten goede komen. Politieke invloed mag in geen geval de kwaliteit van de evaluatie hypothekeren.