Interne en externe evaluatie

Een vierde en laatste basisindeling van evaluaties is gebaseerd op de organisatorische positie van de

evaluator of het evaluatieteam. Afhankelijk van de situering van de evaluator vis-à-vis de opdrachtgever

of gebruiker van de evaluatie, kan men spreken van:

- een interne evaluatie

- een externe evaluatie.

Wanneer de evaluator niet tot de organisatie behoort waarvan het beleidsinitiatief wordt geëvalueerd, spreken we van een externe evaluatie. Wanneer de evaluator wel deel uitmaakt van de betrokken beleidsvoorbereidende of -uitvoerende organisatie, gaat het om een interne evaluatie.

Gegeven de ‘roots’ van evaluatie (cf. supra) met een nadruk op verantwoordelijkheid heeft men in het theorie- en praktijkveld van evaluatie lange tijd voornamelijk aandacht gehad voor externe evaluatie. Meer recent is op dat vlak de balans meer in evenwicht gekomen tussen interne en externe evaluatie. Deze evolutie houdt verband met de gegroeide diversiteit aan evaluatiemotieven.

Men kan inderdaad stellen dat afhankelijk van het evaluatiemotief, interne dan wel externe evaluatie méér aangewezen is. De redenen waarom dit zo is, variëren echter eveneens naargelang het evaluatiemotief. Ze hebben te maken met de respectieve sterktes en zwakten van interne en externe evaluatie. Let wel, het gaat niet telkens om de keuze tussen ofwel interne ofwel externe evaluatie. Hybride vormen of het combineren van interne en externe evaluaties kunnen de sterktes en zwaktes van beide types respectievelijk benutten en vermijden.

Onderstaand schema geeft in hoofdlijnen de relatie tussen het evaluatiemotief en de twee types van evaluatie weer. In wat volgt gaan we in op de sterktes en zwaktes van interne en externe evaluatie en we koppelen terug naar de evaluatiemotieven.

Evaluatiemotief INTERN EXTERN

Ondersteuning van beleidsplanning Verbeteren van de beleidsuitvoering en organisatorische ontwikkeling Verantwoording afleggen Beleidsleren

Figuur 5: Het evaluatiemotief en de keuze tussen interne of externe evaluatie

Interne evaluaties hebben als voordeel dat de evaluator doorgaans beschikt over een gedetailleerde en toegankelijke kennis van het evaluandum. De evaluator is dan immers betrokken bij de planning en/of uitvoering van het beleid. Bovendien beschikt een interne evaluator over een hoge contextgevoeligheid: men kent de bestaande structuren, de verhoudingen tussen de personen betrokken bij het beleid, de standpunten van de verschillende stakeholders, de spanningsvelden enz. Interne evaluaties worden als minder dreigend gepercipieerd en zijn vaak opgevat als een constructieve aanpak tot verbetering. Daardoor kan een lange termijn engagement of een evaluatiecultuur gecreëerd worden in de organisatie. Interne evaluaties kunnen daarenboven sneller leiden tot een institutionalisering van een evaluatiefunctie in de organisatie die een breed mandaat krijgt waardoor interne expertise en capaciteit kan worden opgebouwd.

Interne evaluatie heeft als eerste mogelijke zwakte dat de interne evaluator wordt geconfronteerd met rolcomplexiteit. Afhankelijk van hoe de interne evaluatiefunctie concreet is georganiseerd, kan een interne evaluator, naast lid van de organisatie, ook rechtstreeks medeverantwoordelijk zijn voor het beleid. Zo kan er belangenvermenging ontstaan in hoofde van de interne evaluator. Door de permanente financiële afhankelijkheid van de organisatie kan het in bepaalde gevallen moeilijk zijn om de balans te vinden tussen werkethiek en loyaliteit aan het management. Conclusies van interne evaluaties kunnen onder een bepaalde drempel op het vlak van kritische beoordeling blijven steken. Negatieve bevindingen

kunnen systematisch genegeerd of zelfs ‘vermeden’ worden. Bij een interne evaluatiefunctie is het ook de vraag in welke mate er daadwerkelijk tijd gegarandeerd wordt om evaluaties uit te voeren. Voorziet men in een aparte evaluatiefunctie, of werkt men met zogenaamde ‘maandagmorgen evaluatoren’ die naast hun dagdagelijkse functie en bovenop hun standaard takenpakket er plots een evaluatieopdracht bij krijgen? In het laatste geval zal ook de methodische kennis en kwaliteit een zwakte vormen.

Externe evaluatie heeft als voordeel dat de evaluator een hoge graad van onafhankelijkheid heeft, of althans een gepercipieerde grote onafhankelijkheid. Onafhankelijkheid wordt meestal terecht geassocieerd met objectiviteit. Naar de buitenwereld komen externe evaluaties geloofwaardiger over. De facto zal dit afhangen van hoe de relaties tussen opdrachtgever en externe evaluator georganiseerd zijn. De inzet van externe evaluatoren kan een nieuwe wind doen waaien; nieuwe ideeën, alternatieve visies worden in de organisatie binnengebracht. Zij kunnen een helikopterperspectief creëren en fundamentele verbeterpunten aanwijzen. Een externe evaluator is beter geplaatst om negatieve bevindingen te communiceren. Daarenboven kunnen externe evaluatieteams meestal bogen op een gespecialiseerde kennis en vaardigheden op het vlak van specifieke evaluatietechnieken. Ook genieten ze vaak een hogere flexibiliteit op het vlak van inzetbare personeelscapaciteit. Een externe evaluatie heeft ook een financiële transparantie: de evaluatieopdracht wordt op voorhand genegotieerd en het prijskaartje is bekend.

Externe evaluatie heeft ook een aantal mogelijke zwaktes. De toegang tot relevante informatie kan in de praktijk moeizaam verlopen. Bepaalde informatie wordt achter gehouden, of interne conflicten tussen personen of afdelingen maken bruikbare dataverzameling onmogelijk. Daarmee samenhangend kan een externe evaluator ook worden geconfronteerd met minder gelegenheid tot interactie met de beleidsverantwoordelijken en het management. Dergelijke contacten vragen een tijdsinvestering maar zijn belangrijk om een accuraat evaluatiedesign op te stellen. Onvoldoende interactie kan ertoe leiden dat bepaalde stakeholders zich maar moeilijk of niet kunnen identificeren met het evaluatiedesign. De concurrerende markt van externe evaluatoren kan ook disfuncties hebben op het vlak van objectiviteit: een externe evaluator kan met het oog op eventuele vervolgcontracten bij dezelfde opdrachtgever de gepercipieerde sterke objectiviteit laten verwateren.

De volgende tabellen geven een overzicht van de sterktes en zwaktes van beide types van evaluatie.

Interne evaluatie

+ -

Gedetailleerde kennis over het evaluandum Rolcomplexiteit

Toegang tot informatie Mogelijke belangenvermenging

Contextgevoeligheid

Minder gepercipieerd als bedreigend Lange termijn engagement

Interne capaciteitsopbouw

Afhankelijk van management voor organisatorische uitwerking en mogelijkheden voor methodische kennisopbouw

Figuur 6: Sterktes en zwaktes van interne evaluatie Externe evaluatie

+ -

Sterke (gepercipieerde) onafhankelijkheid Toegang tot informatie

Sterke (gepercipieerde) objectiviteit Minder mogelijkheden tot interactie Aanbreng van vernieuwende perspectieven Disfuncties concurrerende markt Specialisatiekennis op methodische vlak

Flexibele personeelscapaciteit Financiële transparantie

Figuur 7: Sterktes en zwaktes van externe evaluatie

Bovenstaande vergelijking leert dat de keuze tussen interne en externe evaluatie vaak neerkomt op een trade-off: het voordeel van de ene vorm is een nadeel van het andere en vice versa. De voor- en nadelen zijn niet automatisch in alle omstandigheden en in alle organisaties terug te vinden. Heel wat factoren spelen een rol, onder meer de grootte en ‘maturiteit’ van een organisatie, de organisatiestructuur en - cultuur.

Naargelang het evaluatiemotief kan interne of externe evaluatie meer aangewezen zijn, om uiteenlopende redenen.

Ingeval van evaluaties ter ondersteuning van de beleidsplanning kunnen zowel argumenten voor interne als voor externe evaluatie de doorslag geven. Dit hangt samen het concrete evaluandum. Wanneer een grote dataverzameling onder de doelgroep van het geplande beleid is gewenst, is externe evaluatie eerder aangewezen. Anderzijds kan de noodzaak van gedetailleerde kennis over het beleid de pendel doen doorslaan naar interne evaluatie. Voor het verfijnen van de beleidslogica en het implementatieplan in de planningsfase lijkt een interne toetsing in nauwe samenwerking met de planners de meeste voordelen te bieden.

Voor evaluaties ter verbetering van de beleidsuitvoering en de werking van de organisatie in functie daarvan, zijn contextgevoeligheid en toegang tot informatie belangrijk. Dergelijke evaluaties zullen dus vaak intern worden uitgevoerd. Dit biedt de meeste garantie op het rechtstreeks doorgeven en vertalen van leerpunten naar het management van de organisatie.

Daarentegen zal voor evaluaties in het kader van het verantwoordingsmotief de externe evaluatievorm in meer gevallen als de beste optie worden beschouwd, omwille van de afstandelijkheid van de evaluator en de bijhorende assumptie van een grotere garantie op onafhankelijkheid en objectiviteit.

Met het oog op evaluaties in functie van beleidsleren is de keuze tussen interne en externe evaluatie minder evident en opnieuw afhankelijk van verschillende factoren, onder meer de specificiteit van het evaluandum, de aanwezige interne capaciteit en methodische vereisten.

Uit deze clustering volgt dat interne evaluaties meestal ex ante evaluaties en in mindere mate tussentijdse evaluaties zijn, terwijl externe evaluaties vaak ex post evaluaties zijn. De keuze tussen beide vormen hangt echter steeds af van een combinatie van elementen: het evaluatiemotief en de vooropgestelde gebruikswijze, de beschikbare capaciteit binnen de organisatie die de evaluatie vraagt en de financiële middelen die vrijgemaakt kunnen worden.

In sommige situaties biedt de combinatie van beide vormen voordelen. Het evaluatieproces volledig uitbesteden kan omwille van verschillende redenen zeer onpraktisch blijken. Voorbeeld hiervan is het gebrek aan directe feedback over het lopende beleid. Dit is zeker het geval voor ex ante evaluaties. Toch kunnen, zelfs wanneer de coördinatie en verschillende deelsaspecten van een evaluatie intern worden uitgevoerd, bepaalde stappen die gespecialiseerde kennis of een grote capaciteit vereisen toevertrouwd worden aan externen, bijvoorbeeld op het vlak van dataverzameling.