Inleiding: enkele begrippen en kernprincipes

Wanneer men spreekt over de uitvoering van een evaluatie is het nuttig om een aantal vaak terugkerende begrippen uit te klaren.

Zo maken we een onderscheid tussen de termen methode en techniek. Met een methode verwijzen we naar de algemene aanpak bij een evaluatie. Het gaat om een werkwijze die kenmerkend is voor elke evaluatie apart. Een methode heeft dus steeds een ad hoc karakter, net zoals een evaluatiedesign, terwijl deze laatste term verwijst naar een breder geheel van zowel inhoudelijke elementen als methodologische aspecten.

De term methode komt bijgevolg overeen met wat we eerder hebben geduid als een evaluatiebenadering. Ten grondslag van een methode of benadering liggen een aantal fundamentele uitgangspunten of waarden waaraan de evaluator sterk belang hecht. Een benadering kan bijvoorbeeld gekenmerkt zijn door een sterke nadruk op de participatie van verschillende stakeholders doorheen het evaluatieproces, of het belang dat men hecht aan de beleidstheorie om een evaluatie vorm te geven.

De term methodologie reserveren we hier voor de ‘wetenschap’ of kunde met betrekking tot het ontwerpen van methoden. Deze handleiding is echter eerder gericht op het bijdragen tot praktische expertise dan puur wetenschappelijke kennis over methoden voor evaluatie.

Een techniek definiëren we als een gestandaardiseerde werkwijze. De term instrument leunt hier zo dicht bij aan dat we beide termen in deze handleiding als synoniemen gebruiken. Echter, een instrument kan ook verwijzen naar een object. De techniek is in dat geval de manier waarop het object gehanteerd wordt. Het Engelse leenwoord ‘tool’ is eveneens een synoniem voor techniek.

Het plannen van de volgende stappen in het evaluatieproces komt in hoofdzaak neer op het maken van keuzes tussen technieken om de evaluatie uit te voeren. Voor het maken van deze keuzes kan men zich laten leiden door enkele kernprincipes en criteria.

• In functie van evaluatievragen, niet omgekeerd

Ook voor de keuze van instrumenten geldt het evaluatiemotief en daarmee samenhangend het type van de evaluatie het vertrekpunt. Hieruit worden de evaluatievragen en -criteria afgeleid (cf. supra). Een eerste kernprincipe is dan ook dat de keuze van evaluatietechnieken moet gebeuren in functie van de evaluatievragen die men wil beantwoorden en niet omgekeerd. Met de soort evaluatievragen hangen diverse kenmerken samen. Ten eerste het tijdsperspectief van de evaluatie; niet elke techniek is even geschikt voor toepassing in een ex ante, tussentijdse of ex

post evaluatie. Ten tweede het soort informatie: heeft men eerder nood aan kwantitatieve of kwalitatieve informatie? Ten derde de hoeveelheid informatie; sommige technieken zijn meer geschikt dan andere om een bepaald datavolume te verzamelen of te verwerken.

Het belang van dit kernprincipe kan niet genoeg onderstreept worden. In de praktijk zijn opdrachtgevers en evaluatoren niet in dezelfde mate vertrouwd met het brede spectrum aan evaluatietechnieken. Het risico bestaat dat men voortgaat om wat men kent, zonder na te gaan of de techniek inderdaad de meest aangewezen optie is. Het daarom van fundamenteel belang dat opdrachtgevers en evaluatoren kennis hebben van de diversiteit aan technieken en de mogelijkheden en beperkingen van een concrete techniek. Deel 3 van de handleiding tracht tegemoet te komen aan deze nood.

• Aangepast aan het evaluandum

Specifieke kenmerken van het evaluatieobject kunnen ervoor zorgen dat bepaalde technieken meer geschikt zijn dan andere. De aard van het beleidsveld of een beleidsprogramma bijvoorbeeld kan mee bepalen dat kwalitatieve technieken (bv. interviews, focus groepen) meer bruikbare informatie zullen opleveren dan kwantitatieve technieken (bv. survey). De evaluatie van domeinoverschrijdend beleid vereist mogelijk een combinatie technieken om verschillende aspecten te evalueren. Zo stelt men bijvoorbeeld dat duurzame ontwikkeling steunt op drie pijlers en de combinatie van economische, sociale en ecologische maatregelen. Voor het evalueren van dergelijk beleid kan een combinatie van evaluatietechnieken een optie zijn om elk van deze pijlers aan bod te laten komen. Anderzijds kan men belang hechten aan het formuleren van een geaggregeerde of synthesebeoordeling. Niet gelijk welke evaluatietechniek kan daarvoor oplossingen aanreiken.

• Technische kwaliteit

De betrouwbaarheid van een techniek is vanzelfsprekend ook een selectiecriterium. Technieken die al veelvuldig werden toegepast hebben meestal een proces van verfijning en verbetering doorgemaakt. Bij dergelijke technieken zijn de mogelijke knelpunten dan genoegzaam bekend waardoor men erop kan anticiperen.

Hoe hoger de mate van toepassing, des te stabieler de techniek kan worden beschouwd. Wanneer het echter gaat om een pas ontwikkelde techniek, zal het gebruik ervan innovatief zijn. Nieuwe technieken kunnen innoverend zijn in de mate dat ze een alternatief vormen voor bestaande, stabiele technieken met dezelfde functie bv. gegevensverzameling of analyse. Een bestaande techniek kan ook uitgetest worden in een meer ongewone functie of context.

• Kostprijs

Een laatste criterium dat niet zonder belang is bij de selectie van instrumenten is de kostprijs van een bepaalde techniek. Deze kostprijs hangt vaak samen met de mate van technische complexiteit. De kostprijs is een belangrijke randvoorwaarde maar mag niet het primaire selectiecriterium zijn. Anderzijds kan men beter opteren voor een technisch minder complexe evaluatie die goed is afgelijnd, dan een evaluatie waarbij zeer geavanceerde en daardoor mogelijk duurdere technieken worden ingezet maar waarvan de meerwaarde voor de concrete evaluatiecontext overschat wordt. Tevens dient vermeden dat een welbepaalde techniek het uithangbord wordt van een evaluatie en ermee vereenzelvigd wordt. Een evaluatie gelijkstellen aan een symbolisch instrument is steeds een vertekening. Een techniek vervult immers een bepaalde functie binnen het ganse evaluatieproces. De volledige uitvoering van een evaluatie is niet mogelijk met één en dezelfde techniek. Het negeren van de andere noodzakelijke functies ondermijnt de kwaliteit van de evaluatie als geheel.