Opstellen en selecteren van de evaluatievragen en –criteria

Het kiezen en opstellen van evaluatievragen en het selecteren van één of meerdere evaluatiecriteria behoort tot de kern van het evaluatiedesign. Aan de hand van de evaluatievragen en -criteria krijgt de evaluatie een concrete inhoudelijke focus aangemeten. Daarop wordt de uitvoering van heel het verdere evaluatieproces gebaseerd. Een gebrek aan evaluatievragen of het onvoldoende expliciteren ervan is de perfecte manier om een evaluatie totaal de verkeerde richting uit te sturen.

Beslissen op welke vragen over het beleid de evaluatie antwoorden moet aandragen is een cruciale maar geen eenvoudige opdracht. Uit de veelheid van mogelijke vragen dient men een keuze te maken. Bovendien is de concrete formulering van de vraag van belang. Een vraag lichtjes anders verwoorden kan aanleiding geven tot een andere focus van de evaluatie en bijgevolg de inzet van andere instrumenten of technieken in de verdere stappen van het evaluatieproces.

Evaluatievragen zijn in vier generieke categorieën in te delen.

(1) Beschrijvende vragen hebben als doel het verzamelen van informatie over “wat is…?”. Hun functie is het schetsen en beschrijven van een toestand, verandering, kenmerken, processen enz. Ze verschaffen basisinformatie rond het beleid, de werking van het beleid, de resultaten enz.

(2) Causale vragen hebben betrekking op oorzaak en gevolg relaties. Ze hebben als doel het verzamelen van informatie over het bestaan, de sterkte, richting en randvoorwaarden van causale verbanden. Ze zijn functioneel voor het verwerven van inzichten in en begrijpen van bijvoorbeeld de oorzaken van de beleidsproblematiek en mate waarin het beleid (output) bijdraagt aan de geobserveerde verandering of effecten, d.i. de effectiviteit van het onderzochte beleid. Dergelijke vragen zijn meestal retrospectief: ze kijken naar bestaande gebeurtenissen, processen en veranderingen met een oorsprong in het verleden, en die op het moment van de evaluatie al dan niet beëindigd zijn.

(3) Normatieve of prescriptieve vragen verwijzen naar een gewenste situatie of verandering. Zij hebben als doel het verzamelen van informatie over “wat moet er gebeuren om…?”. Ze zijn functioneel voor het vergelijken tussen een bestaande en gewenste toestand. De gewenste situatie kan vertaald zijn in een vooropgestelde beleidsdoelstelling of norm. Ze kan ook verwijzen naar een ideale of optimale situatie. Dit soort vragen stelt men doorgaans met het oog op het uitwerken van verbeteringsacties en –trajecten. Ze passen met andere woorden binnen een instrumenteel gebruik van een evaluatie.

(4) Voorspellende vragen hebben betrekking op mogelijkheid van situaties of veranderingen in de toekomst. Ze hebben als doel het verzamelen van informatie over de mogelijkheid, kans en risico waarmee deze situaties of veranderingen kunnen optreden. Ze zijn functioneel voor het verwerven van inzichten bijvoorbeeld in de effecten en impact van gepland beleid en/of de vergelijking beleidsalternatieven, toekomstige evoluties van externe of omgevingsfactoren en de relatie tussen deze factoren en het onderzochte beleid. Vaak hebben deze vragen dus ook betrekking op causale verbanden, maar in tegenstelling tot de causale vragen zijn ze altijd prospectief. Ze verwijzen naar eventuele gebeurtenissen, processen en veranderingen in de toekomst.

Meestal zal de evaluator of opdrachtgever niet in deze termen spreken over evaluatievragen. Toch biedt deze typologie een kapstok om vragen in een concrete evaluatie te herkennen en bijgevolg te weten wat de focus van de evaluatie is en om welke soort evaluatie het gaat. Beschrijvende vragen keren in de meeste evaluaties terug. Causale vragen staan meestal centraal in een ex post evaluatie, terwijl voorspellende vragen duiden op een ex ante evaluatie. Normatieve vragen kunnen zowel in een ex ante of ex post evaluatie opgenomen worden. Bij normatieve forecasting (ex ante) stelt men de vraag welk beleid nodig is om naar een gewenste toekomstige situatie of scenario te evolueren. Een ex post evaluatie kan naast en gebaseerd op een beoordeling van een voorbij of bestaand beleid de vraag bevatten hoe het beleid bijgestuurd moet worden. Tussentijdse evaluaties zijn hybride doordat ze naar het verleden en/of de toekomst kunnen kijken. Elk van de bovenstaande soorten evaluatievragen kan dus in principe aan bod komen in een tussentijdse evaluatie.

De volgorde in bovenstaande typologie van evaluatievragen werd niet zomaar gekozen. Er zit een zekere hiërarchie in met betrekking tot de moeilijkheidsgraad waarmee men ze kan beantwoorden. Bij beschrijvende vragen ligt deze een stuk lager in vergelijking met de andere soorten. Causale en normatieve vragen hebben een veel grotere moeilijkheidsgraad. Voor het accuraat beantwoorden van normatieve vragen is vaak ook kennis over causale verbanden vereist. Bij voorspellende vragen speelt de problematiek van onzekerheid bij het formuleren de antwoorden. Dergelijke vragen hebben bijvoorbeeld betrekking op verwachte, geschatte, berekende effecten van nog niet uitgevoerd beleid.

Welke werkwijze is raadzaam voor het opstellen en selecteren van evaluatievragen?

Meestal zal men twee fasen doorlopen: een eerste fase gekenmerkt door divergentie, gevolgd door een fase van convergentie. In de eerste fase vindt een consultatieronde onder de geselecteerde stakeholders plaats. Het evaluatieteam verzamelt daarbij een breed gamma van potentiële vragen. Er wordt nog geen schifting gemaakt omdat een vraag in eerste instantie onhaalbaar of onverdedigbaar lijkt. Doordat verschillende stakeholders verschillende vragen en prioriteiten stellen zal het geheel aan geformuleerde vragen onsamenhangend en zeer gevarieerd zijn. Vervolgens zal men uit deze longlist een selectie van vragen moeten maken waarover de stakeholders bovendien een consensus bereiken. In deze twee fase is de beargumentering van het al dan niet weerhouden van de initieel geformuleerde evaluatievragen belangrijk. Deze werkwijze levert voordelen op voor de evaluator en de stakeholders. De stakeholders worden betrokken en bepalen gemeenschappelijk de scope van de evaluatie waardoor hun verwachtingen gelijkgestemd worden. De (interne of externe) evaluator kan vertrekken van een duidelijke, onderbouwde en compacte set van evaluatievragen om de evaluatie uit te voeren.

Het proces impliceert vanzelfsprekend een onderhandelingsmoment tussen de stakeholders. Stakeholders verschillen niet enkel op het vlak van belangen en prioriteiten, maar vaak ook van (machts)positie. Een belangrijk aandachtspunt is dat elke stakeholder die betrokken wordt bij de structurering van de evaluatie ook daadwerkelijk inspraak heeft en kan participeren in deze stap van het evaluatieproces. Er bestaan technieken om precies te bewaken dat de verschillende standpunten en perspectieven van stakeholders aan bod komen. Enkele van deze technieken, waaronder colour voting, worden besproken in deel 3 van deze handleiding.

Bovenstaand proces om vragen te selecteren garandeert nog geen kwalitatief goed geformuleerde vragen. Daarom is een kwaliteitscheck voor elke evaluatievraag belangrijk. Wat is een goede evaluatievraag? Volgende checklist reikt de 7 voornaamste aandachtspunten aan.

1. Voor wie is de informatie bestemd? Wie zal de evaluatieresultaten gebruiken?

2. Zal het antwoord op de vraag nieuwe informatie opleveren?

3. Bevat het antwoord belangrijke informatie om beleidskeuzes te maken?

4. Brengt de vraag de afbakening en/of de begrijpbaarheid van de evaluatie niet in het gedrang?

5. Zal het antwoord op de vraag daadwerkelijk een impact hebben op het beleid?

6. Is het mogelijk de vraag te beantwoorden, gegeven de beperking op het vlak van capaciteit (budget, personeel, tijd, expertise)?

7. Is het mogelijk de vraag te beantwoorden, gegeven de beleidscontext (stand van zaken beleid, beschikbaarheid en/of verzamelbaarheid van data, politieke gevoeligheid,…)?

Tabel 5: Checklist voor kwaliteitsvolle evaluatievragen

Bij het selecteren van vragen kan men een matrix opstellen waarbij elke initieel geformuleerde evaluatievraag wordt beoordeeld en gescoord aan de hand de bovenstaande elementen. Men kan per vraag ook de bedenkingen en argumenten vanwege de stakeholders oplijsten.

De twee laatste elementen uit de checklist verwijzen respectievelijk naar de organisatorische en inhoudelijke evalueerbaarheid van de evaluatievraag. Een inschatting van de evalueerbaarheid is een essentieel onderdeel van de kwaliteitscontrole op de evaluatievragen. Een vraag die omwille van praktische of inhoudelijke redenen niet of onvoldoende onderzocht kan worden, zal bij voorbaat geen accuraat en bruikbaar antwoord kunnen opleveren. Het is van belang om vragen die (nog) niet evalueerbaar zijn te filteren en uit te sluiten van de evaluatie. Het aandragen van niet evalueerbare

vragen kan immers een strategie zijn van tegenstanders van de evaluatie die het evaluatieproces misschien niet kunnen tegenhouden maar wel aanwenden om de evaluatie en diens mogelijke invloed op beleidsbeslissingen te ondermijnen.

Het inschatten van de evalueerbaarheid is een techniek die overigens niet alleen op individuele evaluatievragen kan toegepast worden. Een ‘evaluability assessment’ is ook hanteerbaar als een analyse-instrument met betrekking tot een beleidsinitiatief. De facto gaat het dan om een speciale vorm van ex ante evaluatie. Het is een meta-evaluatie die de vraag stelt of aan de randvoorwaarden is voldaan om het beleid ex ante, tussentijds of ex post te kunnen evalueren.

Een goede evaluatievraag ten slotte bevat ook een evaluatiecriterium. Zowel de koppeling van de vraag en het criterium, als de regel dat één vraag slechts één criterium mag bevatten zijn daarbij belangrijk.

Evaluatiecriteria vormen eveneens een kapstok om het soort evaluatie te typeren. Eerder in dit

boekdeel hebben we de verschillende generieke evaluatiecriteria gerelateerd aan de beleidscyclus als een open systeemmodel. De volgende figuur herneemt de schematische voorstelling van deze metafoor. output processen input doelstellingen noden geobserveerde effecten adequaatheid relevantie doelbereiking technische efficiëntie kosteneffectiviteit effectiviteit coherentie consistentie duurzaamheid omgeving beleidsinitiatief

Evaluatiecriteria hebben betrekking op enerzijds kenmerken van de componenten uit het open systeemmodel en anderzijds op relaties tussen deze componenten. In het bijzonder zijn in het bovenstaande schema volgende evaluatiecriteria opgenomen.

• Beleidsrelevantie

De mate waarin de doelstellingen tegemoet komen aan de maatschappelijke noden en behoeften. • Interne coherentie

De mate waarin de strategische en operationele doelstellingen een samenhangend geheel vormen.

• Externe consistentie

De mate waarin de doelstellingen compatibel zijn met doelstellingen binnen andere beleidsvelden. • Technische efficiëntie

De verhouding tussen input en output. • Doelbereiking

De mate waarin de doelstellingen en meer bepaald de ambitieniveaus of normen worden gehaald. • Effectiviteit

De mate waarin de geobserveerde effecten of veranderingen toe te schrijven zijn aan de beleidsoutput.

• Kosteneffectiviteit

De verhouding tussen input en effect. • Duurzaamheid van effecten

De mate waarin effecten blijven bestaan na de beëindiging van het beleid. • Adequaatheid van effecten

De mate waarin de effecten of veranderingen tegemoet komen aan de maatschappelijke noden en behoeften.

Bovenstaand schema is niet exhaustief. Bijkomende belangrijke evaluatiecriteria zijn: • Draagvlak voor het beleid

De mate waarin de doelstellingen, maatregels en instrumenten van het beleid aanvaard worden door de stakeholders, en in het bijzonder door de doelgroep.

• Sterkte van de achterliggende beleidslogica

Stakeholders zullen vaak geïnteresseerd zijn in mogelijke effecten die geen deel uitmaken van de beleidsopzet. De aandacht voor zogenaamde neveneffecten en meer bepaald ongewenste neveneffecten dient men situeren in het kader van evaluaties waarbij het criterium van effectiviteit of consistentie centraal staat.

Relevantie De mate waarin de beleidsdoelstellingen tegemoet komen aan de gestelde noden en problemen

Aanvaardbaarheid Consistentie Adequaatheid Duurzaam heid Efficiëntie Doelbereiking Coherentie

De mate waarin er een draagvlak voor het beleid bestaat bij de stakeholders

De mate waarin positieve of negatieve spillovers naar andere beleidsvelden zijn gemaximaliseerd of geminimaliseerd

De mate waarin de bereikte effecten overeenstemmen met de initiële noden en problemen De mate waarin de effecten na het beëindigen van het beleid aanwezig blijven

De mate waarin de output is gerealiseerd aan een aanvaardbare kostprijs

De mate waarin de doelstellingen en meer bepaald de ambitieniveaus of normen worden bereikt De mate de strategische en operationele doelstellingen een samenhangend geheel vormen

Ex ante

Tussentijds Ex post

Effectiviteit De mate waarin de geobserveerde effecten ofveranderingen toe te schrijven zijn aan het beleid

Beleidslogica De mate waarin de achterliggende assumpties bij het beleid doordacht en onderbouwd zijn

Figuur 9: Evaluatiecriteria voor ex ante, tussentijdse en ex post evaluatie

De bovenstaande criteria zijn te beschouwen als generieke of basiscriteria om beleid te evalueren. In eenzelfde evaluatie kunnen meerdere van deze evaluatiecriteria centraal staan. Echter, hoe meer criteria, hoe uitgebreider en complexer de evaluatie zal zijn.

Er zijn daarnaast nog tal van andere maatstaven om een evaluandum te beoordelen en/of onderling te vergelijken met alternatieven of varianten. Dergelijke maatstaven hebben zijn meestal af te leiden uit de beleidsdoelstellingen of hebben betrekking op specifieke kenmerken. Zo kan men bijvoorbeeld alternatieve maatregelen of varianten van eenzelfde maatregel gaan vergelijken op hun effecten en impact. Bijvoorbeeld kan men de beleidsalternatieven spoorlijnverbinding vs. extra autoweg beoordelen en vergelijken op hun impact op de verkeersintensiteiten op het bestaande verkeersnet, op het milieu enz. Binnen de beleidsoptie van de spoorlijnverbinding kan men verschillende spoorwegtracés gaan vergelijken op een aantal kenmerken en effecten (reistijdwinst, lawaaihinder, etc.).

Het laatste aandachtspunt dat we hier willen aanreiken betreft de koppeling tussen evaluatievragen

en -criteria. Vertrekkende vanuit het evaluatiemotief zal men meestal eerst keuzes maken tussen de

mogelijk evaluatiecriteria en vervolgens in functie daarvan de vragen opstellen. Bij de structurering van de evaluatie en meer bepaald bij de vraagformulering dient men ervoor te zorgen dat elke evaluatievraag maximaal één evaluatiecriterium bevat. Zo vermijdt men dat bepaalde aspecten van een vraag niet of onvoldoende zullen worden afgedekt en doorvertaald in het totale evaluatiedesign en in de eigenlijke uitvoering van de evaluatie.

Met het opstellen en selecteren van evaluatievragen en -criteria wordt de inhoudelijke scope van de evaluatie afgerond. De tweede kerntaak om te komen tot een totaal evaluatiedesign is het plannen van de volgende fasen van het evaluatieproces. De volgende secties gaan in op het plannen van de gegevensverzameling, de analyse en de beoordeling.