Gebruik van het analyse en evaluatiekader

6.1

Een inspiratiebron

Bijlage 1 bevat een meervoudig analyse- en evaluatiekader voor beleid gericht op maatschappelijke betrokkenheid bij natuur. Dit rapport gaat ervan uit dat de gebruikers op basis daarvan zelf een analyse- en/ of evaluatiekader op maat samenstellen voor hun eigen situatie en doelstellingen, en dat daarbij evaluatoren betrokken zijn die (enige) ervaring hebben met de beschreven methoden. We willen daarmee ook beleidsmakers uitnodigen om op een andere manier naar evaluaties van maatschappelijke betrokkenheid te kijken, dan ze wellicht gewend zijn. De methoden en indicatoren die we benoemen in dit rapport zijn vooral bedoeld ter inspiratie. We bieden geen uitputtende handleiding, noch pretenderen we een complete lijst van relevante indicatoren te hebben samen- gesteld. Afhankelijk van de beleidspraktijk zal de relevantie van bepaalde indicatoren verschillen, zullen andere indicatoren moeten worden toegevoegd, of andere thema’s bij een indicator van belang zijn. Het is van belang dat beleidsmakers en belanghebbenden input kunnen leveren omtrent aspecten die zij graag onderdeel willen laten uitmaken van de evaluatie of analyse van hun beleidspraktijk, ook als deze aspecten nog niet in het kader genoemd staan. Alle genoemde analysevragen, criteria en evaluatievragen zijn voorbeelden, waarvan we hopen dat de gebruikers ze aanpassen aan hun eigen situatie.

Het kader is in de eerste plaats een inspiratiebron, en wil evaluatoren en beleidsmakers uitdagen om na te denken over het evalueren van beleid gericht op maatschappelijke betrokkenheid bij natuur. Hieronder leggen we uit hoe het kader gelezen en gebruikt kan worden.

6.2

Hoe het analyse- en evaluatiekader te lezen?

Het kader heeft de vorm gekregen van een serie kaarten die helpen om overzicht te krijgen en keuzes te maken over welke vorm van evalueren en welke indicatoren passen bij de behoefte en de specifieke situatie. De kaarten maken het mogelijk om hierover in een groep het gesprek te voeren door kaarten op tafel uit te leggen en te selecteren. In paragraaf 6.3 wordt uitgelegd hoe deze kaarten stapsgewijs kunnen worden gebruikt om een evaluatie samen te stellen. Hier wordt in de eerste plaats uitgelegd hoe de kaarten worden gelezen.

De basis voor de analyse en evaluatievragen wordt gevormd door de indicatoren.

• De indicatoren zijn herleid uit uitkomsten, interventies, beleidstheorie en theorie van evalueren (Figuur 1 in Hoofdstuk 2).

• Om sneller een overzicht te krijgen over de indicatoren zijn de indicatoren die we zijn

tegengekomen in ons onderzoek geclusterd in categorieën (Figuur 2). Er is een aparte categorie uitkomsten, maar ook sommige indicatoren in andere categorieën kunnen (directe of indirecte) uitkomsten zijn van beleid (zoals draagvlak en leren).

• Elke indicator heeft een kaart voor iedere evaluatiebenadering, vier in totaal. Sommige indicatoren zijn volgens ons alleen relevant voor een aantal evaluatiebenaderingen. De lege kaarten geven de mogelijkheid om daarover desgewenst met elkaar het gesprek te voeren (“Zijn er inderdaad geen relevante vragen voor deze kaart?”).

• Voor de indicatoren zijn per evaluatiebenadering voorbeelden van analysevragen, criteria en evaluatievragen geformuleerd.

• Indicatoren kunnen sterk normatief geladen zijn. Vaak is het nodig om te definiëren wat men eronder verstaat (wat is bijvoorbeeld een vrijwilliger?).

50 |

Figuur 2: Categorieën van mogelijk relevante indicatoren voor een analyse of evaluatie van beleid

voor maatschappelijke betrokkenheid bij natuur

De kaarten maken gebruik van kleurencombinaties en symbolen om ze snel te kunnen ordenen. Elke categorie (groep van indicatoren) heeft zijn eigen kleur (zie Figuur 2). Deze staat bovenaan de kaart. En elke evaluatiemethode heeft zijn eigen symbool, deze staat onderaan de kaart (zie Figuur 3).

Figuur 3: Symbolen voor evaluatiemethodes

Op de voorkant worden voorbeelden gegeven van analyse- en evaluatievragen met daarbij een aantal criteria die passen bij de indicator binnen deze evaluatiebenadering. Er wordt dus onderscheid

gemaakt tussen analysevragen en evaluatievragen. Analysevragen zijn gericht op het vergroten van inzicht, evaluatievragen op het beoordelen van het beleid (zie hoofdstuk 2). Criteria geven (kwalitatief of kwantitatief) normen aan op basis waarvan het beleid beoordeeld wordt.

Evaluatiemethode: Klassiek Normatief Responsief Reflexief

Figuur 4: Vormgeving van de kaarten per indicator

Op de achterkant vindt men een aantal thema’s die een rol kunnen spelen bij de analyse van de betreffende indicator. En er worden een aantal aannames achter de indicator, criteria, analyse- en evaluatievragen expliciet gemaakt. Het is belangrijk om ervan bewust te zijn dat iedere indicator, iedere vraag en ieder criterium gebouwd is op aannames vanuit perspectieven. Dit geldt ook voor de evaluatiemethodes waar de criteria en vragen bij zijn uitgewerkt.

6.3

Hoe een eigen aanpak samen te stellen met behulp

van het meervoudig analyse- en evaluatiekader?

Het meervoudig analyse- en evaluatiekader biedt een handvat voor het zelf samenstellen van een analyse- of evaluatiekader voor specifieke situaties. De analyse- en evaluatievragen in het kader zijn voorbeeldvragen die inspiratie kunnen bieden voor het zelf formuleren van vragen. Hetzelfde geldt voor de indicatoren en criteria. Het is aan de evaluatoren om in overleg met de beleidsmakers en andere betrokkenen de indicatoren, vragen en criteria toe te spitsen op de eigen situatie en doelstellingen. In veel gevallen zullen de evaluatoren met hen nader invulling moeten geven aan kwalitatieve aanduidingen zoals ‘voldoende’ of ‘goed’.

Gebruikers kunnen kiezen voor een bepaalde evaluatiebenadering of een mengvorm. Ze kunnen kiezen voor het redeneren vanuit het eigen perspectief, of met opzet kiezen voor een meervoudig kader. In de praktijk zal een mengvorm veel voorkomen, met name wanneer voor reflexieve en responsieve benaderingen worden gekozen (zie par. 5.2.3 en par. 5.2.4). Bijvoorbeeld omdat informatie uit een klassieke evaluatie (par. 5.2.1) nodig is om uitkomsten uit reflexieve monitoring of responsieve evaluatie te duiden, of omdat belanghebbenden klassieke vragen stellen. Hoe dan ook is het goed om dergelijke keuzes overwogen te maken, die te verantwoorden en te onderbouwen. Daarvoor geeft dit rapport hopelijk voldoende stof. Zie hoofdstuk 5 voor een introductie tot de evaluatiebenaderingen.