Relevantie van het beleid

5.4.2.1 Opzet en vraagstelling

Vanuit normatief oogpunt ligt de bestaansreden van een beleidsinitiatief van de overheid in het probleemoplossende vermogen, een probleemvermijdend vermogen en/of een pro-actief benutten van kansen met het oog op het genereren van een maatschappelijke meerwaarde.

Een ex ante evaluatie kan focussen op een maatschappelijke probleemstelling, het antwoord van het beleid en de relatie tussen beide. De evaluatie zal de gepercipieerde problemen en behoeften ‘an sich’ niet in vraag stellen. Datgene wat erkend wordt als een maatschappelijk probleem of sociale nood behoort immers tot het primaat van de politiek en wordt afgeleid uit een visie over de rol van de overheid. Een vraagstelling die wel centraal kan staan in een ex ante evaluatie is: “Is het geplande beleid of zijn de beleidsdoelstellingen relevant in het licht van de gegeven en geformuleerde probleemstelling?”.

Met relevantie als het voornaamste evaluatiecriterium waarop getoetst zal worden, staat het nut van beleid centraal. Hierbij focust het evalueren zich op de link tussen probleemstelling en de formulering van doelstellingen. De hier bedoelde evaluatie richt zich dus met andere woorden op het aangrijpingspunt van de beleidscyclus: de vraag waarom een gegeven beleidsinitiatief wordt gepland en of de doelstellingen van het beleid een accuraat antwoord vormen op de maatschappelijke vraag of nood. Onderstaande figuur geeft de klemtoon van dergelijke ex ante evaluatie weer.

output processen input geobserveerde effecten adequaatheid relevantie doelbereiking technische efficiëntie kosteneffectiviteit effectiviteit coherentie consistentie duurzaamheid omgeving beleidsinitiatief noden doelstellingen

Figuur 22: Evaluatie van de beleidsrelevantie

5.4.2.2 Meerwaarde

Bepaalde van de voorwaarden waaraan voldaan moet zijn om te kunnen spreken van een geslaagd beleid kunnen slechts na de uitvoering van het beleid worden getoetst. Ze liggen vervat in de criteria van doelbereiking, effectiviteit en adequaatheid. In een ex post evaluatie kan men inderdaad nagaan of de vooropgestelde doelstellingen werden gehaald op operationeel niveau (output) en/of strategisch niveau (effect, impact), de mate waarin de geobserveerde effecten toe te schrijven zijn aan het beleid en in hoeverre de geobserveerde effecten tegemoet komen aan de maatschappelijke noden.

Maar in een ex ante evaluatie kan men wel al nagaan of de geformuleerde doelstellingen waarin normalerwijze de gewenste effecten vervat liggen, een accuraat antwoord zijn op de maatschappelijke vraag. Dit is niet zonder belang. Immers, wat is het nut van een beleid waarvan het vertrekpunt verkeerd is?

Een beleid dat niet relevant is in het licht van de maatschappelijke nood, zal niet leiden tot effecten die vanuit maatschappelijk oogpunt adequaat zijn, ook al kan achteraf een grote mate van doelbereiking en een sterke effectiviteit aangetoond worden.

De relevantie van het beleid is met andere woorden een conditio sine qua non. Op zichzelf is het nog geen voldoende voorwaarde, maar het is wel een noodzakelijke voorwaarde die vervuld moet zijn om te kunnen spreken van een geslaagd beleid. Zekerheid willen hebben over de relevantie van het beleid in het licht van de probleemstelling is dus een pertinente aspiratie.

Een ex ante evaluatie van de relevantie van het beleid past dus onder één van de twee fundamentele vraagstellingen van de overheid, namelijk: “Doen we de goede dingen?”.

De meerwaarde van een evaluatie op het relevantiecriterium kan zowel zinvol zijn bij het opstarten van een nieuw beleid als bij het voortzetten van een bestaand beleid. Vooraleer het (voorgezette) beleidsinitiatief daadwerkelijk wordt uitgevoerd, kan men het nog bijsturen in functie van het (veranderd) probleem of (veranderde) maatschappelijke nood.

De meerwaarde ligt zowel op politiek als op administratief vlak. Vanuit politiek oogpunt is de relevantie van het beleid is een belangrijke legitimerende factor. Het kan onzekerheid wegnemen bij beleidsmakers en andere belangrijke stakeholders, zowel over de aard van de problematiek, de geschiktheid van de beoogde maatregels als over de aanvaardingskans bij de doelgroep van het beleid. Zekerheid over het nut van het beleid verhoogt het draagvlak voor het beleid. Vanuit administratief oogpunt kan men via een ex ante evaluatie van de beleidsrelevantie een verspilling van middelen en tijd vermijden.

Een toetsing op het relevantiecriterium past dus onder verschillende evaluatiemotieven. Het kan niet enkel beleidsplanning gericht ondersteunen en gepland beleid verbeteren. Tevens kan men het ook beschouwen als een voorschot op een (ex post) verantwoording.

5.4.2.3 Aanpak en technieken

De algemene aanpak om een grotere zekerheid over de relevantie van het beleid te verkrijgen, is het verzamelen van beleidsvoorbereidende informatie. Empirische gegevens over de maatschappelijke problematiek of de noden op het terrein kunnen een diagnose onderbouwen als vertrekpunt voor beleidsbepaling. Dergelijke informatie kan dus richtinggevend zijn voor de selectie van doelstellingen en doelgroepen.

Wat zijn de bronnen voor beleidsvoorbereidende informatie? Ten eerste kan men deze halen uit bestaande en reed beschikbare gegevens (secundaire bronnen): bijvoorbeeld demografische gegevens uit volkstellingen, of meer specifieke gegevensbestanden bijgehouden door de administratie.

Ten tweede kan men ook nieuwe gegevens verzamelen in het kader van een behoefteonderzoek of een nadere verkenning van de kenmerken van de potentiële doelgroep. Dergelijke onderzoeken bestuderen bijvoorbeeld de culturele gewoonten en kenmerken van de doelgroepleden of peilen naar de opinie en verwachtingen van toekomstige klanten van dienstverlening over geplande doelstellingen en maatregelen.

Op het strategische niveau kan ook beleidsvoorbereidende informatie verzameld en verwerkt worden aan de hand van een analyse waarbij zowel de sterkten en zwakten als de kansen en bedreigingen met betrekking tot de context van een gepland beleidsinitiatief in kaart worden gebracht. Vervolgens worden deze gegevens gestructureerd en gekoppeld met het oog op de ontwikkeling en toepassing van een algemene strategie. Deze algemene strategie bestaat erin om de sterktes te valoriseren, de zwaktes te verminderen of weg te werken, met het oog op het maximaal benutten van de kansen en het afwenden van de bedreigingen.

Aan de hand van dit analysekader kan men de focus van het beleid mee bepalen, maar ook gepland beleid evalueren op de relevantie. Men kan nagaan in hoeverre de strategische doelstellingen een antwoord vormen dat strookt met de hoger beschreven generieke strategie. De hiervoor aangewezen techniek is een SWOT-analyse.

¾ SWOT-analyse

De meeste technieken die voor een ex ante evaluatie op beleidsrelevantie aangewezen zijn, hebben als voornaamste functie het verzamelen van gegevens. Informatie over de (potentiële) doelgroep kan men verkrijgen via volgende technieken:

¾ focusgroep ¾ documentanalyse ¾ schriftelijke vragenlijst

¾ etnografische en participerende observatie

De meeste bovenstaande technieken worden verder toegelicht in deel 3 van de handleiding.

5.4.2.4 Voorbeelden

Het gebruik van beleidsvoorbereidende achtergrondinformatie in een ex ante evaluatie kan worden geïllustreerd aan de hand van volgend voorbeeld. In een zuiders land werd beslist een programma op te starten om leerlingen in het basisonderwijs aan te leren hoe ze huidkanker kunnen voorkomen. Alvorens het geplande beleidsinitiatief uit te voeren werd een ex ante evaluatie gedaan met het oog om de achtergrond van de doelgroep beter te leren kennen, om eventueel de beleidstheorie en het uitgetekende veranderingsmodel bij te sturen. De beleidsmakers wilden meer weten over de ideeën en activiteiten van de leerlingen met betrekking tot bescherming tegen de zon en huidkanker. Meer bepaald wilden ze de respons van de doelgroep op verschillende pedagogische hulpmiddelen en beschermingsvoorschriften doorgronden. De gegevensverzameling gebeurde aan de hand van groepsdiscussies, focusgroepen en interviews met de kinderen, hun ouders en personen met een staffunctie in organisaties actief in de recreatiesector. Uit de informatie bleek dat de praktijk van het zich beschermen tegen de zon inconsistenties vertoonde, hoewel er een wijdverspreid bewustzijn was in verband met huidkankerpreventie. Echter, uit het onderzoek bleek dat kinderen niet begrepen wat huidkanker was en dat ze het niet als een bedreiging beschouwden. Deze informatie bevestigde de relevantie van de vooropgestelde doelstellingen van het geplande beleidsprogramma.

Een ex ante evaluatie van de beleidsrelevantie kan ook een ruimere scope krijgen, wanneer men naast de doelstellingen ook de implementatiestrategie toetst aan de beleidsvoorbereidende informatie. In het hoger beschreven voorbeeld hielp de evaluatie de beleidsmakers bij de keuze van determinanten en het vinden van een accurate implementatiestrategie. Uit de informatie bleek immers dat de leerlingen afkerig stonden tegenover het dragen van lange broeken, kledij met lange mouwen en breedgerande hoeden om zichzelf tegen de zon te beschermen. De boodschappen tijdens een sensibilisatiecampagne die oproepen om deze soort kledij te dragen zouden met andere woorden als te extreem overkomen bij de doelgroep, te extreem om ze accepteren. Een betere boodschap, volgens de ex ante evaluatie, richtte zich op een graduele verandering en aanpassing in de klederdracht. Uit gesprekken met de ouders en het personeel uit de recreatiesector bleek ook hun zorg dat veranderingen die het beleid nastreefde acceptabel zouden zijn binnen de lokale cultuur met een voorkeur voor lichte klederdracht die over

generaties heen tot stand was gekomen. De volwassenen bleken echter het geplande beleid te steunen dat erop gericht was om hun kinderen vaardigheden aan te leren om zich te beschermen tegen de zon. Daaruit bleek voor de beleidsmakers het belang van creatieve en wervende boodschappen die deels in recreatiefaciliteiten zouden worden verspreid en deels moesten overgedragen worden in familiekring. Dit praktijkvoorbeeld toont aan dat het verzamelen van beleidsvoorbereidende achtergrondinformatie over de doelgroep de beleidsverantwoordelijken niet alleen helpt om de relevantie van het beleid te toetsen, maar ook nuttig kan zijn om de beleidslogica bij te sturen. In een volgende sectie wordt verder ingegaan op de beleidslogica als centraal aandachtspunt van een ex ante evaluatie.

5.4.2.5 Kritieke slaagfactoren

- timing en afstemming met het beslissingsproces

- politieke openheid om de focus van de beleidsdoelstellingen in vraag te stellen met het oog op het vergroten van de relevantie van het beleid en daarmee de kansen op daadwerkelijke impact

- beschikbaarheid van beleidsvoorbereidende informatie