Planning van de gegevensverzameling

Beleidsevaluaties zijn functioneel voor het voeren van een ‘evidence-based’ ofwel een met kennis ondersteund en onderbouwd beleid. Kennis wordt stelselmatig opgebouwd (Russell Ackoff, 1989; Weggeman, 1998). Het vertrekpunt vormen ruwe gegevens. Informatie ontstaat door het toekennen van een betekenis aan deze gegevens vanuit een referentie- of interpretatiekader. De stap van informatie naar kennis wordt gezet via een leermoment; wanneer men verbanden en verklaringen ontdekt. Een evaluatieproces bevat dergelijk cumulatief leerproces.

Een evaluatie kan dus niet uitgevoerd worden zonder eerst gegevens te verzamelen. Elke evaluatiesetting is uniek, waardoor (de planning van) de gegevensverzameling context- en tijdsgebonden is. Bij het plannen van de gegevensverzameling keren de volgende vragen terug:

- Welke gegevens en informatie zijn noodzakelijk?

- Welke bronnen zijn beschikbaar?

- Welke methoden en technieken zijn mogelijk?

- Welke tijdsdimensie en frequentie van gegevensverzameling zijn relevant?

Bij een goed gestructureerd evaluatiedesign kan men het antwoord op de eerste vraag afleiden uit de scope van de evaluatie: de evaluatievragen en -criteria. In functie daarvan dienen de andere vragen beantwoord te worden.

Evaluaties kunnen gevoed worden met twee soorten gegevens: primaire en secondaire data. Gegevens die nog niet verzameld zijn bij aanvang van de evaluatie zijn primaire data. Al bestaande en verzamelde gegevens zijn secundaire data. Onderstaand schema geeft de verschillende bronnen van secundaire en primaire data weer.

Evaluatie

Secundaire data Primaire data

Monitoringsysteem Statistieken Literatuur, experts

Management

documenten Statistiek instellingen Onderzoek, eerdereevaluaties

interview, survey,...

Figuur 10: Bronnen voor gegevensverzameling

Bij de bestaande of secundaire bronnen kan men volgende opdeling maken:

- monitoringsystemen van de organisaties betrokken bij het beleid

- gegevens van statistiekinstellingen

- eerder uitgevoerd beleidsgericht onderzoek en evaluaties

• Monitoring

De organisaties betrokken bij het beleid hebben vaak eigen, interne prestatiemeetsystemen of monitoringsystemen waarmee het management beheers- en beleidsinformatie verzamelt op een systematische en permanente basis. Het management kan dergelijke informatie aanwenden ter ondersteuning van beslissingen met betrekking tot de werking van de organisatie. Indicatoren vormen de basisbestanddelen van een meetsysteem. Afhankelijk van de focus van het meetsysteem kunnen de indicatoren gericht zijn op een of meerdere componenten van de beheers- en beleidscyclus:

- input - processen - output - effecten

Inputindicatoren leveren informatie over de ingezette en geplande financiële middelen, het personeel, materiële middelen etc. Procesindicatoren leveren informatie over de activiteiten die de organisatie uitvoert. Outputindicatoren leveren informatie over de prestaties van de organisatie. Dat kunnen fysieke producten (bv. identiteitskaart, vergunning, riolering) zijn, bestemd voor individuele burgers of collectieve goederen, of een bepaalde dienstverlening (bv. advies, informatie, begeleiding). Effectindicatoren leveren informatie over factoren en fenomenen buiten de organisatiegrens (bv. verkeersongevallen, klantentevredenheid, bouwaanvragen etc.). Beleid is doorgaans gericht op het beïnvloeden van deze factoren. Effecten zijn dan in se de veranderingen bij deze factoren. Deze veranderingen kan men plannen en observeren. Omgevingsindicatoren leveren eveneens informatie over factoren buiten de organisatiegrens. In tegenstelling tot effectindicatoren zijn ze niet rechtstreeks gekoppeld aan beleidsdoelstellingen. De invloed van omgevings- of externe factoren kan naast de beleidsoutput, een alternatieve of aanvullende verklaring vormen voor de vastgestelde effecten of veranderingen.

Doordat indicatoren gerelateerd kunnen worden aan meerdere componenten en fasen in de beheers- en beleidscyclus, kan monitoring een zeer belangrijke informatiebron vormen in het kader van een evaluatie. De evaluator dient oog te hebben voor de focus van het monitoringsysteem. In welke mate is het relevant voor het verzamelen van de informatie die noodzakelijk is om de evaluatie uit te voeren? Om als secundaire bron relevant te zijn voor een evaluatie, dient de focus van het monitoringsysteem overeen te stemmen met de focus van de stakeholders bij de evaluatie.

De toegankelijkheid van dergelijke bron voor de evaluator hangt af van de betrokken organisatie. De mate waarin dit aspect een rol speelt, zal verschillen naargelang het om een interne of externe evaluatie gaat. Informatie gegenereerd door monitoringsystemen wordt vaak verwerkt in managementrapportages en beleidsdocumenten. Dergelijke documenten bevatten dan ook vaak verwijzingen naar bestaande meetsystemen die voor de evaluator relevant kunnen zijn.

Boekdeel 2 van deze handleiding is volledig gewijd aan meten en monitoring en de relatie met evaluatie. Het permanente karkater van monitoring en het vaak ad hoc karakter van evaluatie vormt een spanningsveld. Een belangrijke strategische uitdaging ligt dan ook in de onderlinge afstemming van beide beleidsondersteunende instrumenten. Tevens bevat boekdeel 2 een stappenplan om een meetsysteem te ontwerpen met het oog op het kunnen evalueren van beleid. Daarbij wordt ook stilgestaan bij kritieke slaagfactoren en kwaliteitsdimensies op het vlak van het ontwerpen van indicatoren en de meetprocedures. Deze laatste vormen dan ook belangrijke aandachtpunten wanneer men overweegt om gegevens uit monitoring te gaan gebruiken in het kader van een evaluatie.

• Statistieken

Openbare statistieken en databanken vormen ook een potentieel belangrijke bron voor een evaluatie. Instituties zoals EUROSTAT, het NIS en de Studiedienst van de Vlaamse Regering (voorheen APS) besteden veel aandacht aan de betrouwbaarheid van gegevens door het standaardiseren van de meetprocedures en bijkomende kwaliteitscontroles. Anderzijds heeft dergelijk publiek toegankelijke informatie ook een aantal beperkingen. Los van de vraag of de informatie relevant is in het kader van een evaluatie, is de informatie niet steeds op het gewenste detailniveau beschikbaar. Gegevens zijn vaak op een geaggregeerd niveau consulteerbaar. Zogenaamde metagegevens in verband met het niveau van registratie, de gehanteerde procedures en technieken voor verzameling en de grootte van de samples zijn vaak moeilijker te achterhalen. De grootte van de dataset is nochtans van belang met het oog op het veralgemenen of generaliseren van conclusies. De actualiteit van de gegevens vormt soms ook een probleem. De evaluator zal de voorkeur geven aan data die zoveel als mogelijk up-to- date zijn. Vaak zijn gepubliceerde openbare statistieken echter gebaseerd op data die enkele maanden of zelfs jaren voorheen verzameld werden. Een zeker tijdsinterval is bijna steeds in te calculeren; real-time verwerking en rapportering is in veel gevallen niet kosteneffectief.

• Eerder beleidsgericht onderzoek en uitgevoerde evaluaties

Relevante secundaire gegevens kunnen ook door middel van een literatuurstudie gevonden worden, meer bepaald in de rapporteringen van eerder beleidsgericht onderzoek of al uitgevoerde evaluaties over hetzelfde of aanverwant thema. In menig opzicht kunnen deze bronnen de evaluator helpen. Ze bevatten mogelijk interessante modellen, technieken en bronnen met betrekking tot dataverzameling over het onderwerp. Wanneer een evaluatievraag al onderzocht is in andere evaluaties, kan de evaluator soms de tijd besparen. Belangrijk is dan de kwaliteit van de analyse in de eerdere studie en de mate waarin de conclusies veralgemeend kunnen worden naar bijvoorbeeld andere beleidssectoren of settings, of regio’s. Aanvullend kan de evaluator ook informatie inwinnen door rechtstreeks de experts te consulteren die de eerdere studie of evaluatie hebben uitgevoerd.

In veel gevallen zal de evaluator echter aangewezen zijn op primaire data: wanneer secundaire data ontbreken, niet alles afdekken of omwille van technisch beperkt of helemaal niet bruikbaar zijn. Het komt er dan op aan om gegevens te verzamelen die op maat van de evaluatievragen gesneden zijn. De evaluator kan daarvoor zich richten op verschillende categorieën van stakeholders:

- de ontvangers van het beleid of de doelgroep

- de beleidsmakers en beleidsverstrekkers: politici en ambtenaren

- derden die kennis hebben over de beleidsontvangers en de bredere beleidscontext: experts, wetenschappers, ouders van leerlingen, etc.

De evaluator heeft voor de verzameling van informatie vaak de toestemming van beleidsmakers en ontvangers nodig. Daarbij is een aantal ethische beginselen na te leven, bijvoorbeeld het waarborgen van de privacy van de deelnemers en/of het vertrouwelijk en discrete behandelen van de verzamelde gegevens.

Eenmaal bepaald is welke informatie verzameld moet worden en bij welke stakeholders en actoren, dient een selectie gemaakt van methoden en technieken. In boekdeel 3 van de handleiding worden enkele technieken voor dataverzameling uitvoeriger besproken, waaronder het interview, focusgroepen en de schriftelijke vragenlijst of survey. Er wordt eveneens aandacht besteed aan het samenstellen van steekproeven. Dit boekdeel vergelijkt ook de mogelijkheden en beperkingen van kwantitatieve en kwalitatieve methoden voor dataverzameling.