Een prik(kel) om te verbeteren: Een onderzoek naar bruikbare evaluatieve kennis

Céline van der Boom

1555588

Masterthesis Management van de Publieke Sector

2019

Begeleider: Prof. mr. R. Bekker

Een prik(kel) om te verbeteren

Een onderzoek naar bruikbare evaluatieve kennis

Boeken zijn een bron van kennis waar je water mag halen om je tuintje te begieten. Zelfkennis is een bron zoeken op je eigen landje.

Zelfkritiek is de bron slaan.

Zelfdiscipline is een pomp aanbrengen zodat je niet voortdurend met je gietertje heen en weer hoeft te lopen.

Zelfvertrouwen is zien dat er in je tuintje groeit wat je hebt geplant. Zelfbeloning is genieten van de oogst.

Delen van de oogst is vermenigvuldiging van het genieten.

Slim zijn is wat van de oogst bewaren en verkopen op de markt en de opbrengst sparen om het landje te kopen zodat je de wijsheid niet meer in pacht hebt waarvoor

je moet betalen maar zelf de eigenaar en daardoor een vrij mens. - Marco Termes

Voorwoord

Dit voorwoord zou ik graag gebruiken om een dankwoord te richten aan prof. mr. Bekker. Bedankt voor de vele adviezen die ervoor hebben gezorgd dat ik kritisch bleef kijken naar mijn eigen onderzoek. Door mij inzicht te verschaffen in de praktijk heb ik geleerd dat je ook altijd kritisch moet blijven over de toepasbaarheid van wetenschappelijke literatuur. Daarnaast wil ik ook iedereen bedanken die mij op welke wijze dan ook heeft geholpen en ondersteund bij het thesisproces en de afronding ervan. Mijn dank is groot.

Samenvatting

Om te zorgen dat mensen worden ingeënt tegen infectieziekten bestaat er sinds 1957 een collectief preventieprogramma dat wordt aangeboden door de overheid: het Rijksvaccinatieprogramma (RVP). De hoofddoelstelling van het RVP is het voorkomen van ziekte, complicaties en sterfte door middel van vaccinaties. Het beleid omtrent het RVP wordt vastgesteld door het ministerie van Volksgezondheid, Welzijn en Sport (VWS). Het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) voert dit beleid uit en rapporteert jaarlijks hierover terug aan de minister, dit gebeurt in het kader van project 150202, evaluatie en advisering van het RVP.

Deze thesis heeft als doel te onderzoeken of de jaarverslagen die het RIVM schrijft over het RVP aan te merken zijn als evaluatie. Met behulp van een documentanalyse van de laatste vijf jaarverslagen is er vastgesteld dat de jaarverslagen kunnen worden aangemerkt als beleidsevaluatie. De drie onderdelen van evaluatie, waarneming, criteria en beoordeling, zijn terug te vinden in de jaarverslagen. Daarna is er ook gekeken of deze evaluatie bruikbare kennis oplevert voor de aanpassing of verbetering van het programma. Om dit vast te kunnen stellen is gekeken naar de eisen die de beleidspraktijk stelt aan een evaluatierapport omtrent bruikbare kennis. Twee derde van de beleidspraktijkeisen is terug te zien in de jaarverslagen van het RIVM over het RVP.

De conclusie van dit onderzoek is dat de jaarverslagen bruikbare kennis opleveren ten behoeve van de aanpassing en verbetering van het programma. De factor die de verklaring kan zijn dat er aan sommige eisen niet is voldaan, is de planning en organisatie van de jaarverslagen. Er is ruimte voor verbetering, zodat er nog meer informatie beschikbaar komt voor de verbetering en aanpassing van het programma. De praktische aanbevelingen hebben voornamelijk betrekking op een kritischere blik, (on)afhankelijkheidspositie in kaart brengen en de tijdsplanning.

Inhoudsopgave

Voorwoord 3

Samenvatting 4

Hoofdstuk 1 – Inleiding 7

Hoofdstuk 2 - Theoretisch Kader 12

2.1 Beleid 12

2.2 De beleidscyclus 13 2.3 Beleidsevaluatie 17 2.4 Korte tussensamenvatting 20 2.5 Beleidsevaluatieve kennis 20 2.6 Beleidspraktijk eisen aan een evaluatierapport 24 2.7 Korte tussensamenvatting over beleidsevaluatieve kennis 26 2.8 Conceptueel model 27 2.9 Hypothese 28

Hoofdstuk 3 - Methodologisch Kader 29

3.1 Onderzoeksontwerp 29 3.2 Onderzoeksmethode 30 3.3 Operationalisering 30 3.4 Betrouwbaarheid en validiteit 32 Hoofdstuk 4 – Casusbeschrijving 33 4.1 Het Rijksvaccinatieprogramma 33 4.2 Het Rijksinstituut voor Volksgezondheid en Milieu 33 4.3 Jaarverslagen 35

Hoofdstuk 5 – Analyse 41

5.1 Evaluatie 41 5.2 Bruikbare evaluatieve kennis 44 5.3 Factoren voor minder bruikbare evaluatieve kennis 51 5.4 Factoren voor meer bruikbare evaluatieve kennis 52

Hoofdstuk 6 – Conclusie en discussie 54

6.1 Conclusie 54 6.2 Discussie 59 6.3 Praktische aanbevelingen 61

Referentielijst 62

Bijlage 1 – Vaccinatieschema 65

Bijlage 2 – Beleidspraktijkeisen aan evaluatierapport 66

Hoofdstuk 1 - Inleiding

De laatste tijd hoeft men maar een krant open te slaan of er staat een (opinie-) stuk in over het vaccineren van kinderen in Nederland. Vaak gaat het dan voornamelijk over het verplicht inenten van kinderen. De VVD, PvdA, GroenLinks en SP willen bijvoorbeeld dat het kabinet vergaande maatregelen gaat onderzoeken om het aantal vaccinaties tegen kinderziekten te laten stijgen. Voor de VVD behoort zelfs beboeten van ouders die hun kind niet laten inenten tot de opties (NOS, 2019a). Afgelopen jaar kwam D66 met een initiatiefwet die zou moeten regelen dat crèches niet-ingeënte kinderen in alle gevallen kunnen weigeren (NOS, 2019b). Deze berichten komen voort uit een dalende trend van de vaccinatiegraad de afgelopen jaren. Dit is niet alleen het geval in Nederland.

De vaccinatiegraad is in 2017 met twee tot drie procent gedaald ten opzichte van 2016. Voor de HPV-vaccinatie tegen baarmoederhalskanker is dit zelfs 15 procent (Van Lier e.a., 2018, p. 38). De belangrijkste reden voor ouders om niet te vaccineren is de zorg over de mogelijke bijwerkingen en de veiligheid van de vaccinaties (Van Lier e.a., 2018, p. 38). Deelname aan het Rijksvaccinatieprogramma (RVP) is gestoeld op vrijwilligheid (Van Lier e.a., 2018, p. 39). Toch stelt het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) dat het belangrijk is dat er een hoge vaccinatiegraad wordt behaald (Van Lier e.a., 2018). Door middel van de zogeheten groepsbescherming komt een infectieziekte minder vaak voor als veel mensen daartegen zijn ingeënt. Dat niet alleen, ook kwetsbare mensen en de mensen die (nog) niet zijn ingeënt hebben een kleinere kans om de ziekte te krijgen. De niet-ingeënte mensen worden als het ware beschermd door de niet-ingeënte groep mensen (Van Lier e.a., 2018). Om dit effect te behouden stelt het RIVM dat het belangrijk is dat zoveel mogelijk mensen zijn ingeënt.

Ondanks de daling van de afgelopen jaren is de vaccinatiegraad in Nederland nog steeds hoog, met uitzondering van de HPV-vaccinatie (Van Lier e.a., 2018). In 2018 is er een einde gekomen aan de daling in het aandeel kinderen dat de vaccinaties uit het RVP krijgt (Van Lier e.a., 2019). Voor de meeste vaccinaties is de vaccinatiegraad gelijk gebleven aan die van 2017.

Er bestaat een Global Vaccine Action Plan (GVAP) van de World Health Organization (WHO). Dit plan stelt dat het belangrijk is om te komen tot een nationale vaccinatiegraad van minimaal 90 procent. Dit wordt voor alle vaccinaties uit het RVP gehaald, behalve voor de HPV-vaccinatie tegen baarmoederhalskanker (Van Lier e.a., 2019). Ook heeft de WHO een norm gesteld voor de eliminatie van mazelen: een nationale vaccinatiegraad van 95 procent. Dit wordt op dit moment niet gehaald in Nederland. Dit geldt voor beide vaccinaties tegen bof, mazelen en rodehond (BMR) (Van Lier e.a., 2019). Niet alleen nationaal, maar ook regionaal bestaat er een GVAP-doelstelling: een vaccinatiegraad van minimaal 80%. Dit wordt in Nederland in alle GGD-regio’s gehaald, maar niet in alle gemeenten (Van Lier, e.a., 2019). Het jaarverslag van het RIVM over 2018 geeft het voorbeeld dat voor de difterie kinkhoest tetanus polio (DKTP)- en BMR-vaccinatie de vaccinatiegraad op tweejarige leeftijd in veertien van de 380 gemeenten onder de 80 procent is.

Om te zorgen dat mensen worden ingeënt bestaat er sinds 1957 een collectief preventieprogramma in Nederland: het Rijksvaccinatieprogramma (RVP), dat begon met een vaccinatie tegen polio. De hoofddoelstelling van het RVP is het voorkomen van ziekte, complicaties en sterfte door middel van vaccinaties (Van Lier, e.a., 2018, p. 32). Door middel van een bepaald oproepschema wordt gepoogd alle kinderen woonachtig in Nederland te vaccineren tegen infectieziekten (zie bijlage 1).

Het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) heeft de landelijke aansturing en begeleiding van het RVP in handen en coördineert de regionale uitvoering (Van Lier, e.a., 2019, p. 9). Dit gebeurt in opdracht van de minister van Volksgezondheid, Welzijn en Sport (VWS). Het RVP wordt uitgevoerd binnen de Jeugdgezondheidszorg (JGZ) (Van Lier, e.a., 2019, p. 9). Het RIVM is tevens het kennisinstituut inzake preventie. Het RIVM schrijft elk jaar een verslag over de jaarlijkse ontwikkelingen binnen het RVP, zowel inhoudelijk als organisatorisch. Dit houdt in dat er wordt gekeken naar de belangrijkste gebeurtenissen omtrent het RVP en dat de vaccinatiegraad in kaart wordt gebracht. In de jaarverslagen van het RIVM wordt het RVP geanalyseerd en misschien zelfs wel geëvalueerd.

Evaluatie is een belangrijk instrument om overheidsbeleid te toetsen en te verbeteren. In de loop van de jaren tachtig van de vorige eeuw groeide de aandacht voor het systematisch kijken naar overheidsprestaties en het managen ervan. Beleidsevaluatie is een belangrijke fase in de beleidscyclus, het is de laatste fase voordat nieuw beleid wordt gemaakt of bestaand beleid wordt aangepast (Howlett e.a., 2009). Evaluatie is ‘het beoordelen van de waargenomen inhoud, processen of effecten van een beleid aan de hand van bepaalde criteria’ (Winter, 2014, p. 153). Bij een evaluatie moeten drie onderdelen aanwezig zijn: waarneming, criteria en beoordeling (Winter, 2014). Een evaluatieonderzoek naar de gerealiseerde effecten van een beleid is niet alleen historisch van belang, maar het is ook van grote betekenis voor het toekomstige beleid (Bressers & Hoogerwerf, 1995). Beleidsevaluaties zijn meestal gericht op specifiek gebruik: voor het geëvalueerde beleid zelf (Winter, 2014, p. 166).

Aan de hand van beleidsevaluatie kan kennis worden gevormd voor het aanpassen en verbeteren van dit beleid (De Bruijn, 2007). Hoewel het in eerste instantie logisch lijkt dat de uitkomsten van de evaluatie wordt gebruikt bij de aanpassing of verbetering van dat beleid, blijkt dit in de beleidspraktijk soms lastig. Er zijn verschillende factoren in de literatuur te vinden die voor meer of minder bruikbare evaluatieve kennis kunnen zorgen.

Dit onderzoek poogt te onderzoeken in hoeverre een evaluatie kennis kan opleveren die gebruikt kan worden voor de aanpassing en verbetering van het beleid. In deze thesis wordt onderzocht of de jaarverslagen van het RIVM over het RVP bruikbare kennis opleveren die gebruikt kan worden voor de aanpassing en verbetering van het beleid over het RVP. Vanuit de wetenschappelijke literatuur omtrent dit onderwerp is een aantal eisen te vinden die de beleidspraktijk kan stellen aan een evaluatie. Deze eisen voor succesvolle evaluatie in de beleidspraktijk worden getoetst aan een specifieke casus: de jaarverslagen van het RVP. Om dit te kunnen onderzoeken staat de volgende onderzoeksvraag centraal in deze masterthesis:

‘In hoeverre levert de evaluatie van het Rijksvaccinatieprogramma door het RIVM bruikbare kennis op ten behoeve van de aanpassing en verbetering van het

Deze onderzoeksvraag heeft een onafhankelijke variabele en de afhankelijke variabele. De onafhankelijke variabele is in deze onderzoeksvraag beleidsevaluatie. Beleidsevaluatie kan leiden tot de afhankelijke variabele, bruikbare kennis voor de aanpassing of verbetering van het beleid. Deze relatie uit de onderzoeksvraag staat in dit onderzoek centraal. Deze mogelijke relatie wordt onderzocht aan de hand van een kwalitatieve documentanalyse. Hierin wordt gekeken naar de jaarverslagen van het RIVM over het RVP van de jaren 2014 tot en met 2018. Deze vijf jaarverslagen worden naast elkaar gelegd en met elkaar vergeleken. Er wordt gekeken in hoeverre de beleidspraktijkeisen uit de literatuur terugkomen in de jaarverslagen. Op basis van deze eisen kan er worden bepaald of en in hoeverre de jaarverslagen kennis op leveren ten behoeve van de aanpassing en verbetering van het beleid.

Dit onderzoek is zowel maatschappelijk als wetenschappelijk relevant. De focus op prestaties, het managen en de evaluatie van prestaties kan gezien worden als een belangrijke drijfveer voor het continu verbeteren van (overheids-) beleid (Sanderson, 2001). Reflectie op het overheidshandelen is niets bijzonders, want het is een noodzakelijke voorwaarde voor verstandig overheidsbeleid (Winter, 2014, p. 152). Dit staat in verband met de wens te komen tot een doelmatigere overheid die betere publieke diensten kan aanbieden (Boyne, 2010). Als de overheid steeds beter wordt in het realiseren van publieke diensten, heeft dit grote voordelen voor de gehele maatschappij. Door het meenemen van uitkomsten van evaluaties en daadwerkelijk actie te ondernemen om deze uitkomsten te verbeteren, kan de kwaliteit van het beleid omhooggaan (Sanderson, 2001). Hierdoor worden burgers beter gediend. Daarnaast kunnen evaluaties ook leiden tot verbetering of aanpassing van beleid omtrent een gerelateerd onderwerp.

Wetenschappelijk gezien is dit onderzoek ook relevant. Er is veel literatuur te vinden over beleidsevaluatie en al dan niet het gebruik van de resultaten daarvan. Er zijn ook auteurs die stellen dat er nog meer duidelijkheid kan worden geschapen over wat er precies met evaluatie-informatie gebeurt (Head, 2016). Dit onderzoek poogt inzicht te verschaffen over wat er gebeurt met deze evaluatie-informatie. Er wordt gekeken of de evaluatie-informatie bruikbaar kan zijn ten behoeve van nieuw of aangepast beleid. Daarnaast wordt er ook gekeken welke factoren kunnen zorgen voor meer of minder bruikbare evaluatieve kennis.

Het hoofdstuk dat hierna volgt bevat een theoretische reflectie op de twee variabelen uit de onderzoeksvraag: ‘evaluatie’ en ‘bruikbare kennis’. Op basis van de literatuur wordt een verwachting opgesteld over het antwoord op de onderzoeksvraag. In hoofdstuk drie wordt de methode van dit onderzoek verder toegelicht en verdedigd. De casus van de beleidsevaluatie van het RVP komt uitgebreider aan bod in het vierde hoofdstuk. Hoofdstuk vijf bevat een analyse van de casus over het RVP aan de hand van de literatuur uit het tweede hoofdstuk. De belangrijkste conclusies die hieruit worden getrokken zullen aan bod komen in hoofdstuk zes. In dit laatste hoofdstuk komen tevens de beperkingen van dit onderzoek aan bod, staan de resultaten ter discussie en worden er een aantal aanbevelingen gegeven.

Hoofdstuk 2 – Theoretisch Kader

Dit hoofdstuk begint met een paragraaf over beleid, er wordt een definitie gegeven en de onderdelen van beleid worden kort toegelicht. Beleid is een cyclisch proces, dit wordt daarom ook wel de beleidscyclus genoemd. Deze cyclus staat centraal in de tweede paragraaf. Dit onderzoek richt zich op de laatste fase van de beleidscyclus: de beleidsevaluatie. Dit zal worden toegelicht in de derde paragraaf. Tevens komen hier de verschillende soorten van beleidsevaluatie aan bod. Na een korte tussensamenvatting wordt er gekeken naar de kennis die uit de beleidsevaluatie naar voren komt. Vanuit de dimensies en de aspecten van presentatie van beleidsevaluatieve kennis volgt een paragraaf over de eisen die de beleidspraktijk stelt aan een evaluatierapport. Als er aan deze eisen wordt voldaan, kan de beleidsevaluatieve kennis leiden tot de aanpassing of verbetering van het beleid. De factoren die voor meer en minder bruikbare beleidsevaluatieve kennis zorgen komen in de twee sub-paragrafen daarna aan de orde en worden kort toegelicht. Daarna volgt wederom een korte tussensamenvatting. Alle literatuur die is behandeld in het hoofdstuk komt daarna samen in de volgende paragraaf. Hierin wordt het conceptuele model toegelicht en schematisch weergegeven. Hieruit volgt een hypothese: een verwachting over de relatie tussen de twee variabelen in de onderzoeksvraag.

2.1 Beleid

Beleid is willens en wetens handelen (Hoogerwerf, 2014a, p. 15). Hoogerwerf (2014a, p. 17) houdt de volgende definitie van beleid aan: ‘het streven naar het bereiken van bepaalde doeleinden met bepaalde middelen en bepaalde tijdskeuzes’. Het gaat hierbij zowel om een plan als om het handelen naar dit plan. De definitie van Hoogerwerf (2014a) wordt aangehouden in dit onderzoek.

Beleid bestaat uit verschillende onderdelen. Ten eerste uit doeleinden. Door het stellen van een doel geeft de overheid aan de rest van de samenleving te kennen dat zij in actie wil komen (Bressers & Klok, 2014, p. 172). Doeleinden zijn er niet alleen om richting te geven aan het beleid maar ook om steun te werven in het politieke proces. De officiële beleidsdoeleinden zijn daardoor vaak geen zuivere weergave van de wensen, omdat ze vaag, symbolisch, onrealistisch of veranderlijk zijn (Bressers & Klok, 2014, p. 173). Ondanks dat de officiële beleidsdoeleinden niet

altijd een goede weergave zijn van de werkelijke doeleinden, is evaluatie van beleid aan de hand van de beleidsdoeleinden als maatstaf heel gebruikelijk in een democratie (Bressers & Klok, 2014, p. 173).

Ten tweede bestaat beleid uit middelen. Middelen zijn ‘al datgene dat een actor gebruikt of kan gebruiken om het bereiken van een of meer doeleinden te bevorderen’ (Bressers & Klok, 2014, p. 175). Middelen worden ook wel beleidsinstrumenten genoemd. Beleidsinstrumenten zijn zeer uiteenlopend van indirecte (hulpbronnen zoals geld) tot directe (verlenen van bevoegdheden). De toepassing van een middel geeft bijna altijd neveneffecten en brengt kosten met zich mee, hierdoor is de keuze van middelen vaak een afspiegeling van meer algemene waarden (Bressers & Klok, 2014, p. 176).

Als laatste bestaat beleid ook uit tijdkeuzen. Dit betreft de keuzes die omtrent het beleid worden gemaakt met betrekking tot de tijdstippen, het tempo en de tijdsvolgorde (Bressers & Klok, 2014, p. 177). Dit onderdeel kan zowel op de doeleinden als op de middelen betrekking hebben. Het is een belangrijk onderdeel omdat mogelijkheden om bepaalde doeleinden te bereiken of bepaalde middelen in te zetten niet altijd even groot zijn. Goede tijdkeuzes in het beleid zijn dan een kwestie van ‘timing’ (Bressers & Klok, 2014, p. 177).

2.2 Beleidscyclus

Binnen het beleidsproces zijn verschillende deelprocessen te onderscheiden. Een kenmerk van een proces is dat er een herkenbaar verloop is (Hoogerwerf, 2014a, p. 20). Bij alle veranderingen heeft een proces ook enige stabiliteit, een min of meer vast patroon. Daardoor kunnen er deelprocessen, fasen of stadia in het beleidsproces worden herkend. Een kenmerk van dit beleidsproces is dat het cyclisch verloopt (Howlett, Ramesh & Perl, 2009).

Zowel Howlett, Ramesh en Perl (2009) als Hoogerwerf (2014) geven aan dat de beleidscyclus kan worden opgedeeld in vijf achtereenvolgende fasen. Deze vijf fasen/stadia/deelprocessen zullen hieronder worden toegelicht. Voor de duidelijkheid zal alleen het woord ‘fase’ worden gebruikt in deze thesis.

De eerste fase in de beleidscyclus is agendavorming (‘agenda-setting’). In deze fase wordt de agenda opgesteld van problemen waar de overheid aandacht aan gaat geven. Problemen zijn een discrepantie tussen een maatstaf (beginsel, norm) en een voorstelling van een bestaande of verwachte situatie (Akkerman, Resodihardjo & De Vries, 2014, p. 49). Beleid kan alleen tot stand komen wanneer politici, bestuurders of ambtenaren een bepaald vraagstuk/probleem belangrijk genoeg vinden (Bovens e.a., 2012, p. 70). Dit is een belangrijke afweging, er is immers maar beperkte tijd, capaciteit en middelen beschikbaar. De agendavormingsfase bepaalt de wijze waarop, en de vorm waarin, problemen worden herkend en of ze überhaupt worden herkend. Dit is van belang voor het antwoord op de vraag hoe het probleem uiteindelijk wordt aangepakt door beleidsmakers (Howlett e.a., 2009, p. 92). In de agendavormingsfase verschuift een privaat of sociaal probleem naar een publiek probleem, dat mogelijk in aanmerking komt voor overheidsactie (Howlett e.a., 2009, p. 93).

Er bestaan in de literatuur vier modellen van agendavorming (Akkerman e.a., 2014, p. 50). De eerste is het kloofmodel. In dit model bepaalt de ernst van het probleem zelf de aandacht die het krijgt. De kenmerken van het probleem bepalen de kans op beleid (Akkerman e.a., 2014, p. 50).

Het tweede model is het barrièremodel. Hier draait de agendavorming om het overwinnen van verschillende barrières bij verschillende stappen. Voordat er naar de volgende stap kan, moet er telkens een barrière worden overwonnen (Akkerman e.a., 2014, p. 54). De redenering hierachter is dat binnen de gelimiteerde agendaruimte er een veelheid van maatschappelijke problemen bestaat die met elkaar concurreren om aandacht (Akkerman e.a., 2014, p. 55).

Daarnaast bestaat het stromenmodel. De verklaring waarom sommige problemen wel en andere niet op de agenda komen, is de aanwezigheid van een zogeheten ‘policy window’. Hier komen de drie stromen bij elkaar en de capaciteit en mogelijkheid van ‘policy entrepreneurs’ om daar gebruik van te maken (Kingdon, 2014). Het stromenmodel legt de nadruk op het toeval en het adequaat reageren op veranderende omstandigheden (Akkerman e.a., 2014, p. 56).

Het laatste model is het relatieve aandachtsmodel. Bij dit model komt een probleem op de agenda als het probleem lang verwaarloosd is of in de verdrukking is gekomen. Dit komt voort uit verschillende perspectieven. Hoe langer een perspectief is verwaarloosd hoe groter de urgentie wordt om er in het beleid aandacht aan te besteden (Akkerman e.a., 2014, p. 59).

Wanneer de overheid een publiek probleem heeft vastgesteld en van mening is dat er iets aan moet worden gedaan, begint de volgende fase: de beleidsformulering (‘policy formulation’). Oftewel, wat gaat er aan het probleem worden gedaan? Hoogerwerf (2014b) noemt deze fase ook wel de beleidsvoorbereiding, het ontwerpen van het beleid. Het ontwerpen van het beleid houdt volgens hem in dat beleid wordt uitgedacht, beargumenteerd en geformuleerd. In deze fase wordt tevens gekeken naar beleidsinstrumenten en beleidsontwerpen (Howlett e.a., 2009). Meerdere mogelijke oplossingen worden geformuleerd voor het erkende publieke probleem. De beleidsformulering is erg diffuus en het is een onsamenhangend proces dat verschilt per casus (Howlett e.a., 2009, p. 11). De manier waarop beleid wordt ontworpen hangt af van de politieke omgeving (Hoogerwerf, 2014, p. 65). In deze fase wordt dus gekeken naar wat er aan een probleem kan worden gedaan, en hoe dit kan worden gedaan middels beleidsinstrumenten. Beleidsinstrumenten zorgen voor de beleidsimplementatie later in de cyclus (Howlett e.a., 2009, p. 114).

Nadat er verschillende mogelijke beleidsontwerpen en beleidsinstrumenten zijn onderzocht, zal hiertussen een keuze moeten worden gemaakt. Dit gebeurt in de beleidsbeslissingsfase (‘decision-making’) (Howlett e.a., 2009). Of zoals Herwijer (2014) het noemt: de beleidsbepaling. In deze fase wordt geen, één of meerdere opties gekozen uit de alternatieven van de vorige fase. Hierop wordt vervolgens actie ondernomen (Howlett e.a., 2009, p. 139). Deze fase mondt meestal uit in wet- of regelgeving. Hierbij worden rechten en plichten in het leven geroepen. Burgers en bedrijven kunnen de overheidsfunctionarissen zowel juridisch, politiek en publiek aanspreken op het leveren van de beleidsprestaties (Herwijer, 2014, p. 101).

Nadat een publiek probleem de beleidsagenda heeft bereikt, er verschillende oplossingen zijn behandeld en de overheid een besluit heeft genomen over het beleid, moet dit ten uitvoer worden gebracht. De volgende fase heet volgens Howlett e.a. (2009) dan ook beleidsimplementatie (‘policy implementation’). De Nederlandse literatuur spreekt tevens over de beleidsuitvoeringsfase (Coolsma en Van Montfort, 2014). De beleidsimplementatie is de invoering van beleid, daarop volgt de

beleidsuitvoering. De beleidsuitvoering gaat over de omzetting van de beleidsvoornemens en politieke beslissingen in daadwerkelijk bestuurlijk optreden (Bovens e.a., 2012, p. 71). De gekozen maatregelen moeten in de praktijk worden gebracht (Coolsma & Van Montfort, 2014, p. 117). De beleidsimplementatie berust vaak bij de ambtenaren die het beleid uitvoeren. De uitvoering van het overheidsbeleid komt dan ook vaak tot stand in een interactie tussen de uitvoerende organisatie (de ambtenaren) en de burgers (Coolsma & Van Montfort, 2014, p. 117). Niet-overheidsactoren die eerder al betrokken zijn bij de beleidscyclus kunnen ook betrokken zijn bij de implementatie en uitvoering (Howlett e.a., 2009, p. 160). Beleidsuitvoering kan plaatsvinden door een groot aantal, zeer uiteenlopende organisaties: diensten van de centrale overheid, regionale en lokale overheden, semi-publieke organisaties en private organisaties. De uitvoering van het beleid kan immers worden opgedragen en/of worden uitbesteed aan de overheid zelf, het particuliere initiatief, de markt of een combinatie hiervan (Coolsma & Van Montfort, 2014, p. 127).

De laatste fase van de beleidscyclus van Howlett e.a. is de beleidsevaluatie (‘policy evaluation’). Hierin wordt gekeken naar hoe de uitvoering van het beleid in de praktijk is verlopen (Howlett e.a., 2009, p. 178). In de volgende sub-paragraaf zal deze laatste fase verder aan bod komen.

In deze thesis wordt de beleidscyclus van Howlett e.a. (2009) aangehouden. De beleidscyclus is hieronder in figuur 1 schematisch weergegeven.

2.3 Beleidsevaluatie

In de laatste fase van de beleidscyclus vindt er dus beleidsevaluatie plaats. Hierin wordt teruggekeken op de vorige fasen. Reflectie op het overheidshandelen is niets bijzonders, maar wel een noodzakelijke voorwaarde voor verstandig overheidsbeleid (Winter, 2014, p. 152). Een evaluatie is een beoordeling of anders gezegd een waardeschatting of waardebepaling (Bressers & Hoogerwerf, 1995). Howlett e.a. (2009, p. 178) geven aan dat beleidsevaluatie de fase is waarin wordt vastgesteld hoe een beleid uitpakte in de praktijk. Hierbij wordt gekeken naar effecten en resultaten van het beleid. Winter (2014, p. 153) en Bressers & Hoogerwerf (1995) geven de volgende definitie: ‘beleidsevaluatie is het beoordelen van de waargenomen inhoud, processen of effecten van een beleid aan de hand van bepaalde criteria’. Beleidsevaluatie gaat dus om de evaluatie van de gebruikte middelen en de doelen die worden gediend (Howlett e.a., 2009, p. 178). Hierbij kan worden gekeken naar de effectiviteit, in termen van de intenties en de resultaten. Hoe diep of grondig de evaluatie is hangt af van wie het initieert, wie het uitvoert en wat de plannen zijn met de uitkomsten (Howlett e.a., 2009, p. 178). Sinds kort zijn de meeste auteurs het eens geworden dat beleidsevaluatie gezien kan worden als inherent aan de politieke activiteit (Howlett e.a., 2009, p. 179). Daarnaast is beleidsevaluatie ook technisch van aard en is er specifieke kennis nodig over hoe de beleidsevaluatie het beste kan worden uitgevoerd.

Evaluatie is in Nederland op allerlei manieren geïnstitutionaliseerd en verankerd in het wetgevingsproces, in veel wettelijke regelingen is een evaluatieverplichting opgenomen die een periodieke evaluatie voorschrijft (Winter, 2014, pp. 157-159). De beleidsevaluaties worden vaak door (para-)universitaire instituten en private onderzoeks- en adviesbureaus uitgevoerd (Winter, 2014, p. 159). Iets minder vaak doet een onderzoeksafdeling van een ministerie een evaluatie, zoals het WODC. Daarnaast wordt een deel van de evaluaties uitgevoerd door specifiek belaste evaluatiecommissies. Ter onderbouwing van evaluaties van deze commissies wordt vaak ook nog een onderzoek uitgevoerd door derden (Winter, 2014, p. 159).

Beleidsevaluatie kan verschillende vormen hebben. Bressers en Hoogerwerf (1995, p. 20) stellen dat: ‘de meest grondige vorm van evaluatie is in principe de wetenschappelijke evaluatie, ook wel evaluatieonderzoek genoemd’. Dit is onderzoek met oog op het beoordelen van inhoud, processen of effecten van het beleid (Bressers & Hoogerwerf, 1995). Evaluatieonderzoek is ‘praktijkgericht wetenschappelijk

onderzoek, bestaande uit advisering over de opzet; begeleiding tijdens de uitvoering en vooral het evalueren van de effecten van een interventie in het maatschappelijk leven’ (Swanborn, 2007, p. 12). De belangrijkste functie van evaluatieonderzoek is bijdragen aan de sturing van het gedrag van beleidsinstanties en uiteindelijk aan de verbetering van de situatie van doelgroepen (Swanborn, 2007, p. 15). Tevens is een andere functie het afleggen van verantwoording aan de gemeenschap voor de besteding van schaarse middelen en kennisverwerving op zich (Swanborn, 2007, p. 15). Met name het vaststellen van het slagen en falen van een interventie (beleid) wordt geëvalueerd. De interventie is een goed gedefinieerde ingreep en het is duidelijk wie de interventie uitvoert en op wie hij gericht is (Swanborn, 2007, p. 16). Een interventie is meestal gericht op verandering van gedrag bij mensen.

Beleidsevaluatie kent onderdelen die aanwezig moeten zijn: waarneming, criteria en beoordeling (Winter, 2014, p. 154). In een evaluatie moet eerst worden waargenomen. Er worden gegevens verzameld en deze gegevens worden geanalyseerd. Dit moet gebeuren aan de hand van wetenschappelijke onderzoeksmethoden waarbij betrouwbaarheid, validiteit en controleerbaarheid centraal staan (Winter, 2014, p. 154). Daarnaast zijn de criteria belangrijk. Gebruikelijke criteria zijn: doelbereiking van het beleid, effectiviteit, doelmatigheid en rechtmatigheid (Winter, 2014, p. 154). Deze criteria dienen wel nog geoperationaliseerd te worden. Als er alleen sprake is van waarnemingen en criteria kan er nog niet gesproken worden over een evaluatie, het beleid moet vervolgens worden beoordeeld. Hierbij worden er uitspraken gedaan over de mate van succes, hoogte van de kosten en baten, rechtmatigheid en het draagvlak van het beleid.

2.3.1 Soorten beleidsevaluatie

Er is niet één correcte manier van evalueren, doordat er niet een vaste standaard bestaat voor evaluaties (Howlett e.a., 2009, p. 179). Dit is een belangrijk aandachtspunt als er wordt gekeken naar beleidssucces en beleidsfalen. Doordat er sprake is van een politiek spel, is het volgens Bovens e.a. (2012, p. 164) allereerst van belang om twee soorten brillen te hanteren bij beleidsevaluatie: de programmatische en de politieke. Met de programmatische bril wordt gekeken naar de feitelijke kosten en baten van een bepaald programma of project. Met de politieke bril wordt gekeken naar het politiek-maatschappelijke en bestuurlijke draagvlak voor het desbetreffende

beleid. Door deze twee verschillende brillen te hanteren kunnen er twee verschillende kanten van het beleid zichtbaar worden.

Er bestaan daarnaast binnen de beleidscyclus drie verschillende tijdstippen waarop evaluatieonderzoek kan worden uitgevoerd: plan-, proces- en productevaluatie (Swanborn, 2012, p. 23). Deze drie verschillende vormen van evaluatieonderzoek komen voor binnen de verschillende fasen van de beleidscyclus, en dus niet alleen in de laatste fase: de beleidsevaluatiefase. In de volgorde van de beleidscyclus worden de drie vormen hieronder behandeld.

Planevaluatie is die vorm van evaluatieonderzoek waarin de interventie (het beleid) wordt ontworpen en eventueel alternatieve interventies worden geprioriteerd. Deze fase wordt gekenmerkt door bureau-onderzoek en eventueel gesystematiseerde vorm van groepsgesprekken (Swanborn, 2007, p. 132). Het gaat bij deze vorm van evaluatieonderzoek over verklaringen van problemen en hoe deze problemen het beste kunnen worden aangepakt. Deze vorm van evaluatie gaat over het plan van aanpak, hierdoor kan planevaluatie worden toegepast in de tweede fase van de beleidscyclus: de beleidsformulering. Daarnaast kan dit ook nog worden toegepast in de fase erna, de beleidsbeslissingsfase, door te kijken welk beleid het best past bij de verklaring van de problemen.

Procesevaluatie is een vorm van evaluatieonderzoek waarbij de invoering van de interventie - meestal op kleine schaal - op de voet wordt gevolgd; waarbij zo nodig de interventie wordt bijgestuurd, en waarbij de aandacht vooral uitgaat naar de precieze werking van de interventie via de sociale processen die hierbij een rol spelen (Swanborn, 2007, p. 191). Doordat de implementatie van beleid op de voet wordt gevolgd, is deze vorm van evaluatieonderzoek toe te passen in de voorlaatste fase van de beleidscyclus: ‘policiy implementation’, oftewel de beleidsimplementatie- en beleidsuitvoeringsfase.

De laatste vorm van evaluatieonderzoek is productevaluatie. Hierin wordt de effectiviteit van de interventie bepaald (Swanborn, 2007, p. 36). Productevaluatie geeft informatie over of de voorspellingen uit de fase van de planevaluatie voor het gehele bedoelde domein opgaan en in welke mate dat gebeurt (Swanborn, 2007, p. 50-52). De hoofdvraag is of de gestelde doeleinden worden bereikt, oftewel effectonderzoek. Vaak worden de doeleinden niet (helemaal) gehaald. Het is dan van belang om productevaluatie aan te vullen met procesevaluatie (Swanborn, 2007, p. 50-52). Productevaluatie gaat over de bereiking van doelen. Deze vorm van

evaluatieonderzoek bevindt zich binnen de laatste fase van de beleidscyclus: beleidsevaluatie.

2.4 Korte tussensamenvatting

In het eerste gedeelte van dit theoretische kader is naar de eerste variabele in de onderzoeksvraag gekeken: (beleids-)evaluatie. Eerst is vastgesteld dat beleid ‘het streven naar het bereiken van bepaalde doeleinden met bepaalde middelen en bepaalde tijdskeuzes’ is (Hoogerwerf 2014a, p. 17). Dit gebeurt in een bepaalde cyclus: de beleidscyclus, die uit vijf opeenvolgende fasen bestaat. De laatste fase in de beleidscyclus is de beleidsevaluatie. Beleidsevaluatie is ‘het beoordelen van de waargenomen inhoud, processen of effecten van een beleid aan de hand van bepaalde criteria’ (Winter, 2014, p. 153). Bij beleidsevaluatie moeten drie onderdelen aanwezig zijn: waarneming, criteria en beoordeling (Winter, 2014).

Er bestaan verschillende soorten van beleidsevaluatie. De meest grondige soort is het evaluatieonderzoek. Voor een volledig beeld van beleidsevaluatie is het van belang om zowel de programmatische als de politieke bril te hanteren. Het soort evaluatieonderzoek dat hier wordt onderzocht is de productevaluatie, want deze bevindt zich in de te onderzoeken fase van de beleidscyclus: de beleidsevaluatie.

2.5 Beleidsevaluatieve kennis

De volgende vraag is, wat gebeurt er na een evaluatie? Uit een evaluatie(onderzoek) komt al dan niet bruikbare kennis. Deze kennis kan leiden tot de aanpassing of verbetering van het beleid. Dit vindt plaats binnen de beleidscyclus. Kennis uit de vijfde, laatste fase (beleidsevaluatie) kan input zijn voor de eerste fase (agendavorming). Omdat beleidsevaluatie de laatste fase van de beleidscyclus is, voordat deze weer van voren af begint, zal de informatie logischerwijs worden gebruikt in de eerste fase van de beleidscyclus. Door middel van beleidsevaluaties wordt kennis gevormd die kan leiden tot een aanpassing en verbetering van beleid (De Bruijn, 2007). Een evaluatieonderzoek naar gerealiseerde effecten van een beleid is niet alleen historisch van belang, het is ook van grote betekenis voor het toekomstige beleid (Bressers & Hoogerwerf, 1995).

Beleidsevaluaties zijn meestal gericht op specifiek gebruik: voor het geëvalueerde beleid (Winter, 2014, p. 166). Dit specifieke gebruik kan ten eerste plaatsvinden doordat een evaluatie een argument pro of contra het beleid levert

(Bressers & Hoogerwerf, 1995, p. 36). Dit kan leiden tot een inkrimping of uitbreiding van het beleid. Als er alleen een argument pro of contra wordt gegeven, is er sprake van een ‘summative evaluation’. In deze evaluatie wordt de balans opgemaakt, want er wordt gekeken naar of het doel wordt bereikt. Het is een evaluatie die alleen kijkt naar de effectiviteit van een beleid (Patton, 1986, p. 65). Dit wordt minder vaak gebruikt bij het ontwerpen of bijsturen van beleid. Indien er aangetoond is dat beleid niet goed werkt, is er niet zomaar een alternatieve aanpak beschikbaar (Bressers & Hoogerwerf, 1995). Het is dan vaak politiek gezien beter om het beleid uit te blijven voeren in plaats van geen enkel beleid meer te voeren.

De ‘summative evaluation’ brengt als risico dus met zich mee dat er alleen complimenten of verwijten worden getoond zonder praktische consequenties (Bressers & Hoogerwerf, 1995). Hierom is het van belang dat er bij een beleidsevaluatie ook wordt gekeken naar een mogelijke verklaring. Waarom zijn de gevolgen van het beleid zo? Zo’n vraag kan informatie opleveren waardoor het mogelijk wordt niet alleen argumenten pro of contra een beleid te geven, maar ook adviezen ter ontwikkeling en verbetering van het beleid te geven (Bressers & Hoogerwerf, 1995). Hierbij staat het streven naar bruikbare evaluatie voor het ontwerpen en bijsturen van beleid centraal, zodat het verbeterd kan worden (Patton, 1986, p. 66). Dit wordt dan ‘formative evaluation’ genoemd, ‘hierbij worden de resultaten eerder en directer teruggevoerd naar het beleidsproces ten einde tot een verbetering van het beleid te komen’ (Ringeling & Sorber, 1987, p. 9).

Ook Arentsen (1995, p. 37) gaat ervan uit dat ‘aan een gebruiksgerichte evaluatieonderzoek een behoefte aan informatie met het oog op beleid ten grondslag ligt, die door middel van onderzoek wordt bevredigd’. Het evaluatieonderzoek moet dus antwoord geven op bepaalde vragen met betrekking tot een beleid. Vervolgens wordt er dan verwacht dat de resultaten ook daadwerkelijk worden gebruikt. Hierbij zijn drie aspecten van belang: als eerste de kennisname (van de resultaten van het evaluatieonderzoek), vervolgens standpuntbepaling en daarna doorwerking (Arentsen, 1995, p. 38).

2.5.1 Dimensies van beleidsevaluatieve kennis

Er bestaan verschillende dimensies die de mogelijkheid van bruikbare kennis voor het aanpassen en verbeteren van het beleid kunnen karakteriseren.

Ten eerste: ‘wie stuurt het gebruik van een onderzoek?’ Hierbij gaat het om de verhouding tussen de wetenschap en de beleidspraktijk (Pröpper & De Vries, 1995, p. 159). Hierbij zijn er drie mogelijkheden: in een decisionistisch model zijn de beleidsmensen bepalend voor het gebruik; in een technocratisch model sturen wetenschappers het gebruik; en in een pragmatisch model komt het gebruik voort uit een wisselwerking tussen wetenschappers en beleidsmensen.

Ten tweede: ‘welk element van een onderzoek(-srapport) wordt gebruikt?’ Verschillende elementen kunnen worden gebruikt: een conceptueel model, een perspectief, concrete statistische gegevens, argumenten, conclusies, aanbevelingen of adviezen (Pröpper & De Vries, 1995, p. 159).

Hierop aansluitend is ook de derde dimensie belangrijk: ‘welk deel van een element van een onderzoek(-srapport) wordt gebruikt?’ Wordt er bijvoorbeeld alleen een deel van de aanbevelingen gebruikt (Pröpper & De Vries, 1995, p. 159).

Ten vierde: ‘wanneer heeft het gebruik van een onderzoek plaats?’ Hierbij gaat het om het gebruik op korte of op lange termijn na het uitkomen van het rapport. Als het gaat over het onderzoek als geheel, dan kan het zijn dat bepaalde resultaten al voor het uitbrengen worden gebruikt (Pröpper & De Vries, 1995, p. 159).

Ten vijfde kan het evaluatieonderzoek ten behoeve zijn van het geëvalueerde beleid zelf, maar het kan ook voor een ander beleid worden gebruikt. Dus: ‘voor welk beleid heeft het gebruik van een onderzoek plaats?’ (Pröpper & De Vries, 1995, p. 158).

De zesde dimensie is: ‘in welke fase van het beleidsproces heeft het gebruik van een onderzoek plaats?’ In verschillende fasen van het beleidsproces kan onderzoek op verschillende manieren worden gebruikt (Pröpper & De Vries, 1995, pp. 159-160).

Als zevende: ‘hoe direct is het gebruik van een onderzoek?’ Direct gebruik gaat volgens Pröpper en De Vries (1995, p. 160) over als het rapport zelf (direct) wordt gelezen, en indirect als de informatie via massamedia wordt verspreid.

Daarnaast is de achtste dimensie: ‘hoe expliciet is het gebruik van een onderzoek?’ Dit kan meer of minder duidelijk zijn, ook voor de persoon zelf. Iemand kan het onbewust gebruiken, bewust gebruiken maar dit niet naar buiten brengen of bewust gebruiken en dit expliciet kenbaar maken (Pröpper & De Vries, 1995, p. 160).

Als laatste: ‘Op welke wijze heeft het gebruik van een onderzoek plaats?’ Het kan voorkomen dat onderzoeksresultaten klakkeloos en kritiekloos worden overgenomen, of juist niet (Pröpper & De Vries, 1995, p. 160).

Rekening houdende met bovenstaande verschillende dimensies van het gebruik van evaluatieonderzoek, wordt het gebruik in het beleidsproces als volgt omschreven: ‘een persoon of organisatie maakt gebruik van evaluatieonderzoek, wanneer er één of meer elementen van het onderzoek tot uitdrukking komen in het standpunt of het handelen van die persoon of die organisatie of in de overweging die voorafgaat aan dat standpunt of dat handelen’ (Pröpper & De Vries, 1995, p. 160).

2.5.2 Presentatie van beleidsevaluatieve kennis

Bij de presentatie van uitkomsten van evaluatieonderzoek is een aantal aspecten van invloed op de waarschijnlijkheid dat de beleidsevaluatieve kennis kan leiden tot aanpassing of verbetering van het beleid. De aspecten zijn (Pröpper & De Vries, 1995, p. 161):

• Kenmerken van de ontvanger (beleidsactor als potentiële gebruiker)

Hierbij staat de vraag centraal: voor wie zijn de resultaten bedoeld? Als een evaluatieonderzoek is bedoeld voor gebruik door een beleidsactor dan zijn kennis van de gebruikscontext, kennis van het belang van de resultaten van het evaluatieonderzoek ten opzichte van andere beleidsinformatie en inzicht in de mogelijke weerstanden tegen het gebruik bij een potentiele gebruiker relevant. • Kenmerken van de zender (de evaluatieonderzoeker)

De evaluatieonderzoeker heeft een bepaald imago en feitelijke kwaliteiten. Het beste is dat de onderzoeker betrouwbaar, deskundig en objectief is. Een onderzoek heeft meer gezag als het door een gerenommeerde hoogleraar of onderzoeksinstantie wordt uitgevoerd.

• De inhoud van de evaluatie (de boodschap)

De feitelijke kwaliteit en presentatie worden beide voornamelijk bepaald door de mate waarin de beleidsrelevantie kan worden aangegeven, de boodschap begrijpelijk is en het onderzoek aan duidelijke methodologische vereisten voldoet.

• Het gebruikte medium (kanaal)

Naast een geschreven rapport kan er gebruik worden gemaakt van verschillende media.

• Het tijdstip en de frequentie

Hierbij gaat het om de doorlooptijd, en de mogelijkheid tot tussentijdse presentaties.

2.6 Beleidspraktijkeisen aan een evaluatierapport

Vanuit de vorige twee deelparagrafen, dimensies en presentatie van beleidsevaluatieve kennis, kan een aantal eisen worden geformuleerd die de beleidspraktijk stelt aan een goede evaluatie ten behoeve van aanpassing of verbetering van het beleid. Voordat de beleidsevaluatieve kennis dus kan leiden tot een aanpassing of verbetering van beleid moet het aan een aantal eisen voldoen die Hoogerwerf en Zoutendijk (1995, pp. 248-250) hebben gesteld op basis van bovenstaande literatuur. Zij hebben eisen geformuleerd die vanuit de beleidspraktijk kunnen worden gesteld ten aanzien van een evaluatierapport over beleidseffecten. Dit zijn dertig eisen onderverdeeld in negen categorieën: aanleiding en onderwerp van de evaluatie, type onderzoek, doelstelling en probleemstelling, theorie en begrippen, methoden van onderzoek, technieken van onderzoek, analyse van de data en conclusies, opbouw en overige eisen. De passage van Hoogerwerf en Zoutendijk (1995, pp. 248-250) is overgenomen in bijlage 2.

2.6.1 Factoren voor minder bruikbare beleidsevaluatieve kennis

Er is een aantal factoren die kunnen zorgen voor minder bruikbare beleidsevaluatieve kennis. Ten eerste bestaan er factoren aan de kant van de evaluatieonderzoeker, hier gaat het voornamelijk om de aansluiting met de beleidspraktijk (Pröpper & De Vries, 1995, pp. 171-172):

o Er wordt geen aandacht besteed aan vragen en/of problemen die spelen in de beleidspraktijk. Deze factor is het meest fundamenteel.

o De evaluatieonderzoeker kan de aard van de oordeelsvorming in de beleidspraktijk miskennen. Hierdoor kan, of de aanbevelingen worden afgestemd op één actor, of er wordt onvoldoende rekening gehouden met de juridische, financiële, politieke, personele en ideologische randvoorwaarden. o De planning en organisatie verloopt niet goed. Hierdoor komen de uitkomsten

veel te laat of verzanden de uitkomsten in algemeenheden. o De kwaliteit van het onderzoek is matig.

o De presentatie van de resultaten is niet adequaat. Hierdoor zien de beleidsactoren de bruikbaarheid van de resultaten niet in.

Ten tweede bestaan er naast factoren aan de kant van de evaluatieonderzoeker ook factoren die kunnen voortkomen vanuit de beleidsactoren (Pröpper & De Vries, 1995, pp. 172-173):

o De beleidsactoren kunnen niet duidelijk maken wat precies de vragen en problemen zijn vanuit de beleidspraktijk die onderzocht moeten worden. o Er zijn te weinig middelen vrijgemaakt.

o De beleidsactoren staan niet open voor de resultaten, omdat zij geen mogelijkheid zien voor verandering en het hierdoor alleen maar verder problematiseert.

o Beleidsactoren kunnen de aard van het onderzoek miskennen als zij harde bewijzen en kant en klare oplossingen verwachten.

o Beleidsactoren neigen rapporten op zij te schuiven als zij verschillende rapporten hebben die verschillende resultaten bevatten.

2.6.2 Factoren voor meer bruikbare beleidsevaluatieve kennis

Pröpper en De Vries (1995, pp. 174-175) noemen ook een aantal factoren die juist voor meer bruikbare beleidsevaluatieve kennis kunnen zorgen:

o Evaluatieonderzoekers moeten kennisnemen van de aard van de oordeelsvorming in de beleidspraktijk.

o In een evaluatie kunnen naast inhoudelijke resultaten en aanbevelingen ook procedures voor verandering worden gegeven. Het evaluatieonderzoek kan dan in verschillende beleidsalternatieven resulteren.

o Aanbevelingen doen die binnen de actuele (politieke) haalbaarheid liggen. Dit is een wat meer vanzelfsprekende weg.

o Ook de argumenten presenteren die tot de conclusies en aanbevelingen hebben geleid.

o Daarnaast kan er worden aangesloten bij de interesse van de mogelijke gebruikers. Hierdoor is het van belang een zo goed mogelijk beeld te hebben van de kennisbehoefte van de opdrachtgever en mogelijke gebruikers.

2.7 Korte tussensamenvatting over beleidsevaluatieve kennis

In de vorige paragrafen is gekeken naar de literatuur omtrent beleidsevaluatie kennis en wanneer dit kan leiden tot aanpassing of verbetering van het beleid. Dit komt logischerwijs voort uit de beleidscyclus. Deze thesis richt zich op gebruik ten behoeve van het specifieke beleid zelf. Hierbij is vooral van belang dat er bij beleidsevaluaties ook wordt gekeken naar verklaringen van de gevolgen van beleid, en dat er adviezen worden gegeven ter ontwikkeling van het beleid. Dit wordt ‘formative evaluation’ genoemd. Daarna is er dieper ingegaan op beleidsevaluatieve kennis. Eerst is gekeken naar de verschillende dimensies, daarna naar de presentatie evaluatie-informatie. De literatuur uit de twee paragrafen vormen de basis voor de eisen die de beleidspraktijk stelt aan een evaluatierapport voor evaluatieve kennis die kan leiden tot de aanpassing of verbetering van beleid. Hoogerwerf en Zoutendijk (1995) hebben naar aanleiding hiervan dertig eisen opgesteld. Deze eisen zijn te vinden in de bijlage 2 van deze thesis. Als laatste zijn de factoren aan bod gekomen die voor meer en voor minder bruikbare beleidsevaluatie kennis kunnen zorgen.

2.8 Conceptueel model

In de voorafgaande parafen zijn verschillende concepten behandeld. Het eerste concept is beleid: ‘het streven naar het bereiken van bepaalde doeleinden met bepaalde middelen en bepaalde tijdskeuzes’ (Hoogerwerf 2014a, p. 17). Beleid bevindt zich binnen een bepaalde cyclus, welke uit vijf verschillende fasen bestaat. Deze thesis richt zich op de laatste fase: de beleidsevaluatie. Beleidsevaluatie is ‘het beoordelen van de waargenomen inhoud, processen of effecten van een beleid aan de hand van bepaalde criteria’ (Winter, 2014, p. 153). Bij beleidsevaluatie dienen drie onderdelen aanwezig te zijn: waarneming, criteria en beoordeling (Winter, 2014).

Evaluatie kan bruikbare kennis opleveren voor de aanpassing of verbetering van het beleid (De Bruijn, 2007). Vanuit de dimensies en aspecten van presentatie volgt een aantal eisen die de beleidspraktijk stelt aan de evaluatie. Deze eisen zijn opgenomen in bijlage 2. Aan de hand van deze eisen kan worden gesteld of informatie bruikbaar kan zijn.

Daarnaast is er een aantal factoren die voor minder beleidsevaluatieve kennis kan zorgen: geen aandacht aan vragen/problemen uit beleidspraktijk, evaluatieonderzoeker miskent beleidspraktijk, planning/organisatie loopt niet goed, kwaliteit van onderzoek is matig, presentatie van resultaten is niet adequaat, beleidsmensen maken niet duidelijk wat de vragen en problemen zijn vanuit de beleidspraktijk, te weinig vrijgemaakte middelen, beleidsmensen staan niet open voor de resultaten, beleidsmensen miskennen aard van het onderzoek en beleidsmensen schuiven rapporten opzij als zij verschillende rapporten hebben met verschillende resultaten.

Tevens is er een aantal factoren die juist kunnen zorgen voor meer beleidsevaluatieve kennis: evaluatieonderzoekers die kennisnemen van de aard van de oordeelsvorming in de praktijk, ook procedures voor verandering aandragen, aanbevelingen geven die binnen de actuele (politieke) haalbaarheid liggen, ook argumenten presenteren die tot de conclusies en aanbevelingen hebben geleid en aansluiten bij de interesse van de mogelijke gebruikers.

In figuur 2, worden de concepten en factoren schematisch weergegeven. Dit conceptuele model zal in het volgende hoofdstuk worden geoperationaliseerd en dient als overzicht van de onderzochte relatie tussen de onafhankelijke (evaluatie) en de afhankelijke variabele (bruikbare kennis voor aanpassing/verbetering van het beleid).

Figuur 2: Conceptueel model

2.9 Hypothese

Vanuit het bovenstaande conceptuele model kan een verwachting worden opgesteld over de beantwoording van de onderzoeksvraag. Op basis van de literatuur uit dit hoofdstuk is de verwachting dat evaluatie bruikbare kennis kan opleveren voor de aanpassing en verbetering van het beleid. De eisen die de beleidspraktijk stelt aan evaluatie voor bruikbare evaluatieve kennis komen voort uit de verschillende dimensies en aspecten van presentatie van beleidsevaluatie kennis. De relatie tussen de variabelen is dan als volgt: hoe meer de gestelde beleidspraktijkeisen van Hoogerwerf en Zoutendijk (1995, pp. 248-250) zijn terug te zien in de evaluatie, hoe meer bruikbare kennis de evaluatie oplevert voor aanpassing en verbetering van het programma. De evaluatie is belangrijk omdat zij immers onmisbaar is voor het zorgvuldig bijsturen van een gevoerd beleid (Bressers & Hoogerwerf, 1995).

Hoofdstuk 3 - Methodologisch Kader

In het vorige hoofdstuk is beschreven wat er precies onderzocht gaat worden. Dit hoofdstuk gaat in op de vraag hoe dit dan onderzocht gaat worden. Als eerste zal het onderzoeksontwerp aan bod komen. Dit wordt vervolgd met een paragraaf over de onderzoeksmethode. Het is daarnaast van belang om de variabelen meetbaar te maken en daarom bevat de derde paragraaf een operationalisering. Als laatste komt de betrouwbaarheid en validiteit van deze thesis ter sprake.

3.1 Onderzoeksontwerp

Deze thesis is met het tweede hoofdstuk gestart vanuit de bestaande literatuur. In dat hoofdstuk is ingegaan op de belangrijkste concepten en theorieën. Aangezien deze bestaande literatuur het uitgangspunt van dit onderzoek is, is hier sprake van een deductieve methode.

Vanuit de literatuur is naar voren gekomen dat er een verwachte relatie is tussen enerzijds evaluaties en anderzijds bruikbare kennis ten behoeve van de aanpassing en verbetering van het beleid. Deze relatie zal dan ook centraal staan in deze empirische thesis. In hoofdstuk twee is deze relatie schematisch weergegeven in een conceptueel model.

Zoals in de inleiding is vermeld, richt dit onderzoek zich op een specifieke casus: het Rijksvaccinatieprogramma (RVP) en de rol van het RIVM. Dit wordt een ‘single case study’ genoemd. Er is voor een ‘single case study’ gekozen omdat uit de literatuurreview naar voren kwam dat er over de relatie tussen beide variabelen (evaluatie en bruikbare kennis) in de praktijk nog niet veel duidelijk is (Meyer, 2001, p. 330). Volgens Head (2016) is meer onderzoek nodig naar wat er precies gebeurt met de informatie uit deze evaluaties. Dit onderzoek poogt hieraan bij te dragen.

Aan deze manier van onderzoek doen zit een aantal voor- en nadelen. Een nadeel van een ‘single case study’ is dat het niet generaliseerbaar is voor de rest van de hele populatie, zoals vaak wel het geval is in statistisch onderzoek. Dit is geprobeerd op te vangen door meerdere jaren in het onderzoek mee te nemen. Dit zorgt voor een grotere generaliseerbaarheid in de specifieke casus (Yin, 2017). Er zijn ook voordelen van een ‘single case study’. Er kan meer in de diepte worden onderzocht. Door dit diepere onderzoek kunnen er kritische uitspraken worden gedaan

over de literatuur, dit wordt analytische generalisatie genoemd (Flyvbjerg, 2006). Een ander voordeel is dat er niet slechts een relatie kan worden aangetoond tussen twee variabelen, maar dat het verhaal achter de relatie helder wordt door dit onderzoeksontwerp.

3.2 Onderzoeksmethode

De methode van dit onderzoek bestaat uit een documentanalyse. De documentanalyse gaat over de jaarverslagen van het RIVM over het RVP in de verslagjaren 2014 tot en met 2018. Dit zijn de vijf meest recente jaren waarover een verslag is uitgebracht, gezien dit onderzoek in 2019 uitgevoerd is.

Het voordeel van deze jaarverslagen is dat ze vrij toegankelijk zijn. Daarnaast zijn de jaarverslagen met een formeel doel opgesteld: verantwoording afleggen. Er is veel objectieve informatie in te vinden, zoals de vaccinatiegraad, in tegenstelling tot subjectieve bronnen, zoals een interview. Er is echter ook een nadeel van een documentanalyse. Het kan juist voor minder diepgang zorgen, doordat de documenten soms minder informatie bevatten dan nodig is (Meyer, 2001).

3.3 Operationalisering

In deze paragraaf wordt gekeken naar de volgende stap in het onderzoek: het meten van de twee variabelen uit de onderzoeksvraag in de praktijk. In dit onderzoek wordt de praktijk weergegeven door de jaarverslagen. Om dit mogelijk te maken moeten de twee variabelen eerst meetbaar worden gemaakt. Dit gebeurt hieronder per variabele.

3.3.1 Operationalisering evaluatie

Het eerste concept, de onafhankelijke variabele, is evaluatie. De eerste stap in dit onderzoek is het vaststellen dat de jaarverslagen van het RIVM over het RVP kunnen worden aangemerkt als evaluatie. Evaluatie is als volgt gedefinieerd: ‘het beoordelen van de waargenomen inhoud, processen of effecten van een beleid aan de hand van bepaalde criteria’ (Winter, 2014, p. 153). Om te kunnen vaststellen dat de jaarverslagen kunnen worden aangemerkt als evaluaties moeten er drie onderdelen in de jaarverslagen aanwezig zijn. De eerste is waarneming (Winter, 2014, p. 154). Er moeten gegevens zijn verzameld en geanalyseerd. Tevens moeten er geoperationaliseerde criteria zijn opgesteld, zoals doelbereiking van het beleid, effectiviteit, doelmatigheid en rechtmatigheid (Winter, 2014, p. 154). Het beleid moet

daarnaast ook beoordeeld zijn. Hierbij worden er uitspraken gedaan over de mate van succes, hoogte van de kosten en baten, rechtmatigheid en/of het draagvlak van het beleid. In de tabel hieronder wordt de operationalisering van de eerste variabele schematisch weergegeven.

Evaluatie

Definitie

Het beoordelen van de waargenomen inhoud, processen of effecten van een beleid aan de hand van bepaalde criteria (Winter, 2014, p. 153).

Indicatoren

• Waarneming

• Opgestelde, geoperationaliseerde criteria • Beoordeling

Tabel 1: Operationalisering van evaluatie

3.3.2 Operationalisering bruikbare kennis

Als er kan worden vastgesteld dat de jaarverslagen van het RIVM kunnen worden aangemerkt als evaluaties, dan kan daarna worden gekeken welke evaluatieve kennis hieruit voortkomt. Er wordt onderzocht of deze informatie bruikbare kennis oplevert voor de aanpassing en verbetering van het beleid over het RVP. In het theoretische kader zijn de dimensies en presentatie van evaluatieve kennis behandeld. Hierin zijn eisen te herkennen die de beleidspraktijk stelt aan de evaluatierapporten. Hoogerwerf en Zoutendijk (1995, p. 247) hebben deze eisen verwerkt, zij hebben negen onderdelen onderscheiden, met in totaal dertig eisen. Deze zijn voor de leesbaarheid opgenomen in bijlage 2, in plaats van hier in de tekst. Op basis van deze dertig eisen zal er in de analyse worden gekeken naar de jaarverslagen van het RIVM over het RVP. De eisen worden dus getoetst aan de praktijk van het RVP. Hoogerwerf en Zoutendijk (1995, p. 247) stellen dat bij nadere formulering van deze eisen men, naast algemene inzichten, onder andere ook kan profiteren van onderzoek naar het gebruik en bruikbaarheid van evaluatieonderzoek. In de tabel op de volgende pagina is de operationalisering schematisch weergegeven.

Bruikbare kennis

Definitie Evaluatieve informatie die kan leiden tot aanpassing of verbetering van het beleid.

Indicatoren (zie bijlage 2)

A. Aanleiding en onderwerp van de evaluatie B. Type onderzoek

C. Doelstelling en probleemstelling D. Theorie en begrippen

E. Methoden van onderzoek F. Technieken van onderzoek

G. Analyse van de data en conclusies H. Opbouw

I. Overige eisen Tabel 2: Operationalisering van bruikbare kennis

3.4 Betrouwbaarheid en validiteit

De betrouwbaarheid van dit onderzoek wordt allereerst gegarandeerd door de transparantie van de onderzoeksmethode. In dit hoofdstuk staat beschreven hoe het onderzoek wordt uitgevoerd. Het onderzoek kan door iemand anders worden herhaald of gecontroleerd, dit vergroot de betrouwbaarheid (Drost, 2011, p. 206). Binnen één casus is er voor vijf onderzochte jaren gekozen om de uitkomsten van het onderzoek geen toevalstreffers te laten zijn. Zowel de transparantie als het onderzoeken van meerdere jaren zorgen ervoor dat de betrouwbaarheid van dit onderzoek hoog is (Drost, 2011).

De transparante weergave van de operationalisering in paragraaf 3.3 zorgt voor een hoge interne validiteit. De interne validiteit wordt ook verhoogd door het onderzoek te laten berusten op ander gedegen onderzoek, dat behandeld is in het tweede hoofdstuk. Doordat alle aspecten worden onderzocht en niet slechts een deel ervan, zal de interne validiteit hoog zijn (Drost, 2011, p. 115).

Hoofdstuk 4 – Casusbeschrijving

De casus die wordt behandeld in deze thesis is het Rijksvaccinatieprogramma (RVP). In dit hoofdstuk zal de casus worden toegelicht en wordt er met name gekeken naar de jaarverslagen over dit programma. Deze casusbeschrijving is gebaseerd op de verslagjaren 2014 tot en met 2018. In de eerste paragraaf wordt kort toegelicht wat het RVP inhoudt. In de tweede paragraaf zal het RIVM aan bod komen. In de derde paragraaf van dit hoofdstuk staan de vijf jaarverslagen centraal. Eerst wordt gekeken naar de belangrijkste gebeurtenissen per jaar en daarna naar de vaccinatiegraad.

4.1 Het Rijksvaccinatieprogramma

Om te zorgen dat mensen worden ingeënt bestaat er sinds 1957 een collectief preventieprogramma dat wordt aangeboden door de overheid: het Rijksvaccinatieprogramma (RVP). Het RVP begon met een vaccinatie tegen polio. De hoofddoelstelling van het RVP is het voorkomen van ziekte, complicaties en sterfte door middel van vaccinaties (Van Lier, e.a., 2019, p. 9). Op basis van een bepaald oproepschema wordt gepoogd alle kinderen woonachtig in Nederland te vaccineren tegen infectieziekten (zie bijlage 1). Het RVP wordt uitgevoerd binnen de Jeugdgezondheidszorg (JGZ).

Het RVP werkt op twee verschillende niveaus. Ten eerste zorgt het voor individuele bescherming, men heeft zelf een kleinere kans op een (ernstige) vorm van een infectieziekte. Ten tweede zorgt het RVP voor groepsbescherming, waardoor epidemieën worden voorkomen en beschermt het kinderen te jong voor vaccinatie of anderszins kwetsbaren die niet gevaccineerd kunnen worden. Voor het behalen van groepsbescherming, is echter wel een hoge vaccinatiegraad vereist (Van Lier, e.a., 2019, p. 9).

4.2 Het Rijksinstituut voor Volksgezondheid en Milieu

Het Rijksinstituut voor Volksgezondheid en Milieu (RIVM) zet zich al meer dan 100 jaar in voor een gezonde bevolking in een gezonde leefomgeving. Het RIVM speelt een centrale rol in de infectieziektebestrijding en in landelijke preventie- en screeningsprogramma’s. Het RIVM geeft zelf aan dat hij onafhankelijk (wetenschappelijk) onderzoek uitvoert op het vlak van Volksgezondheid, Zorg,

Milieu en Veiligheid. Het RIVM noemt zichzelf dan ook wel de ‘trusted advisor voor de samenleving’ (RIVM, 2019a). ‘Het RIVM wil een betrouwbare en integere partner zijn voor de overheid en andere professionals’ (RIVM, 2019b). Het RVP wordt vastgesteld door het ministerie van Volksgezondheid, Welzijn en Sport (VWS). Het RIVM voert dit beleid uit en rapporteert jaarlijks hierover terug aan de minister. Het RIVM heeft de landelijke aansturing en begeleiding van het RVP in handen en coördineert de regionale uitvoering (Van Lier, e.a., 2019, p. 9). Dit gebeurt in opdracht van de minister van VWS, in het kader van project 150202, evaluatie en advisering van het RVP. Het RIVM is eindverantwoordelijke voor het RVP. De uitvoering van het RVP wordt gedaan binnen de JGZ (Van Lier, e.a., 2019, p. 9).

De positie van het RIVM is vastgelegd in de Wet op het RIVM. Hierin staat dat het RIVM zijn taken ten behoeve van de beleidsontwikkeling en het toezicht op het terrein van volksgezondheid en het terrein van het milieu zelfstandig uitvoert (Wet op het RIVM, 1996). Echter ressorteert het RIVM onder de minister van VWS. Het RIVM is een ambtelijke dienst van het ministerie van VWS. Dit betekent dat de minister politiek verantwoordelijk is. De leiding van het RIVM berust bij de directeur-generaal, die conform de regels van de ABD door de minister van BZK i.o.m. de minister van VWS wordt benoemd (Wet op het RIVM, 1996). Een van de taken die in de wet staat is het periodiek rapporteren over de toestand en de toekomstige ontwikkeling van de volksgezondheid en het milieu (Wet op het RIVM, 1996). Voor 1 juni dient de directeur-generaal een verslag te verzenden naar de minister over de werkzaamheden van het RIVM in het afgelopen kalenderjaar.

De minister geeft de directeur-generaal geen aanwijzingen met betrekking tot methoden van onderzoek doen en de resultaten die daarvan worden gerapporteerd: ‘onze minister geeft aan de directeur-generaal geen aanwijzingen met betrekking tot de methoden, volgens welke de in de meerjaren-activiteitenprogramma’s opgenomen onderzoeken worden uitgevoerd en de resultaten daarvan worden gerapporteerd’ (Wet op het RIVM, 1996). Het RIVM rapporteert openbaar (op zijn website). De kosten van onderzoek dat in het meerjaren-activiteitenprogramma plaatsvindt, zijn opgenomen in de begroting van het ministerie van VWS (Wet op het RIVM, 1996).

Tevens volgt het RIVM ook de specifieke Code ter Voorkoming van Oneigenlijke Beïnvloeding door Belangenverstrengeling. Daarnaast is er ook een Commissie van Toezicht die zicht houdt op de wetenschappelijke kwaliteit van het werk van het RIVM. Het RIVM onderschrijft de Nederlandse Gedragscode

Wetenschappelijke Integriteit die de basis vormt voor hun wetenschappelijke integriteitsbeleid (RIVM, 2019b).

Het RIVM is tevens het kennisinstituut inzake preventie. Het RIVM schrijft elk jaar een verslag over de jaarlijkse ontwikkelingen binnen het RVP: ‘Het RIVM beschrijft jaarlijks de organisatorische en inhoudelijke ontwikkelingen binnen het RVP’ (Van Lier, e.a., 2019, p. 9). Hierbij wordt aandacht besteed aan de belangrijkste gebeurtenissen in het afgelopen jaar en de ontwikkelingen op het gebied van de vaccinatiegraad. Beide wordt gedocumenteerd in een jaarverslag. Hierin kijkt het RIVM naar het geïmplementeerde en uitgevoerde beleid omtrent het RVP. In de verslagjaren 2014 en 2015 waren dit nog twee aparte documenten: een document over de vaccinatiegraad en een terugblik naar de belangrijkste gebeurtenissen. In de verslagjaren 2016, 2017 en 2018 is dit samengevoegd tot één jaarverslag: ‘vaccinatiegraad en jaarverslag’.

4.3 Jaarverslagen

In deze paragraaf wordt gekeken naar de inhoud van de jaarverslagen die het RIVM opstelt over het RVP. In dit inhoudelijke overzicht zal de rode draad van alle vijf de verslagjaren worden behandeld van de jaarverslagen over 2014 tot en met 2018. De jaarverslagen zijn goed met elkaar vergelijkbaar qua opzet, daarom is er gekozen voor behandeling per onderwerp: eerst de belangrijke gebeurtenissen en daarna de vaccinatiegraad. Hierdoor wordt tevens een volledig overzicht geschetst van de rode draad die door alle jaarverslagen loopt.

4.3.1 Belangrijkste gebeurtenissen

In deze deelparagraaf zullen de belangrijkste gebeurtenissen worden vermeld per verslagjaar. In 2014 is de eerste belangrijke gebeurtenis dat het HPV-vaccinatieschema is teruggebracht van drie naar twee vaccinaties, want dit heeft nagenoeg hetzelfde effect volgens de Europese Geneesmiddelen Autoriteit (Conyn van Spaendonck, 2015, p. 3). Daarnaast is de verantwoordelijkheid van de uitvoering van het RVP bij gemeenten komen te liggen, dit zal naar verwachting januari 2018 in werking treden (Conyn van Spaendonck, 2015, p. 12). Door een Europese richtlijn is er ook besloten om over te stappen naar een veiliger naaldsysteem (Conyn van Spaendonck, 2015, p. 3). Vanaf 2015 zal het RIVM zo veel mogelijk vaccins leveren in spuiten die geschikt zijn voor het gebruik van veilige naalden, hierdoor kan deze

nieuwe richtlijn geleidelijk worden geïmplementeerd (Conyn van Spaendonck, 2015, p. 12). In 2014 is ook de eerste fase afgerond van de implementatie van het beleid om het aantal RIVM-regiokantoren terug te brengen van vijf naar drie, er zijn twee regiokantoren samengevoegd. Begin 2015 zullen de twee andere kantoren fuseren (Conyn van Spaendonck, 2015, p. 12). Als laatste is besloten om in Caribisch Nederland het RVP gelijk te trekken met dat van Nederland (Conyn van Spaendonck, 2015, p. 3).

In 2015 is de eerste belangrijke gebeurtenis dat in de media verontrustende berichten stonden over lijmresten in naalden. Het RIVM heeft dit onderzocht en er bleken geen schadelijke gevolgen te zijn (Conyn van Spaendonck, 2016, p. 11). De tweede belangrijke gebeurtenis betreft maternale kinkhoest. De Gezondheidsraad heeft in 2015 geadviseerd om een kinkhoestvaccinatie in te voeren voor zwangere vrouwen zodat baby’s beter worden beschermd. Het RIVM startte daarom nog in 2015 met een verkenning hoe dit mogelijk kan worden uitgevoerd (Conyn van Spaendonck, 2016, p. 12). Daarnaast is het per 1 januari 2018 verplicht om expliciet toestemming te hebben van ouders om de vaccinatiegegevens van hun kind te mogen registreren (‘informed consent’). Als laatste is het huidige registratiesysteem ‘Praeventis’ verouderd en werd er dit jaar een analyse voor vernieuwing in gang gezet (Conyn van Spaendonck, 2016, p. 12).

In 2016 wordt er als belangrijkste gebeurtenis genoemd dat er geen opvallende uitbraken van RVP-ziekten waren. Wel stijgt sinds oktober 2015 het aantal patiënten met meningokokkenziekte W. Binnen het RVP wordt er alleen gevaccineerd tegen de C-variant (Van Lier e.a., 2017, p. 3). Daarnaast noemen de auteurs van het jaarverslag ook het stevige debat dat gevoerd werd in de media tussen voor- en tegenstanders van vaccinatie. Daarom ontwikkelt het RIVM een leerprogramma (Van Lier e.a., 2017, p. 14). In 2016 zijn nog geen stappen gezet voor het vaccineren tegen maternale kinkhoest, het onderzoek heeft meer tijd nodig (Van Lier e.a., 2017, p. 12).

Ook in 2017 waren er geen opvallende uitbraken van ziekten waartegen wordt gevaccineerd in het RVP (Van Lier e.a., 2018, p. 3). Wel was er wederom een stijging te zien van patiënten met meningokokkenziekte W. Hierdoor wordt in mei 2018 de meningokokken C-vaccinatie vervangen voor meningokokken ACWY-vaccinatie (Van Lier e.a., 2018, p. 14). Het leerprogramma dat in 2016 werd ontwikkeld is in gebruik genomen en tevens worden er voorbereidingen getroffen voor het vaccinatieconsult, waar ouders met vragen en eventuele twijfels over het RVP terecht