• No results found

5. Evaluatietypes

5.4 Ex ante evaluatie

5.4.5 Implementatie van het beleid

5.4.5.1 Opzet en vraagstelling

Een ex ante evaluatie kan niet enkel focussen op de inhoud van het beleid, maar kan ook vooruit kijken naar de uitvoering ervan. In dat geval staat het implementatiemodel van het beleidstheoretische raamwerk centraal. Meer bepaald zijn dan de implementatiecapaciteit, het uitvoeringsproces (cf. draaiboek) en/of de toegang tot en de omgang met de doelgroep het evaluandum.

De beleidsuitvoering is sterk gekoppeld aan een managementperspectief. Aspecten van intra- en inter- organisatorische sturing, coördinatie, verzelfstandiging, communicatie, human resources, voorraadbeheer, wachttijden, klantenbeleid, e.d. zijn daarbij vaak terugkerende aandachtspunten.

In het bestek van deze handleiding ontbreekt de plaats om uitgebreid in te gaan op de evaluatie van de uitvoeringsprocessen van beleid vanuit deze managementbenadering. Toch willen we het nut van een ex ante evaluatie op de uitvoering van het beleid benadrukken. We geven ook kort aan welke aanpak bij dit type van evaluatie behoort.

5.4.5.2 Meerwaarde

Een falend beleid is niet zelden terug te brengen tot een problematische uitvoering. Het is dan ook van belang om deze fase in de beleidscyclus voldoende aandacht te schenken, naast de planning van het beleid. Want het traditionele beeld dat beleidsplanning de uitvoering bepaalt, gaat niet meer op. Veeleer is er een wisselwerking: de uitvoering geeft in grote mate gestalte aan de inhoud van het beleid. Dit is ook af te leiden uit het conceptueel kader van de beleidstheorie. In de praktijk gaat het implementatiemodel vooraf aan het veranderingsmodel. Echter, voor het (re)construeren van de achterliggende beleidslogica

of -theorie kan men zowel voorwaarts als terugredeneren (cf. supra); zowel het implementatiemodel als het veranderingsmodel kan als vertrekpunt genomen worden.

Toch wordt vaak onvoldoende vooraf aandacht geschonken aan het implementatiemodel. Wanneer het beleid uitgetekend is en de doelstellingen bepaald zijn, hebben beleidsmakers vaak de neiging om meteen over te gaan naar de volgende fase van de beleidscyclus, namelijk de uitvoering. De implementatie krijgt in dat scenario pas meer aandacht wanneer achteraf blijkt dat het beleid niet de verwachte resultaten heeft opgeleverd.

Echter, door prospectief bepaalde aspecten van de beleidsuitvoering te evalueren op praktische uitvoerbaarheid of haalbaarheid, kan men bepaalde knelpunten tijdig ontdekken en daarmee problemen vermijden. Dergelijke ex ante evaluatie past dan ook onder het motief van het ondersteunen en verbeteren van de (operationele) beleidsplanning. Ze kan aangeven welke indicatoren belangrijk zijn om via monitoring op te volgen zodra het beleid in uitvoering gaat.

Ook dit type van evaluatie is zowel van politiek als administratief oogpunt relevant. Ze ondersteunt enerzijds een doelgerichte en efficiënte allocatie van middelen en vermijdt anderzijds de situatie dat politici oplossingen aankondigen die later onuitvoerbaar blijken te zijn.

5.4.5.3 Aanpak en technieken

De aanpak bij een ex ante evaluatie van de implementatie van het beleid is op zich vrij eenvoudig: de organisatie van een testfase of try-out van de uitvoering op compacte schaal. Een piloottest of proeftuinexperiment zijn aangewezen technieken om de praktische haalbaarheid van een beleidsinitiatief te bepalen en bijgevolg de grootschalige invoering van een mangelend beleid te vermijden.

Een testfase vervult een brugfunctie tussen beleidsbepaling en beleidsuitvoering. Daardoor echter zal deze test meestal onder een hoge tijdsdruk moeten gebeuren, in die mate zelfs dat ze beperkt kan worden tot bepaalde onderdelen van het geplande beleidsinitiatief.

De aanpak via een testfase kan overigens ook relevant zijn om de beleidseffectiviteit na te gaan. Daarmee is niet enkel het implementatiemodel maar ook het beoogde veranderingsmodel het evaluandum. Men kan bijvoorbeeld nagaan hoe het beleid de doelgroep bereikt en of de selectie van determinanten accuraat is. In dat opzicht vertoont deze aanpak overeenkomsten met het verzamelen van beleidsvoorbereidende informatie bij en ex ante evaluatie van de beleidsrelevantie (cf. supra). Voor dat evaluatietype is het scherp stellen van de maatschappelijke problematiek essentieel, maar kan ook het verzamelen van kenmerken van de beoogde doelgroep relevante informatie opleveren om keuzes te maken tussen de determinanten waarop men met het beleid wil inwerken. Het voornaamste verschilpunt met de aandacht voor de doelgroep in een uitvoeringstest zit in de timing ten aanzien van het ontwerpen van de beleidstheorie. Een ex ante evaluatie van de beleidsrelevantie gebruikt deze informatie om de

beleidstheorie vorm te geven, terwijl in een ex ante evaluatie van de beleidsimplementatie het implementatiemodel als bestaand onderdeel van de beleidstheorie getest kan worden.

Uit dit laatste zou men kunnen besluiten dat een testfase eigenlijke een ex post evaluatie is. Vanwege de beperking in tijd en omvang kan een piloottest echter eerder beschouwd worden als een ex ante evaluatie-instrument dan wel een beoordeling ex post.

5.4.5.4 Voorbeeld

De case van de spaarlampenbedeling demonstreert in negatieve zin de meerwaarde van een ex ante evaluatie van de uitvoering van het beleid; een terugblik op een gemiste vooruitblik.

In september 2003 wordt het beleidsinitiatief aangekondigd dat de Vlaamse overheid spaarlampen zal uitdelen aan elk Vlaams gezin. Dat zal gebeuren in 2 rondes, de eerste ronde in juni 2004, de tweede in de loop van 2006. De maatregel, begroot op 4,8 miljoen euro, kadert in het beleid gericht op duurzame ontwikkeling en meer bepaald het sensibiliseren van mensen voor de problematiek van overmatig energieverbruik. Door een discussie over de distributie van de spaarlampen start de eerste ronde van de actie met enige vertraging in augustus 2004.

De uitvoering verloopt anders naargelang mensen aangesloten zijn bij een gemengde of zuivere intercommunale. Gezinnen die bij een gemengde intercommunale zijn aangesloten, ontvangen eerste een brief waarin de maatregel wordt aangekondigd en toegelicht. Vervolgens vindt via de post de bedeling van spaarlampen plaats. Wanneer men niet thuis is, deponeert de postbode een bon in de brievenbus waarmee men de spaarlamp kan afhalen op het postkantoor. Voor gezinnen aangesloten bij een zuivere intercommunale is de procedure dat men steeds de lamp zelf moet gaan afhalen in het postkantoor.

In 2005 beslist de minister een tussentijdse evaluatie uit te voeren. De resultaten van een enquête bij de doelgroep van het beleid zijn niet bemoedigend. Van de respondenten zegt 31% nog nooit gehoord te hebben van de beleidsmaatregel, 35% heeft geen brief of bon gekregen en 60% verklaarde geen spaarlamp te hebben ontvangen. Van de 40% die wel al een lamp kreeg had 25% die de lamp ongebruikt heeft weggelegd, 12% personen die aangeven dat ze de lamp om technische redenen niet kunnen gebruiken, en 10% die nog geen idee heeft over het eventueel gebruik van de lamp.

Op basis van de resultaten van de tussentijdse evaluatie komt de tweede ronde van het beleidsinitiatief ter discussie te staan. De implementatie van de maatregel loopt duidelijk mank, bovendien komt aan het licht dat bijna de helft van de gezinnen de verkregen spaarlamp (nog) niet gebruikt. Uiteindelijk beslist men om toch door te gaan met de uitvoering, maar men wijzigt de wijze van uitvoering. In januari 2006

werd beslist te starten met de 2de ronde. Gezinsleden kregen nu een kortingsbon van 5 euro, er was geen

bedeling meer van spaarlampen via de post. Er werden 2,5 miljoen kortingsbonnen voorzien, die in de relevante handelszaken konden worden ingeruild. Bovendien lanceerde men een mediacampagne om de

mensen te sensibiliseren voor de problematiek en de beleidsactie nogmaals onder de aandacht te brengen. De coördinatie komt in handen van het nieuwe Vlaamse energiebedrijf Eandis, namens de gemengde intercommunales.

Dit voorbeeld toont aan dat een ex ante evaluatie van de uitvoering problemen had kunnen voorkomen. Indien men de procedure van uitvoering en de rol daarin van de doelgroep kritisch had bekeken, was men mogelijk vooraf al tot de conclusie gekomen dat de bedeling via het postkantoor niet de optimale oplossing was. In een tijd van moderne communicatiemiddelen passeren we minder langs het postkantoor. De openingstijden stroken ook niet steeds met de werkuren. Bovendien is het aannemelijk dat heel wat werkende mensen niet speciaal voor spaarlamp langs het postkantoor passeren.

5.4.5.5 Kritieke slaagfactoren

- Betrekken van uitvoerders

Het is belangrijk dat de personen die met de eigenlijke uitvoering belast zijn betrokken worden bij de evaluatie. Zij zijn immers meestal het best geplaatst om vanuit hun concrete ervaringen hindernissen of knelpunten in het uitvoeringsproces onder de aandacht brengen.

- Beschikbare tijd t.a.v. besluitvormingsproces

De meerwaarde van een ex ante evaluatie van de uitvoering van het beleid werd hierboven uiteengezet. Net als bij elke ex ante evaluatie speelt echter het tijdsaspect een belangrijke rol om de meerwaarde te benutten. Het testen van de uitvoering op beperkte schaal neemt een bepaalde tijd in beslag die men vooraf moet incalculeren in het besluitvormingsproces; de resultaten van de evaluatie moeten immers nog kunnen omgezet worden in een verbetering van het geplande beleidsinitiatief. Dat kunnen specifieke procedures zijn, maar mogelijk ook meer fundamentele aanpassingen wanneer blijkt dat de praktische uitvoerbaarheid problematisch is.