6 DOELTREFFENDHEID EU-BELEID
6.2 Beleidsresultaten per begrotingshoofdstuk
Om na te gaan wat de doeltreffendheid van het beleid van de EU is, zijn wij in ons onderzoek voor het vorige EU-trendrapport nagegaan welke streefwaarden of streefrichtingen verbonden waren aan de algemene beleidsdoelstellingen van de EU voor het gemeenschappelijk landbouw-beleid, het structuurbeleid en het intern landbouw-beleid, en wat de uiteindelijke beleidsresultaten waren (Algemene Rekenkamer, 2006).
Uit onze analyse bleek toen dat er voor geen enkel beleidsterrein streefwaarden bij de doelstellingen van het beleid geformuleerd waren.
Verder bleek dat alleen op het gebied van landbouw in 2003 en 2004 enige informatie beschikbaar was over de bereikte effecten. Deze informatie was niet afgezet tegen een streefwaarde.
In dit trendrapport zijn wij op basis van EU-brede midterm- en ex-poste-valuaties op het terrein van het gemeenschappelijk landbouwbeleid, het structuurbeleid en het intern beleid nagegaan welke informatie over beleidsresultaten in 2005 beschikbaar is.40We hebben achtereenvolgens bekeken:
• welke richtlijnen de Europese Commissie geeft voor evaluaties;
• wat de relatie is tussen de omvang van de geldstroom en het aantal evaluaties;
• hoeveel informatie de evaluaties bevatten over realisatie van eerder geformuleerde beleiddoelen;
• in hoeverre doelen worden bereikt; en
• welke factoren (blijkens de evaluaties) de doelrealisatie compliceren.
Voor onze analyse hebben we 23 evaluaties geselecteerd uit het overzicht van het DG begroting van alle uitgevoerde evaluaties in 2005 (Europese Commissie, 2006i). De 171 evaluaties omvatten 81 ex-ante-evaluaties en
«impact assessments», 21 ex-postevaluaties en 69 midtermevaluaties. Van de 90 midterm- en ex-postevaluaties hebben er 28 betrekking op
landbouwbeleid, regionaal beleid en intern beleid.41We hebben uit elk van deze categorieën evaluaties in onze selectie opgenomen.42 6.2.1 Voorwaarden en richtlijnen voor evaluaties
Het DG begroting heeft een coördinerende rol bij het gebruik van
evaluaties in de jaarlijkse budgettering, de strategische programmering en de planning- en controlcyclus. Het wordt daarbij bijgestaan door
«Evaluation Units» van de andere DG’s.
De basisvereisten voor evaluaties zijn vastgelegd in het financieel reglement en in Mededelingen (Europese Raad, 2002). In het financieel reglement wordt alleen een aantal standaardverplichtingen genoemd.
Deze houden in dat programma’s die deel uitmaken van de EU-begroting voorzien moeten zijn van specifieke, meetbare, haalbare en relevante doelstellingen binnen bepaalde tijdspanne. De verwezenlijking van de doelstellingen dient door middel van resultaatindicatoren per doelstelling vastgesteld te worden. Daarnaast heeft de Europese Commissie, in Mededeling 39, evaluatiestandaarden en «good practices» geformuleerd (Europese Commissie, 2002). De evaluatiestandaarden zijn in zoverre bindend, dat de afzonderlijke DG’s wel de vrijheid hebben om te kiezen
40We hebben gekeken naar programma’s die door Commissie en eindbegunstigden worden uitgevoerd, zonder tussenkomst van de lidsta-ten.
41Voor intern beleid hebben we ons beperkt tot het DG Onderwijs en Cultuur, het DG Milieu, het DG Vervoer en Energie en het DG Onderzoek. Bijlage 4 geeft een overzicht van de evaluaties die in het onderzoek zijn betrok-ken.
42Vijf evaluaties vielen af vanwege
proble-Er is een groot aantal handleidingen met richtlijnen over het opzetten en beoordelen van een evaluatie verschenen.43Van de 36 handleidingen afkomstig van tien DG’s is bijna de helft afkomstig van het DG Regionaal beleid en het DG Landbouw.
In deze handleidingen ligt de nadruk op het doen van uitspraken over input, prestaties en effecten. Op basis van dataverzameling worden vervolgens uitspraken verwacht over de relevantie, doeltreffendheid, doelmatigheid, duurzaamheid en nut van het programma. Over het gebruik van precieze indicatoren en het gebruik van streefwaarden zijn de handleidingen minder expliciet. De DG’s sluiten met externe onderzoekers per uitgevoerde evaluatie een contract met daarin de inhoudelijke en procesvoorwaarden waaraan de evaluatie moet voldoen.
Het DG begroting heeft voorts richtlijnen opgesteld voor de toetsing van de externe evaluatieverslagen door de DG’s. Deze kwaliteitscontrole is van belang bij het vervolgtraject na de publicatie van de evaluaties. Deze controle is niet bindend en kan per DG op verschillende manieren worden uitgevoerd.
Het DG Landbouw wordt als «good practice» gezien omdat dit DG niet alleen veel «evaluation guidelines» heeft opgesteld, maar ook per evaluatie een «quality grid» heeft gepubliceerd waarin de evaluatie op negen punten een score krijgt toebedeeld. Deze punten betreffen onder andere de informatieverstrekking, de relevantie van de bevindingen, de adequaatheid van de gebruikte gegevens en de validiteit van conclusies.
6.2.2 Verband tussen geldstromen en evaluaties
Het gemeenschappelijk landbouwbeleid en het structuurbeleid beslaan samen ongeveer 85% van de EU-begroting. Intern beleid, administratieve uitgaven en enige kleinere posten zijn samen goed voor circa 15%.
Wij zijn nagegaan in welke mate de geldstromen worden afgedekt met evaluaties. Figuur 6 (zie volgende bladzijde) geeft op basis van de jaarlijkse evaluatieoverzichten van het DG begroting inzicht in het aantal algemene EU-brede midterm en ex-postevaluaties over het landbouw-beleid, structuurbeleid en intern beleid (hiervan de beleidsterreinen onderwijs en cultuur, milieu, vervoer en energie, onderzoek).
We zien in de eerste plaats dat het totaal aantal EU-brede evaluaties vrij constant is gebleven tussen 2000 en 2005.
Verder blijkt dat er voor het structuurbeleid weinig EU-brede evaluaties zijn. Deze geldstroom wordt namelijk grotendeels door de lidstaten zelf geëvalueerd. Ook voor landbouw is het aantal evaluaties relatief laag. In 2005 is het aantal wel gegroeid ten opzichte van eerdere jaren. Bij het intern beleid wisselt het aantal evaluaties sterk per jaar, maar het totale aantal daarvan ligt in alle gevallen hoger dan het aantal evaluaties over landbouw- en structuurbeleid gecombineerd.
Het aantal evaluaties zegt niet meteen iets over de mate waarin de geldstroom wordt afgedekt. Zo zijn er van het beleidsterrein landbouw vergeleken met het intern beleid weinig evaluaties, maar elke landbouw-evaluatie betreft relatief meer geld dan van de landbouw-evaluaties van intern beleid. Van het landbouwbeleid is in totaal 47,1% van de uitgaven in 2005 van het DG op EU-niveau geëvalueerd. Bij het intern beleid is door het DG Onderzoek 2,97% van de totale gelden in beleidsevaluaties onderzocht. Bij het DG Onderwijs en Cultuur is 1,36% van de geldstroom afgedekt, en bij het DG Milieu 0,83%.
43In oktober 2004 heeft de «Evaluation Unit»
van het DG begroting een overzicht opgesteld van alle evaluatiehandleidingen binnen de verschillende DG’s (Europese Commissie, 2004a).
Figuur 6 Aantallen evaluaties van EU-beleid in de periode 2000-2005
0 5 10 15 20 25 30 35
2000 2001 2002 2003 2004 2005
Landbouw Structuurbeleid Intern beleid Totaal
Voor het structuurbeleid is er in 2005 één Europese synthese-evaluatie gepubliceerd. Deze betrof het verband tussen de Lissabonstrategie en alle structuurfondsen. Een percentage van de geldstroom dat werd afgedekt kon op basis daarvan niet worden berekend.
6.2.3 Beschikbare informatie over realisatie van beleidsdoelen
Alle door ons onderzochte evaluaties, met uitzondering van één evaluatie van het DG Landbouw, zijn door externe onderzoeksbureaus uitgevoerd.
Vragen over relevantie, effectiviteit, efficiency en duurzaamheid komen in vrijwel alle evaluaties terug, maar de onderzoeksaanpak verschilt.
Overzicht 20 laat zien hoeveel informatie over doelrealisatie aanwezig is in de 23 evaluaties.44
Overzicht 20. Informatie over doelrealisatie per beleidsterrein in 23 evaluaties
Beleidsterrein Aantal
evaluaties
Ruimschoots aanwezig
Gedeeltelijk aanwezig
Niet aanwezig
LANDBOUWBELEID 8 3 3 2
STRUCTUURBELEID 1* 1 – –
INTERN BELEID
a. Onderwijs en Cultuur 4 2 1 1
b. Milieu 2 – 1 1
c. Energie en Vervoer 5 – 1 4
d. Onderzoek door derden 3 – – 3
TOTAAL 23 6 6 11
* Een evaluatie van het Oriëntatiedeel (plattelandsontwikkeling) van het EOGFL-fonds van landbouw is in onze analyse niet meegenomen, terwijl dit officieel wel onder de
structuur-We zien het volgende:
• In zes van de 23 evaluatieverslagen was deze informatie ruimschoots aanwezig. Zes andere verslagen bevatten gedeeltelijk informatie over de doelrealisatie.
• In elf van de 23 verslagen (48%) was er geen inhoudelijke informatie over de doelrealisatie te vinden. In deze gevallen is niet bekend in welke mate de doelstellingen zijn gerealiseerd.
Het ontbreken van doelrealisatiegegevens in 48% van de gevallen is mogelijk te wijten aan breed en abstract geformuleerde doelstellingen, die daardoor moeilijk te evalueren zijn. Voorbeelden van dergelijke doelstel-lingen zijn: «duurzame lokale ontwikkeling bevorderen»; «aanjagen van energiebesparende maatregelen»; «het MKB ondersteunen»; «aantonen dat verantwoorde wetenschap het hart van de beleidsprocessen in Europa vormt»; «bescherming van het milieu».
Het nadeel van brede en/of abstracte doelstellingen is dat deze moeilijk om te zetten zijn in concreet meetbare indicatoren. Het gevolg daarvan is dat het moeilijk is eventuele beleidsresultaten concreet en goed onder-bouwd terug te koppelen aan de doelstellingen. De Europese Commissie zal op basis van zulke uitkomsten niet of maar moeilijk in staat zijn om goede beleidskeuzes te maken voor de toekomst.
In de gevallen waar de doelstellingen wél specifiek en meetbaar zijn, is een evaluatie potentieel nuttiger. Dit betekent overigens niet dat in de onderzochte evaluaties aan deze doelstellingen altijd meetbare indica-toren en streefwaarden waren gekoppeld. De nadruk in de evaluatie-verslagen lag in deze gevallen over het algemeen wel vaker op output-gegevens, en dus op informatie over resultaten van het beleid.
6.2.4 Mate van doelrealisatie
Op basis van de twaalf evaluaties die informatie bevatten over doelrealisatie zijn wij nagegaan wat de mate van doelrealisatie is.45
Overzicht 21. Mate van doelrealisatie in twaalf evaluaties
Beleidsterrein Aantal
evaluaties
Niet Grotendeels niet
Helft Grotendeels wel
Volledig
LANDBOUW 6 – 4 1 1 –
STRUCTUURBELEID 1 – – 1 – –
INTERN BELEID
a. Onderwijs en Cultuur 3 – 1 1 1 –
b. Milieu 1 – – 1 – –
c. Energie en Vervoer 1 – – 1 – –
d. Onderzoek door derden 0 – – – – –
TOTAAL 12 0 5 5 2 0
Overzicht 21 laat zien dat blijkens tien van de twaalf evaluaties (83%) de doelstellingen van het betreffende beleid voor de helft zijn gerealiseerd.
Twee evaluaties geven aan dat de doelstellingen grotendeels zijn bereikt.
Opmerkelijk hierbij is dat in vijf van de zes landbouwevaluaties de doelen voor de helft worden bereikt. Datgene wat wordt bereikt heeft steeds betrekking op de algemene doelstelling «garanderen van redelijke inkomsten». Deze doelstelling wordt in bijna alle gevallen gerealiseerd.
45In de analyse is de mate van doelrealisatie per evaluatie gecategoriseerd in 5 waarden:
niet (0), grotendeels niet (2,5), helft (5), groten-deels wel (7,5) en volledig (10). Bijlage 4 laat zien welke score aan welke evaluatie is toegekend.
6.2.5 Knelpunten bij doelrealisatie
Wanneer er sprake is van onvolledige of onvoldoende doelrealisatie worden in de evaluaties vaak belemmerende oorzaken c.q. knelpunten weergegeven. We hebben de knelpunten in vier categorieën onderver-deeld:
1. manco’s in de opzet van het programma, inclusief selectie projecten en keuze van instrumenten (29 knelpunten, onder andere: onjuiste
koppeling tussen doel en programma, onduidelijkheid over interpre-tatie, tussentijdse verschuivingen van prioriteiten, abstracte doelstel-lingen en onduidelijke prioriteiten, ingewikkelde aanmeldingsproce-dures, keuze voor ineffectieve instrumenten, overlap tussen
instrumenten);
2. manco’s in de uitvoering (21 knelpunten, onder andere: administra-tieve processen te complex, projecten op te kleine schaal, gebrek aan competente experts, hoge managementkosten, late start van het programma);
3. manco’s in de evalueerbaarheid (17 knelpunten, onder andere: geen uniform en structureel systeem voor monitoring, verschillende problemen met het verkrijgen van de data, ex-ante-evaluatie afwezig, weinig reacties coördinatoren);
4. problemen in de afstemming met andere overheidsprogramma’s en derde private partijen (14 knelpunten, onder andere: gebrek aan coherentie in subprogramma’s, geen duidelijk onderscheid tussen verschillende kaderprogramma’s, hoge mate van overlap tussen programma’s, spanning tussen de beleidsdoelen van programma’s, te weinig private partijen betrokken).
Het is opvallend dat er naast de manco’s in de opzet van het program-ma,46die onder andere te wijten kunnen zijn aan onduidelijke en te abstracte doelstellingen, vooral veel problemen in de uitvoering worden geconstateerd die de mate van doelrealisatie negatief beïnvloeden.
Datzelfde geldt voor knelpunten bij evalueerbaarheid.
Een ander belangrijk manco betreft de afstemming op andere overheids-programma’s (zowel EU-overheids-programma’s als nationale en regionale
programma’s).
46Deze categorie scoorde het hoogst in het