In de twee voorgaande edities van het EU-trendrapport hebben we onderzoek verricht naar de doeltreffendheid van de Nederlandse
programma’s die gefinancierd worden uit de Europese structuurfondsen, zoals ESF en EFRO.88Dat onderzoek betrof de analyse en beoordeling van de programma-evaluaties: de midterm-evaluaties (MTE’s) en de actuali-sering («updates») van deze evaluaties. We vatten onze conclusies hier kort samen. In 2007 zijn geen nieuwe evaluaties beschikbaar gekomen.
18.1.1 Doelrealisatie structuurfondsen 2000–2006
De analyse van de MTE’s in het EU-trendrapport 2006 liet zien dat in de meeste gevallen de realisatie van de doelen van de structuurprogramma’s nog achterbleef. De oorzaak was de trage start van de programma’s die formeel in 2000 begonnen, maar pas in 2003–2004 op stoom kwamen. De doelrealisatie zoals weergegeven in de updates geeft een actueler beeld.
Daarbij tekenen wij aan dat de kwaliteit van de evaluatiemethoden nog vaak te wensen overlaat. Zo wordt informatie over prestaties en effecten van projecten doorgaans door de projectuitvoerders/subsidieaanvragers zelf aangeleverd. Zij kunnen er belang bij hebben het succes van hun eigen project positief in te schatten. Andere programma’s hebben
uitsluitend het monitorsysteem gebruikt zonder verder onderzoek te doen.
Indicaties van de doelrealisatie per programma zijn in het volgende overzicht weergegeven. Tevens is in de kolom ernaast het aandeel doelen aangegeven waarvan bekend is of ze al dan niet gerealiseerd zijn.89
Overzicht 20. Indicaties van de doelrealisatie bij Nederlandse programma’s die zijn medegefinancierd uit structuurfondsen
Op de peildatum van de updates (eind 2004 of medio 2005; dit wisselt per programma) waren de meeste programma’s ongeveer halverwege, met nog veel projecten die nog niet waren afgerond. De uitvoering van projecten kan nog doorlopen tot en met 2008. Een score van 5 of 6 kan dan ook als redelijk worden beschouwd.
Positief op doelrealisatie scoren de programma’s Stedelijke Gebieden Nederland en EUREGIO. Ook het programma Zuid-Nederland scoort relatief hoog, hoewel de realisatie binnen het programma sterk wisselt.
Het visserijprogramma FIOV scoort laag. Voor drie doelstellingen zijn volgens de update geen projecten gestart (de oorzaak wordt niet in de
88Zie hoofdstuk 18 van het EU-trendrapport 2006 en EU-trendrapport 2007. Deze paragraaf is hoofdzakelijk gebaseerd op onderzoek dat ten grondslag ligt aan deze eerdere rapporten.
89Bij de scores is de betrouwbaarheid van de informatie niet meegenomen. Met betrouw-baarheid wordt bedoeld de juistheid en volle-digheid van de informatie uit de evaluaties.
update vermeld). Van andere projecten zal pas bij afronding informatie beschikbaar komen over de realisatie.
De rechterkolom van overzicht 26 laat zien dat bij de meeste programma’s geen volledig dekkende uitspraak mogelijk is over de doelrealisatie van het programma, omdat van een aantal doelen geen score bekend is. Van vijf programma’s was de update ongeschikt om op basis daarvan een uitspraak te doen over de doelrealisatie; de informatie was te gebrekkig.
Overzicht 21 vermeldt de belangrijkste gebreken in de evaluaties.
Overzicht 21. Geconstateerde gebreken in evaluaties
Gebrek in evaluatie Toelichting
Prognose in plaats van realisatie De programma’s Oost-Nederland en Noord-Nederland hebben de evaluaties geheel gebaseerd op een prognose van de doelrealisatie. Dat wil zeggen dat de cijfers geen indicatie geven van de feitelijke realisatie van de gestelde doelen. Dit laatste is nu juist de kernfunctie van de evaluaties.
Geen (logisch) verband tussen doel en indicator
Indicatoren zijn bedoeld om iets te zeggen over de mate waarin het doel bereikt is. Vaak ontbreekt echter een logisch verband tussen beide. In Leader+ wordt zelfs in het geheel geen relatie gelegd tussen de doelen en de indicatoren. In andere gevallen is de relatie nietszeggend. Bijvoorbeeld de indicator «werkgelegenheid» in relatie tot de doelstelling «versterking karakter landelijk gebied» (Flevoland). Is het «karakter versterkt» van het landelijk gebied als de werkgelegenheid toeneemt? De doelformulering is bovendien vaag: het blijft onduidelijk in de evaluatie wat nu precies wordt beoogd met de maatregel.
Input- in plaats van output-informatie
Een veel gebruikte indicator zoals «aantal projecten» (onder andere Flevoland, FIOV, Interreg Noordwest-Europa) geeft geen inzicht in de aard of de omvang van de prestatie en is eerder als inputinformatie te beschouwen. Ook «tijdelijke werkgelegenheid» (Flevoland) is inputinformatie want het gaat hier om de bij het project ingezette personen. Deze tijdelijke werkgelegenheid is geen doelstelling van het project als zodanig maar een middel om een doel te realiseren.
18.1.2 Evaluatie in de programmaperiode 2007–2013
In 2006 en 2007 hebben de Nederlandse autoriteiten gewerkt aan de voorbereiding op de nieuwe structuurfondsperiode die formeel per 1 januari 2007 van start is gegaan. Zo is in september 2006 het algemene kader90voor de programma’s vastgesteld en zijn medio 2007 de meeste programmavoorstellen goedgekeurd door de Europese Commissie. In de opstartfase dient volgens de Algemene Rekenkamer ook rekening te worden gehouden met de tekortkomingen zoals die hierboven zijn beschreven. De programma’s dienen de algemene doelstellingen uit te werken in concrete, meetbare doelen. Deze doelen dienen te worden voorzien van indicatoren die daadwerkelijk informatie verschaffen over de mate waarin deze doelen bereikt worden. Verder moeten voor de
indicatoren realistische streefwaarden worden gegeven. De relevantie van de indicatoren in de programma’s van de periode 2000–2006 was nog vaak onvoldoende.
In de Europese regelgeving is er verminderde aandacht voor evaluatie van de structuurfondsprogramma’s en voor de mogelijkheden tot verbetering van de doeltreffendheid ervan. Zo wordt de evaluatie facultatief en dus niet langer een verplichte rapportage.91Over de updates heeft de Commissie niet teruggekoppeld aan het management van de program-ma’s. De Commissie heeft hier ook niet op andere wijze over gerappor-teerd, bijvoorbeeld in de vorm van een synthese van alle ontvangen evaluaties. Wel heeft de Commissie in 2006 een handleiding opgesteld voor indicatoren, waarin het belang wordt benadrukt van goede indica-toren voor de directe effecten en de impact of langere termijn. Overigens noemt deze handleiding in een bijlage de «kernindicatoren» die per programma gebruikt kunnen worden. Helaas is voor vrijwel alle onder-delen de indicator «aantal projecten» opgenomen. Zoals aangegeven in
90Het Nationaal strategisch referentiekader structuurfondsen 2007–2013, bijlage van het kamerstuk: Tweede Kamer, vergaderjaar 2006–2007, 27 813, nr. 22, 29 september 2006.
91Artikel 47 en 48 van Verordening (EG) nr. 1083/2006 van de Raad van 11 juli 2006.
De evaluatie tijdens de looptijd wordt «met name» verricht als het programma afwijkt van de oorspronkelijke doelen of als er voorstellen voor herziening van het programma worden gedaan. De verplichte actualisering van de evaluatie halverwege is geschrapt.
overzicht 27 is deze indicator ongeschikt om na afloop van een programma zinnige uitspraken over de doelrealisatie te doen.
18.2 Migratiefondsen
Wij zijn nagegaan welke informatie beschikbaar is over de resultaten van Europees Vluchtelingenfonds. SEOR BV heeft in opdracht van de directie Vreemdelingenbeleid van het Ministerie van Justitie over de periode 2000–2004 evaluaties verricht van de uitvoering en effecten van EVF-I.92 Daarbij is aandacht besteed aan onder andere de bruto- en netto-effecten en de «duurzaamheid» van de projecten.93
Volgens SEOR zijn over de genoemde periode de doelstellingen van de maatregelen «Opvang» en «Integratie» in bruto termen gerealiseerd. Deze doelstellingen hebben betrekking op respectievelijk aantallen asielzoekers die in Nederland volgens de daarvoor geldende normen worden
opgevangen en op aantallen migranten die effectief zijn ingeburgerd. Bij de maatregel «Terugkeer», die gericht is op de repatriëring van asiel-zoekers, worden de doelstellingen in beperkte mate gerealiseerd. Dit komt doordat het beoogde aantal deelnemers veelal niet is behaald. De
complexe praktijk van het monitoren van de maatregel «Terugkeer» zorgt ervoor dat de werkelijke realisatiecijfers van de maatregel afwijken van de beschikbare cijfers. Volgens SEOR kunnen de werkelijke realisatiecijfers een gunstiger beeld van deelname geven dan de beschikbare cijfers.
Netto-effecten zijn in de praktijk moeilijk vast te stellen. Volgens SEOR is er evenwel sprake van herleidbare netto-effecten bij de projecten vallende onder de drie maatregelen.
De meningen over de duurzaamheid van de projecten c.q. maatregelen verschillen per project en per maatregel. Er is geen wezenlijke veran-dering opgetreden in de opvanginfrastructuur; de maatregel «Integratie»
heeft volgens SEOR een beperkt effect gehad in termen van structuur-versterking, en bij de maatregel «Terugkeer» is er volgens SEOR sprake van wisselende effecten op de verbetering van samenwerking, infra-structuur en opvang in het land van herkomst.
Bij de onderzoeksrapporten waaruit de bovenstaande bevindingen afkomstig zijn, plaatsen wij de volgende kanttekeningen:
• Om bruto- en netto-effecten en duurzaamheid in kaart te brengen, heeft SEOR projectverantwoordelijken schriftelijk geënquêteerd.
Projectverantwoordelijken hebben er echter rechtstreeks belang bij de resultaten gunstiger weer te geven dan dat ze werkelijk zijn.
• De realisatiecijfers die worden gepresenteerd in de jaarverslagen van Justitie sluiten niet aan op de realisatiecijfers in de evaluatieverslagen.
• De evaluatierapporten geven weinig informatie op projectniveau.
92Bron: SEOR, Tussentijdse evaluaties EVF 2000, 2001, 2002, 2003 en 2004, Erasmus Universiteit Rotterdam.
93Bruto-effect: de mate waarin een bepaald effect of resultaat is bereikt. Netto-effect: het bereik van de resultaten dankzij de EVF-mid-delen. Duurzaamheid: het vervolg dat gegeven wordt aan de projectresultaten in de vorm van vervolgprojecten of de overname van ele-menten uit EVF-projecten in het reguliere beleid, in reguliere activiteiten of in andere projecten.