Het toetsen van de evaluatiestudie aan de hand van verschillende criteria

6.4.1 Keuze van instrument: MCA of MKBA?

Over het algemeen kan worden gesteld dat in het rapport van Reinhard de MCA in vergelijking met de MKBA transparanter is uitgevoerd. Hier- door is in de onderhavige casestudie de MKBA minder robuust gebleken. Ook de betrouwbaar- heid en validiteit van de MKBA zijn verlaagd, voornamelijk door de toepassing van beschikbare

informatie uit bestaande studies (benefits trans- fer) waarvan de context mogelijk verschillend is. De onderzoekers lijken zich van de beperkingen bewust. Op pagina 45 van de studie schrijven zij: “De MKBA van de aanleg van het Kuindermeer dient alleen als een illustratie van de methode en theorie die in de voorgaande hoofdstukken zijn besproken. (…) De meeste effecten zijn onvol- doende onderzocht en de waardering van effecten is gebaseerd op soms ruwe veronderstellingen.” Een ander belangrijk onderscheid tussen de twee instrumenten is dat de MCA wél corrigeert voor interregionale effecten en de MKBA niet. Overigens wil dit alles niet zeggen dat de MCA zaligmakend is. De MCA is weliswaar transparant en helder uitgevoerd – waarmee tegemoet wordt gekomen aan de criteria robuustheid en betrouw- baarheid van de uitkomsten – maar het selecteren van acht criteria op basis van het argument dat

Tabel 6.5 Overzicht criteria en scores per criterium per alternatief.

Criterium Type criterium Alternatief Perspectief

Autonoom Groen Rood

Kosten uitvoering veranderingen Kwantitatief 300 440 685 project

(saldo van inkomsten en uitgaven project) (mln. euro’s) (financieel)

Vergroting waterbergend vermogen Kwantitatief 0 19 mln. m3 _{19 mln. m}3 _VIJNO

Versterking natuurlijk karakter kust IJsselmeer Kwalitatief nee ja ja VIJNO

Levensvatbaarheid bedrijven omgeving Kwalitatief 0 + ++ regionaal

Kuindermeer

Kwaliteit ecologische verbinding (natte as) Kwalitatief 0 ++ + VIJNO

Verandering areaal wetlands Kwantitatief 0 1.400 ha 1.353 ha (inter)-nationaal

Ontlasting Weerribben door vaarroute Kwalitatief nee ja ja regionaal

Tabel 6.6 De gekozen gewichtensets.

“niet alle scores van de alternatieven op de ver- schillende criteria bekend zijn” (Reinhard, blz. 49) is desondanks van invloed op de validiteit van het instrument. Want aan de hand van deze criteria wordt dan wel inzicht verschaft in de ge- volgen van veranderingen in ruimtegebruik, maar of de acht geselecteerde criteria toereikend zijn voor een volledig inzicht, is niet duidelijk. De MCA Kuindermeer ‘meet’ dus wat het beoogt te meten, maar het is niet waarschijnlijk dat het hier gaat om een uitgebalanceerde en complete ‘meting’ (zie ook paragraaf 6.4.2).

Objectief is die meting sowieso niet, want subjec- tiviteit kan bij de toepassing van een MCA nooit worden vermeden. Dit komt bijvoorbeeld naar voren bij de invulling van de kwalitatieve criteria. De keuzes die hierbij zijn gemaakt, worden niet nader toegelicht. Waarom is er gekozen voor scores 0 / + / ++? Wanneer deze kwalitatieve criteria nauwkeuriger worden omschreven en in- gevuld, bijvoorbeeld door kwantitatieve informa-

tie eraan te koppelen, dan gaat dit ongetwijfeld gepaard met een stijging van kosten en de be- nodigde tijd die voor de analyse nodig is. De vraag of in geval van het Kuindermeer het beste een MCA of MKBA toegepast had kunnen worden, is moeilijk te beantwoorden. Voor beide instrumenten geldt dat de toepassing ervan be- doeld is als illustratie. Ter verwezenlijking van dit doel hebben de onderzoekers op een handzame en redelijk inzichtelijke manier – hoewel hier en daar wat onvolledig – de casestudie Kuindermeer uitgevoerd.

6.4.2 Is bij de toepassing van MCA en MKBA aan de eisen van het instrument voldaan?

Op het eerste gezicht blijkt uit tabel 6.3 en 6.5 dat geen van de beide instrumenten leidt tot regelrechte dubbeltelling van effecten. Dat wil echter niet zeggen dat alle effecten additioneel zijn, want er is namelijk wél sprake van een corre- latie tussen effecten. Kortom, het gevaar van dub-

Criterium Gewichtensets

Aselect getrokken Ecologisch Economisch

Kosten uitvoering veranderingen 0,16 0,04 0,25

(saldo van inkomsten en uitgaven project)

Vergroting waterbergend vermogen 0,02 0,13 0,09

Versterking natuurlijk karakter kust IJsselmeer) 0,07 0,17 0,05

Levensvatbaarheid bedrijven omgeving Kuindermeer 0,02 0,12 0,25

Kwaliteit ecologische verbinding (natte as) 0,23 0,17 0,12

Verandering areaal wetlands 0,20 0,17 0,07

Ontlasting Weerribben door vaarroute 0,23 0,11 0,03

beltellingen is aanwezig. Wanneer bijvoorbeeld directe effecten van de rode variant leiden tot indirecte economische effecten op bedrijven die materiaal leveren voor de bouw van huizen en infrastructuur, dan ligt het gevaar van dubbel- tellingen op de loer. Naast de kans op dubbel- telling tussen de effecten die wél zijn opgenomen in de analyse, zijn er ook nog eens effecten die níet in de casestudie zijn meegenomen, terwijl dit eigenlijk wel had gemoeten. Oftewel, de lijst met effecten die in beide analyses is opgenomen, is niet compleet. Dat pretenderen de onderzoekers overigens ook niet. De selectie van effecten is gebaseerd op beschikbare informatie en ruwe veronderstellingen. Dat deze lijst kan worden uitgebreid met andere effecten, zal dan ook niet veel verbazing wekken.

Over de validiteit en betrouwbaarheid van de benefits transfers die in de casestudie worden gebruikt, is niet zo heel veel bekend. Dat wil zeggen, afgezien van het opsommen van de refe- renties, wordt in de studie van Reinhard onvol- doende informatie gegeven over de onderliggende originele waarderingsonderzoek. Dit bemoeilijkt de contextuele controle van de factoren die van significante invloed zijn op de resultaten van de onderliggende studies.

In de OEI-leidraad worden tijdhorizons van 20, 30 en 40 jaar genoemd. De tijdhorizon die Reinhard et al. gebruiken in hun MKBA-studie, komt hiermee niet overeen. De reden hiervoor is echter verklaarbaar: omdat als gevolg van het aanleggen van het randmeer versterkingen van waterkeringen in de verre toekomst (na 40 jaar) niet meer nodig zijn, is in de MKBA voor een tijdshorizon van 50 jaar gekozen. Een serieus

punt van aandacht is het feit dat er in de MKBA geen gevoeligheidsanalyse is uitgevoerd. Dit is bij MKBA studies veelal standaard, en wordt in de OEI-richtlijn aanbevolen.

Voor de volledigheid is het goed op te merken dat de in tabel 6.3 gegeven opstelling niet hele- maal juist is, omdat de vermeden investeringen normaal gesproken niet in een MKBA thuis ho- ren. De MKBA vergelijkt namelijk de opbrengst van de specifieke combinatie van productie- factoren (dit is de batenkant) met de opbrengst bij de beste alternatieve inzet van deze productie- factoren (de kostenkant). De kostenkant bestaat daarbij uit de alternatieve opbrengst van de inge- zette productiefactoren. Aan de batenkant staan de (positieve en negatieve) opbrengsten, gemeten als netto toegevoegde waarde. Het gaat hierbij om de saldi van directe effecten, indirecte effecten (doorwerkingen) en externe effecten. Hierop aansluitend is het zinvol even stil te staan bij de beste alternatieve aanwending van grond. Want als landbouw wordt gezien als de beste alterna- tieve vorm van grondgebruik (onderdeel kosten- kant MKBA), dan moet de opbrengst uit de landbouw worden gecorrigeerd voor de vergoe- ding van de ingezette productiefactoren arbeid en kapitaal. Het lijkt erop dat dit in Reinhard niet is gebeurd.

Tot slot, bij de weergegeven effecten, zoals beste- dingen door toekomstige bewoners en recreanten, is het lastig na te gaan of deze bestedingen bin- nen of buiten het studiegebied plaatsvinden. Dit is echter wel van belang voor het bepalen van de kosten en baten. Dit wijst eens te meer op een goede gebiedsbegrenzing en een adequate be- schrijving van de drie varianten (autonome ont- wikkeling, rode variant en groene variant).

Want als landbouw wordt gezien als de beste alternatieve vorm van grondgebruik, dan moet de opbrengst uit de landbouw worden gecorrigeerd voor de vergoeding van de ingezette productie- factoren arbeid en kapitaal

Tabel 6.7 Grondgebruik in de drie onderscheiden varianten.

6.5 Gevoeligheid van de uitkomsten voor