Geschiktheid en juistheid van toepassing

3.7.1 Geschiktheid

De geschiktheid van toepassing van evaluatiemethoden heeft betrekking op de keuze voor een evaluatiemethode. Een evaluatiemethode wordt gekozen op basis van een aantal aspecten en doelstellingen. De geschiktheid van methode hangt af van de mate waarin de methode voldoet aan deze aspecten en doelstellingen. De aspecten en doelstellingen hebben te maken met wensen met betrekking tot:

• inhoudelijke aspecten (milieu, leefbaarheid, veiligheid, economie, etc.); • soorten informatie (kwantitatief, kwalitatief, type effecten, eenheden);

• kwaliteit van informatie (behoud van informatie (informatieverlies), relatieve waarde van informatie, volledigheid informatie);

• omvang van de evaluatie (aantal alternatieven, effecten, criteria);

• informatie (uitspraken) over de economische waarde, bijvoorbeeld sociaal-economische rentabiliteit;

• methodologische aspecten (gewichten, paarsgewijze vergelijking, standaardisatie); • duidelijkheid en begrijpelijkheid (overzichtelijkheid, complexiteit, presentatie);

• processen (inpassing en integratie in het planning- en besluitvormingproces en onderdelen, en in de m.e.r.-procedure);

• interactie (mogelijkheid tot informatievoorziening, communicatie, participatie, betrokkenheid in het evaluatieproces en de evaluatiemethode, en de inpassing en integratie van een evaluatiemethode bij het communicatieve proces).

3.7.2 Juistheid

De juistheid van de toepassing van evaluatiemethoden heeft betrekking op de manier van toepassen. De manier van toepassen heeft weer betrekking op het omgaan en verwerken van de informatie en de gehanteerde criteria en gewichten. Bij de informatie moet gelet worden op de juiste omzetting van informatie naar een andere soort informatie, scores en standaardscores. Bij de criteria moet gelet worden op het aantal criteria en op overlapping van criteria. Bij de gewichten moet gelet worden op buitensporige gewichtenverdeling, of een abnormale onevenwichtige gewichtenverdeling. Tevens moet de invloed van informatie, criteria en gewichten op de rangorde juist zijn. Het is niet de bedoeling dat bepaalde criteria (aspecten) een verwaarloosbare invloed hebben en andere criteria buitenproportionele invloed hebben. Informatie en gewichten zijn in wezen sterk gerelateerd aan de criteria en bepalen dus ook de invloed van criteria.

Voor de juistheid van de toepassing van een gekozen methode kan vervolgens worden gekeken worden naar informatie en criteria, gewichten en standaardisatie.

Informatie en criteria

Voor de juistheid moet onder andere gelet worden op het hanteren van informatie. Elke methode heeft zo zijn eigen kenmerken als het gaat om informatie. De ene methode vereist alleen kwalitatieve of kwantitatieve informatie/criteria. Andere methoden verlangen beide. En weer andere vereisen kwantitatieve informatie die alleen in geldeenheden is uitgedrukt.

Vraagstukken met bijbehorende informatie dienen aan te sluiten op de informatiekenmerken van een gekozen methode.

Een ander aspect is dat informatie niet dubbel naar voren hoort te komen. Hierbij worden de criteria aangehaald. Criteria dienen geen overlapping te vertonen. Tevens mag er geen sprake zijn van manipulatief informatiegebruik. Dit duidt onder andere op het buitenproportioneel maken van criteria voor bepaalde aspecten. Door een aspect in heel veel subcriteria op te delen of door heel veel verschillende en/of gedetailleerde kostenbaten posten op te stellen, kan een verkeerd of manipulatief beeld worden geschept (zie Ciemer 2002).

Bij kosten en baten moet er opgelet worden dat negatieve baten niet bij de kosten worden gerekend en dat de negatieve baten van de positieve baten worden afgehaald. Bij overzichtsmethoden is het niet de bedoeling rangordes te veronderstellen op basis van bepaalde tellingen, omdat deze vaak onterecht zijn.

Gewichten

Voor de juistheid van toepassing van gewichten moet gelet worden op de bepaling en de berekening van gewichten. Gewichten kunnen op een aantal manieren worden verkregen waaronder het direct toekennen van gewichten door zelf te wegen (Hellendoorn 2001). Het gevaar bij het toekennen van gewichten is het subjectieve karakter van de toekenning. Daardoor bestaat de kans dat een criteria/aspect dat iemand persoonlijk belangrijk vindt (onbewust) een groter gewicht krijgt. Het is niet de bedoeling dat bepaalde criteria een buitensporig of buitenproportioneel gewicht krijgen. Dit maakt het hanteren van en beoordelen op de andere criteria van weinig waarde of weinig zinvol. Dit is tevens een soort van manipulatie te noemen. In het geval er geen zinvolle getalsmatige verdeling van gewichten kan worden gegeven en/of de verantwoording voor de kwantitatieve verdeling van gewichten niet sterk is, is het onjuist om kwantitatieve gewichten toe te passen.

Wanneer de gewichten eenmaal (juist) bepaald zijn lijkt er voor de kwantitatieve gewichten weinig fout te kunnen gaan. Het hanteren van kwalitatieve gewichten is minder eenvoudig en lijkt gevoelig te zijn voor foute berekeningen.

Standaardisatie

Ongelijksoortige informatie kan niet worden vergeleken en dient op een vergelijkbare schaal te worden weergegeven. Standaardisatie beeldt alle criteria af op een nieuwe schaal tussen 0 en 1. De criteria worden hierdoor dimensieloos, wat betekent dat criteria geen eenheid meer hebben maar een bepaalde waarde weergeven en daardoor vergelijkbaar zijn (Hellendoorn 2001). Bij de keuze voor een methode voor standaardisatie moet de relatie tussen de standaardisatiemethode en de gewichtentoekenning worden onderkend. Standaardisatie leidt altijd tot informatieverlies en daarom is het belangrijk rekening te houden welke informatie men wil behouden (Hellendoorn 2001).

Voor de juistheid van de toepassing van een evaluatiemethode moet dus een juiste standaardisatiemethode worden gehanteerd. Als het uitgangspunt of de (beleids)doelstelling zeer weinig informatieverlies is dan moet een passende standaardisatiemethode zoals de maximumstandaardisatie worden gebruikt. Dit uitgangspunt kan weer per criteria verschillen en de juistheid van standaardisatie kan dus per criteria verschillen. Voor het nagaan van de juistheid van standaardiseren moeten de doelstellingen en/of uitgangspunten voor de te hanteren informatie worden bekeken.

3.8 Conclusie

Het hoofdstuk laat zien dat er een behoorlijke diversiteit aan evaluatiemethoden is. Daarnaast zijn er ook veel overeenkomsten tussen een aantal methoden. Een overzicht van de kenmerken van de verschillende methoden is weergegeven in tabel 3A.

De kenmerken van de verschillende methoden zorgen ervoor dat methoden in verschillende situaties geschikt zijn of juist niet. Daarnaast bepalen de aspecten en doelstellingen van het vraagstuk en de evaluatie de geschiktheid. In paragraaf 5.6 staan de situaties waarin een methode geschikt is aangegeven.

Wanneer een methode wordt toegepast moet daarbij worden gelet op een aantal aspecten zodat de methode op een juiste manier wordt toegepast. Dit geldt met name voor de normatieve methoden (zie paragraaf 2.3 en 5.2).

Tabel 3A Overzicht evaluatiemethoden

Eindresultaat MCA gewichten PV aggregatie

Kosten-batenanalyse * Balans N.v.t. Sterk

Kosteneffectiviteitanalyse Balans N.v.t. Sterk

Scorekaartmethode Overzicht N.v.t. Matig

Gewogen sommering * Sommering V Kwant. Matig

Concordantie-analyse * Indices V Beide V Zwak

Regimemethode * Matrix V Beide V Zwak

Verwachtingswaardemethode Sommering V Beide Zwak

Evamixmethode * Matrix V Beide V Zwak

Permutatiemethode V Beide V Zwak

Meerdimensionale schaalanalyse Model V Beide Zwak Goals achievement matrixmethode Matrices V Beide Matig

Flag Model Model V Beide V Zwak

Analytic hierarchy process V Kwal. V Zwak

Planning balance sheet Overzicht N.v.t. Matig

Community impact-analyse Overzicht N.v.t. Matig Maatschappelijke kosten-batenanalyse Overzicht N.v.t. Redelijk Multicriteria kostenbatenanalyse V Beide Redelijk

* = toe te passen met BOSDA (paragraaf 3.3) PV = Paarsgewijze vergelijking