In deze bijlage wordt stapsgewijs de toepassing van het afwegingsinstrument beschreven. Uitgangspunt is de excel-applicatie die te vinden op:
http://wodc.nl/onderzoeksdatabase/methode-ontwikkelen-om-veiligheids-en-economische-belangen-tegen-elkaar-af-te-wegen.aspx
Het instrument is gericht op het maken van optimale keuzes tussen maatregelen dan wel tussen opties waarbij veiligheid een belangrijk aspect is. Het instrument kan ook worden toegepast ten behoeve van het evalueren van in het verleden gemaakte keuzes. In het afwegingsproces wordt alle relevante informatie systematisch verzameld en geïntegreerd in een totale waarderingsscore voor elke maatregel. Hierbij wordt, indien gewenst, impliciet een kosten-baten afweging gemaakt. Er wordt voldoende ruimte gelaten voor onzekerheden.
Toepassing stapsgewijs
Uitgangssituatie
De wens bestaat om voorgenomen maatregelen of opties te evalueren om te bepalen welke keuzes er moeten worden gemaakt. In dit domein gaat het om maatregelen ter vergroting van de veiligheid of opties waarbij veiligheid een belangrijk aspect is. De maatregelen of opties hebben effecten op andere criteria die van belang zijn bij de afweging, zoals kosten. De betrokken professionals willen bij de keuze van de maatregelen gezamenlijk een optimale afweging maken, waarin de deskundigheid van alle professionals wordt verdisconteerd.
Bepaling maatregelen
Allereerst worden de maatregelen of opties in alle relevante aspecten beschreven: aard, intensiteit, duur, inzet en randvoorwaarden. Specificeer zoveel mogelijk: daardoor kunnen de effecten van de maatregelen beter worden ingeschat.
Vaststelling afwegingscriteria
De professionals stellen een lijst op van criteria die voor hen van belang zijn bij de afweging. Deze kunnen van allerlei aard zijn: vergroting van de veiligheid (eventueel onderverdeeld in aspecten), kosten, implementatiemoeilijkheid, belasting van de hulpdiensten, etc.
Effectenmatrix
Vervolgens schatten de professionals gezamenlijk de effecten van de maatregelen op elk van de criteria. Dit gebeurt aan de hand van een algemene semantische schaal (van ‘niet of geen effect’ tot ‘extreem veel effect’). Vul in de effectenmatrix de waarderingscore in op de schaal 0 – 100, die past bij het geschatte effect op de semantische schaal.
Vul de tabel horizontaal in, dat wil zeggen, schat eerst de effecten van alle maatregelen op het eerste criterium, daarna de effecten van alle maatregelen op het tweede criterium, etc.
Wegingcoëfficiënten
Weeg de criteria naar belangrijkheid. Ken wegingcoëfficiënten toe aan de criteria tussen 0 en 10. Geef het criterium dat het zwaarste moet wegen in de afweging een score van 10. Relateer de gewichten van de andere criteria aan dit cijfer. Aan verschillende criteria mogen dezelfde wegingcoëfficiënten worden toegekend.
79
Decide
Indien er meerdere deelnemers zijn, stelt ieder individueel zijn of haar set met wegingcoëfficiënten vast.
Weging
De scores van elke maatregel of optie op elk afwegingscriterium worden vervolgens gewogen met de gewichten die bij de ‘weging’ aan de criteria zijn toegekend.
Totaalwaardering
Vervolgens wordt voor elke maatregel de somscore bepaald. Dit is een eenvoudige som van (de waardering van) de effecten op de criteria, gewogen met de wegingcoëfficiënten. Deze drukt de totaalwaardering uit voor elk van de maatregelen of opties. Omdat de gewichten tussen professionals zullen verschillen, zullen ook de totaalwaarderingscores van de
maatregelen tussen de professionals verschillen. De vergelijking tussen de somscores van elke maatregel levert die maatregel(en) op die de professionals het hoogst waarderen.
Gevoeligheidsanalyse
Het is belangrijk, juist op het terrein van veiligheid, te anticiperen op uiteenlopende scenario’s in de toekomst. Deze scenario’s kunnen andere schattingen van de effecten van maatregelen met zich mee brengen of de gewichten van de criteria doen veranderen. Door deze
veranderingen met het afwegingsinstrument te evalueren, verkrijgen beleidsmakers inzicht in de effecten van maatregelen binnen alternatieve scenario’s. Dit kan de voorkeur voor de te nemen maatregelen veranderen en zal leiden tot een zorgvuldiger afweging.
Verbetering van de discussie
Bij het gezamenlijk inschatten van effecten van maatregelen wordt de deskundigheid van professionals optimaal benut. Door het onderscheid te maken tussen effecten en de gewichten van afwegingscriteria worden in de discussie empirische- en politieke argumentatie van elkaar gescheiden. Dit maakt de discussie effectiever en leidt sneller tot consensus.
80
Decide
Summary
Research project: 'Application of a simplified evaluation tool to decisions in the field of physical safety.'
The decision-making on improving and ensuring physical safety, by taking measures or choosing between options for which safety is an important aspect, is difficult for various reasons. First of all, the effects of these measures or options are uncertain in general and will often depend on the context. Secondly, the value of ‘safety’ is difficult to quantify, which makes it complex to compare it for example with the costs of the measure considered.
Thirdly, measures have side-effects, social and economic, which should be taken into account when different measures are compared on their effects and total added value. Finally, the decision-making is complicated by differences in interests and preferences of the participants involved. The owner, designer, builder, user, the authorities, police and fire brigade may have different priorities, which could lead to different choices. All this complicates the evaluation and the choices between the measures or options considered and the building of consensus between participants.
Given this complexity, this research addresses the question, to what extend quantitative methods and tools are used in practice to support the decision-making on physical safety. Furthermore, whether the 'Afwegingsinstrument Veiligheid en Economie', a decision support tool developed in 2008/2009, could improve the quality of the decision-making. This tool was developed in a research project to improve the quality of decision-making on measures
against criminality and nuisance.
Just like this former project, the research at hand was commissioned by the Dutch Ministry of Safety and Justice, Research and Documentation Centre, and has been carried out by Decide, a research- and consultancy firm linked to the RUG, University of Groningen; Decide is part of the dutch group.
In the first stage of the project the researchers made a quick scan of the extent to which quantitative methods are used in practice in the decision-making on choices between safety-measures. The quick scan consisted of a desk study and interviews with four experts in the field. Given the scope of the scan, the conclusions have to be tentative.
In practice, quantitative decision-making support methods are barely used. We sometimes see cost–benefit analysis (CBA), cost-effectiveness analysis (CEA), multi-criteria analysis
(MCA) and scenario analysis. But most of the time, choices between alternative safety-measures or options, is left to external bureaus, which, on the basis of their expertise, come to unambiguous advises.
For some situations or processes in which safety is an important item, handbooks or protocols are available, like the 'Veiligheidseffectrapportage' (VER) en the model 'Integrale
Brandveiligheid Bouwwerken' (IBB), both developed by the 'Centrum voor
Criminaliteitspreventie en Veiligheid' (CCV). But these also don't seem to be applied often. Experts mention a number of reasons that hinder the use of quantitative decision-making support methods in practice. The most important are:
- There is often a focus on neutralization of an unsafe situation or the danger of a calamity; then a thorough systemic evaluation takes too much time.
81
Decide
- The planning of large (building) projects, in which safety is an important aspect, often are subjected to and determined by interactions between authorities and contractors, in which (political and commercial) preferences play a role. In that situation there is little demand for an objective evaluation of all alternatives.
- Safety risks are difficult to value financially; this makes an integral evaluation, in which all aspects and effects are taken into account, problematic.
- Applying quantitative methods are often costly and time-consuming.
- A lot of decision-makers are unaware of available decision support methods and their surplus value.
Given this context, the researchers recommend an investigation of how decisions and
evaluations are made on choices between safety-measures and on (building-) options in which safety is a important aspect. How are these complex choices made without systemic methods and/or decision support tools?
The researchers applied the earlier mentioned 'Afwegingsinstrument Veiligheid en Economie', which from now on we call 'the evaluation tool', in three cases on its practical usefulness. This decision support tool is a special (simplified) application of multi-criteria analysis (MCA). With this tool several alternative measures can be compared. Subsequently the tool determines which measure is preferred mostly by the user(s) of the tool.
Applying the tool, the user has to:
1. Determine the alternatives, in this case the safety-measures or options to be considered. 2. Determine the criteria by which the alternatives should be evaluated.
3. Estimate the effect of each alternative on each of the evaluation criteria.
4. Decide on how important the evaluation criteria are, relative to each other. This is done by assigning weighting coefficients to the criteria.
The tool then determines the alternative that has the highest total score on all the (weighted) effects on all of the criteria.
The figure below shows the relation between the elements and parameters in the evaluation tool. The measures on the left have effects on several evaluation criteria. By weighting the criteria according to how effects on these criteria are valuated (β’s ) and by summing over these effects, the tool arranges the measures in order of the value to the user. The β’s are determined by the interests and preferences of the user(s) of the tool.
82
Decide
The method of multi-criteria analyse has the advantage that effects of a different kind can be aggregated in the analysis. Furthermore the method can handle effects that are difficult to quantify.
The general aims of applying the evaluation tool are: Facilitation of the evaluation process of measures. Improving the quality of the decision-making process. Making the evaluation more transparent.
Supporting the collective decision-making.
As mentioned, the evaluation tool was applied in three cases. Apart from testing the practical applicability, the surplus value for the users was established.
In the first case the question was: what is the best place in the train station area of the city of Arnhem to build a hotel, from a viewpoint of safety(risks). The client or commissioner of the evaluation was the 'Safety- and Health Region Middle Gelderland.'38 The second and third case concerned the question which measures should be taken for objects, for which the fire brigade exceed the maximal response time permitted by law. These measures should raise the safety-level (preventive and/or in case of a fire). In the second case measures were evaluated for a specific object (a care-institution for elder people). In the third case, the evaluation concerned a whole village for which the fire brigade exceeded the maximal response time permitted. The last two evaluations were commissioned by the 'Fire Brigade Middle- and West Brabant'.39
The evaluation tool appeared to be perfectly applicable in the cases. This concerned not only the modelling of the tool but also the application in a practical sense. The users were more than satisfied and planned to use the tool more often.
One of the conclusions with respect to the application of the evaluation tool is that clarity about the goal for which is used, is important. In cost-benefit analysis (CBA) one tries to make an inventory all financial consequences of the different alternatives under consideration. In this process estimates have to be determined as empirical and objective as possible. The result is the alternative which is financially optimal. The evaluation tool on the contrary is less pretentious and aims to support the quality of a collective decision-making process, accepting that the choice and weighting of evaluation criteria always is subjective to a certain extent and that uncertainty plays an important role in estimating the effects of measures. Application of the tool results in getting as much consensus as possible about the expected effects and arriving at a set of measures which are mostly valued by the participants in the evaluation process, give their priorities.
In the evaluation of safety-measures the evaluation tool lacks a number of problems inherent to the application of quantitative methods like cost-benefit analysis that use 'hard' numeric data.
1. The application of the evaluation tool is - compared to methods like CBA - cheap. 2. An analysis with the evaluation tool can, if necessary, be carried out in one day. 3. The evaluation tool enables the user to take into account criteria that are difficult to
quantify, like 'safety-risk', which is almost impossible in methods like CBA.
38 Veiligheid- en Gezondheidsregio Gelderland Midden (VGGM)
83
Decide
4. The tool can cope with the uncertainty of effects, which is often the case in safety-measures.
The 'Afwegingsinstrument' was designed in such a way that decision-makers in companies and local authorities would be able to apply the tool themselves, instead of hiring an external bureau. The researchers think that most decision-makers are capable of this, provided that they are supervised the first time by someone who is experienced in applying the tool. Most users of the tool find the selection and formulation of the evaluation criteria difficult. The application of the evaluation tool would be facilitated if the list of evaluation criteria is standardized for a specific domain of decision-making, for example the choice of measures in buildings to reduce fire risks. In the opinion of the researchers standardisation is quite
possible for different decision-making domains, which also will improve the quality of the evaluation.
84
Decide
Referenties
- Algemene Verkeers- en Vervoersdienst (AVV) (2004):
- Akker, I., Tieben, L.A.W., Bos, J.G.H., Van der Veen, M.J. (2010). Investeren in
brandveiligheid: maatschappelijke kosten-batenanalyse woningbrand. Amsterdam: COT/ SEO.
- Janssen, R, M. van Herwijnen (2004): “BeslissingsOndersteunend Systeem voor Discrete Alternatieven” (BOSDA); Dit is een gezamenlijk product van het Instituut voor
Milieuvraagstukken (IVM) van de VU en het Ministerie van Financiën, afdeling beleidsevaluatie en –instrumentatie. Zie op www.definite.nl.
- Bouwbesluit 2012 (Staatsbladpublicatie nr. 416, 2011), Kamerstuk 32757 nr. 5 en bijlage met Ontwerpbesluit houdende wijziging van het Bouwbesluit 2012 betreffende correcties en enkele vereenvoudigingen van het Bouwbesluit 2012.
- De Stichting Centrum voor Criminaliteitspreventie en Veiligheid (CCV) (2010): Model Integrale brandveiligheid bouwwerken (IBB).
- CCV (2008): Veiligheidseffectrapportage
- COB, Bouwdienst Rijkswaterstaat (2006): Leidraad Scenarioanalyse. Ongevallen in Tunnels.
- Helsloot, I, R. Pieterman, J.G.Hanekamp (2010): Risico's en redelijkheid. Verkenning van een rijksbreed beoordelingskader voor de toelaatbaarheid van risico's.
- http://www.allesoverbrandveiligheid.nl/ - http://www.NIFV.nl
- Kahneman en Tversky, “Prospect Theory, an Analysis of Decision under Risk”,
Econometrica, 47:2,263-291, 1979. Dit is het eerste artikel over prospect theory. Hierin wordt ook gerapporteerd over het empirisch onderzoek en wordt de S-vormige waarde functie geïntroduceerd.
- Knoop, J. van der (2009): Afwegingsinstrument ‘Veiligheid en Economie’. Eindrapport. Groningen: Decide.
- Marjan van Herwijnen en Ron Janssen: “The use of multicriteria evaluation in spatial policy”, IVM, VU.
- Ministerie van Verkeer en Waterstaat (2004): Veiligheid in Transparante Afweging. Uitgegeven door AVV en RIZA, uitgevoerd door Gido van der Linde, Jarl Kind, Ronald Roosjen, Erna Schol, Harry Derriks, Henk Roodbol.
- Nota van toelichting Bouwbesluit 2012, algemeen deel.
- RIVM rapport 630500001/2005. ‘MCA en MKBA: structureren of sturen?’. Een verkenning van beslissingsondersteunende instrumenten voor Nuchter omgaan met Risico’s., E.Lebret, K.Leidelmeijer, H.F.P.M. van Poll (eds)
- Stichting Wetenschappelijk Onderzoek Verkeersveiligheid (SWOV) R-2003-32: Kosten-batenanalyse van verkeersveiligheidsmaatregelen. Een methodische verkenning. Mr. P. Wesemann & ir. E.L.C. Devillers.
- TNO-rapport R 2004/104: Veiligheidstudie spoorzone Dordrecht/Zwijndrecht. Ir.T. Wiersma, Ir. M. Molag, Ir. drs. K.E. Jap A Joe, MTD, Ir. S.I.Suddle.
- Tversky en Kahneman, “Advances in Prospect Theory, Cumulative Representation of Uncertainty”, Journal of Risk and Uncertainty, 5, 297-323, 1992. Hierin wordt een overzicht gegeven van de ontwikkelingen rond besluitvorming onder onzekerheid en risico tot dat moment en wordt Cumulative Prospect Theory ontwikkeld.