5 Inventarisatie en selectie voor modellering
5.1 Inleiding
Dit hoofdstuk doet verslag van een inventarisatie en selectie van methoden om weerbaarheid te modelleren, en methoden om de componenten van weerbaarheid te aggregeren en daarbij naar belang te wegen, en methoden om uitkomsten te visualiseren. De volgende onderzoeksvraag staat hierbij centraal:
”Op welke manieren kunnen waarden van afzonderlijke kernvoorraden (i.e. de onderliggende indicatoren die gezamenlijk de kwaliteit van de kernvoorraad weergeven) verwerkt worden tot een beeld, beschrijving of getal dat het totale weerbaarheidsniveau weergeeft en dat rekening houdt met de samenhang tussen onderliggende data en indicatoren?”
Deze vraagstelling is opgedeeld in de volgende deelvragen:
Welke manieren bestaan er?
Hoe wordt dat in andere landen gedaan? In hoeverre zijn deze werkwijzen toepasbaar in Nederland?
Wat zijn de meest geschikte manieren om het weerbaarheidsniveau in Nederland te meten?
Wat zijn de beperkingen van deze manieren en wat betekenen deze beperkingen voor de uitspraken die op basis van het model gedaan kunnen worden?
Hierbij wordt onderscheid gemaakt tussen manieren voor:
Modelleren: hoe kan het onderling verband worden aangebracht tussen de onderdelen in het model (kapitalen en voorraden) die weerbaarheid bepalen, zodat een totale maat voor weerbaarheid kan worden vastgesteld op basis van de waarden van de onderliggende indicatoren?
Wegen: wat is het belang van de verschillende kapitalen en voorraden? In welke mate moet elk ervan meetellen bij een aggregatie?
Aggregeren: op welke wijze kan zodanig worden geaggregeerd dat de onderliggende ontwikkelingen ook zichtbaar blijven op een hoger aggregatieniveau?
Visualiseren: op welke wijze kunnen de uitkomsten het meest duidelijk zichtbaar worden gemaakt/ beschreven worden?
Teneinde de bovengenoemde onderzoeksvragen te beantwoorden besteden we in dit hoofdstuk achtereenvolgens aandacht aan de inventarisatie, evaluatie en beoordeling van manieren voor modelleren, wegen, aggregeren en visualiseren.
5.2 Inventarisatie en evaluatie van methoden voor modellering 5.2.1 Inventarisatie
Het modelleren betreft het in onderling verband brengen van de kapitalen en voorraden die weerbaarheid bepalen. Het doel van modelleren is het vast kunnen stellen van een totale maat voor weerbaarheid van de samenleving op basis van de
waarden van de onderliggende indicatoren. Figuur 5-1 toont de basisopbouw van de componenten in het model, bestaande uit kapitalen, voorraden, indicatoren voor weerbaarheid en de capaciteiten ter bescherming van de kwaliteit van leven. Zoals eerder al aangegeven wordt weerbaarheid hierin opgebouwd uit weerstand, veerkracht en adaptiviteit.
Figuur 5-1:Basisopbouw van het model
In de internationale raamwerken op het gebied van resilience, wordt doorgaans een theoretisch raamwerk geschetst, maar er wordt relatief weinig gemodelleerd. Het gaat daarbij meer om het participatief bereiken van bewustzijn en consensus over te nemen maatregelen dan om het nauwkeurig meten van weerbaarheid. Bijlage 1 beschrijft de meetmethoden en het gebruik van de verschillende raamwerken. Doorgaans bestaan de raamwerken uit een aantal kapitalen en onderliggende voorraden. Alle elementen worden daarbij doorgaans even zwaar meegewogen en worden op een eenvoudige manier bij elkaar opgeteld (zie bijvoorbeeld The Bay Localize Community Resilience Kit (Bay Localize 2012) en de Community Resilience Scorecard (Torrens Resilience Institute 2012a)). In feite hanteren de meeste raamwerken een zeer eenvoudige vorm van multi-criteria analyse. Alleen de veerkrachtmonitor (Hoijtink et al. 2011) gaat dieper in op de modelleringswijze achter de relaties van het raamwerk. In de algemene literatuur is een breed scala aan modelleringsmethoden te vinden (zie Bijlage 6). Een aantal methoden, die toepasbaar zijn in het kader van de modellering van weerbaarheid, zijn nader bestudeerd:
Verhalend
Een gestructureerde beschrijving van de staat van de weerbaarheid van de Nederlandse samenleving (kwalitatief) eventueel ondersteund door enkele cijfermatige gegevens (data). De ‘modelleringswijze’ is daarmee verhalend en de aggregatie is in feite een samenvatting in woorden.
Multi-criteria analyse
Het hoofddoel van MCA is het bepalen van het beste alternatief op basis van een (geaggregeerd) eindoordeel van de alternatieven, rekening houdend met een aantal beoordelingscriteria die verschillend van aard kunnen zijn en niet alle even belangrijk hoeven te zijn. De MCA kan worden toegepast voor het bepalen van een (meet)waarde uit onderliggende indicatoren. Typerend voor de meeste MCA’s zijn het opstellen van een evaluatiestructuur, het modelleren van en het omgaan met de subjectieve preferenties van één of meer betrokken belanghebbenden en het verwerken van informatie van diverse en diffuse aard en herkomst.
MARVEL model
De Method to Analyse Relations between Variables using Enriched Loops (MARVEL) is een grafisch model dat gebaseerd is op causal loop diagrams. MARVEL is zeer geschikt om beleidsopties met elkaar te vergelijken en hun consequenties in een tijdsperiode. Het bevat verschillende mogelijkheden om beleidsingrepen te modelleren en hun effecten te zien, inclusief de
onverwachte. Specifieke informatie over de snelheid en sterkte van de causale relaties kan worden toegevoegd aan het grafische model.
Bayesiaans netwerk
Een Bayesiaans Netwerk of Bayesian Belief Network (BBN) is een grafisch model waarmee probabilistische relaties gemodelleerd kunnen worden. De grafische structuur kan gebruikt worden voor representatie van kennis voor situaties waarbij niet alle data beschikbaar zijn. Het model heeft hiervoor wel gegevens nodig over de bandbreedte en kansverdeling van de data.
Bayesiaanse netwerken zijn een (kwantitatieve) vorm van geautomatiseerd beredeneren.
Agent based modelling
Agent based modelling wordt toegepast voor het modelleren van systemen met interacterende autonome actoren (agents). De agent beschikt over attributen, gedragsregels, geheugen, voorraden, een eventuele verfijning van de
besluitvormingsregels en regels die de gedragsregels kunnen aanpassen De verschillende methoden zijn beschreven in Bijlage 6. Dit hoofdstuk beperkt zich verder tot het beoordelen van de methoden op basis van de voor- en nadelen van het gebruik van de methoden ten behoeve van het meten van weerbaarheid. 5.2.2 Evaluatie
Om te bepalen wat nu de meest geschikt manieren zijn om het
weerbaarheidsniveau in Nederland te modelleren, zijn een aantal criteria opgesteld voor het beoordelen van de modelleringsmethoden:
a. Het kunnen toekennen van een meetwaarde aan de weerbaarheid van de Nederlandse samenleving en onderliggende variabelen.
b. Het rekening kunnen houden met c.q. inzichtelijk kunnen maken van de gevolgen van verschillende beleidsinterventies omtrent
weerbaarheidsbepalende factoren en hun onderling belang. 2) Volwassenheid van de methode
3) Wetenschappelijke validiteit/ nauwkeurigheid 4) Gebruiks- en begripsvriendelijkheid
5) Aansluiting bij de methodiek van de Nationale Risicobeoordeling (NRB). Tabel 5-1 geeft een overzicht van de beoordeling van de modelleringsmethoden op de beoordelingscriteria. Lineaire modellen zoals Multi-Criteria Analyse (in de vorm van een hiërarchische structuur) en een index met indicatoren worden vanwege hun eenvoud en dus begrijpelijkheid veel toegepast. Echter, deze lineaire modellen doen minder recht aan het complexe karakter van een complex dynamisch systeem zoals de weerbaarheid van de samenleving. Kwalitatieve systeem-dynamische modellen (in de vorm van een netwerkstructuur), zoals MARVEL, zijn eenvoudig in het gebruik en bieden -onder meer door het modelleringsproces zelf (group model building) - veel inzicht en begrip van het systeem en het effect van (beleids)-interventies. Kwalitatieve methoden zijn echter ongeschikt voor het toekennen van een meetwaarde aan het niveau van weerbaarheid van de Nederlandse
samenleving. Kwantitatieve systeem-dynamische modellen, zoals Bayesiaanse Netwerken, vereisen een gedetailleerde kwantitatieve beschrijving van het systeem. Agent Based Modellen is bruikbaar voor het onderzoeken van de onderlinge
relaties tussen actoren van instituties, burgers en bedrijven. Het vereist echter een behoorlijk gedetailleerde beschrijving van de verschillende actoren en onderlinge relaties. Bovendien is het lastig om alle kapitalen en voorraden te vertalen naar ‘agents’.
Tabel 5-1: overzicht van de beoordeling van de modelleringsmethoden op de beoordelingscriteria
Methode Toepasbaarheid Volwassenheid Validiteit
Gebruiks-vriendelijkheid NRB
Verhalend Matig (geen meetwaarde) Hoog Sterk afhankelijk van inhoud Goed Nee Agent based modelling
Matig Gemiddeld Redelijk Matig Nee
Bayesian Belief Network
Goed Hoog Goed
(potentieel)
Matig Nee
Multi-Criteria Analyse
Goed (biedt lineair-hiërarchisch gewogen meetwaarden en eindoordelen maar minder inzicht in niet-lineaire relaties)
Hoog Redelijk tot goed
Goed Ja
MARVEL Redelijk (biedt inzicht in complexe systeem en effect van interventies maar geen meetwaarde) Hoog voor kwalitatieve vraagstukken Laag voor kwantitatieve vraagstukken Goed (kwalitatief) Slecht (kwantitatief) Goed Nee
Op basis van Tabel 5-1 kan de keuze worden gemaakt voor een methode voor het modelleren van de weerbaarheid van de Nederlandse samenleving. De keuze is afhankelijk van het belang dat aan de verschillende beoordelingscriteria wordt gehecht, en de keuze kan niet door de onderzoekers worden gemaakt. Indien er veel belang gehecht wordt aan een kwantitatieve modeluitkomst in combinatie met een goede gebruiksvriendelijkheid en een redelijk tot goede validiteit dan is de Multi-Criteria analyse de meest geschikte methode. Indien een hoog belang wordt gehecht aan de validiteit van het model dan kan een Bayesiaans netwerk worden overwogen of een complexere vorm van multi-criteria analyse. Hiervoor dient men zich te realiseren dat een hoogwaardige kwaliteit van invoergegevens nodig is om de potentiele validiteitswinst goed uit te nutten. Dit vergt een grotere
modelleringsinspanning in vergelijking met een eenvoudige vorm van multi-criteria analyse. Indien men het kwalitatieve inzicht in het begrip weerbaarheid van groter belang vind dan het daadwerkelijk kunnen meten van weerbaarheid, dan kan men ook een verhalende methode of de MARVEL methode gebruiken. De MARVEL methode heeft hierbij als voordeel dat het inzicht biedt in de werking van het systeem en dat daardoor het effect van interventies kan worden ingeschat. Agent based modeling scoort op alle criteria minder dan of gelijk aan andere
modelleringsmethoden. Een keuze voor deze methode ligt dan ook niet voor de hand.
5.2.3 Vervolgstappen voor de modellering
Er zijn een aantal vervolgstappen (Cutter 2009) te zetten voor het geven van invulling van het model (zie Bijlage 6 voor enkele methoden uit de literatuur): 1. De modelstructuur en (causale) relaties van het model bepalen uit statistische
analyses (inductieve methoden) of op basis van theorie (deductieve methoden); 2. Data transformatie (per inwoner, dichtheid, absoluut);
3. Normalisatie (schalen en standaardiseren); 4. Multivariate analyse;
5. Wegen (voor ieder criterium, indicator, voorraad of variabele); 6. Aggregeren (hoe de verschillende variabelen te combineren tot een
eindproduct/ eindwaarde).
5.3 Inventarisatie en evaluatie van methoden voor wegen en aggregeren