Aanzet tot aandachtspunten “evenwichtig modelleren”

Nu de EMC v2.0 ontwikkeld is, is het de vraag wat er met de resultaten gedaan zou kunnen en moeten worden. Op basis van de in dit project gebruikte literatuur en de bevindingen binnen de casussen, is er een eerste versie van richtlijnen opgesteld met als beoogd doel het stimuleren van de vergroting van modelevenwicht.

Algemene aandachtspunten

• De toepassing is uiteindelijk allesbepalend voor de keuzes die gemaakt worden in het modelleerproces. Maak deze expliciet. Waarom krijgen bepaalde delen van het gemodelleerde systeem meer aandacht dan andere? Waarom wordt er gekozen voor een bepaalde schaal?

Waarom wordt er een bepaalde doelfunctie gebruikt tijdens de modelkalibratie? Waarom wordt er voor een bepaalde validatiestrategie gekozen?

• Documenteer zoveel mogelijk de gemaakte keuzes bij alle modelleerstappen, waaronder alle aannames en vereenvoudigingen, en de motivaties achter de gemaakte keuzes, aannames, en vereenvoudigingen, liefst ook aangevuld een overzicht van belangrijke overwogen alternatieven.

Aandachtspunten bij toepassingen

• Maak een goede systeemanalyse. Beredeneer vanuit de toepassing welke systeemcomponenten (toestandsvariabelen en relaties) onmisbaar, relevant of irrelevant zijn. Controleer of verschillende stakeholders hier hetzelfde over denken. Bepaal welke schaal (zowel in ruimte als in tijd het meest relevant is). Bepaal welke precisie en accuraatheid gewenst of vereist is, en dus welke onzekerheid acceptabel is.

• Probeer op basis van deze redenering, en data-aspecten (zie onder) een adequate modeluitvoer, doelfuncties voor validatie, en kalibratieprocedure op te stellen. Maak indien mogelijk gebruik van multi-objective doelfuncties en gebruik kalibratietechnieken die de maximale hoeveelheid informatie uit de beschikbare data kunnen halen (Vrugt et al, 2002; Wagener et al, 2003; 2009a).

• Ook voor “academische” toepassingen geldt dat er een helder modelleerdoel gedefinieerd kan worden, bv. de identificatie van de eerste orde-invoer, de stuurbaarheid van het systeem, robuustheid tegen verstoringen, attributie (d.w.z. de identificatie van causale factoren), enz. Er is altijd ook een doel achter het doel, bv. er is identificatie van de eerste orde-invoer gewenst, omdat men daar op wil gaan sturen.

Aandachtspunten bij data

• Inventariseer welke data beschikbaar zijn, inclusief “soft data” zoals kwalitatieve of semi- kwantitatieve observaties (Seibert et al, 2002).

• Analyseer op welke wijze de beschikbare data gerelateerd is aan systeem-variabelen en bijbehorende toepassingsafhankelijke relevantie. Zijn data primair gekoppeld aan niet-relevante systeemeigenschappen? Overweeg dan om deze niet te gebruiken.

• Bedenk of de huidige modelleeropzet maximaal gebruik maakt van de beschikbare data. Denk hierbij aan het verbeteren van de modeldiscretisatie of het gebruik binnen een kalibratieprocedure: aanvullende data kunnen worden gebruikt om multi-objective kalibraties uit te voeren. Kwalitatieve data kunnen ook in een kalibratie procedure worden gebruikt, bv. om “behavioural” parametersets te scheiden van “non-behavioural”, om zodanig onzekerheden te kunnen verkleinen. Door op een slimme wijze data en modelvariabelen te transformeren kan onderscheid worden gemaakt tussen alternatieve mechanismen en modellen (Kirchner et al,

1996).

• Indien blijkt dat de beschikbare data niet afdoende is om modelparameters adequaat te identificeren, of om tussen concurrerende modelstructuren onderscheidt te kunnen maken, zodat posterior onzekerheden niet tot door de toepassing gesuggereerde acceptabele betrouwbaarheidsintervallen kunnen worden teruggebracht, overweeg dan additionele data te vergaren, eventueel in het kader van lange-termijn planning en follow-up studies.

• Zorg voor afdoende balans tussen de verschillende rollen van data: data die sturend zijn voor de ruimtelijke discretisatie van modellen; data die gebruikt worden ten behoeve van kalibratie, en “onafhankelijke” data die gebruikt kunnen worden voor de validatie van het model.

Aandachtspunten bij modelstructuur

• Probeer binnen de modelstudie de beschikbare ruimte te gebruiken om enerzijds zo goed mogelijk aan te sluiten bij de wensen vanuit de toepassing (schaal, uitvoer, doelfuncties, relevante variabelen en processen, etc.) en anderzijds bij de mogelijkheden van de data (maximalisering van de informatie-extractie). Gebruik hiervoor bovengenoemde technieken (Vrugt

• Voer een iteratieve reductie van het model uit. Probeer onderdelen uit het model te halen die geen bijdrage leveren aan de toepassing, maar wel een bron van onzekerheid vormen. Elke aanpassing kan worden geëvalueerd door middel van een validatie.

• Analyseer de koppeling tussen de modelcomponenten (modules, sub-modellen) met een matrix. Zijn er verschillende interpretaties van gelijke namen van variabelen, schaalverschillen, etc. die verbeterd kunnen worden? Probeer dat dan. Zijn de koppelingen tussen modules één- of multi- directioneel? Is er, gezien systeemanalyse een grond, en gezien de toepassing een wens voor terugkoppeling tussen de modules? Zo ja, probeer deze te implementeren.

• Geef adequate aandacht aan de ruimtelijke discretisatie van het model en de bijbehorende bepaling van parameterwaarden. Probeer een balans te vinden tussen wat gewenst is vanuit de toepassing en wat mogelijk is vanuit de data. Indien er wordt aangenomen dat ruimtelijke eenheden intern homogeen zijn, controleer dan of dat zo is. Normaliter is er heterogeniteit op alle schalen. Controleer of de feitelijke heterogeniteit binnen model-eenheden geen te grote bron van onzekerheden en onnauwkeurigheden vormt. Dit kan worden gedaan door de voorgestelde discretisatie te vergelijken met een fijnere discretisatie gevolgd door aggregatie tot de oorspronkelijke, voorgestelde discretisatie.

• Harmoniseer numerieke paradigma’s, m.a.w., combineer bij voorkeur bv. geen evenwichtsoplossingen met dynamische benaderingen, of partiële differentiaal-vergelijkingen met cellulaire automaten. Ditzelfde geldt idealiter t.a.v. het gebruik van verschillende computertalen: hoewel er diverse redenen te verzinnen zijn om gebruik te maken van verschillende ‘talen’ voor hetzelfde model (bv. gebruik van verschillende functionaliteiten), is het te prefereren dat alles in dezelfde taal wordt geschreven, voor het voorkomen van “vertaalbugs” door incompatibiliteiten.

Aandachtspunten ter vergroting kwaliteit

• Voer een validatiestudie, onzekerheidsanalyses en verdere onderdelen van de evenwichtsanalyse uit. Identificeer op deze wijze de zwakke plekken in het model, vanuit de context van de beoogde toepassing. Gebruik hiervoor moderne inzichten in modelvalidatie (Rykiel, 1996; Refsgaard en Henriksen, 2004; Wagener et al, 2009b).

• Gebruik deze analyse om te inventariseren welke verbeteringen (bv. in modelstructuur, data- acquisitie, validatie-inspanningen) het meest effectief zijn. In de praktijk is het gegeven beschikbaar budget hierin een dominante randvoorwaarde.