GEVOELIGHEDEN, ONZEKERHEDEN & OPBOUW CODE

Deze vraag is gericht op het bepalen welke parameters, forcing, invoer, delen van de code, etc. belangrijk zijn en welke overbodig zijn, en welke onderdelen een grote onzekerheid introduceren. 9A. Zijn er gevoeligheids-/onzekerheidsanalyses uitgevoerd? Zo ja, beschrijf deze of verwijs naar paginanummers uit een gepubliceerd rapport of artikel en analyseer de resultaten. Sommige factoren kunnen weinig van belang blijken voor de toepassing, zodat er weinig moeite hoeft te worden gedaan om deze goed te kalibreren, of gebruikt kunnen worden om het model te vereenvoudigen. Andere factoren kunnen juist essentieel blijken.

9B. (niet voor databestanden) Welke numerieke integratiemethode is gebruikt? Bespreek het prestatievermogen van de methode.

9C. Wat is de rol van elke module van het model/bestand, bv. een gewasgroei-deelmodel als onderdeel van een hydrologisch model, of stappen in het stroomschema of de scripts van een bestand? Bespreek dat in relatie met de toepassing. Zijn er onderdelen die overbodig zijn? Missen er nog onderdelen? Motiveer waarom.

9D. Beoordeel de complexiteit in termen van rekentijd en efficiëntie. Wat is de duur van een run? Hoeveel (tussentijdse) uitvoer is er? Hoe groot is de datastroom? Zou de code sneller/efficiënter kunnen, bv. door selectie, aggregatie, andere methode, andere modulaire opbouw, etc.?

Deze vraag moet worden uitgekleed en wellicht geheel worden verwijderd. Allereerst, een evaluatie van de code in inhoudelijke zin is iets anders is dan een evaluatie van het evenwicht. Dit houdt wel in, dat de vragen t.a.v. de complexiteit van de numerieke implementatie niet over de volle breedte kunnen worden beschouwd, omdat de informatie t.a.v. de analyse van het model nog mist. T.a.v. de onzekerheden: Het beoordelen van onzekerheden kan beter in het kader van validatie plaatsvinden, en dus in een later stadium dan bij deze vraag. T.a.v. de gevoeligheidsanalyse: Dit is meer een techniek dan een onderdeel van de modelleercyclus. Een gevoeligheidsanalyse kan verschillende rollen hebben, bv. in combinatie met kalibratie en/of het kwantificeren van onzekerheden. Het is daarom wellicht niet zinnig om dit onderdeel zo expliciet te beschouwen t.a.v. ‘evenwicht’.

Oplossing/aanbeveling: Alleen vraag A blijft over. Er wordt een nieuwe vraag B geformuleerd:

“Indien er geen onzekerheidsanalyses zijn gedaan, geef dan een overzicht hier van de mogelijke bronnen van onzekerheden. Schat, als mogelijk, ook in wat hun invloed kan zijn.” Een alternatief is om de vraag geheel te schrappen, waarbij onderdelen terugkomen in andere vragen.

Vraag A kan helderder geformuleerd worden. Bovendien is het relevant om ook de data en toepassing goed te beschouwen.

Oplossing/aanbeveling: herformuleer de vraag als: “Geef de referenties naar eventuele gevoeligheids- en/of onzekerheidsanalyses. Wat waren de resultaten van deze studies? Welke parameters, invoer, factoren, etc. zijn gevoelig of onzeker, en welke niet? Welke zouden eventueel weggelaten kunnen worden? Motiveer dit, met name in het licht van de toepassing en de beschikbare gegevens”.

10. KALIBRATIE (niet voor databestanden)

De kalibratie is het proces waarbij de parameters, begincondities, etc. van het model of bestand van waarden worden voorzien. Kalibratie is vaak gebaseerd op gevoeligheids-analyses (zie vorige vraag). 10A. Indien beschikbaar, beschrijf de uitgevoerde kalibraties en motiveer de keuze, of verwijs naar paginanummers uit een gepubliceerd rapport of artikel. Geef ook aan welke doelfuncties (lokaal, globaal, deterministisch, stochastisch) zijn gekozen, of dat de betrouwbaarheid van de gekalibreerde parameters wordt gekwantificeerd, hoe, op welke data, of en hoe de betrouwbaarheidsintervallen zijn bepaald, etc. met eventuele verwijzingen naar de literatuur. Let op over-fitting, meervoudige lokale optima, en identificeerbaarheidsproblemen.

10B. Welke eisen stelt de toepassing aan de nauwkeurigheid waarmee parameters, etc. wordt bepaald. Let ook op over-fitting.

10C. Welke mogelijkheden leveren de data om waarden van parameters, etc. te bepalen. Denk hierbij aan resolutie, nauwkeurigheid, aantal gegevens, het aggregatieniveau van de gegevens, en let op over-fitting.

Deze vraag is erg op de data gericht, maar ontbeert de focus op de toepassing, terwijl kalibratie van een model altijd plaatsvindt in het kader van een toepassing. Er wordt nu nog niet gevraagd naar de vrije parameters, en welke parameters eigenlijk de meeste aandacht zouden moeten krijgen met de kalibratie. Er is dan ook niet helder waarom die parameters de aandacht hebben, bv. omdat dat volgt uit de gevoeligheidsanalyse, in verband met de toepassing of databeschikbaarheid, etc. Er wordt wel gevraagd welke doelfunctie(s) is/zijn gebruikt (meestal is er maar één doelfunctie), maar dit wordt niet in de context van de toepassing besproken, wat wel zou moeten. Welke doelfuncties zijn gewenst gezien de specifieke toepassing? Zijn deze ook gebruikt? In het geval van synthetische data (bv. bij meta-modellen) zijn deze vragen beperkt relevant. Echter, het is twijfelachtig of dat nu specifiek voor deze klasse van modellen de vragen erg aangepast moeten worden. Dit zou al ondervangen kunnen worden met de zinsnede: “indien van toepassing”.

Oplossing/aanbeveling: Breid vraag 10B uit met: “Welke eisen stelt de toepassing aan de kalibratie, bv. welke doelfuncties zijn gewenst gezien de specifieke toepassing?” Voeg een vraag 10D toe: “Stemt de uitgevoerde kalibratie overeen met wat gewenst is vanuit de toepassing, en ondersteund wordt met data?”

11. VALIDATIE

Wij definiëren hier een validatie als een toets of het model of bestand een redelijke representatie is van het werkelijke systeem dat wordt gemodelleerd. Dit geschiedt op basis van een set onafhankelijke gegevens (gegevens die nog niet in een eerder stadium bij het modelleren gebruikt zijn).

11A. Indien beschikbaar, beschrijf de gedane validatiestudies of verwijs naar paginanummers uit een gepubliceerd rapport of artikel.

11B. Onderbouw/beoordeel de waarde van de validatie(s). Hoe relevant zijn de verschillende validatiestudies voor de verschillende toepassing(en) van het model of bestand? Zijn alle toepassingen voldoende afgedekt door de studies? Is ook de betrouwbaarheid van de validatie gekwantificeerd? Welke toepassingen moeten opnieuw worden gevalideerd?

Het is niet helder hoe de betrouwbaarheid van een validatie gekwantificeerd zou kunnen worden in de meeste gevallen. Verder is het mogelijk dat bij validatiestudies een andere doelfunctie wordt gebruikt dan bij de kalibratie. Hier zou expliciet naar gevraagd moeten worden, ook omdat het gebruik van een andere doelfunctie de essentie van de validatie zou kunnen zijn. De doelfunctie is echter maar één aspect van de validatie. In de praktijk zijn er diverse modellen (bv. graadmeters, (delen van) natuur- en milieuprocesmodellen, en Complex Adaptieve Systemen) waar validatie zeer lastig is, principieel dan wel in de praktijk.

Oplossing/aanbeveling: Vraag 11B zou specifiek uitgebreid kunnen worden met de opmerkingen

t.a.v. doelfuncties: “Welke doelfuncties zijn gebruikt in de validatie? Motiveer”.

Een specifiek punt t.a.v. modelketens is dat het relevant is om zowel naar de validatiestatus van de aparte modules als van de modelketen als geheel te kijken. Een aantal additionele aspecten die hier aan bod zouden moeten komen zijn genoemd in de NP-casus.

Oplossing/aanbeveling: Geef een extra vraag 11C: “Indien het een modelketen betreft: Zijn alle modules gevalideerd? Welke wel/niet? Zijn de modules gevalideerd in de context van de toepassing van de modelketen?”