BASALE GEGEVENS

Geef aan: model/bestand, naam, versienummer, revisienummer, uitgiftedatum. Onder model verstaan we de broncode + invoergegevens.

In de casus ‘Wageningen-model’ werd opgemerkt dat deze vraag, hoewel nuttig ten behoeve van dossiervorming, geen wezenlijke bijdrage aan de evenwichtsevaluatie levert. Deze opmerking is terecht, maar duidt er ook op dat deze vraag uitgebreid zal moeten worden. De volgende punten zouden overwogen moeten worden voor opname binnen deze vraag, dan wel in een toelichting bij deze vraag:

• Het is de vraag, of de lijst nu slaagt in haar bedoeling om de benodigde informatie voor de beoordeling van ‘evenwicht’ te leveren. Het is vermoedelijk zinnig om expliciet aan de lezer uit te leggen dat het gaat om de oorspronkelijke keuzes achter alle modelleerstappen te evalueren in de context van toepassing en dataondersteuning, om modelleurs als het ware “los te weken” van eventuele automatismen t.a.v. het modelleerwerk.

• Om de vraag te beantwoorden wat ‘evenwicht’ behelst, is het ook van belang om uit te leggen wat ‘complexiteit’ inhoudt, en wat onder ‘data’ en ‘doel/toepassing’ wordt verstaan. Een aantal punten uit het review-commentaar uit Van Voorn & Walvoort (2011) komt daarmee ook aan bod. Er kan bv. enige aandacht geschonken worden aan de verschillende definities (>30) en aspecten van complexiteit.

• Zoals al opgemerkt in de review-commentaren, is de context van de geschiedenis nog niet opgenomen in de lijst. Informeel is dit wel meegenomen in verschillende casussen, en daaruit blijkt dat de historische context van belang is om een oordeel over ‘evenwicht’ te maken. In de review-commentaren is voorgesteld dat een graduele toename in de complexiteit van het model waarschijnlijk de beste resultaten m.b.t. ‘evenwicht’ geeft. Deze voorgestelde aanpak is overeenstemmend met de veelgebruikte aanpak in modelselectie, waarin de complexiteit van een model steeds vergroot wordt terwijl de fit op de data wordt geëvalueerd. In de praktijk begint een casus echter meestal met een numerieke code van een versie die later dan de eerste versie is, i.p.v. een systeemanalyse en doelstelling. Op de achtergrond speelt dan ook nog het zogenaamde “Concorde-effect” (doorgaan op de ingeslagen weg, ook al is dat niet langer rationeel verdedigbaar), dat conservatisme t.a.v. het model in de hand werkt. Het is dus waarschijnlijk beter om te vragen naar het model, alle bestaande versies, een kort overzicht van de verschillen daartussen, en de motivaties achter de verschillen.

• Er werd in review-commentaar aangegeven dat er niet per se een duidelijk ‘evenwicht’ hoeft te bestaan. Deze verwachting wordt gemotiveerd uit het feit, dat de beoordeling t.a.v. modelcomplexiteit op vele criteria is (of kan zijn) gebaseerd. Onze verwachting is wel, dat door het minimaal eenmaal doorlopen van de modelleercyclus a.d.h.v. de lijst, de modelcomplexiteit evenwichtiger zal zijn dan bij het niet doorlopen van de lijst. Bovendien kan het gebruik van de lijst altijd nog leiden tot het blootleggen van pijnpunten, waarop het model verbeterd kan worden. • Voor verschillende soorten modellen en databestanden zijn verschillende vragen meer of minder van toepassingen (bv. in de casus ‘MetaSWAP’, of een modelketen als de NP), en evenzo is gebleken dat de volgorde niet altijd optimaal is. Dit zou ondervangen kunnen worden door in vraag 1 expliciet te vragen naar wat de te analyseren casus is, en de analist de keuze te laten motiveren. Een alternatief is om in elk geval aan te geven, dat per casus niet alle vragen even relevant hoeven te zijn.

• In de interviews bij een aantal casussen is ook voorgelegd aan de geïnterviewde personen wat de a priori inschatting t.a.v. ‘evenwicht’ was. Gegeven dat de term voldoende uitgelegd is, kan deze vraag in de lijst opgenomen worden. Het biedt dan informatie of, n.a.v. de beantwoording van de lijst, de originele inschatting gewijzigd is. Een alternatief is om te vragen naar bekende “pijnpunten” of zwakke plekken; dit is weliswaar niet helemaal hetzelfde als het beantwoorden van de vraag of het model in evenwicht is, maar een dergelijke vraag is vermoedelijk wel herkenbaarder voor modelleurs.

Oplossing/aanbeveling: Kort samengevat, lijkt het zinnig om bij deze vraag een korte introductie

toe te voegen over het onderwerp en doel van de lijst, en de vraag in elk geval uit te breiden zodat het de (noodzakelijke) informatie oplevert t.a.v. de historische context en de keuzes die in het verleden gemaakt zijn t.a.v. het model en modelgebruik.

Een specifiek knelpunt is de bevinding in de NP-casus dat het nodig is om een kort overzicht op te stellen van de verschillende modules in de modelketen. Dit knelpunt ontstaat omdat, zoals al gezegd, de analyse plaatsvindt op het product ‘Natuurplanner’, dat al een geschiedenis heeft en een numerieke implementatie betreft.

Oplossing/aanbeveling: Dit kan wellicht afgedekt worden door uitbreiding van de vraag zoals in de

NP-casus voorgesteld: “Indien de casus een modelketen is, beschrijf ook kort uit welke modules de modelketen bestaat”.

Verder is er nog een opmerking geplaatst: “Wie is verantwoordelijk voor de code?”. Hoewel dit erop wijst wie de veranderingen gaat doorvoeren, heeft deze vraag geen betrekking op de inhoudelijke analyse m.b.t. ‘evenwicht’. Dit is meer een vraag voor de borging van modellen, en wordt niet meegenomen in de actualisatie van de checklist.