Voorspellend vermogen

Ten behoeve van een beoordeling van het voorspellend vermogen van de met het LKM berekende ongecorrigeerde (absoluut gebruik) en gecorrigeerde (relatief gebruik) nutriëntconcentraties, is een betrouwbaarheidsinterval in de vorm van de 95%-foutfactor als indicator gebruikt (Cleij & Visser, 2019; Roovaart et al., 2012). Gegeven een berekende concentratie en een geschatte 95%-foutfactor CF (van Confidence Factor) betekent dit dat een corresponderende gemeten concentratie met ongeveer 95% betrouwbaarheid zal liggen in de range:

𝐵𝐵𝐶𝐶𝑉𝑉𝐶𝐶𝐵𝐵𝐶𝐶𝐶𝐶𝑉𝑉

𝐶𝐶𝐹𝐹 … 𝐶𝐶𝐹𝐹 ∗ 𝐵𝐵𝐶𝐶𝑉𝑉𝐶𝐶𝐵𝐵𝐶𝐶𝐶𝐶𝑉𝑉

Een dergelijk betrouwbaarheidsinterval behoeft niet noodzakelijkerwijs ‘symmetrisch’ te zijn in zin dat de kans dat de gemeten concentratie beneden de onderste grens ligt, niet gelijk hoeft te zijn aan de kans dat de gemeten concentratie boven de bovenste grens ligt. Met name in geval van systematische verschillen tussen berekend en gemeten, zal er sprake zijn van een asymmetrisch

betrouwbaarheidsinterval, en representeert de foutfactor zowel het toevallige als het systematische deel van de verschillen tussen berekende en gemeten waarden.

Voor het gebruik van de niet-gecorrigeerde N- en P-concentraties is de foutfactor geschat, uitgaande van een foutmodel, waarbij het verschil tussen een gemeten en een berekende waarde wordt beschreven a.d.h.v. een systematische en een toevallige fout, in concreto door de verhouding van de berekende en gemeten concentratie te beschrijven middels een lognormale verdeling, waarbij de mediaan niet noodzakelijkerwijs gelijk is aan 1. De mediaan is hierbij een maat voor de systematische fout. Bij afwezigheid van een systematische fout zal deze ‘bias factor’ gelijk zijn aan 1. De grootte van de toevallige fout wordt in dit model verondersteld evenredig te zijn aan de concentratie.

Bij het relatief gebruik van de modelresultaten wordt ook verondersteld dat het verschil tussen een gemeten en een berekende waarde wordt beschreven a.d.h.v. een systematische en een toevallige fout, met dien verstande dat nu de systematische fout afhankelijk wordt verondersteld van het type schematiseringselement, knooppunt (SWU en basin node) of waterlichaam, en de plaats van het element binnen de schematisering. Voor het bepalen van de foutfactor wordt ook weer uitgegaan van een lognormale verdeling van de verhouding berekend/gemeten, maar waar nu de mediaan (‘specific bias factor’) varieert met het beschouwde element binnen de schematisering.

Bij de kalibratie en validatie van het LKM zijn foutfactoren bij absoluut en relatief modelgebruik geschat op SWU- en waterlichaamniveau. Deze foutfactoren kunnen geschat worden aan de hand van een ‘kalibratie-/validatieset’ in de vorm van een verzameling van reeksen met meetwaarden en (ongecorrigeerde) modelresultaten voor een representatieve verzameling van SWU’s, respectievelijk (regionale) waterlichamen van de LKM-schematisering. De schatting van de foutfactoren bij relatief modelgebruik vereist dat een reeks met meet- en modelresultaten uit minstens twee jaren (twee zomergemiddelde concentraties) bestaat.

Bij de bepaling van de foutfactor voor het gebruik van ongecorrigeerde modelresultaten a.d.h.v. een kalibratie-/validatieset wordt eerst de biasfactor geschat aan de hand van:

𝑉𝑉𝐶𝐶(𝐵𝐵𝐹𝐹) =_𝑞𝑞1∑𝐺𝐺𝑖𝑖=1∑𝐺𝐺𝑖𝑖𝑗𝑗=1�𝑉𝑉𝐶𝐶�𝑀𝑀𝑖𝑖,𝑗𝑗� − 𝑉𝑉𝐶𝐶�𝑂𝑂𝑖𝑖,𝑗𝑗�� Waarbij

BF : Geschatte biasfactor ln : Natuurlijke logaritme

n : Aantal schematiseringselementen in de kalibratie-/validatieset

mi : Grootte van de reeks met meet- en modelresultaten voor schematiseringselement i

Mi,j : Gemodelleerde (niet-gecorrigeerde) concentratie j voor schematiseringselement i (met ‘M’ van Modelled)

En

𝑞𝑞 = ∑𝐺𝐺𝑖𝑖=1𝐺𝐺𝑖𝑖

De toevallige fout in het verschil tussen de berekende en gemeten waarden wordt in de lognormale verdeling gerepresenteerd door de standaarddeviatie van de natuurlijke logaritme van dit verschil. Deze kan geschat worden aan de hand van:

𝑆𝑆𝑆𝑆𝑎𝑎𝑎𝑎𝑎𝑎= �_𝑞𝑞−11 ∑ ∑ �𝑉𝑉𝐶𝐶�𝑀𝑀𝑖𝑖,𝑗𝑗� − 𝑉𝑉𝐶𝐶�𝑂𝑂𝑖𝑖,𝑗𝑗� − 𝑉𝑉𝐶𝐶(𝐵𝐵𝐹𝐹)� 2 𝐺𝐺𝑖𝑖 𝑗𝑗=1 𝐺𝐺 𝑖𝑖=1

Met parameters BF en SDabs is de lognormale verdeling volledig gedefinieerd en kan de 95%-foutfactor

voor absoluut modelgebruik,

𝐶𝐶𝐹𝐹𝑎𝑎𝑎𝑎𝑎𝑎,95

bepaald worden. Voor deze foutfactor bestaat geen analytische uitdrukking waardoor deze moet worden bepaald via een iteratieve procedure die is geïmplementeerd in Excel met hulp van de Solver.

Relatief rekenen

Het gebruik van gecorrigeerde modelresultaten vereist allereerst een schatting van de correctie- factoren voor de beschouwde verzameling van schematiseringselementen. Hiervoor is een

kalibratie-/validatieset nodig met voor al deze schematiseringselementen een reeks meetwaarden en (ongecorrigeerde) modelresultaten van minimaal twee jaar. De correctiefactoren kunnen dan bepaald worden a.d.h.v. de ‘specific bias factor’ voor elk schematiseringselement:

𝑉𝑉𝐶𝐶(𝐶𝐶𝐵𝐵𝐹𝐹𝑖𝑖) = 𝑉𝑉𝐶𝐶(𝑀𝑀�������������������� =𝚤𝚤) − 𝑉𝑉𝐶𝐶(𝑂𝑂𝚤𝚤) _{𝐺𝐺𝑖𝑖}1∑𝐺𝐺𝑖𝑖𝑘𝑘=1�𝑉𝑉𝐶𝐶�𝑀𝑀𝑖𝑖,𝑘𝑘� − 𝑉𝑉𝐶𝐶�𝑂𝑂𝑖𝑖,𝑘𝑘��

De schatting voor de correctiefactor uit paragraaf 2.3.3 voor schematiseringselement i (Fi) kan dan

berekend worden als: 𝐹𝐹𝑖𝑖=_{𝐶𝐶𝐵𝐵𝐹𝐹}1

𝑖𝑖

De foutfactor, behorend bij het gebruik van deze correctiefactoren, kan bepaald worden door eerst de standaarddeviatie van de toevallige fout te schatten op basis van één enkele reeks met meet- en modelresultaten uit de validatie-/kalibratie set met een lengte van minimaal 2. Deze schatting voor reeks i ziet er als volgt uit:

𝑆𝑆𝑆𝑆𝐺𝐺𝐺𝐺𝐺𝐺,𝑖𝑖= �_𝐺𝐺1

𝑖𝑖−1∑ �𝑉𝑉𝐶𝐶�𝑀𝑀𝑖𝑖,𝑗𝑗� − 𝑉𝑉𝐶𝐶�𝑂𝑂𝑖𝑖,𝑗𝑗� − 𝑉𝑉𝐶𝐶(𝐶𝐶𝐵𝐵𝐹𝐹𝑖𝑖)� 2 𝐺𝐺𝑖𝑖

𝑗𝑗=1 voor mi > 1

De standaarddeviatie, geschat op basis van alle reeksen van de kalibratie/validatie set, kan dan berekend worden conform:

𝑆𝑆𝑆𝑆𝐺𝐺𝐺𝐺𝐺𝐺= �∑ �(𝐺𝐺𝐺𝐺𝑖𝑖=1 𝑖𝑖− 1) ∗ 𝑆𝑆𝑆𝑆𝐺𝐺𝐺𝐺𝐺𝐺,𝑖𝑖2 ��∑ (𝐺𝐺𝐺𝐺𝑖𝑖=1 𝑖𝑖− 1)

Waarbij

𝑆𝑆𝑆𝑆𝐺𝐺𝐺𝐺𝐺𝐺,𝑖𝑖= 0 𝑣𝑣𝐶𝐶𝐶𝐶𝑉𝑉 𝑉𝑉𝐶𝐶𝐶𝐶𝐵𝐵𝐶𝐶𝐶𝐶𝐶𝐶 𝐺𝐺𝐶𝐶𝐶𝐶 𝐺𝐺𝑖𝑖= 1

waardoor de standaarddeviatie feitelijk alleen bepaald wordt op basis van reeksen met een minimale lengte van twee jaar.

Dit levert de volgende schatting van de 95%-foutfactor (95% confidence factor) voor relatief modelgebruik op:

𝐶𝐶𝐹𝐹𝐺𝐺𝐺𝐺𝐺𝐺,95= 𝐶𝐶𝑧𝑧95��1+𝐺𝐺𝑒𝑒𝑒𝑒𝑒𝑒

Waarbij

z95 : (100-95)/2 = 2.5 percentiel punt van de standaard normale verdeling meff : effectieve lengte van de reeksen in de kalibratie-/validatieset

De effectieve lengte van de reeksen van de kalibratie-/validatieset kan via een iteratieve procedure bepaald worden, die in Excel geïmplementeerd kan worden m.b.v. de Solver. Voor een benadering van de effectieve lengte bestaat een analytische uitdrukking:

𝐺𝐺𝐺𝐺𝑒𝑒𝑒𝑒≈ �∑𝐺𝐺𝑒𝑒𝐺𝐺_𝐺𝐺𝑚𝑚�

−1

Waarbij

frm : fractie van het aantal reeksen in de kalibratie/validatie set met lengte m

Uit de bovenstaande expressie voor de foutfactor is af te lezen dat de foutfactor kleiner wordt naarmate de (effectieve) lengte van de reeksen in de kalibratie/validatie groter is. Lange reeksen verdienen dus de voorkeur bij het bepalen van de correctiefactoren.