TECHNISCHE VOORSCHRIFTEN

Doel van de opdracht

Het uittesten van een machine learning-toepassing voor laagwatervoorspellingen op onbevaarbare waterlopen adhv open data.

De opdracht bestaat uit een korte literatuurstudie over de methodes en het uittesten van een machine learning-toepassing met de focus op laagwatervoorspellingen adhv open data.

Deze toepassing wordt verkend voor:

- Locaties waar real-time debietmetingen beschikbaar zijn - Locaties waar enkel peilmetingen beschikbaar zijn

- Locaties waar geen metingen beschikbaar zijn (of waar slechts zeer recente peil-metingen beschikbaar zijn)

Tevens bevat de opdracht het opzetten van een online rapporteringstool.

Bij positieve evaluatie van de voorspellingen wordt ook een data-export naar het waterinfo.be portaal voorzien door de dienstverlener.

Algemene beschrijving

Bij deze opdracht wordt benadrukt dat de samenstelling (expertise) van het projectteam, samen met de beschrijving van de praktische uitwerking een cruciaal deel uitmaakt voor de evaluatie van de offertes van de kandidaat dienstverleners. De dienstverlener beschrijft in zijn offerte gedetailleerd volgens de gunningscriteria zijn voorstellen, mogelijkheden en opleveringsresultaten, alsook de garanties dat deze resultaten gehaald worden en hoe de kwaliteit van zijn aangeboden diensten bewaakt zal worden.

De dienstverlener legt zijn plan van aanpak voor en beschrijft de procedures die gehanteerd zullen worden.

Het Bestuur voorziet de prestatie onder het GP van de inventaris onderverdeeld in de volgende luiken en realisatie van de tussenresultaten van de opdracht:

1. Uitvoeren van korte literatuurstudie over Machine Learning methodes die geschikt zijn voor de beoogde hydrologische toepassingen.

2. Het uittesten van een machine learning-toepassing voor laagwatervoorspellingen op onbevaarbare waterlopen adhv open data:

- Genereren real time voorspellingen van laagwaterdebieten voor alle locaties waar er real-time debietdata beschikbaar zijn;

- Genereren real time laagwatervoorspellingen (peil/debiet) voor bemeten stroomgebieden met enkel langjarige en/of recente peilmetingen;

- Genereren van real time voorspellingen peil/debiet voor volledig onbemeten (qua debiet en peil) stroomgebieden.;

3. Opzetten van een online rapporteringstool en inclusief ook data-export naar waterinfo.be.

1. Algemene situering van de opdracht

De VMM is de decretaal bevoegde instantie voor het meten van de kwantitatieve toestand op de waterlopen excl. de bevaarbare waterlopen en beheert het hydrologisch meetnet op de onbevaarbare waterlopen. De VMM is beheerder van het limnimetrisch meetnet op de onbevaarbare waterlopen.

De metingen van neerslag, meteorologische variabelen, waterstanden en afvoeren worden operationeel verwerkt en doorgestuurd naar tal van systemen. De VMM beheert een hydro-meteorologisch

databeheersysteem en de operationele hoogwatervoorspellingsmodellen voor een aantal stroombekkens.

1.1. Overzicht hydrologisch meetnet

In dit onderdeel wordt een zeer bondige beschrijving van het hydrologisch meetnet gegeven met als doel de kandidaat-dienstverleners een zicht te geven op de omgeving waarop voorliggende opdracht van toepassing is en welke prestaties er worden verwacht.

Het automatisch limnimetrisch meetnet omvat een 300-tal locaties verspreid over Vlaanderen, waarvan een 100-tal ook afvoermetingen opleveren. Behalve waterstand wordt ook op een 60-tal locaties real time stroomsnelheden gemeten. Het limnimetrisch meetnet is verspreid over Vlaanderen en heeft 2

hoofddoelstellingen. In de eerste plaats tracht dit meetnet een indicatie te geven van de toestand van het watersysteem op de onbevaarbare waterlopen in Vlaanderen. Hiervoor zijn de locaties optimaal gespreid, niet enkel geografisch, maar ook op basis van een hele waaier aan stroomgebiedskenmerken (oppervlakte, hellingsgraad, landgebruik, verharding, …).

In de tweede plaats stelt het automatisch meetnet real-time data ter beschikking voor de waarschuwing- en voorspellingssystemen, en voor de ondersteuning van het beheer en het onderhoud van de eerste categorie waterlopen (waarvan VMM, Afdeling Operationeel Waterbeheer de beheerder is).

De VMM beheert tevens een netwerk van 43 pluviografen, 8 meteorologische stations waar een aantal meteorologische parameters gemeten worden (netto radiatie, luchttemperatuur, luchtvochtigheid, dampdruk, ..) om de Penman-Monteith verdamping (pET) te berekenen, ETa verdampingstations,

bodemverzadigingsmeetnet op 24 locaties. Tevens beheert de VMM een netwerk aan peilmetingen thv de stuwen en pompstations.

Een overzicht van de locaties binnen het automatisch hydrologisch meetnet kan verkregen worden via de website www.waterinfo.be.

1.3. Hydro-meteorologisch databeheersysteem en portaalsite www.waterinfo.be

De VMM beschikt over een performant hydro-meteorologisch databeheersysteem (Wiski745- applicatie) met tal van functionaliteit voor het beheer van hydrologische data en is o.a. geïntegreerd met

telemetriemodules voor datavergaring en (KiWIS) webservice voor dataontsluiting via het webportaal.

Tijdsdata van de continue meetposten wordt per resolutie van 15’ opgeslagen. De VMM beheert ook het griddata beheersysteem dat instaat voor de dataverwerking en -beheer en het real-time ter

beschikkingstellen van de rasterdata (https://hydro.vmm.be).

Meer informatie over de bemeten parameters is te vinden via de portaalsite (www.waterinfo.be). Alle metadata en tijdsgebonden data wordt bijgehouden in dit systeem. De op webdiensten gebaseerde portaalsite staat in voor het ontsluiten van o.a. hydrologische metingen, peilmetingen thv stuwen en pompstations, voorspelde hydrologische (gebiedsneerslag, peil, debiet) tijdreeksen en kaarten, ruimtelijke hydrografische informatie en statistische informatie van hydrologische meetreeksen of voorspellingen.

Naast de tijdsdata voor punt-locaties biedt de VMM rasterdata tijdsdata aan uit een tweede

databanksysteem (Neerslagintensiteit, neerslagaccumulatie over het voorbije 1 uur, neerslagaccumulatie over de voorbije 24 uur, satellietinformatie over bodemvocht SWI (Soil Water Index) data).

Alle waterkwantiteitsgegevens (en metadata) worden geautomatiseerd aangeboden via een webdienst¹ van de VMM.

2. Beschrijving van de opdracht

Er is nood aan meer gedetailleerde ‘droogte’-informatie en kennis in Vlaanderen. Bijkomende real time data (metingen, voorspellingen, gecombineerde indicatoren) kunnen onderbouwing bieden voor het nemen van beslissingen.

De VMM wenst in deze opdracht uit te testen hoe met innovatieve Machine Learning technieken vlug en zonder uitgebreid manueel configuratiewerk bijkomende real time informatie (voor gegevens van het limnimetrisch meetnet) kan ter beschikking gesteld worden gebruik makend van de open datasets.

Er is nood aan bijkomende informatie over laagwatervoorspellingen bijvoorbeeld het al dan niet instellen van lokale of regionale captatieverboden, gewenste sturing van infrastructuur (stuwen, pompstations, ..), het beter in kaart brengen van de beschikbare waterhoeveelheden, … waar Machine Learning in kan bijdragen.

Laagwaterdebieten worden niet enkel bepaald door louter de natuurlijk hydrologische respons op aanhoudende neerslagtekorten, maar ook tal van menselijke invloeden spelen een rol. Zo vormen lozingsdebieten in bepaalde waterlopen tijdens droge zomers een zeer substantieel onderdeel van het totale laagwaterdebiet. In perioden van waterschaarste kunnen de onttrokken debieten door captaties ook belangrijke invloed hebben op het laagwaterdebiet. Omdat deze invloeden moeilijk tot niet via klassieke modellering kunnen gevat worden, maar zich wel in het geheel van alle meetdata manifesteren, wordt expliciet vereist dat laagwatervoorspellingen worden opgesteld met louter data-driven

modelconcepten. Vanuit de context van klimaatverandering is het ook zo dat de laagwaterstatistieken de komende jaren zullen blijven opschuiven en een systeemopzet is aangewezen die zelflerend zich hieraan automatisch aanpast.

Het Bestuur wenst in eerste instantie met deze dienstenopdracht adhv een puur data driven-toepassing uit te testen om real time voorspellingen van laagwaterdebieten thv alle bestaande debietstations op onbevaarbare waterlopen in Vlaanderen te laten genereren.

Een tweede doelstelling is om een uitbreiding van de voorspellingen te maken naar waterlopen waar enkel historische (langjarige) metingen van peilen beschikbaar zijn. Het Bestuur wenst te beproeven of met het koppelen van de (laagwater)debieten aan peilmetingen (langjarige metingen of zeer recente metingen) dergelijke Machine Learning technieken meerwaarde kunnen aantonen.

Ten derde is er nood aan om ook voor volledig onbemeten locaties over real time informatie te beschikken. De VMM wil ook dit aspect als 3e hoofddoelstelling van deze opdracht laten uittesten in hoeverre Machine Learning vlug oplossingen en een toegevoegde waarde kan bieden zonder

arbeidsintensieve trajecten te doorlopen.

Tot slot wordt in de opdracht gevraagd om een online rapporteringstool voor het evalueren obv

statistische kengetallen voor de monitoring van de performantie op te zetten en inclusief de mogelijkheid tot het ontsluiten van alle gegenereerde data.

1. Het uitvoeren van een literatuurstudie

De dienstverlener voert een korte literatuurstudie uit van de inzet van machine learning- toepassingen mbt hydrologische voorspellingen van debieten voor zowel bij bemeten als onbemeten stroomgebieden en houdt hierbij rekening met de hierboven beschreven randvoorwaarden.

Er wordt gevraagd om een tussentijds rapport te leveren na de 3e projectweek van de opdracht en eindrapport na 1 kalendermaand + stuurgroep overleg mbt de resultaten.

2. Het opzetten van een IT-omgeving t.b.v. een machine learning-toepassing voor laagwatervoorspellingen op onbevaarbare waterlopen adhv open data

De kandidaat dienstverlener moet in de offerte een voorstel en beschrijving van de voorgestelde systeemarchitectuur opgeven die de dienstverlener noodzakelijk acht voor de goede werking van de toepassing.

De configuraties, het volledige databeheer, de rapporteringstool van de toepassing wordt als een ‘service oplossing’ aangeboden. Voor het inzetten van extra rekencapaciteit kan gebruik gemaakt worden van cloud-platformen die onderdeel uitmaken van de voorgestelde infrastructuur in de offerte. Gevraagd wordt aan de kandidaat dienstverlener om de voorgestelde IT-opzet, de systeemarchitectuur en de keuzes te onderbouwen in de offerte.

Alle ontwikkelde software-code voor deze opdracht wordt na de opdracht ter beschikking gesteld en volledig overgedragen en wordt eigendom van het Bestuur na de opdracht.

De omgeving moet continu beschikbaar zijn (24/24uur, 7/7 dagen). Het totaal van de zowel geplande als ongeplande onbeschikbaarheid dient tot een minimum beperkt te blijven. De offerte duidt een aantal specificaties rond de SLA’s die de dienstverlener zelf voorstelt (beschikbaarheid toepassing per maand, maximum aantal gefaalde voorspellingen/maand maximale rekentijd per voorspellingsrun, …).

De kandidaat dienstsverlener geeft in de offerte de jaarprijs voor het aanbieden van alle IT- en data-services, incluis jaarlijkse onderhoudsprestaties. Het betreft het verlenen van correctieve

onderhoudsprestaties in geval van optredende calamiteiten, defecten, bugs etc. dienen de modules zo snel mogelijk terug operationeel gebracht te worden (adhv van een SLA en dient in de offerte beschreven te worden) en de service wordt ter beschikking gesteld voor minstens 5 jaar.

2a. Het genereren van real time voorspellingen van laagwaterdebieten

In eerste instantie wenst het Bestuur de toepassing van real time voorspellingen van laagwaterdebieten te laten generen thv alle bestaande debietstations op onbevaarbare waterlopen in Vlaanderen (zie Bijlage 3: lijst debietmeetpunten). Ter hoogte van bestaande debietmeetpunten worden voorspellingen van het laagwaterdebiet ifv captatieverboden gemaakt. Het instrumentarium dat in 2020 zal gebruikt worden voor het instellen van captatieverboden bij droogte in Vlaanderen wordt (huidig in een opzetfase) gekoppeld aan de extremiteit van de waargenomen afvoer. Voor het onderbouwen van captatieverboden

op onbevaarbare waterlopen hanteert het Bestuur de laagwaterdrempels van P95 en P90 op 14 dagen voortschrijdend gemiddelde meetwaarden.

De uit te testen toepassing maakt gebruik van de beschikbare ‘open data’ datasets van historische (minimum 10-15 jaar data) hydrologische data. Machine learning modellen worden in deze opdracht uitgetest voor het trainen van de datamodellen en het verfijnen van de input-output relaties.

De beschikbare ‘open datasets’ van actuele en historische databronnen kunnen gekoppeld worden met de datasets waterinfo.be, hydro.vmm.be en andere voor gegevens van peil, afvoeren, (gebieds)neerslag, bodemvocht, neerslagtekort, temperatuur, .. Tevens moet in de opdracht bekeken worden welke relevante informatie uit (statische) datasets met ruimtelijke karakteristieken van stroomgebiedskenmerken

(stroomgebiedsoppervlakte, bodemkenmerken, drainageklassen, helling, landgebruik, …) kan gelinkt en gebruikt worden.

In de opdracht worden probabilistische voorspellingen (met daggemiddelde en uurgemiddelde resolutie) gegenereerd tot 15 (en ev. 31) dagen vooruit. De voorspellingen tonen zowel de laagwaterdebieten (deterministisch als een aantal percentielbanden) en ook de inschatting van de kans - per dag - dat de percentielgrenzen (P90, P95) zullen bereikt worden.

Er kan hiertoe gebruik gemaakt worden van de ECMWF neerslagvoorspellingen die twee maal per dag door het Bestuur worden ontvangen voor 38 punten verspreid over of in de omgeving van Vlaanderen na het voltooien van de modelruns om middernacht en 12u00. Deze neerslagvoorspellingen voorspellen de neerslag tot 10 dagen vooruit met intervals van 1u tot 6u. afhankelijk van het tijdsstip in de toekomst) en zijn afkomstig het ECMWF Ensemble Prediction System (ensemle-pluim met 51 members). Het formaat van deze voorspellingen is .xml. Voor de voorspellingen tot 31 dagen vooruit kunnen de “extended range forecasts”

van het ECMWF-ENS-systeem² gebruikt worden. Deze zijn nog niet beschikbaar bij het Bestuur.

2b. Het genereren van real time laagwatervoorspellingen voor onbemeten stroomgebieden waar enkel peilmetingen beschikbaar zijn

Een tweede doelstelling en uitbreiding van het luik onder post 2b is om een uitbreiding van de

voorspellingen te maken naar bemeten waterlopen waar enkel - langjarige of zeer recente - metingen van peilen beschikbaar zijn. De toepassing levert (laagwater)voorspellingen voor thv de VMM peilmeetposten waar er geen debiet gemeten wordt (zie Bijlage 4 Lijst peilmeetpunten ‘L%’).

Een verdere doelstelling is het koppelen van (een dichter netwerk aan) nieuwe peilmeetpunten in de zelflerende algoritmes bij het genereren van accuratere laagwatervoorspellingen. De VMM wil in deze opdracht laten testen in hoeverre nieuwe peilmeetpunten met korte (startende) meetreeksen kunnen ingezet worden om de zelflerende algoritmes vlugger en accurater bijgestelde voorspellingen te laten genereren.

De VMM plant om voor een aantal pilootgebieden in totaal een 20-tal peilsensoren te implementeren gedurende de opdracht (het plaatsen en ontsluiten van de data gebeurt door de VMM). Het maakt deel uit van deze opdracht om de verbetering van de voorspellingen adhv zelflerende algoritmes erdoor te

kwantificeren met het inzetten (een dichter netwerk aan) nieuwe peilmeetpunten.

2 https://www.ecmwf.int/en/forecasts/documentation-and-support/extended-range-forecasts

2c. Onderzoek transfercapaciteit naar zuiver onbemeten stroomgebieden

In de opdracht wordt onderzocht in hoeverre deze modellen in staat zijn voor willekeurige (onbemeten) stroomgebieden (locaties) een inschatting te maken van de afvoer. De transfercapaciteit van de data driven (model)toepassing wordt getoetst (‘bijv. ‘leave one out’ methodiek) adhv de datareeksen waar ze niet op getraind werden.

3. Het opzetten van een online rapporteringstool en data-export naar waterinfo.be

De opdracht vraagt het opzetten en programmeren van een tool voor het continu monitoren van de performantie van de voorspellingen. Deze tool wordt gekoppeld met de gegevens van Q en H uit het WiSKI/KiWIS databanksysteem en geprogrammeerde (in Python) code. Deze code wordt na de opdracht ter beschikking gesteld en wordt eigendom van het Bestuur.

Aan de hand van statistische kengetallen NSE wordt bepaald voor de parameters Q en H en ter beschikking gesteld voor de gemeten versus de gesimuleerde waarden. De visualisatie gebeurt op wekelijkse en maandelijkse aggregaties en gepresenteerd in grafiek- en in tabelvorm. De analyse wordt opgesplitst voor minstens de P50 en de P90 (laagwater) percentielen.

Maandelijks wordt een tussentijds stuurgroepsoverleg gehouden waar de tussenresultaten en de

verschillende onderdelen van het te testen traject worden toegelicht en wijzigingen worden afgesproken.

De definitieve rapportering gebeurt op einde van de 6e kalendermaand van de opdracht + stuurgroep overleg over de eindresultaten.

Er wordt veel belang gehecht aan een verantwoorde methodiek. De invulling hiervan is onderwerp van de offerte en zal beoordeeld worden in het 2e gunningscriterium.

Opgemaakt te Brussel, Op 20/01/2020

ir. Willem Defloor, ir. Willem Maetens, ir. Pieter Cabus Ingenieurs

Nagezien en voorgesteld

Kris Cauwenberghs

Verantwoordelijke dienst hoogwaterbeheer

Gezien en goedgekeurd

ir. Barbara Vael Afdelingshoofd

IV. INVENTARIS

INVENTARIS BESTEK L 2020 I 0001 X

Perceel Omschrijving bepaling Aantal Eenheidsprijs

cijfers

Prijs bedrag

1 Uitvoeren korte literatuurstudie GP 1

2. onbemeten (qua debiet en peil) stroomgebieden

GP 1

3. Opzetten van een online

rapporteringstool en data-export

Bijlage 3: Lijst debietmeetpunten hydrologisch meetnet Metadata van alle debietmeetposten VMM:

http://download.waterinfo.be/tsmdownload/KiWIS/KiWIS?service=kisters&type=queryServices&request=

getTimeseriesValues&datasource=1&format=html&period=P1D&to=2019-12-31&md_returnfields=station_no,station_name,ts_id,ts_name,stationparameter_name,ca_sta&ca_sta_returnfi elds=CATCHMENT_SIZE&metadata=true&timeseriesgroup_id=329201

http://download.waterinfo.be/tsmdownload/KiWIS/KiWIS?service=kisters&type=queryServices&request=

getTimeseriesValueLayer&datasource=1&format=html&timeseriesgroup_id=329201&metadata=true&custat

tr_returnfields=dataprovider,dataowner&orderDir=asc&orderBy=value&invalidValue=-2&invalidPeriod=P31D&md_returnfields=custom_attributes,station_id,station_no,station_name,ts_id,ts_nam e,stationparameter_name,ts_unitsymbol,parametertype_name

Bijlage 4: Lijst peilmeetpunten hydrologisch meetnet Overzicht van alle peilmeetposten VMM

https://download.waterinfo.be/tsmdownload/KiWIS/KiWIS?datasource=1&type=queryServices&format=h tml&request=getstationlist&service=kisters&site_no=AOW_LIM*,AOW_SED*

OFFERTEFORMULIER

WT L 2020 I 0001 X - Uittesten van een machine learning-toepassing voor laagwatervoorspellingen op onbevaarbare waterlopen adhv open data

In document Vlaamse overheid. Vlaamse Milieumaatschappij (pagina 26-36)