- Steekproef: een raster van 1 km x 0.5 km voor de bosbouwkundige metingen, 1 km x 1 km voor de vegetatieopnamen
- Een basisset aan dendrometrische metingen - De klassieke vegetatiekundige opnamen Daarnaast werden volgende modules voorgesteld:
- Een raster van 1 km x 0.5 km voor de vegetatieopnamen, m.a.w. een verdubbeling van de steekproef-populatie voor de vegetatieopnamen
- Een overbemonstering van de zeldzame Natura 2000 boshabitattypes zodat een voldoende kwali-teitsvolle rapportage van deze bostypes mogelijk is
- Extra meetvariabelen voor het opvolgen van de houtkwaliteit - Extra meetvariabelen voor het opvolgen van de biodiversiteit
Van al deze modules werd de informatiewinst beschreven (met name, wat kan het Agentschap voor Na-tuur en Bos met de resultaten doen) en werd een raming gegeven van de extra kostprijs (uitgedrukt in VTE).
Normaal gezien – als het project bij aanvang goed is overdacht, wanneer het project stapsgewijs is uitge-voerd en als zich geen onverwachte ontwikkelingen hebben voorgedaan – zal de opdrachtgever het meet-netontwerp (al dan niet met extra modules) goedkeuren. Toch is deze beslissing geen formaliteit en moet de opdrachtgever grondig uitzoeken of hij/zij voldoende garanties heeft om het meetnet op te starten. Beleidsmatig is het immers beter een negatieve beslissing te nemen, dan een meetnet van start te laten gaan waarvan vermoed wordt dat het niet de gewenste resultaten zal opleveren.
Indien de opdrachtgever beslist om het meetnet niet op te starten, moet hij deze beslissing grondig mo-tiveren:
Het meetnetontwerp voldoet voor een of meerdere aspecten nog niet aan de verwachtingen. Dat betekent dat een bijsturing soelaas kan brengen. In dergelijke situaties is een terugkoppeling naar een van de voorgaande fasen van het meetnetontwerp aangewezen.
Het meetnet is te duur of de ‘geesten zijn er nog niet rijp voor’. Dikwijls wordt de kostprijs als een probleem aangehaald. Goede informatie is inderdaad vaak niet goedkoop, maar tegelijk ook niet duur. Een goed meetnet stelt u immers in staat uw werking bij te sturen en zo de beschikbare overheidsbudgetten beter te investeren.
Meestal zullen dergelijke knelpunten in de looptijd van het meetnetontwerp al zichtbaar worden. Maar aangezien het ontwerp van het meetnet reeds is uitbesteed, is het beter de studie zoals gepland uit te voeren en te verkennen waar de grootste knelpunten zich situeren. Dat werk is niet verloren. Vaak duiken beleidsvragen (al dan niet onder andere vorm) na verloop van tijd terug op en dan is het goed om vroegere ideeën en ontwerpscenario’s op papier te hebben. Het projectverslag kan dan dienst doen als lanceerbasis om verder te werken op de problematiek. Het is duidelijk dat een goede documentatie van het geleverde werk cruciaal is om in dergelijke situaties dubbel werk te vermijden.
V.2.2 Start van het meetnet
In bepaalde gevallen kan het interessant zijn om het meetnet eerst te laten proefdraaien (onder de vorm van een proefproject) alvorens definitief van start te gaan:
Wanneer nog onduidelijkheid bestaat over de best mogelijke veld- en bemonsteringsmethodie-ken. Soms moet een afweging gemaakt worden tussen weinig metingen die heel precies zijn (dure apparatuur) of veel metingen die minder precies zijn (goedkope apparatuur). In deel 2, hoofdstuk 6 leggen we de principes van dergelijke kosteneffectiviteitanalyse uit.
Wanneer nog onvoldoende gekend is hoeveel tijd de bemonstering van een steekproefpunt kost. Dat is van belang voor het aanwerven van technisch personeel.
Wanneer de opdrachtgever nood heeft aan voorlopige gegevens en resultaten alvorens hij kan beslissen de nodige budgetten vrij te maken.
Daarnaast kan een proefproject van pas komen wanneer u als meetnetontwerper nog te weinig informatie heeft over de variabiliteit van de gegevens en/of de toestand van het systeem.
CITAAT MacDonald et al. (1991)
A pilot project provides much of the initial data needed to define a monitoring plan that is efficient in terms of its design and sampling procedure. A pilot monitoring project also allows time for personnel to become familiar with sampling devices and analytical equipment, thus improving the reliability of subsequent data. A pilot project also provides a set of test data for analysis and evaluation, which helps to clarify the linkage between the water quality measurements and the monitoring objectives. In short, a test project forces one to go through each stage of developing and implementing a moni-toring plan, but without a long-term commitment of resources. All too often a monimoni-toring project, once established, takes on a life of its own and is difficult to modify even though it may not be meet-ing the original objectives. A pilot project is far easier to modify because it is conducted on a trial basis.
Om te oordelen of vissen al dan niet geschikt zijn voor consumptie, moet een nieuw nog te ontwerpen meetnet opvolgen in welke mate de vissen in de Vlaamse waterlopen polluenten bevatten in hun vet-weefsel. Meer bepaald wil de opdrachtgever met het meetnet achterhalen welke waterlopen het zwaarst vervuild zijn en welke vissen het meest deze vervuiling accumuleren. In eerste instantie stelt de meetnet-ontwerper zich de vraag of bepaalde waterlopen werkelijk zodanig vervuild zijn dat de aanwezige vissen een te hoge concentratie aan polluenten hebben. Dat wil hij onderzoeken d.m.v. een proefproject in enkele gekende vervuilde waterlopen. Een financiële injectie tijdens de ontwerpfase van het meetnet kan dus renderen aangezien de meetnetontwerper zo te weten kan komen in welke mate het mogelijk is de con-centratie aan polluenten in de vissen te koppelen aan de vervuiling van de waterlopen.
Vóór de opstart van het meetnet of het proefproject moeten een aantal praktische en administratieve basisvoorwaarden vervuld zijn:
- Welke budgetten zijn beschikbaar en wie stelt ze ter beschikking?
- Hoe zal het geld besteed worden over de jaren heen? Misschien moet meer geld voorzien worden tijdens de opstartfase.
- Wat is de financiële ‘duurzaamheid’ van het meetnet op langere termijn?
Personeelsplanning:
- Hoeveel personeel en welke salarisschaal? - Waar wordt het personeel gehuisvest?
- Welke mogelijkheden zijn er om de expertise van de veldwerkers binnenshuis te houden wanneer een meetcampagne beëindigd is?
Werkplanning:
- Hoe wordt het veldwerk gespreid in tijd en ruimte? - Wat is de werkplanning van de veldwerkers? - Wat is de werkplanning van de meetnetbeheerder?
Bij dit alles stelt zich algemeen de vraag of gekozen wordt voor een uitbesteding van het veldwerk of dat de gegevensinzameling in eigen beheer gebeurt en/of dat vrijwilligers worden ingezet voor het veldwerk (traditioneel vaak van toepassing in de sector van het natuurbehoud).
Het uitbesteden van de gegevensinzameling aan professionelen kan als voordeel hebben dat de meetnet-beheerder meer flexibiliteit heeft bij de planning van het veldwerk. Studiebureaus zijn immers vaak bereid seizoensgebonden veldwerk te verrichten, terwijl er voor veldwerkers in vast dienstverband ook activitei-ten moeactivitei-ten voorzien worden buiactivitei-ten de perioden met veldwerk.
Een belangrijk nadeel aan het uitbesteden van veldwerk of het inzetten van vrijwilligers is dat de veld-werkers niet altijd even goed getraind zijn en dat de wijze van gegevensinzameling niet altijd even goed op elkaar is afgestemd. Dat kan leiden tot een grotere variabiliteit (extra ruis) en eventueel zelfs een sys-tematische vertekening op de meetnetgegevens. Hierdoor kunnen bepaalde effecten (bv. verschillen van jaar tot jaar) voor een deel veroorzaakt worden door de verschillende wijze van gegevensinzameling.
V.2.3 Documentatie van het meetnet
Een goede documentatie over alle fasen van het meetnetontwerp is cruciaal:
Fase I:
- Wat is de ontstaansgeschiedenis van het meetnet? Schets deze in de beleidscontext. - Wat is de prioritaire informatiebehoefte en ‘ware informatienood’ vanuit het beleid? Hoe
is deze vertaald naar de context, doelstelling en functie van het meetnet en de prioritaire vragen waarop het meetnet een antwoord moet geven.
- Geef een precieze omschrijving van de doelpopulatie en het systeem dat met het meetnet opgevolgd wordt.
Fase II:
- Hoe is de doelpopulatie afgelijnd? Wat is het steekproefkader en hoe zal de steekproeftrek-king verlopen?
hiervan geselecteerd?
- Hoe zijn de dimensionering en het steekproefontwerp afgestemd op de prioritaire informa-tiebehoefte?
- Welke bemonsteringsmethodieken worden gebruikt om de gegevens in te zamelen?
Fase III:
- Omschrijf hoe de gegevens kwaliteitsvol opgeslagen en bewaard kunnen worden?
- Omschrijf de verwerkingsstrategie die gevolgd moet worden tijdens de gegevensanalyse (in functie van de gegevensstroom).
- Omschrijf de mogelijkheden tot interpretatie van de resultaten.
Fase IV:
- Wat zijn de verschillende eindproducten van het meetnet? - Bespreek de langetermijnplanning voor de rapportage.
Een aspect dat zeker ook thuishoort onder de documentatie van het meetnet, is het bijhouden van een analytische boekhouding van het meetnet. Hieronder verstaan we een analyse van de verschillende kos-tenbronnen geassocieerd aan de verschillende aspecten van het meetnet. Dat laat toe een evaluatie door te voeren van de kosteneffectiviteit van het meetnet. Generiek kunnen we volgende kostenbronnen on-derscheiden:
De kost geassocieerd aan het opmeten van een steekproefpunt: - Verplaatsing van en naar het steekproefpunt.
- Tijd nodig voor opmeting.
- Aantal keer dat het steekproefpunt bezocht moet worden. - Kost voor meetmateriaal en apparatuur.
Andere vaste kosten geassocieerd aan het veldwerk:
- Voorbereiding van het veldwerk: aanmaak databank, programmeren van de veldcomputers, opleiding en training van de veldwerkers (intercalibratie-oefeningen).
- Uitrusting en transport van de veldwerkers.
Kosten verbonden aan het beheer en analyse van de gegevens: - De tijd nodig voor gegevensinvoer en bijhorende kwaliteitszorg. - De tijd nodig voor gegevensanalyse en –interpretatie.
Kosten verbonden aan de communicatie:
- Naar opdrachtgever (intern en extern gebruik): rapporten, werkgroepen, voordrachten. - Naar andere doelgroepen.
- Naar onderzoekswereld: tijd nodig voor publicaties, bijwonen van congressen, onderhouden van contacten, …
Kosten verbonden aan onderhoud en vorming:
- Algemene kwaliteitszorg zoals actualiseren van het steekproefkader, opvolgen van het veld-werk, onderhoud van de vaste meetpunten en de meetapparatuur, …
- De tijd nodig voor evaluatie van het meetnet, tussentijdse analyses van de meetgegevens, proefprojecten om bepaalde aspecten te valideren of te optimaliseren.
- Vorming van het personeel d.m.v. zelfstudie en bijscholing.
Al deze documentatie is zowel voor intern gebruik als voor derden van groot belang. Derden kunnen niet altijd in contact komen met de meetnetbeheerder en zijn/haar medewerkers voor wie al deze informatie parate kennis is. Ook voor intern gebruik stelt dit probleem zich. De meetnetbeheerder en/of bepaalde medewerkers kunnen immers uit dienst treden of dingen vergeten. Aangezien de meeste meetnetten een vrij lange looptijd hebben, is het des te belangrijker zoveel mogelijk informatie zo snel mogelijk te docu-menteren.
AANDACHTSPUNT
Een goede documentatie vormt het fundament voor een langlopend kwaliteitsvol meetnet. Docu-mentatie is ook de basis voor verbetering. Een kritische evaluatie van het meetnetontwerp en de ge-gevensverwerking is enkel mogelijk wanneer duidelijk beschreven staat waarom welke beslissingen genomen zijn.
V.2.4 Kwaliteitsvolle gegevensinzameling en -opslag
We bespreken vijf specifieke aandachtspunten om de kwaliteit van de gegevensinzameling en -opslag te verhogen. Deze moeten geïntegreerd aan bod komen in een handleiding voor de veldwerker die beschrijft hoe hij/zij:
Een steekproefpunt moet lokaliseren en markeren (in bepaalde specifieke gevallen moet dat uitgevoerd worden door een aparte ploeg gespecialiseerde technici).
Binnen het steekproefpunt de meetobjecten moet selecteren (indien relevant).
De variabelen moet opmeten.
De meetgegevens moet inlezen en opslaan in een databank.
Waarnemereffecten
Het is wenselijk om de invloed van de waarnemer op de uitkomst van de metingen zoveel mogelijk te beperken. Metingen onder invloed van waarnemereffecten kunnen oorzaak zijn van een systematische af-wijking in de gegevens. Dat probleem kan vooral optreden wanneer verschillende medewerkers hetzelfde werk doen maar op andere steekproefpunten. Meestal wordt hiervoor een min of meer vaste taakver-deling afgesproken waardoor systematische afwijkingen in de gegevens kunnen voorkomen ten gevolge van de handelingen van de medewerker. Door de metingen willekeurig te verdelen over de medewerkers worden eventuele afwijkingen afkomstig van de medewerker toegevoegd aan de ruis op de gegevens. De afwijkingen zijn dan immers willekeurig i.p.v. systematisch.
In het ideale geval wordt elke afzonderlijke meting willekeurig aan een bepaalde medewerker toegekend. In praktijk is dat echter zelden haalbaar. Het is daarom logisch de metingen per steekproefpunt te groepe-ren en eventueel ook de steekproefpunten samen te voegen tot groepen die een efficiënt transport moge-lijk maken. Deze groepen worden dan willekeurig aan de medewerkers toegekend. Hierbij is het wensemoge-lijk de steekproefpunten zo frequent mogelijk te herverdelen als de praktijk toelaat. Een duidelijke praktijk-richtlijn over deze frequentie is moeilijk te geven.
Het risico op mogelijke afwijkingen ten gevolge van de waarnemer moet bij voorkeur ingeperkt worden door aandacht te besteden aan de verschillende aspecten van kwaliteitscontrole en door zoveel mogelijk te werken volgens gestandaardiseerde methoden. Ook bevelen we sterk aan op geregelde tijdstippen met de veldwerkers samen te komen voor een intercalibratie-oefening en een bespreking van de knelpunten.
Kwaliteitsnormen
Bij meetnetten in de milieusector gebeuren de metingen vaak m.b.v. elektronische meetapparatuur en/ of chemische analyses (bv. bodem- en waterstalen). Hiervoor zijn vaak normen van toepassing (bv. ISO, Belstat, …). Merk op dat dergelijke kwaliteitsdoelstellingen ook in de natuursector kunnen gelden. In Ne-derland bv. hebben bepaalde studiebureaus een accreditatie voor het uitvoeren van vegetatieopnames. Bij dergelijke meetnetten is het relevant een kwaliteitshandboek uit te werken op basis van de bestaande normen. Soms is het in de praktijk echter niet haalbaar om te voldoen aan bepaalde normen of streeft de norm naar een vrij hoge precisie waardoor de metingen / meetapparatuur te kostelijk worden. In dergelijke gevallen is een afwijking van deze normen te verantwoorden. Want de goedkopere metingen laten toe om met eenzelfde budget een grotere steekproef te bemonsteren. Sommige meetnetten hebben meer baat bij een grotere steekproef met lagere precisie dan bij een kleine steekproef met zeer precieze metingen (zie ook deel 2, § 6.2.3).
Wanneer besloten wordt dat het relevant is om van een norm af te wijken, is het belangrijk dat goed te documenteren en te motiveren.