Fase III – Plannen gegevensverwerking
III.2.2 Bouwsteen 2: Kwaliteitsvolle gegevensverwerking
De kwaliteit van de gegevensverwerking zal in sterke mate de kwaliteit van de rapportage beïnvloeden. Daarom is het belangrijk dat u als meetnetontwerper een strategie uittekent voor de opeenvolgende stap-pen van de gegevensverwerking.
III.2.2.1 Stap 1: Van meetgegevens naar analysevariabelen
De ruwe meetnetgegevens, zoals ze worden opgeslagen in de databank, zijn veelal niet onmiddellijk ge-schikt voor analyses. U kunt hierop anticiperen door: zetten naar de gewenste analysevariabelen.
Het opstellen van een overzicht van de ruwe meetgegevens die worden ingezameld.
Een strategie opstellen voor de controle van de ruwe meetgegevens op uitzonderlijke of onver-wachte waarden (uitbijters) en opsporen van de mogelijke oorzaken (zie ook § V.2.4).
Een beschrijving van de omrekenformules die nodig zijn om de ruwe meetgegevens om te zetten naar de gewenste analysevariabelen. Zorg voor een goede documentatie die de herkomst van de omrekenformules beschrijft.
III.2.2.2 Stap 2: Statistische analyses
Bij vele meetnetten beperkt de analyse van de variabelen zich tot de voorstelling van samenvattende waarden (bv. gemiddelden) in tabellen en grafieken. Op basis hiervan worden conclusies geformuleerd over trends of verschillen. Dergelijke werkwijze getuigt echter niet van een wetenschappelijk verantwoor-de aanpak. Immers, om op basis van steekproefgegevens conclusies te formuleren over verantwoor-de doelpopulatie is het noodzakelijk gebruik te maken van de technieken van statistische inferentie, of kortweg statistiek.
De essentie van statistiek is het formuleren van objectieve conclusies op basis van empirische gegevens en de daaraan verbonden onzekerheden. Statistiek is dan ook meer dan een reeks technieken. U moet statis-tiek opvatten (en gebruiken) als een coherent geheel van concepten en inzichten die toelaten om weten-schappelijk correcte conclusies te formuleren op basis van meetnet- en andere gegevens.
De grondslag voor een kwaliteitsvolle toepassing van statistische analyses ligt bij een correcte en aange-paste gegevensinzameling. Daarom werd in Fase II uitgebreid aandacht besteed aan het uittekenen van het steekproefontwerp en het bepalen van een optimale steekproefgrootte (zie ook deel 2). Zo voorkomt u dat de meetnetbeheerder tijdens de verwerking en interpretatie van de gegevens geconfronteerd zal worden met fundamentele tekortkomingen in de kwaliteit van de gegevens (zoals een niet-representatie-ve steekproef, gegeniet-representatie-vens met een te lage precisie, ongekende (niet)-beheersbare inputvariabelen, ….). Nu dient u zich toe te leggen op het uitwerken van een analyseplan, of een strategie voor de feitelijke gegevensanalyses. Omdat u tijdens de ontwerpfase van het meetnet niet beschikt over meetgegevens - tenzij een proefproject werd uitgevoerd, of als u beroep kunt doen op gegevens uit een gelijkaardig meet-net - is het niet mogelijk een gegevensanalyse uit te voeren. Wel is het noodzakelijk én haalbaar nu reeds na te denken over de te gebruiken statistische technieken voor het beantwoorden van de verschillende meetvragen en hypothesen.
AANDACHTSPUNT
Statistische software is een krachtig hulpmiddel. Er schuilt echter een belangrijk gevaar in het gebruik ervan. De software genereert immers altijd een (mooi ogende) output, maar die vertelt u niets over het correcte gebruik van de statistische technieken. Een statistisch softwarepakket doet immers niet meer dan technieken toepassen en een output genereren. De persoon aan de computer is verantwoordelijk voor het kiezen van de geschikte analysetechnieken (wat willen we weten? zijn de nodige assumpties voldaan?) en voor de interpretatie van de analyseoutput
Concreet betekent dit dat u voor elke meetvraag en hypothese die u in Fase II heeft geformuleerd vol-gende kenmerken specificeert:
De variabele(n) die geanalyseerd worden.
Een opgave van eventueel bijkomende variabelen die nodig zijn om de analyses te kunnen uit-voeren of om een deel van de variantie te verklaren (zie § III.2.2.3).
De te gebruiken technieken voor een verkennende analyse (‘exploratory data analysis’) van deze variabelen.
De statistische techniek(en) die toegepast moet(en) worden bij de uiteindelijke analyse.
De expliciete en impliciete voorwaarden en veronderstellingen die gekoppeld zijn aan de te ge-bruiken statistische methoden. Deze kunnen tekortkomingen of beperkingen van de voorziene
gegevensinzameling aan het licht brengen. Dat kan dan leiden tot een (gedeeltelijke) herziening of bijsturing van relevante aspecten van het meetnetontwerp (terugkoppeling naar Fase II).
Voorbeschouwing van de interpretaties bij enkele mogelijke (de meest voor de hand liggende) uitkomsten van de analyse en de conclusies die daar aan gekoppeld kunnen worden.
Bij het beschouwen van het analyseplan, of de specifieke vereisten van een concrete statistische analyse, kan blijken dat een bijsturing van het meetnetontwerp nodig is (terugkoppeling naar Fase II). Het is uw ver-antwoordelijkheid om dat bij de opdrachtgever aan te kaarten en samen naar de meest geschikte oplossing te zoeken. Volgend voorbeeld is hiervan een illustratie.
Tweede Vlaamse bosinventarisatie
(Agentschap voor Natuur en Bos)Het Agentschap voor Natuur en Bos wilde weten of de gemiddelde lopende jaarlijkse aanwas ( = jaarlijkse groei van de bomen uitgedrukt in m3/ha/jaar) van de belangrijkste boomsoorten gro-ter of kleiner is dan het kapquantum van 5 m³/ha/jaar (= het vooropgesteld gemiddelde μ0):
H0: gemiddelde aanwas boomsoort X = 5 m³/ha/jaar, of nog: Ha: gemiddelde aanwas boomsoort X ≠ 5 m³/ha/jaar, of nog:
Hiervoor gebruiken we een tweezijdige one-sample t-test (met Į = 5 % en ȕ = 20 %).
Omdat de tweede Vlaamse bosinventarisatie een continu meetnet is (over een periode van tien jaar), zal de aanwas berekend worden als een vlottend gemiddelde (‘moving average’):
met = het steekproefgemiddelde in jaar t
= het gewicht dat we toekennen aan het steekproefgemiddelde in jaar t
Idealiter wordt, voor de berekening van een vlottend gemiddelde, ieder jaar dezelfde steekproef-grootte bemonsterd. Dan is het gewicht wt voor elk jaar gelijk aan 1/10e. Omdat het steekproefont-werp oorspronkelijk niet zo was uitgewerkt - men wilde tijdens de eerste vijf jaar minder steekproef-punten bemonsteren dan gedurende de laatste vijf jaar - loonde het de moeite terug te koppelen naar Fase II om deze aanpassing door te voeren. Een kleine aanpassing in de gegevensinzameling betekende hier immers een belangrijke verbetering voor de gegevensverwerking.
III.2.2.3 Stap 3: Interpretatie van de resultaten
Door de analyse van de wetenschappelijke basis van het meetnet (zie § I.2.2) heeft u inzicht verkregen in de factoren en processen die een invloed of druk uitoefenen op de te meten doelpopulatie. Die kennis hebt u aangewend bij het aanduiden van de analyse- (§ II.2.1.3) en meetvariabelen (§ II.2.4). Indien alle relevante variabelen voor het beantwoorden van een gegeven meetvraag worden opgenomen in het meetnet, dan zal dat volstaan voor een correcte interpretatie van de resultaten.
Vaak echter zullen de gegevens uit het meetnet alleen niet volstaan om de meetnetresultaten zo volledig en correct mogelijk te interpreteren. Indien gewenste informatie beschikbaar is in andere gegevensbron-nen, dan is het onnodig om ze in het te ontwerpen meetnet op te nemen. Door een relevante koppeling te maken met een ander meetnet, databank of gegevenslaag wordt de informatie-inhoud van het meetnet uitgebreid. Deze behoefte aan gegevens uit andere informatiebronnen kan betrekking hebben op (zie § II.2.1.3):
= ≠
Verklarende variabelen die info verschaffen over de aard (evt. voorgeschiedenis) van de steek-proefpunten of de toestand waaronder de metingen zijn uitgevoerd. Dat is van belang wanneer deze elementen de uitkomst van de metingen beïnvloeden. Zo kunt u een gedeelte van de ruis in de gegevens verklaren.
Achtergrondvariabelen:
- Abiotische of biotische drukfactoren die een verklaring kunnen geven voor verschillen tus-sen strata, ruimtelijke patronen of lokaal extreme waarden (binnenin een meetcyclus) of trends (tussen verschillende meetcyclussen).
- Beleids- en/of beheersmaatregelen die direct of indirect en gewild of ongewild een invloed uitoefenen op het systeem dat gemeten wordt.
Oppervlaktewatermeetnet
(Vlaamse Milieumaatschappij)Om de kwaliteit van het Vlaamse oppervlaktewater te beoordelen, besteden de meetnetbeheerders veel aandacht aan het inzamelen van extra informatie die van belang is voor een goede interpretatie van de resultaten:
- Waterkwaliteit wordt in belangrijke mate beïnvloed door weerkundige factoren. Uitzonderlijke me-teorologische condities kunnen een langdurige weerslag hebben op de waterkwaliteit en (mede) een belangrijke oorzaak zijn van de verschillen in waterkwaliteit tussen opeenvolgende jaren.
- De kwaliteit van het oppervlaktewater wordt in belangrijke mate beïnvloed door de hoeveelheid en de aard van lozingen die plaatsvinden. Bijgevolg zijn gegevens over afvalwaterlozingen nodig om bv. de concentraties aan opgeloste zuurstof in het water te interpreteren. Daarom verzamelt de Vlaamse Milieumaatschappij gegevens over de belangrijkste bedrijfslozingen en van alle rioolwaterzuiverings-installaties voor een breed gamma van stoffen (zuurstofhoudende stoffen, nutriënten, metalen en gevaarlijke organische en anorganische stoffen). Met deze gegevens wordt de evolutie van de hoeveel-heden geloosde verontreinigde stoffen (‘vuilvrachten’) door grote puntbronnen in beeld gebracht en gekoppeld aan de meetnetresultaten over de kwaliteit van het oppervlaktewater.
- Nitraten in het oppervlaktewater zijn vooral afkomstig van uitspoeling uit landbouwgronden. Door het mestspreidingsbeleid nemen de uiterst hoge nitraatmaxima (voorheen tot meer dan 200 mg/l) sterk af, maar verdwijnen nitraatarme zones steeds meer. Verder is uitspoeling niet enkel functie van de bemestingspraktijken, ook de neerslag speelt een belangrijke rol (zowel de hoeveelheid als het tijdstip en de intensiteit van de buien). Deze informatie is cruciaal voor de correcte interpretatie van de jaargegevens.
Bij uw zoektocht naar relevante informatie moet u in het achterhoofd houden dat de verschillende be-staande meetnetten, databanken en andere gegevensbronnen vaak onafhankelijk van elkaar tot stand zijn gekomen. Met als gevolg een probleem van gegevensongelijkheid: gegevens verschillen in de methoden waarmee ze zijn ingezameld, en bijgevolg in validiteit en betrouwbaarheid, in de manier waarop ze zijn ver-werkt en geanalyseerd enz. Daarom moet u voorzichtig omspringen met gegevens uit externe bronnen. Tot slot merken we nog op dat meetnetten voor het milieu- en natuurbeleid specifiek aandacht moeten besteden aan volgende twee aspecten:
Milieuprocessen spelen zich vaak af op een zeer lange termijn. Bepaalde veranderingen in het milieu en dus ook beleidseffecten zijn pas na lange tijd zichtbaar. Dat wordt het time lag effect
genoemd. Het is nodig om dit aspect mee te nemen in de gegevensinzameling en –verwerking.
Milieuproblemen (en de oorzaken ervan) zijn niet gebonden aan bestuurlijke grenzen. De wa-terkwaliteit van bv. de Zenne in het Vlaamse landsgedeelte is in grote mate afhankelijk van de initiatieven die in het Brussels Hoofdstedelijk Gewest genomen worden. Gegevens hierover zijn noodzakelijk voor een goede interpretatie van meetgegevens uit de Zenne.
Ook in het natuurbeleid, in het bijzonder wat betreft migrerende diersoorten en biodiversiteit in het algemeen, geldt vaak dat problemen niet ophouden aan de grens of dat ze in bepaalde geval-len ook een gevolg zijn van ontwikkelingen in andere regio’s.
III.3 Synthese en het maken van keuzes
Als synthese van het analytisch kader moet u aan de opdrachtgever een zo concreet mogelijke voorafspie-geling geven van de resultaten die het meetnet kan leveren.
Per prioritaire vraag en geassocieerde meetvragen schetst u een beeld van enkele mogelijke resultaten en welke de relevante interpretaties en conclusies kunnen zijn. Belangrijk is ook dat u een specificatie geeft van het bereik van (meet)waarden waarbinnen men niet zal kunnen besluiten dat een waargenomen effect betekenisvol is (i.e., de nulhypothese niet kan verwerpen) en dat bijgevolg niet toelaat om gepaste beslui-ten te nemen en tot eventuele acties over te gaan.
Op basis van die voorafspiegeling kan de opdrachtgever nagaan in welke mate het meetnetontwerp be-antwoordt aan de verwachtingen en dus voldoende invulling geeft aan de informatiebehoefte. Indien dat onvoldoende, of niet, het geval is, dan moet u samen met de opdrachtgever de mogelijkheden onderzoe-ken voor een aanpassing van de verwerkingsstrategie of zelfs van bepaalde aspecten van het steekproef-ontwerp en de gegevensinzameling (terugkoppeling naar Fase II).