Het is van cruciaal belang alle gegevens permanent te bewaren onder elektronische vorm. Dus ook de
ruwe meetgegevens (zie § III.2.1 waar we het onderscheid maken tussen een gegevensbank en een analy-sebank). Ruwe gegevens bevatten immers een schat aan informatie voor de evaluatie van het meetnet of de eventuele uitbouw van nieuwe meetnetten. Wanneer de meetnetresultaten enkel nog onder de vorm van rapporten beschikbaar zijn, gaat een belangrijk deel van de informatie verloren. Gezien de relatief lage kostprijs van elektronische opslagmedia is het niet te verantwoorden om deze waardevolle informatie niet permanent te bewaren.
Het archiveren van de papieren documenten is niet noodzakelijk wanneer de informatie integraal opgeno-men wordt in een elektronische databank. Toch is het wenselijk om de papieren docuopgeno-menten een aantal jaar te bewaren zodat de meetnetbeheerder bij mogelijke twijfel over de informatie in de databank nog kan teruggrijpen naar de originele documenten.
V.2.5 Controle en evaluatie van het meetnet
Tijdens de opstartfase van het meetnet gaat de meetnetontwerper uit van enkele veronderstellingen die noodzakelijk zijn om bijvoorbeeld de vereiste steekproefgrootte te berekenen. Deze veronderstellingen zullen niet altijd voldoende overeenstemmen met de uiteindelijke metingen. Met als gevolg dat de oor-spronkelijke berekeningen van de steekproefgrootte mogelijk niet meer volledig van toepassing zijn (over-schatting of onder(over-schatting). Dat heeft uiteraard consequenties voor de resultaten van het meetnet. Het is de taak van de meetnetbeheerder om op vooraf vastgelegde evaluatiemomenten na te gaan of een bijsturing van het meetnet noodzakelijk is.
Daarbij komt dat sommige eigenschappen van steekproefpunten op korte termijn relatief statisch zijn, maar hoe langer de termijn, hoe sterker deze eigenschappen kunnen veranderen. Steekproefpunten die bij de start van een meetnet aan de gestelde randvoorwaarden voldoen (bv. in de Vlaamse bosinventari-satie moet een bosgebied een minimumgrootte hebben alvorens het op te nemen in de doelpopulatie), kunnen na verloop van tijd dermate wijzigen dat ze niet langer aan de voorwaarden voldoen (bv. door versnippering van het bosareaal). Omgekeerd moet de meetnetbeheerder er ook rekening mee houden dat in bepaalde situaties nieuwe steekproefpunten moeten worden opgenomen (bv. nieuw bos betekent nieuwe steekproefpunten in de Vlaamse bosinventarisatie). Het is aan de meetnetbeheerder om hiervoor waakzaam te zijn en een afweging te maken tussen de voor- en nadelen van het al dan niet verfrissen van de steekproef.
De meetnetbeheerder kan door tussentijdse analyses van de meetnetgegevens onvolkomenheden en/of inconsistenties in het meetnetontwerp op het spoor komen. Daarnaast is een regelmatige evaluatie van het meetnet door onafhankelijke experts (audit) ontegensprekelijk een verrijking. Externen kunnen het meetnet vanuit een andere invalshoek bekijken en daardoor mogelijke knelpunten ontdekken die de meet-netbeheerder soms niet opmerkt. Bovendien levert dit een onafhankelijke kwaliteitsbeoordeling van het meetnet op. Dat is van belang wanneer belanghebbende derden de resultaten van het meetnet zouden aanvechten.
Een andere mogelijkheid voor evaluatie is het publiceren van de resultaten in wetenschappelijke tijdschrif-ten waarbij het artikel wordt becommentarieerd door onafhankelijke experts (peer review). Op deze ma-nier krijgt de meetnetbeheerder opmerkingen over het meetnetontwerp en de analyse en interpretatie van de gegevens. Een eerste voordeel is dat dit een stuk goedkoper is dan een audit. Een tweede voordeel is dat bij een wetenschappelijke publicatie de gegevens veel diepgaander geanalyseerd worden, waardoor de reikwijdte en eventuele tekorten in de gegevenset beter duidelijk worden. Er is echter ook een keerzijde aan de medaille. Publicaties op basis van de gegevens van een meetnet zijn meestal gebaseerd op een be-perkt deel van het meetnet. Zo zullen de experts niet de mogelijkheid hebben om het volledige meetnet te evalueren. Daarnaast maken de experts hun opmerkingen op basis van het artikel dat een samenvatting is van de werking van het meetnet. De beoordeling zal dus niet zo grondig kunnen gebeuren als een audit. Dit nadeel kan deels opgevangen worden door regelmatig te publiceren over de verschillende aspecten van het meetnet of door een enkel artikel te wijden aan het ganse meetnetontwerp.
Een laatste optie voor een externe evaluatie van het meetnet is het ter beschikking stellen van de gege-vens voor wetenschappelijk onderzoek. Een goede onderzoeker zal de gegegege-vens kritisch bekijken en als hij knelpunten ontdekt, deze aan de meetnetbeheerder signaleren. In dat verband willen we een pleidooi houden om zo systematisch mogelijk de wetenschappelijke wereld en domeinexperts te betrekken bij de verwerking en interpretatie van de resultaten en hierbij open te staan voor suggesties over en kritiek op het meetnetontwerp. Dat is in de praktijk haalbaar, op voorwaarde dat het overleg goed voorbereid wordt en er gezorgd wordt voor een wederzijdse meerwaarde. Een mogelijk medium hiertoe is de installatie van een gebruikersgroep en/of wetenschappelijke raad die zowel de kwaliteit als de interpretatie en het gebruik van de gegevens opvolgt.
CITAAT MacDonald & Smart (1993)
… recognize the need for, and benefits of, peer review. A monitoring plan developed by a single in-dividual will reflect that person’s experience and perspective. Asking one’s peer to review a monitor-ing plan uncovers hidden assumptions and allows for the input of other viewpoints. This will greatly enhance the chances of success, and help build an interested constituency [achterban, clientèle] for the proposed project.
Formal or informal peer review also should be applied during data analysis, report writing, and the formulation of recommendations. Again an independent observer can add a perspective and insight that will help ensure that the data are properly and fully analysed, the conclusions are justified and the recommendations are sound.
Peer review does require more time and constructive criticism is often difficult to accept, but after a few rounds nearly everybody realizes that unbiased peer review is a highly beneficial process.
V.3 Resultaten en procescriteria
(1) Opstart en opvolging van het meetnet: Reken de consequenties door van alle gemaakte keuzes na het voltooien van Fase I t.e.m. IV en rapporteer wat de eventuele weerslag is op het hele meetnet.
Communiceer aan de opdrachtgever hoe het meetnet zal opgestart worden: direct alle metingen of eerst laten ‘proefdraaien’ zodat bijsturingen nog mogelijk zijn.
Verschaf duidelijke informatie over de begroting, de personeelsplanning en de werkplanning (zie § V.2.2).
Licht toe hoe u de kwaliteit van het meetnet op continue basis wil opvolgen en evalueren (bv. een externe audit na de eerste meetcampagne, gegevensverwerking en rapportage).
(2) Toon aan dat u een inhoudelijke bibliotheek (papier en digitaal) heeft opgebouwd die informatie bevat over alle aspecten van het meetnet: analyse van de vraagzijde; analyse van de aanbodzijde; alle wetenschappelijke kennis over het systeem en de doelpopulatie; thematische of praktische knelpun-ten; gelijkaardige meetnetten in andere landen; …
(3) Handleiding voor de meetnetbeheerder.
(4) Handleiding voor het veldwerk en de gegevensinvoer. Deze handleiding licht minutieus toe hoe de veldwerkers een steekproefpunt moeten lokaliseren en markeren; binnen het steekproefpunt de meetobjecten moeten selecteren (indien relevant); de meetvariabelen moeten opmeten en de meet-gegevens moeten inlezen en opslaan in een databank. Bij dit alles ligt de klemtoon op het vermijden van waarnemereffecten en het direct opsporen en corrigeren van fouten.
Waterbodemmeetnet
(Vlaamse Milieumaatschappij)De meetnetbeheerders zien er nauwlettend op toe dat alle interne bemonsterings-, meet- en analyseacti-viteiten op een kwaliteitsvolle manier uitgevoerd en gerapporteerd worden. Het kwaliteitssysteem staat formeel beschreven in kwaliteitshandboeken, methoden en procedures. Aldus is de uitvoering en de kwa-liteitsborging van de diverse bemonsteringen, metingen en analyses en determinatie van invertebraten vastgelegd. Interne auditeurs verrichten op regelmatige basis controles op de technische kwaliteit van de metingen. Bovendien worden alle meetresultaten stelselmatig gevalideerd alvorens in de waterbodemda-tabank op te slaan.
PROCESCRITERIA
(1) Alle operationele voorwaarden voor de implementatie van het meetnet (of het proefpro-ject) zijn ingevuld.
(2) Het aspect kwaliteitszorg voor, tijdens en na de gegevensinzameling is voldoende sterk uitgewerkt.
Aanbevolen literatuur
Kwaliteitszorg
Wiersma, G. B. (2004). Environmental monitoring. CRC press, Boca Raton, USA.
De auteur besteedt veel aandacht aan de organisatorische aspecten van meetnetten zoals geïnte-greerd data(bank)beheer (hoofdstuk 2), kwaliteitszorg (hoofdstukken 20 en 26) en de overgang van de ontwerpfase naar de effectieve implementatie van het meetnet (hoofdstuk 28).
Gegevenskwaliteit
Sherman, R. (2004). Seven misconceptions about Data Quality. DM Review Online. (http://www. dmreview.com/news/1004492-1.html).
Een verhelderende visie over zeven belangrijke misvattingen. Twee belangrijke zijn dat gegevens ach-teraf nog kunnen gecorrigeerd worden en dat gegevenskwaliteit een IT verantwoordelijkheid is.
Michener, W. K. & Brunt, J. W. (2000). Ecological Data. Design, Management and Processing. Blackwell Science, Malden.
Een aantal hoofdstukken zijn gewijd aan de algemene kwaliteitszorg van databanken. Daarnaast wor-den richtlijnen gegeven voor de documentatie en archivering van gegevens.
Evaluatie van meetnetten
Ferretti, M. & Chiarucci, A. (2003). Design concepts adopted in long-term forest monitoring programs in Europe - problems for the future? The Science of the Total Environment 310: 171-178.
Een illustratie van een wetenschappelijke evaluatie van een meetnet.
Yoccoz, N.G., Nichols, J.D. & Boulinier, T. (2001). Monitoring of biological diversity in space and time. Trends in Ecology & Evolution 16: 446-453.
De auteurs maken een analyse van de knelpunten bij meetprogramma’s. Hun conclusie is dat de doel-stellingen van de meeste meetnetten (nog altijd) te weinig gearticuleerd zijn en dat bij het ontwerp te weinig nagedacht wordt over de mogelijke foutenbronnen bij empirisch onderzoek.