Uit bovenstaande blijkt dat de steekproefgrootte een kritieke factor is om de ingestelde waarden voor de maximale foutmarge of de minimaal detecteerbare effectgrootte te bepalen. De steekproefgrootte staat onder controle van de meetnetontwerper en dus kan ze aangepast worden in functie van de meetvragen en bijhorende hypothesen. Maar de steekproefgrootte neemt snel toe naarmate we hogere eisen stellen aan de numerieke kwaliteit. Daarom mag u zich niet blind staren op de steekproefgrootte alleen, maar moet u ook aandacht besteden aan andere factoren die een invloed hebben op de gewenste precisie en/of de minimaal detecteerbare effectgrootte. Deze materie komt uitgebreid aan bod komt in Deel 2 van deze leidraad, maar hier geven we enkele belangrijke principes mee.
AANDACHTSPUNT
Behalve de steekproefgrootte bepalen ook andere factoren de precisie of de minimaal detecteerbare effectgrootte. Omdat de gewenste steekproefgrootte budgettair niet altijd haalbaar is en om zo kostenefficiënt mogelijk te werken, moet u ook aandacht besteden aan de andere factoren en alterna-tieven onderzoeken om de kosten te drukken.
Een eerste sterk bepalende factor voor de precisie van parameterschattingen of de minimaal detecteer-bare effectgrootte is de variabiliteit van het populatiekenmerk dat we willen schatten of waarvan we een hypothese willen toetsen. Opnieuw geldt de “regel van vier”.
VUISTREGEL
Eenverdubbeling van de standaardafwijking impliceert een verviervoudiging van de ge wenste steek-proefgrootte om eenzelfde precisie of minimaal detecteerbare effectgrootte te behouden.
Het is dus heel belangrijk om de variabiliteit van de meetvariabele(n) klein te houden. Deze varia-biliteit wordt bepaald door twee componenten: (1) de intrinsieke (natuurlijke) variavaria-biliteit van de gemeten variabele(n) en (2) de meetfout. We kunnen de totale variabiliteit verminderen door de meetprecisie te verhogen en aandacht te besteden aan de algemene kwaliteitszorg van het meetnet. Soms kan eenzelfde variabele op meerdere manieren gemeten worden. In dat geval moet u onderzoe-ken welke meetmethode de beste balans heeft tussen precisie en kosten (zie deel 2, hoofdstukonderzoe-ken 6 en 7 ). De intrinsieke variabiliteit van een meetvariabele kunt u echter niet wijzigen. Maar soms heeft u voor een bepaalde meetvraag de keuze uit meerdere variabelen. Een belangrijke overweging is dan om die variabele te kiezen met de kleinste natuurlijke variabiliteit.
Vaak echter ontbreken precieze gegevens over de standaardafwijking van een variabele en moeten we voortgaan op literatuurgegevens of op de beperkte informatie uit een pilootstudie. Volgens de ‘regel van vier’ betekent een (mogelijke) verdubbeling van de standaardafwijking een viervoudiging van de vereiste steekproefgrootte. Wanneer we de grootte van de standaardafwijking bv. kennen tot op een factor 2 is een verkenning van de vereiste steekproefgrootte des te belangrijker om het globale ontwerp te oriënteren. Als zelfs in de het allerbeste scenario blijkt dat de gewenste steekproefgrootte budgettair niet haalbaar is, moet het project als geheel in vraag gesteld worden en op zijn minst naar alternatieven gezocht worden.
Naast de variabiliteit van de populatiekenmerken heeft ook de configuratie van de steekproef een belangrijke invloed op de precisie van parameterschattingen en detecteerbare effectgrootte van het meetnet. Volgende twee voorbeelden zijn hier een illustratie van:
Longitudinale studies, waarbij herhaalde metingen worden uitgevoerd op permanente steek-proefpunten (repeated measurements), hebben als voordeel dat de variabiliteit tussen de steekproefpunten niet of minder meespeelt als we kijken naar evoluties in de tijd. Hierdoor zal de kans op detectie van een gegeven effect toenemen en hebben we een kleinere steek-proefgrootte nodig. Uiteraard moeten we dat voordeel afwegen tegen de kost voor het mar-keren en herlokaliseren van de permanente steekproefpunten. Ook moeten we ervoor op-passen dat, naarmate de tijd vordert, de steekproef representatief blijft. Door uitval vallen punten weg en er moet een goede procedure zijn om deze aan te vullen.
Bij meetnetten met een controlerende functie is het efficiënt te werken met gepaarde waar-nemingen. Om het effect van een bepaalde maatregel in te schatten, kiezen we hierbij po-pulatie-elementen die (nagenoeg) identiek zijn, behalve voor hun blootstelling aan de te controleren maatregel. Hierdoor elimineren we de variabiliteit tussen populatie-elementen of steekproefpunten, zodat de kans op detectie van het maatregeleffect toeneemt.
Steekproefgrootteberekeningen in de praktijk
Steekproefgrootteberekeningen zullen zelden of nooit leiden tot een ondubbelzinnige uitspraak over de optimale steekproefgrootte. Daarvoor spelen te veel onbekende factoren en onzekerheden mee. Wat de opdrachtgever wel mag verwachten is dat hij of zij inzicht krijgt binnen welk bereik een mogelijk optimum ligt en wat eventuele alternatieven zijn. Op basis van deze analyse kan dan een doordachte beslissing ge-nomen worden. We zetten voor de volledigheid nog eens alles op een rijtje.
Het uitgangspunt van een steekproefgrootteberekening zijn de instelwaarden. Voor een schatting van de populatieparameters zijn dat de foutmarge en het betrouwbaarheidsniveau. Voor een toetsing van een hypothese zijn dat de minimaal detecteerbare effectgrootte, het onderscheidend vermogen en het signifi-cantieniveau. Deze elementen heeft u zelf in de hand, maar het vraagt veel overleg en inlevingsvermogen om de keuzes te enten op de toekomstige toepassing. Belangrijk hierbij is te beseffen dat al te hoge ver-wachtingen al snel zullen leiden tot een steekproefgrootte die niet betaalbaar is of niet in verhouding staat tot de doelstelling van het meetnet. Maar zelfs bij meer gematigde eisen kan zich een budgettair probleem stellen. De verwachtingen verder naar beneden schroeven is een mogelijke optie, maar dan moeten we goed in het oog houden hoeveel op de kwaliteit kan ingeleverd worden zonder de toepassing te compro-mitteren.
Naast de instelwaarden hangen steekproefgrootteberekeningen af van onbekende factoren. We hebben geïllustreerd hoe de onzekerheid op de standaardafwijking heel grote gevolgen kan hebben. Ook het suc-ces van bepaalde maatregelen om de standaardafwijking te verkleinen is slechts een inschatting. Op papier kunnen we wel hopen dat we door een bepaalde ingreep winst zullen boeken, maar de praktijk moet dat uitwijzen. Om al deze redenen is het belangrijk te beseffen dat de uitkomst van deze berekeningen nooit één getal zal opleveren, maar wel een bereik aan waarden. De breedte van dat bereik is afhankelijk van de grootte van de onzekerheden op de factoren. Een analyse van de steekproefgrootte geeft wel inzicht in welke factoren de grootste impact zullen hebben en wat de onzekerheidsmarges zijn.
realistische combinaties van gewenste foutmarge en betrouwbaarheidsniveau, minimaal detecteerbare effectgrootte en onderscheidend vermogen, variatiecomponenten, alternatieve meetvariabelen en/of steekproefontwerp. Uitgaande van deze informatie zal de opdrachtgever een keuze moeten maken om-trent de dimensies van het meetnet (zie ook § II.3). Het is belangrijk dat u de opdrachtgever bij dat keuze-proces ondersteunt en hem/haar helpt zicht te krijgen op wat haalbaar en gewenst is (bv. de keuze tussen het detecteren van een effect van 25 % of 5 % heeft een enorme impact op de steekproefgrootte en het steekproefontwerp). Aangezien de steekproefgrootte ook een belangrijke invloed heeft op de kostprijs van een meetnet moet u ook nagaan hoe de beschikbare middelen besteed kunnen worden om de hoogst mogelijke effectiviteit te bereiken (zie deel 2, § 6).
We ronden deze bouwsteen af met twee eenvoudige voorbeelden die het proces illustreren. Het eerste voorbeeld gaat over het schatten van een parameter, het tweede voorbeeld over het toetsen van hypothe-sen. In deel 2 worden deze aspecten veel grondiger uitgewerkt.
Tweede Vlaamse bosinventarisatie
(Agentschap voor Natuur en Bos)Tijdens het ontwerp van dit meetnet kwam vanuit het Agentschap voor Natuur en Bos de vraag hoe de vereiste steekproefgrootte varieert in functie van de toelaatbare foutmarge op een schatting van het ge-middelde bestandsvolume (uitgedrukt in m³ hout per hectare bos).
Omdat de variabiliteit op het houtvolume sterk verschilt tussen boomsoorten, werden berekeningen uit-gevoerd voor meerdere realistische waarden van deze variabiliteit (sigma).
Figuur 7 toont dat naarmate de toelaatbare foutmarge kleiner wordt, de vereiste steekproefgrootte toe-neemt volgens ‘de regel van vier’. Deze toename is het grootst bij foutmarges < 20 m³/ha. Ook toont de figuur dat de relatie verschilt tussen boomsoorten. Naarmate de natuurlijke boomsoortafhankelijke varia-biliteit van het houtvolume (uitgedrukt door sigma) toeneemt, verschuiven de curven naar boven en stijgt de vereiste steekproefgrootte.
Op basis van deze grafiek heeft het ANB beslist dat de toelaatbare foutmarge voor de belangrijkste soorten ca. 20 m³/ha (verticale volle lijn) is. Dat betekent dat het meetnet voor de belangrijkste boom-soorten tussen de 100 en 300 steekproefpunten moet hebben. De optie om de toelaatbare foutmarge te halveren tot 10 m³/ha (verticale streepjeslijn), was niet aan de orde omdat dat een verviervoudiging van de steekproef (horizontale streepjeslijn) zou vereist hebben.