Hoofdstuk 2. Steekproef, werving en onderzoeksgroep
2.2 Bronnen en definitief steekproefkader
2.2.1 Bronnen: beschikbaarheid van gegevens
Om een goede steekproef te kunnen trekken moest eerst het steekproefkader gedefinieerd worden.
Zoals gezegd was de doelpopulatie groep 8 op EIBO en VVTO-scholen in schooljaar 2017-2018.
Scholen met Tweetalig Primair Onderwijs (‘TPO-scholen’) maakten geen onderdeel uit van deze doelpopulatie. Het volmaakte steekproefkader was echter niet beschikbaar aangezien op het moment van de steekproeftrekking nog niet bekend was hoeveel leerlingen per school in 2017-2018 in groep 8 zouden zitten. Voor het inschatten van leerlingaantallen is gebruik gemaakt van DUO- gegevens. Hieronder staat weergegeven welke gegevens benodigd waren.
Aantal leerlingen in groep 8 in 2017-2018
Op logische gronden kon gesteld worden dat het aantal groep 8-leerlingen het beste geschat kon worden door de leerlingen die in 2016-2017 in groep 7 zaten, als benadering te gebruiken voor het aantal leerlingen dat in het daaropvolgende jaar in groep 8 zou zitten. Om na te gaan of deze redenering correct was is een controle uitgevoerd door de correlatie te berekenen van het aantal leerlingen in groep 7 in schooljaar 2015-2016 en het aantal leerlingen in groep 8 in schooljaar 2016- 2017. Deze correlatie ligt tussen 0,97 en 0,99, afhankelijk van de aannamen20. Bij meer dan 90% van de scholen wordt een verschil gevonden van 3 of minder leerlingen. Het aantal leerlingen in groep 7 op een school in 2016-2017 leek daarmee een adequate indicatie voor het aantal leerlingen in groep 8 op een school in 2017-2018.
Percentage gewichtenleerlingen in 2017-2018
Ook het stratificatiecriterium percentage gewichtenleerlingen in 2017-2018 was ten tijde van de steekproeftrekking nog niet geheel bekend. Ook hier zijn de getallen van 2016-2017 gebruikt, omdat zij de best mogelijke beschikbare gegevens waren. Voor de meeste gewichtenstrata maakte dit weinig uit, maar doordat het onderscheid tussen S4o1 en S4o2 een onderscheid was tussen 0 leerlingen en minstens 1 leerling op school, is de kans op een verandering voor het toewijzen van een school in een van deze gewichtenstrata wat gevoeliger.
Exclusiecriterium op schoolniveau – minimum aantal leerlingen in groep 8
De onzekerheid van de aantallen leerlingen in het schooljaar 2017-2018 speelde ook een rol bij het exclusiecriterium verwachte groepsgrootte (6 leerlingen of minder) in groep 8 in 2016/2017. Ook hier is het aantal leerlingen in groep 7 in 2016-2017 gebruikt. Zoals gesteld, is om te verifiëren of deze inschatting correct was, aan het begin van het wervingsgesprek navraag gedaan naar het aantal leerlingen in groep 8. Gevraagd is of het (verwachte) aantal leerlingen in groep 8 van schooljaar 2017-2018 lager was dan zes leerlingen. In dat geval viel de school alsnog af en is gebruik gemaakt van de extra back up-school die naast de reservescholen getrokken is.
20 In opvolgende jaren vinden er bij scholen administratieve verschuivingen plaats, bijvoorbeeld op vestigingsniveau.
Leerlingen die eerst bij de ene vestiging ingeschreven staan, komen bijvoorbeeld bij een andere vestiging terecht. Als hier geen rekening mee gehouden wordt dan is de correlatie tussen twee jaren .971. Als de verschuivingen van meer dan 30 leerlingen niet meegenomen worden stijgt deze naar 0.984. Als een maximaal verschil van 10 leerlingen als acceptabel wordt beschouwd is de correlatie 0.994.
Startmoment
Voor het eerste stratificatiecriterium waren gegevens nodig om te bepalen of een school als VVTO- school kon worden geclassificeerd. Hiervoor zijn meerdere bronnen geraadpleegd, die uiteenlopende informatie bevatten (variërend van onder de 400 tot meer dan 1000 Nederlandse scholen). In overleg met de opdrachtgever is uiteindelijk besloten gebruik te maken van twee van Nuffic afkomstige bestanden die via de opdrachtgever waren verkregen21. Bijkomende moelijkheid was dat het onderzoek leerlingen betrof die in groep 8 zaten en de VVTO-kwalificatie slechts betekenis heeft als de leerlingen een aanzienlijk aantal jaren Engels hebben gehad. Met de opdrachtgever is afgesproken dat er sprake zou zijn van een VVTO-school indien de school vanaf schooljaar 2013-2014 Engels onderwijs aanbood. Dit gegeven is gehanteerd in de steekproeftrekking. Om na te gaan of een school die volgens de steekproef een VVTO-school zou moeten zijn ook daadwerkelijk een VVTO- school was, zijn aan het begin van het wervingsgesprek bij VVTO-scholen twee vragen gesteld: ‘Vanaf welk leerjaar geeft de school Engels?’ en, als het antwoord op deze vraag leerjaar 1 was: ‘In welk leerjaar is de school daarmee begonnen?’.
2.2.2 Steekproefkader
In deze paragraaf worden relevante data gepresenteerd die het steekproefkader beschrijven.
Allereerst zijn de scholen (en leerlingen) die op basis van de geformuleerde exclusiecriteria af zouden moeten vallen bepaald. Tabel 2.2 laat zien dat 252 scholen (897 leerlingen) op voorhand niet in de steekproeftrekking konden worden meegenomen vanwege het hierboven genoemde exclusiecriterium op schoolniveau. Op schoolniveau betreft dit bijna 4% van de populatie en op leerlingniveau een half procent. Dit percentage ligt ruim onder de in de aanvraag gestelde grens van 5% exclusie op leerlingniveau.
Tabel 2.2: Exclusiegegevens (aantallen en percentages)
Exclusie Aantal Percentage
Scholen Leerlingen LJ7 Scholen Leerlingen LJ7 Exclusie: te weinig verwachte
leerlingen in groep 8 252 897 3.89 0.51
Geen exclusie 6225 176116 96.11 99.49
Totaal 6477 177013 100.0 100.0
In de hiernavolgende beschrijving van het steekproefkader worden alleen resultaten getoond zonder deze exclusiegegevens. De aantallen scholen en leerlingen worden hieronder dus beschreven ten opzichte van 6225 scholen en 176.116 leerlingen in groep 7 (als schatting van het verwachte aantal leerlingen in groep 8 van het reguliere basisonderwijs in schooljaar 2017-2018).
Uit Tabel 2.3 kan worden afgeleid hoeveel scholen en leerlingen binnen ieder gewichtenstratum als EIBO en als VVTO konden worden geclassificeerd. Bepaling van de grens op schooljaar 2013-2014 is zinvol om er in ieder geval zorg voor te dragen dat er voldoende scholen in de steekproef zitten met leerlingen die (in ieder geval een groot deel van) de gehele 8 jaar Engels hebben gehad. Tabel 2.3 laat tevens de verdeling van de beschikbare scholen per gewichtenstratum
21 Adressen vvto-scholen gestart voor 2011.xlsx (mail: 16/5/2017) en een kopie van Excellijst vvto-scholen Engels v.a. groep 1 start 2012.xlsx (mail:18/5/2017)
zien, waarbij de VVTO-scholen verder zijn onderverdeeld naar scholen die in schooljaar 2012-2013 met VVTO zijn gestart en scholen die zijn gestart in 2011 of eerder (‘-2011’). Duidelijk wordt dat gewichtenstratum S4o2 (>0%-10% gewichtenleerlingen) het vaakst in de populatie voorkomt, zowel bij de EIBO als bij de VVTO-scholen.
Tabel 2.3: Expliciete stratificatie startmoment en percentage gewichtenleerlingen
aantal scholen VVTO (voor 2014)
Totaal
aantal leerlingen LJ7 VVTO (voor 2014)
Totaal
De verdeling van aantallen scholen en leerlingen in groep 7 over de twee impliciete criteria ‘mate van verstedelijking’ en ‘grootte van de school’ wordt weergegeven in Tabel 2.4 en Tabel 2.5, respectievelijk.
Tabel 2.4: Verdeling naar mate van verstedelijking van scholen en leerlingen verwacht in leerjaar 8
Mate van verstedelijking Aantal Percentage
Scholen Leerlingen Scholen Leerlingen
Zeer sterk stedelijk 794 28812 12.8 16.4
Tabel 2.5: Verdeling naar schoolgrootte van scholen en leerlingen verwacht in leerjaar 8 Schoolgrootte categorie
(aantal leerlingen op school)
Aantal Percentage
Scholen Leerlingen Scholen Leerlingen
1-100 990 10112 15.9 5.7
Op basis van de twee expliciete stratificatiecriteria kunnen in totaal acht combinatie-strata worden vastgesteld. Deze volgen uit de combinatie van het startmoment (EIBO/VVTO) en het percentage gewichtenleerlingen op school (S4o1-S4o4). Voor deze acht combinatie-strata zijn tevens de gemiddelde aantallen berekend van het aantal leerlingen op school en van het aantal leerlingen in groep 7 in 2016-2017. In Tabel 2.6 staat per stratum de verdeling van gemiddelde aantallen leerlingen op de scholen en in leerjaar 7 weergegeven voor respectievelijk EIBO (Niet VVTO/na 2013 VVTO) en VVTO (2013 of eerder).
Tabel 2.6: Verdeling van verwacht aantal leerlingen op school en leerjaar 8 in de combinatie-strata
Gewichtenstratum \ VVTO school Gemiddelde aantal leerlingen
Op school Verwacht in LJ8
EIBO VVTO EIBO VVTO
S4o1 (0% gew.lln) 197 211 25 26
S4o2 (>0-10%) 241 244 31 30
S4o3 (>10-25%) 203 173 25 22
S4o3 (>25%) 207 190 24 23
2.2.3 De steekproef
Voorafgaand aan de uiteindelijke steekproeftrekking is een aantal aspecten gedefinieerd. De steekproefgrootte was gedefinieerd in het aantal te trekken scholen, namelijk 100. De eenheid
“school” was gedefinieerd door de combinatie van BRIN-code en vestigingsnummer. De verdeling van deze scholen in de steekproef was evenredig gegeven het steekproefkader, maar kende een oververtegenwoordiging van VVTO-scholen.
Er waren meerdere redenen om geen representatieve steekproef te trekken. Allereerst diende er na afloop van het hoofdonderzoek een vervolgonderzoek plaats te vinden, waarin alle gewichtenstrata vertegenwoordigd dienden te zijn. Een representatieve steekproef zou tot gevolg hebben dat het aantal scholen in de kleinere gewichtenstrata (zoals VVTO-S4o1 en VVTO-S4o4) zodanig laag zouden liggen dat het aantal benodigde scholen voor het vervolgonderzoek in een stratum niet gehaald kon worden of dat vrijwel alle scholen hiervoor geselecteerd zouden worden – hetgeen onwenselijk was. Daarnaast zou de power om onderscheid te maken tussen de combinatie- strata dan ook een stuk lager zijn, waardoor werkelijke verschillen tussen de strata moeilijker te identificeren zijn.
Om ervoor te zorgen dat maximaal een op twee scholen geselecteerd zou kunnen worden voor het vervolgonderzoek en om een voldoende aantal leerlingen te hebben per combinatie- stratum worden er minimaal 8 scholen uit een combinatiestratum getrokken. Dat heeft tot gevolg dat bij een trekking van 100 scholen er sprake is van een niet proportionele steekproef. Het heeft tot gevolg dat voor 64 van de 100 te trekken scholen vastligt uit welk combinatiestratum deze komen (8 bij ieder van de combinatie-strata). De overige 32 zijn proportioneel verdeeld naar het aantal beschikbare scholen in de strata. In dit geval was er bij 6 van de 8 strata al sprake van een oververtegenwoordiging. Alleen uit de strata EIBO-S4o2 en EIBO-S4o3 zijn additionele scholen getrokken, waarna deze strata overigens nog steeds ondervertegenwoordigd zijn in vergelijking met de populatieverdeling22.
22 Om twee redenen is er niet gekozen voor een geheel gelijke verdeling van 100 scholen over de 8 combinatie-strata (12 a 13 scholen per stratum). Ten eerste zou een dergelijke oververtegenwoordiging een vergrote toets-druk op de kleinere gewichtenstrata opleveren, hetgeen gevolgen zou kunnen hebben voor de bereidheid tot deelname van de scholen met
Wanneer we de verdeling van scholen vergelijken met de gegevens in Tabel 2.3, dan valt al op dat S4o4 en S4o1 inderdaad oververtegenwoordigd zijn. In Tabel 2.7 wordt per cel aangegeven welk deel van de steekproef in de populatie zit23.
Tabel 2.7: Aantal scholen in de steekproef (links) en percentage van populatie per cel (rechts) Aantal scholen in
De mate van over of onder-representatie is af te leiden uit het percentage in de steekproef ten opzichte van de totale groep. Bij een steekproef van 100 scholen uit een steekproefkader van 6225 scholen, betekent dit dat 1,6% van de scholen in de steekproef zit. Bij een evenredige trekking zou dit percentage bij alle combinatie-strata worden getrokken. Bij de huidige trekking is dat duidelijk niet het geval. Bij strata waar het percentage lager ligt dan 1,6% is er sprake van ondervertegenwoordiging in de steekproef. Bij percentages boven de 1,6% is er sprake van oververtegenwoordiging. Zo geldt voor VVTO-S4o4 dat met acht van de 34 scholen 23,5% van de scholen uit dat deel van de populatie in de steekproef zat. Bij de steekproef is er ook rekening gehouden met het startjaar waarbij er een onderscheid gemaakt wordt tussen de scholen die in de periode tussen schooljaar 2010-2011 tot en met 2013-2014 gestart zijn. Dit om ervoor te zorgen dat er voldoende leerlingen tussen zitten die mogelijk de volle 8 jaar VVTO hebben gevolgd.
Back up van de steekproef
Bij de steekpoeftrekking zijn voor iedere getrokken school in ieder van de 8 stratumgroepen back up steekproef-scholen getrokken worden voor het geval van non-response: voor iedere school in de steekproef zijn er drie specifieke “reserve”-scholen die direct bij de steekproeftrekking bekend waren, en geordend waren als eerste, tweede en derde reserveschool. Dit waren scholen uit hetzelfde combinatie-stratum, die niet alleen vergelijkbaar waren op de expliciete stratificatiecriteria (startmoment en percentage gewichtenleerlingen), maar ook op de impliciete criteria. Hierdoor was de reserveschool vergelijkbaar met de school in de steekproef waaraan ze gekoppeld waren. In het geval scholen na eerdere toezegging tot deelname zich onverhoopt afmelden, dan was voor iedere school duidelijk welke andere school benaderd kon worden.
Bij een eerdere peiling bleek dat er soms scholen uitvallen omdat de BRIN-informatie niet correct is: scholen zijn bijvoorbeeld gefuseerd of opgeheven. Dit wordt aangemerkt als technische non-response. Voor deze gevallen is er voor 92 van de steekproefscholen, naast de drie back-up scholen, ook op voorhand een additionele vierde school getrokken. Deze additionele school kwam alleen in aanmerking voor werving op het moment dat er een school uitviel wegens incorrecte informatie voor 2017-2018 waar op het moment van de steekproeftrekking geen rekening mee
relatief veel gewichtenleerlingen. Ten tweede was er, gezien de gestelde voorwaarde dat uit ieder van de acht cellen van het steekproefkader (de combinatie van startmoment en 4 gewichtenstrata) minstens 8 scholen zouden moeten worden getrokken, al sprake van een oververtegenwoordiging van de kleinere gewichtenstrata.
23 Zoals uit de hiernavolgende tekst kan worden afgeleid zijn uiteindelijk vier steekproeven getrokken.
gehouden kon worden24. De oververtegenwoordiging van de VVTO-S4o4 scholen was zo groot dat het niet mogelijk was om voor deze groep een additionele school te trekken: vrijwel alle scholen in die groep zaten al in de steekproef (geselecteerd of als ’reserve’school).
Samengevat
In totaal is dus een steekproef getrokken van 100 scholen, 300 reservescholen en een set van 92 additionele scholen, die alleen in uitzonderlijke gevallen gebruikt kon worden. Additionele scholen ontbraken voor het stratum VVTO S4o4. In het databestand is per school in de steekproef aangegeven wat de eerste tot en met vierde steekproef school was, en wat de (vijfde) additionele school was van de getrokken school. Er is gestreefd naar een zo hoog mogelijk percentage toezeggingen binnen de steekproef.
Verantwoording van aantallen leerlingen in de steekproef
Het verwachte aantal leerlingen in de steekproef lag op 2400 leerlingen. Dit aantal was gebaseerd op DUO gegevens, waaruit blijkt dat klassen gemiddeld uit 24 leerlingen bestaan. Om na te gaan of dit verwachte aantal leerlingen op basis van bovenstaande steekproefopzet zou kunnen worden bereikt, is het aantal leerlingen in de eerste steekproef bekeken, alsmede het totaal aantal leerlingen.
Inspectie van zowel de eerste steekproef als ook het gemiddelde van de steekproeven (tussen de 2600-2700 leerlingen) liet zien dat in de meeste gewichtenstrata het aantal leerlingen in groep 8 hoger lag dan verwacht. Onder aanname van 100 deelnemende scholen zou het verwachte aantal van 2400 leerlingen nog steeds worden gehaald als gemiddeld ongeveer 7% van de leerlingen zou afvallen.
Door in het ontwerp voor over- en ondervertegenwoordiging van specifieke categorieën te kiezen, is bij de analyses achteraf gewogen naar de populatie. Meer hierover is te vinden in de paragraaf 8.1.