Hoofdstuk 2. Steekproef, werving en onderzoeksgroep
2.1 Steekproeftrekking bo
Ten behoeve van de peiling heeft de Inspectie van het onderwijs voor het bo een steekproef getrokken van leerlingen die in het schooljaar 2018-2019 in groep 8 van het reguliere basisonderwijs zaten. De steekproef van leerlingen is indirect getrokken door een steekproef van bo-scholen te trekken, en (in principe) alle leerlingen in groep 8 op een geselecteerde school op te nemen in de steekproef. De steekproeftrekking diende aan een aantal, vooraf opgestelde vereisten te voldoen:
1. Er diende één hoofdsteekproef te worden getrokken - de eerste tranche (t1) -, alsmede twee reservetranches (t2, t3). Iedere tranche diende uit 120 scholen te bestaan;
2. De steekproef diende getrokken te worden binnen de groep schoolbesturen primair onderwijs die in schooljaar 2018/2019 geselecteerd waren voor een inspectiebezoek. Deze groep van schoolbesturen is representatief voor alle schoolbesturen primair onderwijs in Nederland.
3. Er diende rekening te worden gehouden met deelname aan het lopende onderzoek TIMSS/Peil.onderwijs rekenen-wiskunde 2018/19 dat in hetzelfde schooljaar plaatsvond als de peiling schrijfvaardigheid.12
2.1.1 Stratificatiecriteria
Daarnaast diende de steekproef te worden getrokken aan de hand van twee stratificatiecriteria:
schoolgewicht en schoolgrootte. Schoolgewicht was een expliciet stratificatiecriterium. De stratificatie vond plaats op basis van het percentage leerlingen met een formatiegewicht (‘gewichtenleerlingen’) op een school. Dit criterium is voor alle scholen in de onderzoekspopulatie (het regulier basisonderwijs) bekend. Hierbij zijn vier gewichtenstrata13 gebruikt. De definitie van deze gewichtenstrata is gegeven in Tabel 2.1.
12 Deze scholen zijn niet uit het steekproefkader verwijderd, maar verwisseld met een vergelijkbare school in 2e of 3e tranche als ze in de 1e tranche terecht kwamen.
13 De afkorting S4o verwijst hier naar de gewichtenstratum vierdeling van de onderwijsinspectie
30 Tabel 2.1: Betekenis van de gewichtenstrata
Gewichtenstratum Omschrijving
Label Afkorting Volledig Verkort
Stratum 1 S1 0% gewichtenleerlingen (geheel geen gewichtenleerlingen) 0% gew.
Stratum 2 S2 >0%-10% gewichtenleerlingen >0-10%
Stratum 3 S3 >10%-25% gewichtenleerlingen >10-25%
Stratum 4 S4 > 25% gewichtenleerlingen >25%
In deze verdeling wordt er geen verschil gemaakt tussen leerlingen met een laag gewicht (0,30) en een hoog gewicht (1,20). Dit is een gebruikelijke keuze. Bij het trekken van de steekproef moest tevens rekening worden gehouden met een impliciet stratificatiecriterium, te weten schoolgrootte.
2.1.2. Exclusiecriteria
Exclusiecriteria op bestuurs-/schoolniveau
Op voorhand zijn de volgende exclusiecriteria op bestuurs-/schoolniveau geformuleerd.
▪ Eenpitterbesturen dienden te worden uitgesloten van de steekproef;14
▪ Een aantal specifieke scholen diende op voorhand van deelname te worden uitgesloten:
nieuwkomerscholen, scholen in het buitenland, niet bekostigd onderwijs (nbo), rijdende scholen, azc-scholen, internationaal onderwijs, scholen die niet opgenomen waren in de kennisanalyse van de Inspectie van het Onderwijs (dat wil zeggen, scholen waarvan de opbrengsten in groep 8 ontbreken) en scholen met een voorziene opheffingsdatum.
Exclusiecriteria op leerlingniveau
Daarnaast zijn er in het peilingsonderzoek twee exclusiecriteria op leerlingniveau gehanteerd:
▪ Leerlingen die op grond van op de school geregistreerde kenmerken van cognitieve, emotionele, motorische of functionele aard niet konden deelnemen aan de peiling, werden uitgesloten van deelname. Het gaat daarbij om leerlingen die ook binnen de reguliere lessen (schrijven, taal, zaakvakken) in het Nederlands geen tekst kunnen produceren. Cruciaal was dus dan ook dat de genoemde kenmerken eveneens verhinderden dat de betreffende leerlingen op school normaliter schrijftaken uitvoerden;
▪ Leerlingen die, ten tijde van de afname, korter dan 1 jaar in Nederland waren en het Nederlands onvoldoende beheersten.
14 Om redenen van belasting van de onder deze eenpitters ressorterende scholen. Er is zowel nationaal als internationaal relatief weinig empirisch onderzoek gedaan naar de relatie tussen schoolbesturen en onderwijskwaliteit (zie rapport Kwaliteit van sturing in het primair onderwijs van Reezigt, Rekers-Mombarg en Spithoff, 2019). In het onderzoek ‘De kwaliteit van schoolleiders in het basisonderwijs, speciaal onderwijs en voortgezet onderwijs’ (Inspectie van het Onderwijs, 2014) vond de inspectie dat er geen significante samenhang is tussen de grootte van een bestuur (eenpitter of meerpitter) en de mate van kwaliteitsbewaking.
31
Leerlingen die voldeden aan één of beide criteria konden niet meedoen aan de afnames. In paragraaf 2.5 (uitval op leerlingniveau) wordt beschreven hoeveel leerlingen vanwege deze reden(en) niet hebben deelgenomen. Aan leerlingen met motorische beperkingen is de mogelijkheid geboden om de taken op de computer uit te voeren. Leerlingen met dyslexie konden gewoon met de afname meedoen.
2.1.3 Gebruikte bronnen
Voor de steekproeftrekking is een vijftal bronnen gebruikt15. Dit zijn bestanden die binnen de Inspectie van het Onderwijs worden gehanteerd. Op 23 maart 2018 waren 6612 scholen (clusters) voor regulier basisonderwijs (bo) actief, exclusief de scholen die voldeden aan de uitsluitingskenmerken.
2.1.4 Procedure
In totaal zijn er vier stappen ondernomen. De eerste stap was de uitsluiting van éénpitter besturen, waarna nog 6240 scholen resteerden. Hiervan stonden 1617 scholen vanwege het bestuursgerichte toezicht gepland voor schoolbezoek in 2018/19. De tweede stap was de bepaling van de benodigde aantallen in de steekproef, evenredig aan de populatie. De vooraf bepaalde stratificatiegroepen zijn hiertoe ingedeeld op basis van percentage gewichtenleerlingen op de school. In Tabel 2.2 staat per gespecificeerde categorie schoolgewicht het aantal scholen in de populatie en in de steekproef weergegeven, alsmede het aantal scholen dat in bestuursjaar 2018/19 bezocht zou gaan worden.
Tabel 2.2: Stratificatietabel basisonderwijs schoolgrootte geordend binnen de stratificatiegroepen. Tenslotte, stap 4, zijn per stratificatiegroep vanaf een random beginpunt met gelijke intervallen scholen getrokken voor de eerste tranche van de steekproef (t1). Voor respectievelijk tranche 2 en 3 (t2 en t3) is de wat betreft schoolgrootte direct onder- en bovengelegen school getrokken. Per school in de eerste tranche waren qua schoolgewicht en schoolgrootte overeenkomstige scholen als reserve beschikbaar in de tweede en de derde tranche.
Steekproeven TIMSS en peiling rekenen-wiskunde
Naast de peiling schrijfvaardigheid werd er in het basisonderwijs ook een peilingsonderzoek uitgevoerd naar rekenen-wiskunde binnen de steekproef van het TIMSS-onderzoek (n=200 in eerste tranche) en een afzonderlijke aanvullende steekproef (n=40 in eerste tranche). In tabel 2.3 staat de overlap tussen
15 De volgende bronnen zijn gebruikt: Basisbestand 23112017; Kennisanalyse oordelen 17012018; (multi)sectorale bestuursverdeling 23032018; Elementenbestand 23032018; Opgave deelname TIMMS 10042018.
32
de tranches van de getrokken steekproef schrijfvaardigheid en de steekproef TIMSS/peiling rekenen-wiskunde weergeven.
Tabel 2.3: Overlap tranches met hoofdsteekproef TIMMS en peil rekenen/wiskunde 2018/19.
t1 t2 t3
TIMSS/Peil rekenen-wiskunde
Nee 117 119 113
Ja 3 1 10
Om te voorkomen dat dezelfde scholen in de hoofdsteekproeven (eerste tranche, t1) van beide peilingsonderzoeken terecht zouden komen, zijn drie scholen van de steekproef TIMSS/rekenen-wiskunde die in de eerste tranche zaten, geruild met de reserveschool uit de derde tranche. Hierdoor zaten er in de eerste tranche van dit onderzoek naar schrijfvaardigheid geen scholen meer die ook in de hoofdsteekproef (1e tranche) van TIMSS of de extra steekproef rekenen-wiskunde waren opgenomen.