Opzet en uitvoering van de werving

Een goed steekproefkader en een correcte steekproeftrekking zijn van belang voor een goed beeld van het Engels in het primair onderwijs is. Daarnaast is het natuurlijk noodzakelijk dat er voldoende scholen aan de peiling willen deelnemen. Om aan deze voorwaarde te voldoen is begin juni 2017 een gerichte wervingscampagne uitgezet. Hieronder wordt een toelichting gegeven op de aankondiging van de peiling bij scholen, de inzet van ambassadeurs en het verloop van de wervingsperiode.

2.3.1 Informeren beoogde scholen

Schoolleiders van 68 EIBO-scholen (‘reguliere’ basisscholen) en 32 VVTO-scholen uit de (eerste) steekproef hebben begin juni 2017 een e-mail bericht ontvangen met daarin een algemene beschrijving van het belang van Engels in het basisonderwijs en een link naar een wervingsfilm. In die film was er aandacht voor Engels als (toekomstig) communicatiemiddel, voor het belang van goed onderwijs om Engelse vaardigheden aan te leren, voor de opzet van het onderzoek, en voor de opbrengsten van het onderzoek voor de school. In het filmpje werd ook de verdere voortgang van het peilingsonderzoek aangekondigd. In de e-mail is tevens aangekondigd dat de scholen persoonlijk benaderd zouden worden door zogenaamde ambassadeurs. Deze persoonlijke benadering zou

24 Wanneer de back-up school vervolgens zou weigeren, zou de eerste en vervolgens tweede reserve-scholen in beeld komen voor benadering. Dat is niet voorgekomen.

binnen twee weken na ontvangst van het bericht plaatsvinden. De e-mail met de link naar het filmpje is opgenomen als bijlage 5.

De scholen van de eerste en tweede reservesteekproef zijn één respectievelijk twee weken later met een vergelijkbare e-mail benaderd. Omdat in de meeste gevallen nog niet bekend was of de eerste school zou deelnemen, is de wervingstekst in het bericht enigszins aangepast van daadwerkelijke benadering naar ‘mogelijke benadering’ door ambassadeurs.

De besturen van alle (300) scholen in de drie steekproeven zijn in week twee van de wervingscampagne geïnformeerd met een brief ondertekend door zowel het consortium als de plaatsvervangend Inspecteur-generaal. Naast een inhoudelijke toelichting van de peiling en een aankondiging dat we de directeuren van de betreffende scholen (mogelijk) zouden benaderen, had de brief vooral tot doel dat het bestuur de scholen zou motiveren aan de peiling deel te nemen.

Voorafgaand aan de informatieronde is een website (www.peil-engels.nl) ingericht met alle informatie over het onderzoek en eventuele deelname. In de e-mails en brieven werd naar deze website verwezen. De website bevatte eveneens de wervingsfilm.

2.3.2 Inzet ambassadeurs

Om scholen te motiveren voor deelname aan onderzoek, lijkt niets beter te werken dan een persoonlijke benadering. De 100 scholen uit de eerste steekproeftranche zijn daarom vanaf half juni benaderd en deels ‘geworven’ door een team van tien ambassadeurs. Deze ambassadeurs hadden allen een sterke persoonlijke band met Engels in het basisonderwijs. Zij waren met name (oud) vakleerkracht, dan wel directeur op een basisschool of werkzaam (geweest) als vakdocent of taalwetenschapper bij de Hogeschool van Amsterdam of de Rijksuniversiteit Groningen. In het contact met de scholen fungeerden de ambassadeurs als een soort ‘visitekaartje’ voor het onderzoek. In eerste instantie verliep de benadering via telefonisch contact en e-mail. Indien de school dat wenste, kon de ambassadeur ook een persoonlijke afspraak op de school maken om het onderzoek nader toe te lichten. Ter ondersteuning van de werving is een ‘draaiboek werving’

opgesteld en gedeeld met de ambassadeurs. De ambassadeurs zijn feitelijk meteen aan de slag gegaan en werden begeleid door de onderzoekers bij vragen over de onderzoeksopzet of bij specifieke vragen van schoolleiders. In augustus 2017 heeft een ambassadeursdag plaatsgevonden waarop de ambassadeurs ervaringen en tips hebben uitgewisseld.

De ambassadeurs ontvingen verder per toegewezen school een logboek waarin o.a. de gegevens van de beoogde school en bijbehorende reservescholen waren opgenomen. De toegewezen scholen waren waar mogelijk verdeeld o.b.v. de voorkeursregio van de ambassadeurs (gegeven het feit dat er mogelijk schoolbezoeken nodig waren voor de werving). Zoals beschreven in paragraaf 2.2.3 was voor elk steekproefnummer op voorhand bekend welke reservescholen aan dat nummer gekoppeld waren. De reservescholen voldeden aan dezelfde expliciete steekproefcriteria als de eerste school, maar waren niet geografisch geclusterd. Uiteindelijk is er in beperkte mate sprake geweest van schoolbezoeken in de gehele wervingsfase. De meeste correspondentie vond op verzoek van de scholen plaats via telefoon en e-mail, eventueel met tussenkomst van de onderzoekers (die nadere toelichting bij vragen gaven). In de laatste fase van de wervingsperiode (oktober-november 2017) heeft een interne onderzoeker de rol van ambassadeur overgenomen. Met die inzet is het beoogde totaal aantal scholen bereikt.

2.3.3 Verloop van de werving

De werving startte in juni 2017 en liep door tot begin december 2017. Het streven was dat 100 getrokken scholen deel zouden nemen, waarvan zoveel mogelijk scholen uit de eerste steekproef.

Ondanks de late start in juni had het ambassadeursteam eind juli 2017 reeds van 35 scholen een toezegging mee te doen aan de peiling. Het merendeel betrof scholen uit de eerste steekproef.

De werving voor de zomervakantie kende echter een aantal lastige/vertragende aspecten, aangezien:

• de directie de wervings e-mail in ongeveer een derde van de gevallen niet had gelezen;

• veel schoolleiders niet of slecht bereikbaar of veelvuldig afwezig waren;

• de directie moest kiezen tussen concurrerende verzoeken voor onderzoek;

• relatief veel scholen de beslissing graag 'over de zomervakantie heen tilden';

• er sprake was van een kleine technische non-respons. Twee van de scholen uit de eerste 100 waren of zouden worden opgeheven. Na de zomervakantie zijn hiervoor de additionele scholen benaderd (zie paragraaf 2.2.3).

Begin september was ongeveer 90% van de 100 scholen uit de eerste steekproef benaderd en bereikt, ook al leidde dit niet altijd tot een onmiddellijk besluit. Bij een definitieve afwijzing benaderde de ambassadeur de eerstvolgende reserveschool op de lijst. Met veel reservescholen werd na de zomervakantie voor het eerst concreet contact gelegd. Hoewel eind september/begin oktober zo’n twee-derde van de beoogde 100 scholen was geworven, was de werving niet eenvoudig. Zo zagen na de vakantie vier scholen af van deelname vanwege onvoldoende draagkracht bij de leerkrachten (2 scholen), miscommunicatie over het toetsen van combinatiegroepen (1 school) en verwachte problemen met ‘ouders en privacy’ (1 school). Voor deze scholen zijn direct reservescholen benaderd. Als gevolg van uitval van ambassadeurs, zijn er begin oktober twee nieuwe ambassadeurs geworven en getraind en heeft een hoofdtestleider meegeholpen bij de werving. De inzet van ‘nieuwe’ ambassadeurs is goedgekeurd door de opdrachtgever. Dit geldt ook voor een aanpassing van de wervingstactiek, die het wervingsproces zou versnellen: Besloten is om vanaf begin oktober simultaan de derde en vierde school achter een volgnummer te benaderen, ook wanneer de tweede school nog niet had beslist. Voor de zekerheid werd vanaf dat moment ook de 5e (back-up school) alvast ingelicht per e-mail (voor het geval de reguliere reserves allen zouden weigeren). In drie gevallen is uiteindelijk ook deze back-up school benaderd (en vastgelegd voor deelname).

Half november stond het aantal aangemelde scholen op 88, waarvan 43 eerste keuze scholen. Voor een aantal ‘openstaande’ volgnummers bleek geen mogelijkheid tot deelname meer, omdat geen van de vier/vijf benaderde scholen op het volgnummer deel wilde nemen aan de peiling.

Met de opdrachtgever is half november afgesproken dat volgnummers ook mochten worden

‘ingevuld’ door scholen die nog niet waren benaderd (omdat de 1^e of 2^e school meedeed) maar wel voldeden aan de twee expliciete steekproefcriteria (dus in hetzelfde stratum zaten). Op deze manier zijn acht extra scholen uit andere regels in het steekproefbestand geworven. Daarnaast is het gelukt om eind november 2017 nog vijf extra scholen te werven op de reguliere manier.

2.3.4 Bruto wervingsresultaat en non-respons

Met de hierboven toegelichte initiële opzet van de werving en de aanpassingen van de wervingsstrategieën is uiteindelijk een bruto steekproef van 101 scholen gerealiseerd (Tabel 2.8). In totaal is van 230 scholen een beslissing voor het wel of niet deelnemen ontvangen.

Tabel 2.8: Bruto wervingsresultaat november 2017

Tabel 2.8 laat zien dat van alle in de wervingsperiode benaderde scholen er 129 hebben aangegeven niet aan het onderzoek te willen deelnemen. Dat betekent dat de algemene bereidwilligheid 44 procent bedroeg. Voor de eerste steekproef van 100 scholen gold dat ruim twee vijfde (41 scholen) deelname had toegezegd. Het aandeel ‘eerste keuze’ scholen bedraagt 43 procent wanneer de twee backup-up scholen worden meegerekend die direct zijn benaderd vanwege technische non-respons bij de school die als eerste was getrokken, bijvoorbeeld in het geval van gefuseerde scholen. Binnen die groep van 43 scholen bevonden zich 28 EIBO Scholen (van de beoogde 68) en 15 VVTO scholen (van de beoogde 32). De bereidwilligheid tot deelname was derhalve in de eerste steekproef van 100 scholen onder VVTO scholen iets groter dan onder reguliere scholen (47% versus 41%).

Non-respons: aantallen

Van de 230 benaderde scholen hadden er 101 toegezegd deel te nemen, terwijl er 129 negatief reageerden op het verzoek. Tabel 2.9 geeft de verdeling van de non-respons naar stratum weer.

De non-respons is het laagste in het EIBO met 0%-stratum (33%) en het hoogste in het VVTO met

>25%- stratum (68%). Uit de tabel valt op te maken dat het percentage non-respons voor beide

‘typen’ scholen een oplopend patroon kent naar gewichtenstrata. Hoe meer gewichtenleerlingen op schoolniveau des te kleiner het percentage ‘succes’ in de werving.

Tabel 2.9: Non-respons naar stratum

Cel Totaal

benaderd

Geen aanmelding Aangemeld Percentage Non-respons

25 Zoals eerder vermeld zijn twee scholen uit de eerste steekproef door technische non-respons (school opgeheven) niet benaderd. Hiervoor is de back-up school (school 5xxx in de steekproefregel) benaderd in plaats van de reguliere reservescholen. Beide scholen hebben deelgenomen waardoor benadering van de reguliere reserves niet meer nodig was.

De non-respons had met deze verdeling van 101 scholen geen consequenties voor de generaliseerbaarheid van de resultaten van dit peilingsonderzoek naar de expliciete stratificatiecriteria, aangezien de reservescholen altijd behoorden tot hetzelfde stratum en type school als de beoogde ‘eerste’ school. Ook door de toevoeging van acht scholen uit andere steekproefregels (uit dezelfde strata als de beoogde scholen van een steekproefregel waar alle scholen weigerden) is dit niet in gevaar gekomen.

Non-respons: redenen

Ambassadeurs hadden de opdracht hun benaderingspogingen en wervingsresultaten bij te houden in zogenoemde logboeken. Deze logboeken zijn achteraf geanalyseerd om de non-respons in kaart te brengen. Tabel 2.10 laat de in de logboeken genoteerde redenen zien, gerubriceerd naar vijf categorieën. Scholen konden natuurlijk meerdere redenen opgeven, waardoor het aantal geturfde redenen (134 iets hoger is dan het totaal aantal weigerende scholen (129).

De toetskalender wordt door bijna 25% van de benaderde scholen (57 keer) genoemd en is daarmee de meest genoemde reden om niet mee te doen. Sommige scholen voorzagen logistieke problemen omdat er al ander (extern) onderzoek in de afnameperiode was gepland. Ook werd de afnameperiode (januari-maart) niet ideaal bevonden, aangezien deze maanden in het teken staan van de standaard Cito volgtoetsen (M8), die in groep 8 op veel scholen essentieel zijn als het gaat om het schooladvies. Daarnaast gaven veel scholen meer in algemene zin aan dat men behoorlijk

‘onderzoeks- en toetsmoe’ was, en derhalve geen extra toetsen in genoemde periode wensten.

Onvoldoende draagvlak voor dit onderzoek (bij leerkrachten en/of directie) is een tweede reden om deelname te weigeren. Scholen hebben specifiek geen belangstelling voor onderzoek op het gebied van Engels. Deze reden wordt vaker aangegeven bij EIBO scholen dan bij VVTO scholen (18% van de benaderde EIBO scholen versus 14% van de benaderde VVTO scholen). De ambassadeurs geven aan dat de angst om leerkrachten en leerlingen bloot te stellen aan iets wat ze nog niet voldoende beheersen, hier mogelijk een rol speelt. Zo werd er onder andere door scholen genoemd dat “het Engels nog een verbeterslag nodig heeft”, of “nog te veel in de kinderschoenen staat”. Een andere voorbeeld in dit opzicht is “we zijn ontevreden over de methode, en dan krijgen we het verkeerde beeld als we de resultaten ontvangen”.

Een derde categorie redenen is dat scholen direct, zonder duidelijke opgave van redenen hebben geweigerd (‘expliciete weigering’, 7%). Grotendeels gaat het om scholen die elk extern onderzoek afhouden, en daadwerkelijk ‘nergens aan meedoen’, maar het is mogelijk dat enkele scholen dit aangaven om zodoende het verzoek maar helemaal niet in overweging te hoeven nemen.

Onder de vierde categorie redenen, gelabeld als ‘andere toetsingsvorm’, vallen scholen die Engels via eigen toetsen of landelijke toetsen (b.v. Cito-toets Engels) in kaart brengen. Nog een keer dezelfde vaardigheden toetsen was voor deze scholen niet opportuun. Deze categorie is vaker gehoord bij de VVTO scholen dan bij EIBO scholen (12% versus 5%). In 2% van de non-respons is er sprake van (verwachte) technische non-respons: scholen waren bij benadering reeds gefuseerd of opgeheven of gaven aan dat deze verandering in het lopende schooljaar zou plaatsvinden (twee steekproefscholen, één reserveschool). Deze groep bevat verder twee reservescholen die bij benadering door de ambassadeur niet bleken te voldoen aan het beoogde type VVTO of EIBO. Deze scholen konden derhalve niet worden geselecteerd voor de steekproef, en in dat geval is meteen de eerstvolgende reserveschool benaderd.

Tabel 2.10 bevestigt verder het oplopende patroon van weigering naar de gewichtenstrata uit tabel 2.9. Alleen ‘expliciete weigering’ van het verzoek zien we iets vaker in de S3 en S4 strata, maar de verschillen zijn niet groot.

Tabel 2.10: redenen om niet deel te nemen, in aantal en in percentages van benaderde scholen

Niet aangemeld, omdat:

Alle benaderde scholen Benaderd naar stratum EIBO Totaal scholen dat deelname weigert 89

(57%)

In de logboeken is uiteindelijk vaak kort de voornaamste reden uit de gesprekken met schoolleiders genoteerd. Het is mogelijk dat er meerdere redenen zijn genoemd die niet allemaal zijn genoteerd. De logboeken van ambassadeurs bevestigen het beeld dat het iets lastiger was scholen uit de hogere gewichtenstrata te overtuigen van deelname (zie Tabellen 2.9 en 2.10 hierboven). Dit betekent in ieder geval dat de belangstelling naar onderzoek naar Engels onder dergelijke scholen iets lager is. Of de onzekerheid over (de verwachte resultaten van) het vak Engels bij leerkrachten sterker speelt in deze scholen is onvoldoende duidelijk: in de logboeken wordt maar één keer de leerlingpopulatie specifiek benoemd als reden om niet deel te nemen: geen belangstelling want “we durven het niet aan om deze zwakke leerlingen te toetsen op Engels” (EIBO-school, 10-25%). Zoals eerder opgemerkt heeft dit voor de representativieit van de resultaten geen gevolg: er zijn immers voldoende scholen uit elk steekproefstratum in de gerealiseerde steekproef opgenomen.