Training van (hoofd)testleiders

In de voorbereiding op de training is voor alle betrokken testleiders een algemeen handboek ontwikkeld. In dit handboek staat allereerst een korte introductie op de peiling Engels. Deze introductie was bedoeld om de testleiders meer zicht te geven op de context waarbinnen de peiling wordt uitgevoerd, de resultaten die de peiling beoogde op te leveren en een beknopt overzicht van de taken die in de peiling gedaan moesten worden. Het tweede deel van het handboek bestaat uit protocollen en beschrijvingen van de verschillende onderdelen (vragenlijst, toetsen, testen gespreksvaardigheid) die in de peiling afgenomen zouden worden. Per opdracht is beschreven welke materialen nodig waren voor de opdracht, welke procedure gevolgd moest worden, welke instructies aan de leerlingen moesten worden gegeven en hoe testleiders om moesten gaan met (veelvoorkomende) vragen. Dit geheel was aangevuld met een overzicht van eventuele aandachtspunten en tips.

Voor de hoofdtestleiders, die belast zouden worden met de leiding van de afnames en de afname van de mondelinge taken, is een supplement op het handboek gemaakt waarin zowel de ankertaak spreken als de drie gesprekstaken zijn beschreven en voor elke afzonderlijke taak een afnameprotocol is opgenomen. Het supplement bevatte verder secties over de voorbereiding (materialen thuis), de afstemming met de leerkracht voor de start van het eerste onderdeel (o.a.

voorstellen van de reguliere testleider, globaal overzicht van de taken, gepreksruimte), en het protocol voor het ophalen van de leerlingen tussen de klassikale taken door. Alhoewel alle hoofdtestleiders ervaring hadden met het begeleiden van kinderen was er in het supplement nog bijzondere aandacht voor het welbevinden van de leerlingen en voor een veilig en prettig verloop van de gesprekstaken.

Om de betrouwbaarheid van de metingen te vergroten zijn alle testleiders, voorafgaand aan de (pilot)metingen, getraind, zodat zij de testen en gesprekstaken volgens de opgestelde protocollen zouden afnemen. Het trainingstraject betrof voor de reguliere testleiders twee dagen, terwijl de hoofdtestleiders nog een extra trainingsdag hebben doorlopen. Hieronder wordt de opzet van de trainingsdagen weergegeven.

• Dag 1, ochtend:

o Algemene voorlichting omtrent de peiling Engels.

o Toelichting op organisatorische aspecten van de afname.

Dag 1, middag:

o Reguliere testleiders werden getraind in de afname van de klassikale taken (vragenlijst, leesvaardigheidstoets, luistertoets, woordenschattoets). De hoofdtestleiders werden getraind in de afname van de gesprekstaken. Naast de protocollen voor de taken werd ook aandacht geschonken aan: gedrag op school, afstemming met de leerkracht, protocollen voor vragen, tijdstippen van pauzes en invulling van de pauzes (bijvoorbeeld de inzet van ”energizers” of korte spelletjes wanneer gewacht moest worden op de terugkomst van leerlingen die de gesprekstaken deden). De testleiders werden getraind met behulp van de (pilot)instrumenten en via rollenspellen. Elke testleider heeft tijdens de training minimaal de uitvoering van één klassikale taak geoefend en ontving daarop feedback van de onderzoekers. Hoofdtestleiders kregen eerst een overzicht van de

mondelinge taken, de doelstellingen van de taken en de te meten vaardigheidsniveaus. Daarna werden zij door de onderzoekers van de HvA en RuG uitgebreid getraind in de daadwerkelijke afname van de drie gesprekstaken. Hiervoor zijn audio en video-opnames van taken uit de kleinschalige testperiode (van Cito) gebruikt, maar de taken zijn vooral via simulatiegesprekken tussen onderzoeker (in de rol van leerling) en hoofdtestleider geoefend.

• Dag 2: proefafname op één van de zes klassen in de pilotscholen of op één van de drie scholen waar een generale repetitie heeft plaatsgevonden. (zie onder).

• Dag 3: nadere training van de uitvoering van de gesprekstaken (alleen voor hoofdtestleiders).

In deze training is vooral gebruik gemaakt van videobeelden uit beide pilotafnames en is de afname van gesprekstaken (en begeleiding van de leerling) gefinetuned en, herhaaldelijk, via rollenspel geoefend.

Vanwege de doorloop van de werving van ‘reguliere’ testleiders hebben niet alle testleiders op hetzelfde moment de training ontvangen. De eerste aanvullende pool testleiders is getraind voorafgaande aan de generale repetitie (zie onder). Zij hebben derhalve in die dress rehearsals hun tweede trainingsdag gehad. Vanwege uitval van enkele testleiders zijn voorts begin december nog drie extra testleiders getraind en omdat zij niet konden meedraaien in de geplande dress rehearsals, hebben zij, met een beperkt actieve rol, ‘meegelopen’ bij de eerste afnames in januari 2018.

4.3 Pilotonderzoek

Voorafgaand aan de afnames van de peiling zijn zes pilotafnames (op vijf scholen) en drie zogenoemde ”dress rehearsals” uitgevoerd. De pilotafnames vonden plaats in september en begin oktober 2017 en de dress rehearsals in november en begin december 2017. Bij alle proefafnames waren telkens onderzoekers van GION en/of de HvA aanwezig. Alle scholen die aan de proefafnames deelnamen waren scholen uit de netwerken van consortiumpartners. Bij de werving van scholen is rekening gehouden met een representatieve verdeling over Nederland en met verschillen in startmoment Engels en de leerlingpopulatie (conform de steekproefcriteria). Dit betekende dat in beide testperiodes zowel een VVTO- als een EIBO-school betrokken was en dat zowel een school zonder (of een zeer gering aantal) als een school met relatief veel (>20%) gewichtenleerlingen heeft deelgenomen.

4.3.1 September 2017

De pilotafnames hadden tot doel om alle items die voor deze peiling waren ontwikkeld dan wel als ankeritems waren aangeduid uit te testen, om te bepalen of de doorlooptijden van de onderdelen globaal gezien correct waren en om te bepalen of de ontwikkelde protocollen voldoende uitvoerbaar en eenduidig waren. Er waren in totaal zes toetsversies geconstrueerd. Elke versie bestond daarbij uit twee blokken en elk blok zou in twee versies voorkomen (hetgeen betekent dat er overlap in de blokken over de versies heen zat). Om zo alle items te testen zijn de zes beoogde versies van de klassikale taken uitgetest. Daarnaast hadden de proefafnames tot doel de pilotversies van de gesprekstaken als ook het beoogde protocol en duur van de afname van de gesprekken uit te proberen. De proefafname was inclusief het uittesten van de volgorde van de verschillende taken, en

het uittesten van het werken met digitale hulpmiddelen (powerpoints met instructies en luistertoets via internet film, usb en/of dvd). Ook het afnemen van de leerlingvragenlijst was opgenomen in de proefafname, zodat we konden nagaan of voor alle leerlingen het beantwoorden van de vragen binnen de beschikbare tijd haalbaar was, en of er geen lastige of multi-interpretabele items in de vragenlijst waren opgenomen. Dit laatste is gedaan middels klassikale bespreking van de vragenlijst:

leerlingen konden aangeven welke vragen ze niet snapten of anderszins vreemd vonden. Ten slotte is geoefend met de rollen van hoofdtestleider en testleiders.

Na afloop van de proefafnames hebben er verschillende evaluaties en aanpassingen plaatsgevonden en zijn zowel de instrumenten zelf als ook de protocollen voor de afnames uitgebreid aangepast en ‘gefinetuned’. Zo bleek gesprekstaak 1 te lang, waardoor de afname van Taak 2 en Taak 3 in het gedrang kwam. Taak 1 bevatte oorspronkelijk meerdere onderdelen op A2- niveau. Aangezien A2 ook met Taak 2 werd gemeten zijn A2-items verwijderd. Taak 1 bevatte uiteindelijk nog één onderdeel waarmee A2 gemeten werd, zodat de testleider kon inschatten of de leerlingen de volgende taak aan zouden kunnen. Daarnaast liet het videomateriaal van de pilot zien dat de instructies en begeleiding van de verschillende testleiders nog niet uniform waren. De afname-instructies zijn in het protocol verder aangescherpt, waarbij de instructies meer gescript zijn en het ‘speelse en leuke’ aspect van de gesprekjes sterker werd benadrukt (om te voorkomen dat leerlingen zenuwachtig zouden worden). Ook is een standaardinstructie op film gemaakt en een filmpje waarin een voorbeeld wordt gegeven van wat de bedoeling is (zodat de leerlingen wisten wat van ze werd verwacht). Deze werden aan het begin van de afname van de gesprekstaken getoond.

De aangescherpte afnamecondities zijn in de volgende training voor de testleiders sterker benadrukt.

Ze zijn niet alleen besproken, maar ook extra getraind m.b.v. de video-opnamen. Tijdens de training zijn daarnaast heldere regels opgesteld over de beslissing om wel of niet met één of beide leerlingen door te gegaan met de volgende (moeilijker) taak. Voor de afname van de gesprekstaken werd daarnaast een extra onderdeel geïntroduceerd, namelijk het zogenaamde ”activity-boekje” met schrijf- en puzzel-opdrachten. Deze kon worden ingezet om de leerling die niet deelnam aan de anker- of gesprekstaak actief aan het werk te zetten. Dit activity-boekje is geen onderdeel van de te meten vaardigheden Engels. Bij de luistertoets bleek bovendien dat het zinvol zou zijn wanneer leerlingen met een oefenvraag konden beginnen, zodat zij aan het testformat en de procedure konden wennen: de introductie van de luistertoets werd aangepast en de oefenvraag werd in het hoofdonderzoek vanzelfsprekend niet gescoord. Meer informatie over de aanpassingen van de instrumenten naar aanleiding van de pilots staat beschreven in de paragrafen 5.1.1 en 5.2.1. Deze aanpassingen zijn eind november ook verwerkt in een nieuwe versie van het handboek en het supplement voor hoofdtestleiders en toegepast in de trainingen voorafgaande aan de dress rehearsals.

4.3.2 November en december 2017

In november en december 2017 werd een generale repetitie uitgevoerd op drie scholen. Doelstelling van deze afnames was derhalve om de gewijzigde opzet van de afname in de praktijk te oefenen en om te controleren of de instrumenten en protocollen naar behoren waren aangepast en aangescherpt. Dat betekent dat op drie scholen de definitieve vragenlijst, en drie definitieve versies van de leesvaardigheidstoets, woordenschattoets en luistertoets zijn afgenomen alsof het een reguliere afname betrof. In de dress rehearsal zijn verder de klassikale instructies (powerpoints) gebruikt die in de daadwerkelijke afnamecyclus ook zijn ingezet en is gebruik gemaakt van een

gestandaardiseerde afnamevolgorde. Deze volgorde schreef voor dat op alle scholen in het hoofdonderzoek zou worden gestart met de vragenlijst waarna volgde: een korte pauze; 30 minuten leestoets; een langere pauze; 30 minuten luistertoets; een korte pauze; 30 minuten woordenschattoets; en een afsluiting.

Naar aanleiding van de dress rehearsals kon worden vastgesteld dat zowel de instrumenten als de protocollen en doorlooptijd van de klassikale taken niet meer hoefden te worden aangepast.

De generale repetitie verliep, in de klas, zoals beoogd. Ook de meer gestandaardiseerde afname van de (herziene) gesprekstaken verliep naar verwachting. De ervaringen van deze afnames leverde nog wel wat extra tips en trucs op. Die zijn met alle hoofdtestleiders uitgewisseld.

De protocollen, het handboek en het supplement voor hoofdtestleiders (versie eind november 2017) zijn in ongewijzigde vorm ingezet in het hoofdonderzoek. Testleiders die wel in de pilots, maar niet in de dress rehearsals betrokken waren hebben deze documenten begin december ontvangen en waar nodig zijn de veranderingen in de instrumenten en afnameprotocollen persoonlijk aan hen toegelicht.