Dataverzameling Experimentele Fase 2

In Experimentele Fase 2 werden in het wetenschappelijk onderzoek onder leerlingen dezelfde meetinstrumenten gebruikt, met hier en daar kleine aanpassingen, als in Experimentele Fase 1. Tijdens Experimentele Fase 2 stond het gebruik van (output uit) Gazelle door docenten en de effecten op hun instructie in strategiegebruik in begrijpend lezen centraal. Op verschillende meetmomenten is tijdens Experimentele Fase 2 het docentgedrag, de instructie van docenten en de gebruikerservaringen met en de effecten van Gazelle in kaart gebracht. Hiervoor zijn diverse methoden gebruikt zoals lesobservaties, interviews met docenten, vragenlijsten en reflectiegesprekken. Een overzicht van het tijdpad van de meetmomenten en het gebruikte meetinstrumentarium in het wetenschappelijk onderzoek bij docenten en leerlingen in Experimentele Fase 2 is opgenomen in Figuur 4.3.

Hoofdgedachtetest Voegwoordentest Synoniementest Tegenstellingentest MSLQ vragenlijst MARSI vragenlijst IM vragenlijst Docent- en vakwaardering Demografische gegevens Leesplezier Leesgedrag Thuistaal Meting beginniveau begrijpend lezen, zelfregulerend leren en motivatie (T1) Interventie Gazelle

Blok 2.1 leren en motivatie (T2), Meting zelfregulerend

evaluatie programma Oktober 2017 November-december 2017 December 2017 Meting zelfregulerend leren en motivatie (T3) Februari-maart 2018 Interventie Gazelle Blok 2.2 Maart-april 2018 Meting zelfregulerend leren en motivatie (T4), evaluatie programma April-mei 2018 1 informatieve tekst Verkorte MSLQ Docent- en vakwaardering Langetermijnmeting leesbegrip, motivatie en zelfregulerend leren Juni 2018 Lesobservaties 6 informatieve teksten Tekst 1: pretest Tekst 6: posttest Interviews docenten Vragenlijst docenten MSLQ vragenlijst MARSI vragenlijst IM vragenlijst Evaluatieve vragen Lesobservaties 6 informatieve teksten Tekst 1: pretest Tekst 6: posttest Reflectiegesprekken Vragenlijst docenten MSLQ vragenlijst MARSI vragenlijst IM vragenlijst Evaluatieve vragen Training docenten MSLQ vragenlijst MARSI vragenlijst IM vragenlijst

Figuur 4.3. Tijdpad en metingen Experimentele Fase 2 (schooljaar 2017-2018).

Net als in Experimentele Fase 1 waren alle metingen in Experimentele Fase 2 (d.w.z. de gebruikte meetinstrumenten bij de leerlingen en de docenten) hetzelfde voor de experimentele conditie en de controleconditie. Tabel 4.7 geeft een overzicht van de indicatoren die bij docenten in Experimentele Fase 2 zijn onderzocht en welke meetinstrumenten, variabelen en subschalen hiervoor zijn gebruikt.

Aansluitend wordt in de volgende paragrafen een verdere toelichting gegeven op het meetinstrumentarium van Experimentele Fase 2.

Tabel 4.7. Overzicht indicatoren, meetinstrumenten, variabelen/subschalen in het wetenschappelijk

onderzoek bij docenten en leerlingen in Experimentele Fase 2.

Participant Indicator Instrument Variabelen/Subschalen

Docent Attitudes docent Interviews,

Vragenlijst

 Belang van instructie in begrijpend lezen

 Self-efficacy t.o.v. instructie in begrijpend lezen  Kennis over strategie-

instructie

 Houding t.o.v. zelfregulerend leren

 Houding t.o.v. ICT-gebruik Instructie

strategiegebruik begrijpend lezen

Lesobservaties  Behandelde strategieën  Vorm instructie  Type instructie  Implementatie Gazelle in de les Gebruik Gazelle in de les

Lesobservaties Gebruik output Gazelle Logfile data Gazelle Gegevens over inloggen

Interviews  Werken met Gazelle en

gebruik output  Rol begrijpend lezen Reflectiegesprekken Evaluatie Gazelle en het NRO-

PPO-project

Leerling Gebruik Gazelle in

de les

Vragenlijst docentgedrag in de les

Gebruik Gazelle in de klas Tekstbegrip,

zelfregulerend leren, motivatie

Overige vragenlijsten zoals gebruikt in Experimentele Fase 1

4.5.1 Lesobservaties docenten

Tijdens Experimentele Fase 2 is in zowel Blok 2.1 als Blok 2.2 geprobeerd om drie tot vier lessen in iedere klas te observeren. Hierbij werden zowel reguliere lessen als lessen waarin het werken met Gazelle centraal stond bijgewoond. Alle lessen duurden 50 minuten. Aan de hand van deze observaties was het mogelijk om vast te stellen welke strategie-instructie met betrekking tot begrijpend lezen werd geboden door docenten en hoe de implementatie van Gazelle in de lessen is verlopen. Hierbij is gebruik gemaakt van een observatie-instrument dat specifiek is ontwikkeld voor dit wetenschappelijk onderzoek (zie Bijlage G voor het gehele instrument).

Het observatie-instrument richtte zich op twee componenten: docentgedrag met betrekking tot

instructie en het gebruik van Gazelle door de docent. In Deel A stond de strategie-instructie door de

docent centraal: welke vormen van strategie-instructie met betrekking tot begrijpend lezen komen voor in de les? De lessituaties werden beoordeeld op de volgende aspecten: oriënteren, motiveren, plannen, verwachten, diagnosticeren, bijsturen, structureren, evalueren en reflecteren. Daarnaast was het ook van belang hoe de docent bepaalde instructie aanbood, dat wil zeggen: op welke manier komt de instructie voor? Observatoren konden bij 25 vormen van instructie aangeven of het voorkwam in de les, en zo ja, wat de vorm was waarin het voorkwam. Er zijn vijf vormen van instructie mogelijk: uitleg (U) door de docent, zowel impliciet als expliciet; een vraag (V) door de docent, zowel impliciet als expliciet; en modelling (M) door de docent, waarbij een docent nadrukkelijk instructie biedt door gebruik te maken van een persoonlijke invalshoek (‘ik denk…’, ‘ik ga…’, ‘ik verwacht…’ etc.). Figuur 4.4 geeft een voorbeeld van de keuzemogelijkheden binnen het observatie-instrument weer.

Figuur 4.4. Items en keuzemogelijkheden in Deel A van het ontwikkelde observatie-instrument.

met betrekking tot hun leerlingen hadden geraadpleegd in Gazelle en met welke informatie dan iets werd gedaan in de les (bijvoorbeeld de prestaties van leerlingen, de zelfinschatting, het hintgebruik of de tijdsbesteding).

Voorafgaand aan de start van Experimentele Fase 2 werden vier onderzoeksassistenten getraind in het gebruik van het observatie-instrument. Hierbij werden fictieve uitspraken door docenten7 _{door de}

assistenten gescoord als impliciete of expliciete uitleg, impliciete of expliciete vraag, of modelling. Het was tijdens de training niet mogelijk om meerdere opties te kiezen. De overeenkomst tussen de onderzoekers en de assistenten was een Krippendorff’s alpha van .66 bij vijf keuzemogelijkheden; op het niveau van onderscheid tussen uitleg, vraag en modelling (drie keuzemogelijkheden) was de Krippendorff’s alpha .92. Aangezien een waarde van .66 vaak als ondergrens van betrouwbaarheid wordt aangeduid - des te hoger de alpha, des te betrouwbaarder de observaties - dienen de gedetailleerde resultaten met betrekking tot impliciete/expliciete instructie met enige voorzichtigheid geïnterpreteerd te worden (Hayes & Krippendorff, 2007; Strijbos & Stahl, 2007).

4.5.2 Interviews

Aan het eind van Blok 2.1 zijn de docenten geïnterviewd. Van de gesprekken zijn audio-opnames gemaakt met toestemming van de betreffende docenten. In de interviews stonden de volgende onderwerpen centraal: het werken met Gazelle in het algemeen (bevindingen met betrekking tot de docentenhandleiding, de teksten en opdrachten in Gazelle, het outputsysteem met de rapportages met uitkomsten van leerlingen, eventuele ervaren uitdagingen of belemmeringen tijdens het gebruik van Gazelle), het werken met Gazelle tijdens de lessen van de docenten (o.a. inventarisatie hoe Gazelle is geïmplementeerd in de reguliere lespraktijk en welke specifieke elementen van Gazelle bij de voorbereiding van en tijdens de les(sen) zijn gebruikt en welke mogelijke verbeterpunten docenten zagen voor het werken met Gazelle), de indruk van de docenten met betrekking tot de leerlingen in hun

klassen (o.a. motivatie van leerlingen tijdens het werken in Gazelle, niveau van begrijpend lezen van

de leerlingen) en het belang van begrijpend lezen voor het zaakvak dat de docent geeft (o.a. de instructie over begrijpend lezen die wordt gegeven in de les, de rol van de docent in het aanleren van strategieën en het motiveren van leerlingen om te gaan lezen voor het vak). Bijlage H bevat de complete interviewrichtlijn die door de onderzoekers is opgesteld. De volledige interviews met de docenten zijn met behulp van student-assistenten aan de hand van de audio-opnames schriftelijk uitgewerkt.

7 _{Bij gebrek aan relevant en realistisch videomateriaal hebben de onderzoekers voor deze training fictieve lessen}

uitgewerkt met daarin uitspraken of gedragingen die in lesbezoeken in Experimentele Fase 1 zijn waargenomen. Zodoende werden de onderzoeksassistenten zo goed mogelijk voorbereid op de echte praktijkobservaties.

4.5.3 Vragenlijst docenten

Naast de interviews met de docenten aan het eind van Blok 2.1 werden de docenten ook bevraagd via een online vragenlijst. Deze vragenlijst is door de onderzoekers samengesteld op basis van een aantal schalen uit bestaande vragenlijsten (Dignath & van der Werf, 2012; Meijer, Verloop, & Beijaard, 2001; Steinbach & Stoeger, 2016; Tschannen-Moran & Johnson, 2011). Door middel van de vragenlijst (zie Bijlage I) werden gegevens verzameld met betrekking tot achtergrondkenmerken van de docenten, de zelfstandigheid van leerlingen, het belang van begrijpend lezen, ervaren knelpunten bij begrijpend lezen, de self-efficacy van docenten en het docentgedrag (kennis en houding van docenten ten opzichte van zelfregulerend leren en begrijpend lezen). In totaal bevatte de vragenlijst 35 stellingen. Op de items konden de docenten antwoord geven via een 5-punts Likert-schaal die liep van ‘helemaal niet mee eens’ (1) tot ‘helemaal mee eens’ (5). De betrouwbaarheid van de schaalscores van de schalen in de vragenlijst liep uiteen van een Cronbach’s alpha van .44 tot .98 (zie Bijlage I).

In Blok 2.2 is via Qualtrics deze online vragenlijst nogmaals aan de docenten voorgelegd. Aanvullend werd hier nog een subschaal met 11 items (Scherer, Tondeur, Siddiq, c& Baran, 2018) aan toegevoegd die betrekking had op het meten van de houding van docenten ten opzichte van ICT-gebruik (Cronbach’s alpha .89; zie Bijlage I).

4.5.4 Logfile data Gazelle

In Experimentele Fase 2 kon tijdens Blok 2.1 en Blok 2.2 door middel van de logfile data van Gazelle worden bijgehouden hoe vaak en wanneer de docenten hadden ingelogd in het programma. Hiermee werd alleen inzicht verkregen in de frequentie waarmee docenten het programma hadden geopend en verder niet wat ze vervolgens allemaal in Gazelle hadden bekeken.

4.5.5 Vragenlijst leerlingen over docentgedrag

Om naast de observaties en de bevraging van docenten ook informatie te krijgen van leerlingen over de mate waarin docenten bepaalde zaken met betrekking tot Gazelle hadden behandeld in de lessen, is door de onderzoekers een vragenlijst docentgedrag opgesteld en na afloop van Blok 2.1 en Blok 2.2 aan de leerlingen voorgelegd. De vragenlijst (zie ook Tabel 6.6 en 6.10 in hoofdstuk 6) bevatte 7 items waarop leerlingen per item via een vierpuntsschaal konden aangeven in hoeverre dit was voorgekomen in de lessen van hun docent (zie ook paragraaf 6.2.6).

4.5.6 Reflectiegesprekken

Aan het einde van Experimentele Fase 2, na afloop van Blok 2.2, zijn er op alle deelnemende scholen ten slotte reflectiegesprekken gevoerd met docenten aardrijkskunde/geschiedenis en coördinatoren. In deze gesprekken is teruggeblikt op het verloop van de interventie, het gebruik van Gazelle en (in de experimentele condities) de bruikbaarheid van het resultatenrapport, de training en het werkboek. De

bevindingen uit deze reflectiegesprekken geven aanvullende kwalitatieve informatie over hoe de deelnemende docenten het werken met Gazelle en het project in het algemeen ervaren hebben.