In dit hoofdstuk beschrijf en analyseer ik de uitkomsten van de effectmetingen die ik heb
uitgevoerd. In de eerste paragraaf ga ik in op de resultaten uit de effectmeting van de afhankelijke variabele leerresultaat bij toepassingsvragen. In de tweede paragraaf ga ik in op de resultaten uit de effectmeting van de afhankelijke variabele actief leergedrag.
10.1 Beschrijving en analyse van resultaten effectmeting
leerresultaat
10.1.1 Beschrijving resultaten van effectmeting leerresultaat
De effectmeting leerresultaat heeft een quasi-experimenteel design met een voor- en een nameting op de afhankelijke variabele resultaten op toepassingsvragen van een toets. De eerste meting betreft vijf toepassingsvragen van de toets van 31 oktober. De zesde toepassingsvraag (opgave 1.7) heb ik laten vervallen, omdat hier te veel interpretatie bij kwam kijken hoe doorwerkfouten te beoordelen. De tweede meting betreft de twee toepassingsvragen van de nameting die gingen over het onderwerp van de interventielessen. De resultaatscores zijn voor alle toepassingsvragen per leerling uitgedrukt in een cijfer dat staat voor de verhouding van de totaal behaalde punten ten opzichte van het totaal te behalen punten. De resultaten en een inhoudsanalyse van de resultaten van de leerlingen van zowel de interventie als ook de controle klas op de toepassingsvragen van beide toetsen zijn weergegeven in de bijlagen 11 t/m 13. Hierbij zijn alleen de leerlingen weergegeven die bij beide toetsen aanwezig waren. Leerlingen die minimaal 1 toets hebben gemist zijn niet meegenomen in de resultaten.
In onderstaande tabel staan de resultaten van de gemiddelde scores per klas en meting vermeld met daarachter tussen haakjes de standaarddeviatie.
Klas Gemiddelde score toepassingsvragen voormeting Gemiddelde score toepassingsvragen nameting Stijging gemiddelde score nameting t.o.v.
voormeting in % Interventieklas 0,421 (0,200) 0,50 (0,27) 18,7%
Controleklas 0,295 (0,189) 0,49 (0,30) 66% Tabel 10.1 Gemiddelde score op toepassingsvragen per meting en per klas
Met behulp van een tweezijdige T toets voor onafhankelijke groepen en ongelijke varianties is de p-waarde berekend om te zien of de twee klassen bij de voormeting een significant verschil in gemiddeld niveau op antwoorden bij toepassingsvragen laten zien. Het significantieniveau wat ik hierbij gehanteerd heb is 10%, omdat de steekproef van in totaal 14 leerlingen uit de
interventieklas en 11 leerlingen uit de controleklas niet erg groot is. Dit wil zeggen dat het gevonden verschil op toeval is gebaseerd kleiner moet zijn dan 10%. In deze berekening kwam een p-waarde van 0,120845846. Deze waarde is dus groter dan 0,1 en er is dus geen significant verschil in gemiddeld niveau op antwoorden bij toepassingsvragen gevonden tussen de
interventieklas en de controleklas bij de voormeting.
antwoorden bij toepassingsvragen laten zien. Het significantieniveau is weer 10%. In deze
berekening kwam een p-waarde van 0,222972733. Deze waarde ligt dus boven de 0,1 en er is dus geen significant verschil in gemiddeld niveau op antwoorden bij toepassingsvragen gevonden tussen de voor- en nameting bij de interventieklas.
Met behulp van een eenzijdige T toets voor afhankelijke groepen is de p-waarde berekend om te zien of de voor- en nameting bij de controleklas een significant verschil in gemiddeld niveau op antwoorden bij toepassingsvragen laten zien. Het significantieniveau is weer 10%. In deze
berekening kwam een p-waarde van 0,127043049. Deze waarde ligt dus boven de 0,1 en er is dus geen significant verschil in gemiddeld niveau op antwoorden bij toepassingsvragen gevonden tussen de voor- en nameting bij de controleklas.
10.1.2 Analyse resultaten van effectmeting leerresultaat
Mijn onderzoekshypothese zou voor het effect op leerresultaat bevestigd worden wanneer de interventieklas ten opzichte van de controleklas na de interventielessen een grotere stijging in scores laat zien op toepassingsvragen bij de nameting in vergelijking met toepassingsvragen van de voormeting. In de tabel 10.1 is al te zien dat de gemiddelde score van de interventieklas relatief juist een kleinere procentuele stijging laat zien vergeleken met de procentuele stijging van de controleklas (18,7% versus 66%). De conclusie is dus dat de onderzoekshypothese voor wat betreft het effect op leerresultaat niet bevestigd kan worden. De interventieklas laat ten opzichte van de controleklas na de interventielessen geen grotere stijging in leerresultaat zien.
Uit de T-toets wordt bevestigd dat geen van de gevonden verschillen tussen enerzijds
interventieklas en controleklas en anderzijds voormeting en nameting significant zijn. Dit wordt bevestigd met een drietal T-toetsen. Allereerst zijn er geen significante verschillen tussen beide klassen bij de voormeting. Daarnaast blijkt ook dat er geen significante verbetering is voor de interventieklas bij de resultaten van de nameting ten opzichte van de voormeting. En tenslotte is gemeten dat er geen significant verschil is voor de controle klas bij de resultaten van de nameting ten opzichte van de voormeting.
Op basis van een door mijn gemaakte inhoudsanalyse van de antwoorden heb ik in bijlage 13 per vraag en per meting de percentages van de gemaakte fouten berekend. Het percentage staat voor de verhouding van leerlingen die deze fout maakte ten opzichte van alle leerlingen. Uit deze analyse blijkt dat bij de toepassingsvragen in de voormeting er bij de controleklas in vergelijking met de interventieklas door meer leerlingen fouten worden gemaakt, door meer leerlingen onnauwkeurig gewerkt wordt en er bij meer leerlingen een slechter begrip van de lesstof is. Uit de inhoudsanalyse van de toepassingsvragen bij de nameting blijken geen of nauwelijks verschillen in het aantal leerlingen dat fouten maakt, onnauwkeurig werkt of slecht begrip heeft van de lesstof. Ook deze constatering is in strijd met de verwachting die we hadden, namelijk dat de leerlingen van de interventieklas door de interventielessen de stof beter zouden begrijpen en minder fouten zouden maken bij toets toepassingsvragen in vergelijking met de controleklas, rekening houdend met de gemeten verschillen van bij de voormeting. Het tegenovergestelde is echter gebeurd. Niet de leerlingen van de interventieklas, maar de leerlingen van de controleklas hebben gemiddeld genomen minder fouten gemaakt bij toets toepassingsvragen en dus de lesstof beter begrepen. Mogelijke oorzaken hiervoor zijn beschreven in paragraaf 8.3 over de afwijkingen die bij de uitvoering zijn opgetreden ten opzichte van de planning.
10.2 Beschrijving en analyse van resultaten effectmeting time-on-
task
10.2.1 Beschrijving resultaten effectmeting time-on-task
Bij de tweede vraag wordt gekeken naar leergedrag. Het betreft hier een pre-test post-test design met een voor- en nameting op de variabele actief leergedrag. Hieronder worden beide time-on- task observatieresultaten met een tabel en een grafiek met elkaar vergeleken. Bij deze weergave is de vergelijking gebaseerd op de gemiddelde time-on task verhouding van 6 leerlingen gedurende elke ronde van 1 minuut. Hierbij geldt dat 0 betekent dat alle 6 leerlingen gedurende deze ronde van 2 keer een halve minuut off-task en 1 betekent dat alle 6 leerlingen gedurende deze ronde van 2 keer een halve minuut on-task waren.
Gemiddelde van Verhouding On-Task versus
Off-Task Kolomlabels
Rijlabels INT NON-INT Eindtotaal
Ronde 1 0,75 1,00 0,88 Ronde 2 0,83 0,33 0,58 Ronde 3 1,00 0,92 0,96 Ronde 4 1,00 0,67 0,83 Ronde 5 0,67 0,42 0,54 Ronde 6 1,00 1,00 Ronde 7 0,25 0,25 Eindtotaal 0,79 0,67 0,74
Tabel 10.2 Gemiddelde van verhouding on-task versus off-task Interventieklas en non-Interventieklas
Ronde 1 Ronde 2 Ronde 3 Ronde 4 Ronde 5 Ronde 6 Ronde 7 0.00 0.10 0.20 0.30 0.40 0.50 0.60 0.70 0.80 0.90 1.00 INT NON- INT
In onderstaande tabel staat ook weergegeven hoe de lesfases en werkvormen verdeeld waren over de rondes bij de non-interventieles en de interventieles.
Type les Ronde Lesfase Werkvom
NON-INT Ronde 1 Instructie Klassikaal
NON-INT Ronde 2 Werken Individueel en tweetallen
NON-INT Ronde 3 Voordoen Klassikaal
NON-INT Ronde 4 Werken Individueel en tweetallen
NON-INT Ronde 5 Voordoen Klassikaal
INT Ronde 1 Instructie Klassikaal
INT Ronde 2 Instructie Klassikaal
INT Ronde 3 Werken Tweetallen
INT Ronde 4 Werken Tweetallen
INT Ronde 5 Voordoen Klassikaal
INT Ronde 6 Werken Tweetallen
INT Ronde 7 Nabespreken Klassikaal
Tabel 10.3 Verdeling lesfases en werkvormen over rondes non-interventieles en interventieles
Klas Gemiddelde time- on-task verhouding interventieles Gemiddelde time- on-task verhouding non-interventieles Stijging verhouding gemiddelde time-on-task
interventieles t.o.v. non- interventieles Interventieklas 0,79 (0,271) 0,667 (0,295) 17,9%
Tabel 10.4 Gemiddeld time-on-task niveau per klas
Met behulp van een eenzijdige T toets voor afhankelijke groepen is de p-waarde berekend om te zien of de interventieles ten opzichte van de non-interventieles bij de interventieklas een
significant hoger gemiddeld time-on-task niveau laat zien. Het significantieniveau is weer 10%, gezien de kleine steekproef van 5 vergelijkbare rondes voor beide lessen. In deze berekening kwam een p-waarde van 0,111883453. De kans is dus groter dan 0,1 en er is dus geen significant verschil in gemiddeld time-on-task niveau tussen de interventieles en de non-interventieles.
10.2.2 Analyse resultaten van effectmeting time-on-task
Mijn onderzoekshypothese zou voor het effect op actief leergedrag bevestigd worden wanneer de interventieklas ten opzichte van de controleklas tijdens de lessen gemiddeld meer time-on-task gedrag vertoont. Uit de resultaten blijkt dit ook het geval te zijn. Alleen bij ronde 1 van de
instructie vertonen de leerlingen tijdens de interventieles gemiddeld minder time-on-task dan bij de non-interventieles. Daarna blijft het gemiddelde time-on-task gedrag van de interventieklas hoger dan bij de controleklas. Wanneer er in ronde 3, 4 en 6 in tweetallen gewerkt dient te worden valt zelfs op dat alle geobserveerde leerlingen gedurende de volle minuut on-task zijn, want de maximale gemiddelde score van 1 wordt dan bereikt. Wat tevens opvalt is dat de
rommelige en gehaaste afsluiting in de eerste les van de interventieles samengaat met een lagere time-on-task. De leerlingen waren duidelijk minder aan het luisteren naar de klassikale afsluiting. Dit zou ook mogelijk veroorzaakt kunnen zijn doordat de leerlingen nog gefocust waren op de opdracht.
De conclusie is dus dat de onderzoekshypothese voor wat betreft het effect op actief leergedrag bevestigd kan worden. Tijdens de interventieles zijn de leerlingen van de interventieles gemiddeld 17,9% meer time-on-task en vertonen daarmee actiever leergedrag. Het verschil in gemiddeld time-on-task niveau tussen de interventieles en de non-interventieles is echter niet significant. Door het ontbreken van een controleklas kan niet hard geconcludeerd worden dat de verbetering in time-on-task bij een interventieles ten opzichte van een non-interventieles alleen door de interventielessen komt. Mogelijk spelen er ook andere oorzaken, bijvoorbeeld dat door het verstrijken van de tijd een klas steeds actiever leergedrag vertoont of dat hoe dichter de les tegen het tijdstip van toetsing plaats vindt, hoe actiever het leergedrag van leerlingen tijdens een les wordt.