Evaluatie van het programma door leerlingen

Gebruikerservaringen van leerlingen zijn een belangrijke informatiebron bij het evalueren en verbeteren van een DLO (Palmer & Holt, 2009). Om de ervaringen van leerlingen met Gazelle te inventariseren, werd na Blok 1.1 en Blok 1.2 aan de leerlingen gevraagd een evaluatievragenlijst in te vullen (zie voor meer informatie hoofdstuk 4 en Bijlage E). Op deze manier werd inzicht verkregen in: (a) wat leerlingen vonden van (het gebruik van) Gazelle en (b) of er verschil is in de gebruikerservaring tussen leerlingen die wel en geen toegang hadden tot hints en (c) wat volgens de leerlingen sterke/minder sterke punten van (de implementatie van) Gazelle waren. Voor de analyses van de evaluatievragenlijst zijn de data van de twee experimentele groepen samengenomen en beschouwd als één experimentele groep.

5.11.1 Algemene gebruikerservaringen

Over het geheel genomen waren de algemene gebruikerservaringen van leerlingen met Gazelle na Blok 1.1 positief. De experimentele conditie waardeerde Gazelle gemiddeld met een hoger cijfer dan de controlegroep (zie Grafiek 5.50); dit verschil was marginaal significant (p = .058). Verder beleefden leerlingen in de experimentele condities gemiddeld significant meer plezier aan Gazelle dan leerlingen uit de controlegroep (p < .001). In Blok 1.2 was dit verschil nog duidelijker aanwezig wat betreft plezier (p < .001) en gemiddeld cijfer (p = .013). In beide condities daalden de gemiddelde scores wat betreft plezier en het cijfer voor programma ten opzichte van Blok 1.1.

Grafiek 5.50. Gemiddelde scores algemene gebruikerservaring Gazelle, per conditie

5.11.2 Vormgeving

De vormgeving van Gazelle werd na Blok 1.1 over het algemeen positief geëvalueerd. Grafiek 5.51 geeft de gemiddelde cijfers weer die leerlingen toekenden aan het uiterlijk, de duidelijkheid en de feedback binnen Gazelle. Al deze aspecten van Gazelle werden gemiddeld gematigd positief becijferd. De experimentele conditie (M = 6.74) was significant positiever (p = .009) dan de controlegroep (M = 5.85) over het feedbackaspect (zie Grafiek 5.51). Voor het design was er een marginaal significant verschil in scores tussen de condities (p = .067), waarbij de experimentele groep het design gemiddeld hoger beoordeelde dan de controlegroep. In Blok 1.2 komen dezelfde resultaten naar voren: er is een marginaal verschil in gemiddelde scores voor het design (p = .066). In beide condities daalden de gemiddelde scores over de vormgeving licht ten opzichte van Blok 1.1.

4 5 6 7 8

Plezier (Blok 1.1) Cijfer programma (Blok 1.1) Plezier (Blok 1.2) Cijfer programma (Blok 1.2)

Algemene gebruikerservaring Gazelle

Grafiek 5.51. Gemiddelde scores vormgeving Gazelle, per conditie

5.11.3 Inhoud

Over het geheel genomen werd ook de inhoud van het programma positief geëvalueerd (zie Grafiek 5.52). Leerlingen uit de experimentele groep waren significant positiever over wat er in één les gedaan moest worden (p = .025) dan leerlingen uit de controlegroep. Over de meerkeuzevragen waren de leerlingen het meest positief (M = 7.48); de toegekende cijfers waren vergelijkbaar tussen de condities. Het aspect ‘samenvatting maken’ werd relatief lager beoordeeld door alle leerlingen. Leerlingen in de controlegroep (M = 4.91) waren significant negatiever (p = .019) over het maken van samenvattingen dan de leerlingen in de experimentele conditie (M = 5.86). Over de onderwerpen van de teksten waren de leerlingen redelijk positief gestemd. In Blok 1.2 waren de leerlingen in de controlegroep eveneens significant negatiever over de samenvattingen (p = .037) en de les in totaal (p = .002).

Grafiek 5.52. Gemiddelde scores inhoud Gazelle, per conditie 4

5 6 7

Design (Blok 1.1) Feedback (Blok 1.1) Design (Blok 1.2) Feedback (Blok 1.2)

Vormgeving Gazelle Experimenteel Controle 4 5 6 7 8

Inhoud (Blok 1.1) Samenvatting (Blok 1.1) Inhoud (Blok 1.2) Samenvatting (Blok 1.2)

Inhoud Gazelle

5.11.4 Hintgebruik

Veel leerlingen met toegang tot hints (experimentele conditie) hebben hier tijdens Experimentele Fase 1 geen/weinig gebruik van gemaakt. Leerlingen gaven hiervoor verschillende redenen. Het merendeel gaf aan geen hints nodig te hebben omdat ze het al snapten. Anderen hadden de hints niet gezien, vonden hints niet nuttig of zagen het gebruik ervan als afkijken of valsspelen (“ik vind dat ik het zelf

moet doen”, “… bij een toets krijg je dat ook niet”).

De voornaamste redenen voor leerlingen om hints te gebruiken, waren dat deze helpen wanneer je vastloopt, dat hints helpen bij beter begrip (“als ik bijvoorbeeld niet wist hoe je op een vraag antwoord

moest geven”) en dat hints handig/nuttig zijn (“het was bij mij niet heel erg nodig, maar toen ik ze gebruikte waren ze er handig”).

5.11.5 Bevindingen kwalitatieve analyses

Uit de kwalitatieve analyses naar aanleiding van de vraag over sterke/zwakke punten van Gazelle kwamen verschillende zaken naar voren met betrekking tot de vormgeving van het programma. Leerlingen waren vooral te spreken over aspecten gerelateerd aan de digitale aard van het programma, zoals het niet hoeven schrijven (“dan hoef ik zelf niets op papier te schrijven”), het niet hoeven meenemen van (zware) boeken (“het is handig en je hoeft geen boeken te gebruiken”), en de onmiddellijke feedback/de zelfstandige werkhouding (“…er wordt meteen verteld of het goed of fout

is, is het fout dan mag je nog een keer” of “…het zelf te leren zonder uitleg, dat je meteen kan zien of je het antwoord goed had of verkeerd”).

Wat betreft de inhoud van Gazelle (de teksten en opdrachten) waren de leerlingen zowel positief als negatief. Een impressie van reacties van enkele leerlingen: “minder lange teksten”, “leuke plaatjes en

geen samenvatting”, “dat er meerkeuze antwoorden waren”, “ik vond de samenvatting steeds weer maken een beetje saai worden, maar het is weer een keer wat anders dan normale lessen uit het boek”,

“minder samenvattingen”, “omdat ik dan leer een samenvatting te maken”, “ze hebben leuke

opdrachten en interessante onderwerpen”, “je kan op je eigen snelheid werken”, “je wordt beter in begrijpend lezen”, “ik vind het een leuk en leerzaam programma”.

De meest genoemde verbeterpunten waren (a) het repetitieve karakter van de opdrachten en de woordlimiet bij de samenvattingsopdracht, want “100 woorden voor zo’n grote tekst met belangrijke

dingen is veel te weinig”; (b) de lengte van de teksten; en (c) de praktische implementatie van het

programma in de les (met name problemen met de internetverbinding op een aantal scholen). 5.11.6 Conclusies gebruikerservaringen leerlingen

Over het geheel genomen kunnen we stellen dat de gemiddelde gebruikerservaring van de leerlingen met Gazelle positief was. Uit de evaluatie bleek dat leerlingen in de experimentele conditie Gazelle op

verschillende onderdelen positiever evalueerden dan leerlingen zonder toegang tot hints in de controlegroep.

5.11.7 Aanpassingen in Gazelle naar aanleiding van evaluatie door leerlingen

De evaluatie van Gazelle door leerlingen in Experimentele Fase 1 heeft nuttige inzichten geboden. Op basis hiervan zijn enkele wijzigingen in (de procedure van het gebruik) Gazelle aangebracht. De woordlimiet voor het schrijven van een samenvatting is verhoogd naar maximaal 150 woorden en leerlingen hoefden niet meer elke week vanaf Blok 1.2 een samenvatting te maken. Het schrijven van een samenvatting werd afgewisseld met het benoemen van de vijf belangrijkste woorden/begrippen uit de tekst. Wat betreft de vormgeving van Gazelle is de grootte van de lampjes die toegang geven tot de hints aangepast, omdat een aantal van de leerlingen in de experimentele conditie had aangegeven de lampjes niet te hebben gezien. Verder is met scholen waarbij leerlingen niet via eigen laptops met Gazelle werkten, afgesproken om de lessen in Gazelle - zo goed als mogelijk - in computerlokalen te laten plaatsvinden.