The tekst goes about…
Hardnekkige fouten in schrijfopdrachten in 4 havo
M. Susijn
Studentnummer: 0567388 Schoolvak: Engels
Prototype
Inhoud
Inhoud...2 Samenvatting...4 1 Het ontwerpvraagstuk...5 2 Theoretische verkenning...7 2.1 Bewustwording en inzicht...7 2.2 Zelfregulatie...8 2.3 Gamification...9 2.3.1 Definitie...92.3.2. Motivatie in relatie tot games...10
2.4 Theorie gameontwerp...10 2.5 Fouten...12 2.6 Samenvatting...13 3 Empirische verkenning...14 3.1 Database en steekproef...14 3.2 Categorieën fouten...14 3.3 Informele verkenning...14 3.4 Gegevensverzameling...14 3.4.1 Turfformulier...14 3.4.2 Resultaten...15 3.5 Samenvatting...17 4 Ontwerphypothese en ontwerpregels...18 5 Gameontwerp...20 5.1 Eisen...20 5.2 Doelgroep...20 5.3 Ontwerp...20 5.4 Beperkingen...21
6 Opzet en methoden voor valideringsonderzoek...22
6.1 Validering I...22
6.2 Validering II...22
6.3 Criteria...23
6.4 Afwijking...23
7 Resultaten eerste validering...24
7.2 Keuze...24
8 De prototypes...25
8.1 Vragen...25
8.2 Arcade Games...26
8.3 Beekeeper...29
9 Resultaten tweede validering...32
9.1 Leerlingen...32
9.2 Sectie...33
9.3 Beschouwing...33
10 Conclusie en aanbevelingen...34
10.1 Beschouwing van de bevindingen...34
10.2 Conclusie...34
10.3 Aanbevelingen...35
11 Analytische terugblik...36
11.1 Kritische kanttekeningen...36
Lijst van geraadpleegde literatuur...37
Bijlagen...39
Bijlage A Turfformulier...39
Bijlage B Resultaten gevensverzameling...40
Bijlage C Resultaten Validering I...41
Bijlage D Voorbeeldvragen...42
Bijlage E Screenshots prototypen...51
Bijlage F Gespreksleidraad Validering I en II...60
‘It’s a game, isn’t it, Mary Poppins?’
‘Well, it depends on your point of view. You see, in every job that must be done there is an element of fun. You find the fun and – snap! – the job’s a game. And every task you undertake becomes a piece of cake…’1
Samenvatting
Stel je voor: je zit in 4 havo en hebt per week 3 uur Engels. Zuchtend begeef je je naar het computerlokaal, luistert half naar die enthousiaste docente en maakt een document aan. Je hebt best de tijd om ook even een spelletje te doen, want in een uur ram je er wel een tekstje uit. Een week later zit je er weer, want die docente heeft het nagekeken en moet je helemaal zelf uitpluizen wat er nou precies fout is. En dit elk blok opnieuw; saai!
Het is niet zo verrassend dat me opviel dat bepaalde fouten steeds weer werden gemaakt. Zou het helpen als je deze hardnekkige fouten via een spelletje kreeg
voorgeschoteld? In dit ontwerponderzoek is een poging gedaan tot een prototype voor een game te komen waarmee de leerlingen bewust worden gemaakt van hardnekkige fouten en ze worden uitgedaagd deze te corrigeren, met het idee dat ze de fouten in toekomstige schrijfopdrachten niet meer maken. Na een theoretische en empirische verkenning zijn foutencategorieën geformuleerd en is de volgende ontwerphypothese opgesteld: ‘Als
leerlingen door middel van een game (x1) bewust worden gemaakt van hardnekkige fouten
(x2) en worden uitgedaagd deze te corrigeren (x3), verbetert hun vermogen om eigen fouten bij schrijfwerk te herkennen en corrigeren (y1).’ De ontwerpregels hebben betrekking op het gevarieerd aanbieden van diverse foutencategorieën door elkaar, het geven van feedback (direct, op de fout en op de categorie), en positive reinforcement. Bovendien wordt na een theoretisch kader over gamification een aantal aanvullende eisen ten aanzien van de game opgesteld, waarvan fun en ‘uitdagend, maar niet te moeilijk’ de belangrijkste zijn.
Onderzoek naar ontwerpmogelijkheden wees uit dat het binnen het tijdsbestek en budget (0 Euro) alleen mogelijk was gebruik te maken van gratis beschikbare diensten online. Dit had nadelige gevolgen voor onder meer de variatiemogelijkheden van het type vragen, het toesnijden op het individu en de feedback. Uit het scala van mogelijkheden zijn drie sites gekozen en verwerkt tot drie mini-ontwerpen die in een eerste validatie met een 4
havoleerling en een docent zijn getest. Er bleven twee mogelijkheden over, die beide zijn uitgewerkt tot een prototype. Deze zijn vervolgens in een tweede valideringsronde bij leerlingen en sectie uitgeprobeerd en besproken in focusgroepen.
De voornaamste conclusie is dat de games allebei grotendeels voldoen aan de ontwerpregels met de vooraf gestelde beperkingen. Beide games hebben hun voor- en nadelen, toch sprong eentje, Beekeeper, eruit als het leukste, nuttigste en mooiste spel. De deelnemers aan de focusgroepen hadden het idee dat dit zeker zou bijdragen aan
bewustwording van de hardnekkige fouten en vermijden daarvan in nieuwe
schrijfopdrachten. Het spel zal in aangepaste vorm volgend jaar formatief worden ingezet en geeft zeker een aanzet tot anders kijken naar grammaticale en anderszins hardnekkige fouten. Om echt het gestelde doel te bereiken is echter maatwerk nodig.
1 Uit de Disneyfilm ‘Mary Poppins’ en aangehaald in Dörnyei, Z., Motivational Strategies in the Language
1
Het ontwerpvraagstuk
Vanaf september 2018 geef ik les in de bovenbouw van het Montessorilyceum Amsterdam (MLA). Een schooljaar is op het MLA verdeeld in vier ‘blokken’: perioden van een aantal weken die worden afgerond met een leerlingverslag. Elk blok krijgen de leerlingen materiaal aangereikt dat door de sectie is samengesteld, waarin vijf vaardigheden de revue passeren: leesvaardigheid, spreekvaardigheid, luistervaardigheid, schrijfvaardigheid en Use of
English/vocabulaire. Deze laatste vaardigheid wordt in de literatuur niet als zodanig
aangeduid, maar vormt op het MLA een vast onderdeel van het curriculum. Er worden ook grammaticale onderwerpen behandeld, maar dit schooljaar in 4 havo bij wijze van
experiment niet getoetst. In principe zijn in de onderbouw reeds alle
grammaticaonderwerpen behandeld, dus in theorie zou iedere leerling dit moeten beheersen. Per blok komt een drietal onderwerpen aan bod en aan de hand van
invuloefeningen en vertaalopdrachten geoefend. Ideaal gesproken herkent een leerling de diverse onderdelen in een algemenere setting, zoals bijvoorbeeld bij een schrijfopdracht. Voor het schrijfonderwijs hanteert de sectie een zogenaamd writing lab. Dit houdt in dat de leerlingen elk blok minimaal een schrijfopdracht hebben, zoals (in)formele brieven, essays, blogs, et cetera. De schrijfopdrachten moeten soms worden in een computerlokaal
geschreven, soms thuis. Correctie bestaat uit het aangeven van de fouten en de leerling wordt geacht de fouten zelf te vinden en het werk gecorrigeerd in te leveren. Ik maak hierbij gebruik van (kleur)codes (zo staat ‘p’ in de kantlijn voor punctuation en duidt een rode arcering op een grammaticale fout.) Sectiebreed wordt in de correctie gebruikgemaakt van verwijzing naar extra uitleg en oefenmogelijkheden op de website
https://sites.google.com/site/top60grammarmistakes/.
Om een indruk te krijgen van het niveau en de eventuele lacunes in de grammaticakennis heb ik in het begin van het schooljaar bij mijn twee klassen een
grammaticatoets afgenomen die alle onderdelen van dit jaar bevatte. De toets had dezelfde vorm als de grammaticaopdrachten in het materiaal. De resultaten waren verrassend goed. Aangezien het beeld niet wezenlijk verschilde per klas, zijn de resultaten samengevoegd. Uitgedrukt in percentages zonder een vergeeflijke norm was het gemiddelde over beide klassen genomen 74% (7,4). In totaal waren er slechts vier onvoldoendes (tussen 4,8 en 5,4). Het laagste cijfer werd behaald door een leerlinge met zeer ernstige dyslexie. Een leerlinge (net overgestapt van het gymnasium) had slechts 2 fouten. De leerlingen met een ouder met een Engelstalige achtergrond maakten maar 7 fouten, met name in de o.v.t./v.v.t. (Simple
Past/Present Perfect). Over het geheel genomen waren de scores per onderwerp als volgt:
Onderwerp gemiddeld aantal
fouten
gemiddeld percentage goed*
Onregelmatige werkwoorden 2,78 72%
Vragende en ontkennende zinnen 2,25 78%
Woordvolgorde 0,69 93%
o.t.t. + duurvorm 2,58 74%
2e naamval 1,65 76%
Totaal 21,3 74%
*(totaal gemiddeld aantal goede antwoorden als % van het totaal aantal vragen over het betreffende onderwerp, dus alles goed = 100%)
Tabel 1. Resultaten nulmeting grammatica 4h4 + 4h6 september 2018
Opvallend is dat de scores voor het betrekkelijk voornaamwoord en de voorzetsels achterbleven bij het gemiddelde. In mindere mate gold dat ook voor de o.v.t./v.t.t. Woordvolgorde scoort daarentegen extreem goed.
Gewapend met deze inzichten begon ik aan het schooljaar. Grammatica en Use of English behandelde ik voorafgaand aan de schrijfopdracht. De correctie is een cumulatief proces, dat wil zeggen dat in Blok 1 wordt gecorrigeerd op de onderwerpen die in dat blok zijn behandeld, in Blok 2 de onderwerpen van het eerste en het tweede blok, enzovoorts. Bij de schrijfopdrachten in Blok 1 (informele brief en een dagboek) viel me op dat bepaalde fouten door een groot gedeelte van de klas werden gemaakt. Ik ben deze fouten gaan bijhouden. Overigens betreft het niet alleen grammaticale fouten, maar ook spelfouten (inclusief homofonen) en fouten met betrekking tot idioom (inclusief false friends). In het tweede blok zijn deze fouten met de klassen besproken in de les voorafgaand aan een schrijfopdracht die als toets gold. De leerlingen hebben de lijst na de les ook toegestuurd gekregen met het dringende advies er bij de voorbereiding op de schrijfopdracht goed naar te kijken. Ondanks deze extra aandacht werden in de toets exact dezelfde fouten gemaakt. Ik besprak mijn verbazing met collegae en zij bevestigden mijn vermoeden dat het hardnekkige fouten betrof. Hierdoor ontstond het idee een les te ontwerpen waarbij de leerlingen op een andere manier met deze hardnekkige fouten worden geconfronteerd en worden gedwongen er bewust naar te kijken. Cruciaal was daarbij mijns inziens dat de manier waarop de fouten in deze les voorbijkomen afweek van het bekende stramien. Met andere woorden, het moest niet weer een A4’tje met invuloefeningen en vertalingen, noch een plenaire presentatie zijn. De leerlingen moesten op een nieuwe manier en in hun eigen tempo bezig kunnen zijn met de stof. Aangezien veel leerlingen school maar een lastige onderbreking vinden van de tijd die ze aan hun telefoon willen besteden, werd het idee geboren de les te vervatten in een game die ze online kunnen spelen.
Ideaal gesproken worden de hardnekkige fouten met behulp van het ‘Foutenspel’ uitgeroeid. Daarvoor is nodig dat de leerling zich bewust is van de fouten, er inzicht ontstaat in het waarom van de fouten en er met de achterliggende materie geoefend wordt.
2
Theoretische verkenning
2In het navolgende zullen achtereenvolgens bewustwording en inzicht, zelfregulatie, gamification, de theorie achter gameontwerp en fouten de revue passeren. Het stuk over gamification is vooral bedoeld om een beeld te vormen van het nut van games en de ins en outs van spelontwerp.
2.1 Bewustwording en inzicht
In hun artikel ‘Bewuste Taalvaardigheid in de Klas’ hanteren Van den Broek en Dielemans (2017) Carters definitie van taalbewustzijn, namelijk ‘de ontwikkeling van een verbeterd bewustzijn van en gevoeligheid voor de vormen en functies van taal’ en voegen ze daaraan toe dat met een verhoogd taalbewustzijn, gekoppeld aan taalvaardigheden, grammatica en literatuur, een relatie kan worden gelegd met andere vakken, actualiteit en belevingswereld van de leerlingen. De denkvaardigheden die hierdoor worden ontwikkeld, zijn zowel in de schoolomgeving als daarbuiten van belang. Mijns inziens is taalbewustzijn te verhogen door het bewustzijn van eigen kunnen te vergroten. Het model van onbewust onbekwaam naar onbewust bekwaam biedt voor het doel van mijn prototype een handvat. Het model, dat stamt uit de jaren zeventig van de vorige eeuw en waarvan onduidelijk is wie de bedenker is, omschrijft de fases van een leerproces. In onderstaande afbeelding3 worden de vier fasen van het leerproces volgens dit model weergegeven. Het model is cyclisch van aard, dat wil zeggen dat er steeds weer nieuwe dingen zullen zijn waarbij een leerling in fase 1 verkeert.
Bij de bespreking van de fasen wordt de (geschreven) Engelse taal als het te leren onderwerp genomen. De eerste fase, onbewust onbekwaam, is die van het ‘(nog) niet weten’ dat je iets niet weet. In dit stuk gaat het over leerlingen die al minimaal drie jaar Engels krijgen op de middelbare school en in principe alle grammatica onderwezen hebben gekregen. Dat neemt niet weg dat er altijd dingen zullen zijn waarvan ze nog niet weten dat ze het niet weten. In fase 2 word je geconfronteerd met het ‘niet weten’ en ga je (in het schoolsysteem
gedwongen) leren. Naarmate de Engelse vaardigheden toenemen, neemt ook het bewustzijn ten aanzien van die vaardigheden toe; het gaat nog niet vanzelf, maar wel steeds
gemakkelijker. In de laatste fase, die van onbewust onbekwaam, lijken bepaalde taalvaardigheden Engels vanzelf te gaan.
Het probleem zit hem voor dit onderwerp mijns inziens in fase 2. De leerlingen denken over de hele linie bewust bekwaam te zijn, dus in fase 3 te zitten, maar door een gebrek aan metacognitieve vaardigheden wordt weinig kritisch naar de eigen output gekeken. Schunk (2004)4 definieerde metacognitie als volgt:
Strategic application of declarative, procedural and conditional knowledge to accomplish goals and solve problems.
Met de schrijfopdrachten die onze leerlingen in 4 havo moet doen, verschilt de vorm (bijvoorbeeld essay, blog, (in)formele brief), maar verandert de opdracht niet wezenlijk. De leerlingen krijgen een structuur waaraan ze zich moeten houden, alsmede instructie ten aanzien van onderwerp, register en stijl en het aantal woorden. Helaas zetten de correcties die zij zelf moeten doen op basis van markeringen van de docent niet aan tot reflectie of kritisch kijken naar het eigen werk. Een gebrek aan werkelijke interesse en motivatie liggen hier mogelijk aan ten grondslag; ‘even een klusje afronden.’ Hier wordt in een latere paragraaf nader op ingegaan. Woolfolk (2013, p. 316) schrijft
‘Of course, we don’t have to be metacognitive all the time. Some actions become routine. Metacognition is most useful when tasks are challenging, but not too difficult.’
Om metacognitieve vaardigheden aan te spreken moet de game dus ‘challenging, but not too difficult’ zijn. Leerlingen krijgen hiermee de kans om zich beter te concentreren, door te zetten en zichzelf te blijven verbeteren, en hun nieuwsgierigheid wordt geprikkeld. In feite komen alle variabelen van metacognitie (persoonlijke, taak- en strategische) in enigerlei vorm naar voren. Als een leerling weet wat voor hem of haar de valkuilen zijn bij het schrijfwerk, weet wat er qua fouten bij het schrijven komt kijken en op basis daarvan strategieën ontwikkelt om het werk aan te pakken, denkt hij of zij dus na over de eigen kennis en
reflecteert hij of zij op de manier waarop het eigen schrijfwerk wordt benaderd. Hiermee kan het eigen leerproces beter worden gereguleerd. In de volgende paragraaf wordt ingegaan op zelfregulatie.
2.2 Zelfregulatie
Voor zelfregulerend leren zijn kennis, motivatie en zelfdiscipline/(vrije) wil bepalende factoren. Kennis is in dit verband een ruim begrip en omvat onder meer kennis over jezelf, onderwerp, taak, leerstrategieën en leercontext. De motivatie hoeft niet per se intrinsieke motivatie te betreffen, maar gaat in ieder geval om een nieuwsgierigheid ten aanzien van de mogelijke opbrengst. De zelfdiscipline heeft te maken met het vermogen door te zetten. Zelfregulatie bestrijkt het hele proces van keuzen uit eigen gedragsmogelijkheden en het in samenwerking met anderen concreet maken, evalueren en eventueel aanpassen van die gekozen gedragingen om bepaalde doelen te bereiken. De in de vorige paragraaf genoemde reflectie en kennis over eigen kennis en handelen zijn hierbij instrumenteel.
Volgens Woolfolk (2013)5 blijkt uit onderzoek dat zelfregulerend leren wel degelijk is aan te leren, mits
4 Woolfolk, A., Hughes, M., & Walkup, V. (2013). Psychology in Education (2e ed.). Harlow, Groot-Brittannië: Pearson Education, p.315.
5 Woolfolk, A., Hughes, M., & Walkup, V. (2013). Psychology in Education (2e ed.). Harlow, Groot-Brittannië: Pearson Education, p.400. Het betreft hier een eigen vertaling van Woolfolks tekst.
1. docenten de leerlingen betrekken in complexe, belangrijke taken die over langere periode worden uitgesmeerd;
2. leerlingen zelf enige controle kunnen uitoefenen op hun leerproces en het werk dat ze maken (keuzes maken);
3. de leerlingen kunnen doen aan zelfmonitoring en zelfevaluatie, en een gevoel van
self-efficacy hebben;
4. met peers kunnen samenwerken en van peers feedback krijgen en geven.
Met name aan het derde punt schort het nogal eens. Hoe beter je in staat bent jezelf te beoordelen, hoe beter de zelfregulatie. Volgens Van Loon (2014) overschatten leerlingen de mate waarin ze de stof al beheersen. Door de metacognitieve vaardigheden te vergoten, kunnen de leerlingen effectiever leren. Van Loon: ‘De illusie van kennis is een groter obstakel voor zelfgestuurd leren dan het ontbreken van kennis. Voordat leerlingen informatie gaan bestuderen, is het daarom belangrijk om te bepalen of hun voorkennis over het onderwerp correct is. Zo niet, dan moet dat eerst rechtgezet worden met accurate informatie.’ Een game zou de leerlingen glashelder kunnen maken wat ze wel en niet weten en verschaft bovendien die broodnodige correcte informatie. Maar zijn ze ook gemotiveerd om dit in spelvorm te ontdekken? Voordat hierop wordt ingegaan is het zinnig eerst meer te weten over
gamification. 2.3 Gamification
Volgens cijfers van het Centraal Bureau voor Statistiek6 heeft 98,9% van de jongeren tussen de 12 en 25 jaar een mobiele telefoon of smartphone. Een door EenVandaag uitgevoerde opiniepeiling (oktober 2017), gaf aan dat zestig procent van de jongeren volgens eigen zeggen minimaal drie uur per dag op een smartphone zit, en 15% zelfs meer dan zes uur. Zeventig procent kijkt bij het wakker worden meteen op de smartphone. Artikelen over (de klachten van docenten over) de negatieve effecten van de smartphone zijn er te over. In 2017 vulden 1.318 docenten uit het voortgezet onderwijs een vragenlijst van DUO
Onderwijsonderzoek en Advies in. Volgens de docenten beïnvloedt het smartphonegebruik op negatieve wijze de tijd die aan het huiswerk wordt besteed, de fantasie, de woordenschat, het slaapritme en het vermogen tot persoonlijk contact. Hoewel ik geneigd ben dit te
onderschrijven, zou ik toch van de nood een deugd willen maken en de smartphone als instrument inzetten om tot de 4 havoleerlingen door te dringen. Gamification in het onderwijs, en dus ook Digital Game-Based Language Learning (DGBLL) spelen in op de ontwikkelingen rond het gebruik van internet en bijbehorende apparatuur.
2.3.1 Definitie
De definitie van gamification die ik hier zal hanteren is die van Andrzej Marczewski, oprichter van de blog Gamified UK7 en auteur van diverse boeken over dit onderwerp: ‘The use of game design, game elements and play for non-entertainment purposes.’ Mijns inziens voegde hij een verhelderend concept toe aan de tot nog toe geldende definitie van
Deterding (2011), nl Game Based Solutions (GBS). GBS is de overkoepelende aanduiding voor een oplossing voor een probleem waarbij gebruik wordt gemaakt van iets dat met games te maken heeft. Echte games zijn hierbij inbegrepen, terwijl dat bij de engere definitie niet het
entertainment, maar bevat een doelstelling die breder is dan ‘entertainment’, zoals bijvoorbeeld ‘het verhogen van betrokkenheid.’
Het onderwerp gamification heeft niet alleen in de zakenwereld, maar ook in het onderwijs zijn intrede gedaan vanuit de behoefte de snelle ontwikkelingen rond digitalisering te integreren en/of vanuit de overtuiging dat die ontwikkelingen leiden tot een wezenlijke andere vorm van onderwijs (iPad-scholen). Er is een scala aan fora en internettoepassingen voor het onderwijs, waarvan games slechts een onderdeel vormen. Volgens schattingen uit 2016 zal er in 2020 zo’n 320 miljard dollar omgaan in e-learning en zullen MOOCs (Massive
Open Online Courses) een marktaandeel van 69 procent hebben.8 Dat GBS en e-learning niet
meer zijn weg te denken is duidelijk, maar wat doen games en/of e-learning met de motivatie van leerlingen?
2.3.2. Motivatie in relatie tot games
Voor de intrinsieke motivatie is het van belang dat leerlingen de regie over het eigen
leerproces kunnen voeren, en de ruimte krijgen om aan drie behoeften te voldoen die door Deci en Ryan (1985) zijn geformuleerd in hun Zelfdeterminatietheorie:
1. Competentie: het vertrouwen in eigen kunnen; 2. Relatie: sociale verbondenheid;
3. Autonomie: vrijheid van en invloed op eigen handelen en naar eigen inzicht.
Marczewski heeft voor deze drie behoeften de vertaalslag naar gamification gemaakt. De competentiebehoefte wordt vervuld door het oplossen van problemen om
gedragsverandering teweeg te brengen. Het behalen van bepaalde doelen door middel van samenwerking voorziet in de relatiebehoefte, en de behoefte aan autonomie doordat
onafhankelijke keuzen kunnen worden gemaakt over de manier waarop een doel kan worden behaald. De intrinsieke motivatie wordt vergroot door plezier en het spelelement. Deze vertaling van de Zelfdeterminatietheorie naar games is echter gebaseerd op zeer
geavanceerde games waarbij de spelers kunnen communiceren en samenwerken. Dat voert te ver voor mijn prototype, maar als de leerlingen het taalfoutenspel met plezier zouden spelen, zou de intrinsieke motivatie dus al positief kunnen worden beïnvloed.
2.4 Theorie gameontwerp
Het ontwerpen van een game vergt ook enige theoretische onderbouwing. Games worden zorgvuldig opgebouwd en in dat proces wordt een aantal stappen gevolgd. Huang en Soman (2013) publiceerden een vijfstappenmodel voor de gamificatie van een concept, dat door Saclot (2017) is verduidelijkt: 8 Zarzycka-Piskorz (2016) I. Understanding the Target Audience and the Context II. Defining Learning Objectives III. Structuring the Experience IV. Identifying Resources V. Applying Gamification Elements
Afbeelding 2. Vijfstappenmodel voor de gamificatie van een concept
De eerste drie stappen zijn aangestipt in het ontwerpvraagstuk en komen met name in de empirische verkenning aan de orde. De vierde stap dient om de docent te laten beoordelen welke fasen in het leerproces kunnen worden verwerkt met behulp van gamification en op welke manier. In het onderhavige geval gaat het hierbij met name om de manier waarop en daarbij zijn de volgende vragen van belang:
1. Is er een tracking mechanisme waarmee de voortgang van de leerling kan worden gevolgd?
2. Welke waarderingsvorm gebruik je (bijvoorbeeld punten of tijd)?
3. Wanneer is een level voltooid? Dus: bij welke omvang van de waarderingseenheid heeft de leerling voldoende gescoord? (bijvoorbeeld x vragen binnen y tijd, of > z punten) 4. Zijn er duidelijke regels waaraan de speler zich moet houden? Bijvoorbeeld: moet de
leerling x punten hebben voordat een volgend level mag worden gespeeld?
5. Is er een manier om zowel leerling als docent van feedback te voorzien? Bijvoorbeeld: kan de leerling zien wat hij/zij verkeerd heeft gedaan, of kan de docent zien waar het verkeerd gaat bij de (individuele) leerling?
In het geval van het prototype zal het antwoord op deze vragen in hoge mate worden
bepaald door de formats die online beschikbaar zijn, omdat het in het kader van dit Educatief Ontwerp niet haalbaar is zelf een volledig op de eigen wensen toegespitst game te (laten) ontwerpen. Er zijn diverse formats voorhanden waarbij de content zelf kan worden bepaald, maar waarbij de verschijningsvorm van de game van tevoren vastligt.
Voor de vijfde stap, de game-like elements, maken Huang en Soman onderscheid in individuele en sociale elementen:
Individueel: punten/levels/trofeeën
Sociaal: leaderboard, interactieve samenwerking Beide: instant feedback, beloning
Deze elementen hebben tot doel de speler te stimuleren door te gaan. Dit is gebaseerd op de gedachte dat positive reinforcement (het toevoegen van een aantrekkelijke of aangename stimulus na bepaald gedrag)9 dit gedrag versterkt en de kans op herhaling ervan vergroot. Waar games vaak een commercieel belang hebben om de spelers zo vaak of zo lang mogelijk te laten spelen, is in het onderhavige geval de bedoeling door middel van beloning in de
What are the game-like elements to be applied to your lessons? What are the
resources needed to gamify your lessons? How could your lessons be broken down? How do you make your objectives achievable? What are the
objectives/ goals of the lesson(s)? What do you want your students to accomplish? Who are the
students? What’s the context (e.g. time, prerequisite)?
Alle nageslagen literatuur over gameontwerp is eensluidend ten aanzien van de elementen die in deze paragraaf aan de orde zijn gekomen. Idealiter bevat elke game een of meer van deze elementen.
2.5 Fouten
In het voorgaande is de bewustwording en correctie van fouten meerdere keren genoemd. Teneinde de empirische verkenning, en in aansluiting daarop de ontwikkeling van een prototype efficiënt te kunnen uitvoeren is het van belang te definiëren welke categorieën fouten er eigenlijk zijn. Ik volg hiervoor de definities uit het artikel van De Vries en Verspoor (2010):
Fout = dat wat een moedertaalspreker als incorrect beschouwt. Lexicale fout = fout op woord- of chunkniveau.
Spelfout = fout die ontstaat doordat het doelwoord verkeerd wordt gespeld. Mechanische fout = fout in het gebruik van hoofdletters/spaties.
Grammaticale fout = fout in het gebruik van grammatica. Woordvolgordefout = fout in de woordvolgorde binnen een zin. Interpunctiefout = fout in interpunctie.
Overige fout = fout die niet in een van de andere categorieën kan worden ondergebracht. Voornoemd artikel heeft de tweede taalontwikkeling gevolgd door verschillen tussen
brugklas (vwo) en derde klas vwo in kaart te brengen. Uitgangspunt was dat de tweede taal (Engels) een nieuwe taal is voor de leerlingen in de brugklas. Op basis van het onderzoek wordt geconcludeerd dat de productie van alle typen fouten sterk afneemt. De fouten die relatief het minst snel afnemen en vaker voorkomen zijn lexicale fouten, met name in chunks (woorden die bij elkaar horen), woorden die veel op elkaar lijken10 en homofonen. De
onderzoekers waarschuwen in de laatste zin van het artikel dat ‘hoewel de meeste fouten vanzelf zullen verdwijnen, de docent alert moet zijn dat fouten niet hardnekkig lijken te worden. Dan wordt het tijd voor expliciete aandacht.’
Een spel zou die expliciete aandacht kunnen verzorgen. In het spel wil ik heel bewust niet alleen grammaticale hardnekkige fouten aanpakken. Dit is niet alleen ingegeven door het feit dat de hardnekkigheid in alle categorieën voorkomt, maar, zoals De Vries en Verspoor ook aangeven, mede gebaseerd op de Usage Based Theory (UBT). In deze theorie wordt onder meer ingegaan op de manier waarop een taal wordt geleerd en de frequentie
waarmee de leerling wordt geconfronteerd met de te leren stof. Over de manier waarop het leren plaatsvindt, wordt gesteld dat het leren van een taal in principe net zo verloopt als het leren van andere vaardigheden, omdat het geleerde het gevolg is van het gebruik van algemene cognitieve vermogens door de leerling. Het proces is als volgt: de leerling krijgt stof aangeboden, gaat patronen herkennen en die vervolgens generaliseren naar andere situaties. Herhaling kan dus een groot effect hebben op de mate waarin een leerling een taal correct leert. Door dit proces vervagen de grenzen tussen grammatica en lexicon. Leerlingen zullen eerder chunks opslaan dan aparte elementen. Dit is een belangrijke reden voor het integreren van diverse typen fouten in het spel. Overigens is het voor het prototype mijns inziens niet van belang of fouten al dan niet transferfouten (het gebruiken van kennis van de eerste taal bij het aanleren van de tweede taal) zijn. Het gaat om de hardnekkigheid van de fout; de oorsprong of het waarom zijn daarbij ondergeschikt.
2.6 Samenvatting
De theoretische verkenning leidt tot inzicht dat een game zoals ik voor ogen heb veel elementen bevat die de gedachte staven dat een game een goede vorm kan zijn van een les waarbij de leerlingen op een andere manier met deze hardnekkige fouten worden
geconfronteerd en worden gedwongen er bewust naar te kijken. Verhoogd taalbewustzijn via versterking van metacognitieve vaardigheden zou positieve effecten kunnen sorteren voor zelfregulatie bij het Engelse schrijfwerk. Verder geeft de verkenning handvatten voor het ontwerp zelf.
3
Empirische verkenning
Alvorens tot een ontwerphypothese te komen was het van belang inzicht te hebben in de database en de score in de verschillende categorieën fouten. De empirische verkenning bestaat uit twee fasen, te weten de informele fase en de gegevensverzamelingsfase. 3.1 Database en steekproef
Zoals omschreven in de inleiding krijgen de leerlingen in 4 havo elk blok minimaal een schrijfopdracht. Een leerjaar bestaat uit vier blokken. Ten tijde van het ontwerp is Blok 3 net afgerond. Rekening houdend met het moment waarop het vermoeden van hardnekkige fouten ontstond houdt dit in dat in ieder geval kan worden beschikt over twee afgeronde blokken. Theoretisch bestaat de database derhalve uit 114 geschreven stukken, nl 57
leerlingen x 2 blokken. In praktijk zijn dat er echter veel minder, omdat een aantal leerlingen om diverse redenen minder aanwezig is, dan wel minder werk produceert. Bovendien wil ik in de dataverzameling alleen leerlingen meenemen voor wie Nederlands de eerste taal is, die niet (near) native speakers Engels zijn en/of die niet behept zijn met dyslexie. Uit de
overgebleven populatie zijn ad random 30 leerlingen getrokken. Van die 30 leerlingen had ik van 26 leerlingen twee bruikbare schrijfwerken.
3.2 Categorieën fouten
Voor het in kaart brengen van de ‘hardnekkige fouten’ van mijn 4 havoleerlingen heb ik de eerder aangehaalde foutencategorieën van De Vries en Verspoor (2010) in aangepaste vorm gebruikt. In paragraaf 3.4.2 worden de resultaten besproken en zijn de categorieën terug te vinden in tabel 2.
3.3 Informele verkenning
De informele verkenning heeft grotendeels plaatsgevonden tijdens de gedachtenvorming rond het onderwerp voor het Educatief Ontwerp. Dit houdt in dat het eerste rondje een inventarisatie bij collegae uit de sectie was om te bepalen of mijn vermoeden gegrond was dat er sprake is van hardnekkige fouten zoals geformuleerd in de probleemstelling. De bevestiging was volmondig; iedere docent dreunde meteen een lijstje op. Hierdoor gesterkt ben ik op zoek gegaan naar literatuur rond taalfouten in tweedetaalverwerving. De lijst met categorieën zoals hierboven aangeduid is vervolgens besproken tijdens de sectievergadering. De sectie kon zich vinden in de categorieën als middel voor de verzameling van harde
gegevens.
3.4 Gegevensverzameling 3.4.1 Turfformulier
Om het verzamelen van het empirisch materiaal te structureren heb ik een turfformulier ontworpen. Een deel van het formulierontwerp is opgenomen in bijlage A. De basis van het formulier wordt gevormd door de foutencategorieën en de diverse schrijfopdrachten in de tijd. Ten behoeve van de overzichtelijkheid zijn de foutencategorieën gecodeerd en in het turfformulier slechts de coderingen opgenomen. De codes corresponderen met de codes in de eerste kolom van tabel 2 in de volgende paragraaf. In het turfformulier kan de kolom met de kop ‘Leerling’ in de rapportage worden verborgen, waarmee de anonimiteit van de leerlingen wordt gewaarborgd. De fouten in de schrijfopdrachten zijn per blok per categorie geturfd. Het ingevulde formulier vormde de basis voor de keuze van de fouten die wel of niet zijn meegenomen in het uiteindelijke prototype.
3.4.2 Resultaten
In bijlage B is het geanonimiseerde, ingevulde turfformulier opgenomen. Tabel 2 op pagina 14 geeft per type fout een overzicht van het aantal keer dat een fout is gemaakt per
schrijfwerk, alsmede het totaal. Tijdens het turven viel een aantal zaken op:
Voor een aantal typen fouten zijn werk 1 en werk 2 moeilijk te vergelijken. Dit heeft vermoedelijk te maken met de opdracht. Het logisch gevolg van een informele brief of dagboek is dat veel verleden tijd en/of toekomstige tijd wordt gebruikt, terwijl bij een essay de tegenwoordige tijd meer voorkomt. In de conclusies per categorie onder tabel 2 wordt hier nader op ingegaan.
Soms is een fout onder te brengen bij meerdere typen; in het turfformulier is elke fout slechts 1x geteld. Zo kan ‘the friend from my father’ worden gezien als zowel een NL constructie (IV.a), als een apostroffout (IV.b). In dit geval is gekozen voor categorie IV.a, omdat het woord ‘from’ meer duidt op een constructiefout.
Elke fout is slechts 1x geteld, bijvoorbeeld: als in het hele stuk verzuimd is de eerste persoon met hoofdletter te schrijven (‘I’), telt de fout toch maar 1x mee.
Hoewel soms moeilijk, was een fout steeds in een categorie te plaatsen. Categorie VII.
Overige fouten is daardoor leeg gebleven en hier ook niet weergegeven.
Idiomatische fouten zijn ondergebracht bij categorie I.d. Verkeerd woord.
In categorie II.c. Homofoon zijn ook fouten ondergebracht die strikt genomen geen homofone woorden betreffen, maar bij een Nederlandse uitspraak wel als homofoon kunnen worden gezien (bijvoorbeeld were/wear, correcte uitspraak [wə] respectievelijk [weər]).
Nederlandse zinsconstructie (IV.a) en woordvolgordefouten (V) zijn niet altijd van elkaar te scheiden.
Werkwoordsfouten bevatten zowel de verkeerde tijd als de verkeerde vervoeging (bijvoorbeeld het regelmatig vervoegen van een onregelmatig werkwoord). Per categorie kunnen de volgende conclusies worden getrokken:
Categorie I, Lexicale fouten: op een na hoogste score. Het betreft veelal kennis van vocabulaire en idiomatische uitdrukkingen. Deze kennis wordt met name verworven door middel van veel confrontatie met en gebruik van de doeltaal op het gebied van alle vaardigheden. Een aantal woorden is onder te brengen bij categorie II.e.
Lastige/moeilijke woorden, zoals het verschil tussen learn en teach. Met uitzondering van
de voorzetsels, die overigens het hoogst scoren, is de lexicale kennis moeilijk te verwerken in het prototype.
Categorie II, spelfouten: betrekkelijk weinig. Dit komt waarschijnlijk door het gebruik van de spellingcontrole op de computer. Categorie II.c. Homofoon is een uitzondering. De homofone en moeilijke woorden zijn hopelijk wel te verwerken in een game, zij het niet uitputtend.
Categorie III, mechanische fouten: zo goed als geen. Het hoofdlettergebruik laat daarentegen nogal wat te wensen over. De afname in fouten is te verklaren door het verschil in opdracht. In werk 1 moest over het eigen leven worden verteld, waarbij dagen van de week, maanden, feestdagen, et cetera vaker voorkomen dan in een essay (werk
TYPE FOUT VOORBEELDEN
AANTAL FOUTEN werk 1 werk 2 totaa
l I Lexicaal Lexicaal Totaal 105 88 194
a NL woord ik; camping 1 0 1
b Half NL, half Engels biken; myn; New Year’s Evening; I had free of school; to see my friends back; where I’m nervous about; an half hour later; swim lessons; Netherlands (Dutch); I was in the onderbouw called…; e-mail; learn/teach; for the rest (other than that)
22 12 34
c Verkeerd woord a long boy; he grabbed himself together, is it okay if I sleep with you; one time (once); looking (ipv watching); and such (en dergelijke); falling in the same hole as before; shortly said; make homework; they should watch out with which people they
32 28 60
d Verkeerd voorzetsel I’ve been in Spain; I’m on school 36 34 70
e Semantisch gerelateerd woord
It’s very happy there; lovely (love); lesson (class/practice)
4 3 7
f Overig the school light (lies)…; let (ipv make let him move) 10 11 22
II Spelling Spelling Totaal 35 22 57
a Half NL, half Engels shijning; musik; 1 1 2
b Fonetisch to hef; peipel; rehearsel 7 4 11
c Homofoon to/too; see/sea; there/their; view/few; of/off (course); then/than; to/too; were/wear; now/know;
carrier/career;
14 12 26
d False friends eventually/eventueel; actual/actueel; 1 0 1
e Lastige/moeilijke woorden
awfull; always; know/now; exciting; thought/though/tough; cough/couch; something/anything; cause/because/coz; excited/exciting; until; series; sign/sing; save/safe; live/life; 23-year-old; much/many; price/prize; amount/number; chance/change, were/where/wear
7 0 7
f Overig 5 5 10
III Mechanische fouten Mechanisch Totaal 38 26 54
a Hoofdletters monday; april; i; christmas 37 13 50
b Spatiefouten 12 year old boy 1 3 4
IV Grammatica Grammatica Totaal 134 94 228 a NL constructie the friend from my father; I have new friends made; to
write me back; tell us it; I miss you really much; could I stay a few days at your place; i was too late at school; there didn’t happen a lot; how your teacher really is; if (provided, when); as long it
37 29 66
b Apostroffout do’nt; were (we’re), Ambers house, in a few months’,
hobby’s; party’s; pro’s 10 19 29
c Werkwoordsfout I have yesterday done that; he learnt me; didn’t knew;
looking forward to see you 67 26 93
d Overig I have much friends; a island; theeths; doing good; a/an;
betrekkelijk vnw, bijv.nw/bijw, both … and 20 20 40
V Woordvolgorde Woordvolgorde Totaal 37 22 59
I have new friends made, tijdsbepaling in het midden 37 22 59
VI Interpunctie Interpunctie Totaal 79 87 166
a (Geen) kommagebruik The school is new for me it is big 65 70 135
b Fragmentzinnen But at the end, when we went back 14 17 31
Categorie IV, grammaticale fouten: over de hele linie. Uitschieters zijn de werkwoordsfouten en Nederlandse zinsconstructies.
o Nederlandse zinsconstructies en woordvolgordefouten zijn niet helemaal los van elkaar te zien.
o Bij de werkwoordsfouten lijkt sprake te zijn van een grote verbetering bij de leerlingen. Het scoreverschil heeft vermoedelijk echter te maken met het verschil in opdracht (zie het eerste punt van deze paragraaf).
Categorie V, woordvolgorde: in deze categorie lijkt een kleine afname te constateren, maar die moet in het licht van de Nederlandse constructiefouten als verwaarloosbaar worden beschouwd.
Categorie VI, interpunctie: kommafouten worden het meest gemaakt, maar er is hier ook sprake van een aantal ‘veelplegers’ (leerlingen die überhaupt weinig interpunctie
gebruiken en waar sprake is van running commentary). Gezien het beperkt aantal leerlingen dat verantwoordelijk is voor het gros van de fouten en de lastige integratie in het prototype worden deze fouten niet meegenomen in het prototype.
Voor de werkbaarheid van het prototype binnen de daarvoor beschikbare tijd heb ik een keuze gemaakt uit een aantal type fouten. Op basis van bovenstaande zijn de volgende typen fouten in het prototype meegenomen:
1. Lexicaal: voorzetsels;
2. Spelling: homofonen en lastige/moeilijke woorden
3. Grammatica: (onregelmatige) werkwoorden, betrekkelijk voornaamwoord, bijvoeglijk naamwoord/bijwoord;
4. Woordvolgorde.
Een belangrijke kanttekening bij de gegevensverzameling is op zijn plaats. Om echt over een inventarisatie van hardnekkige fouten te kunnen spreken had de datacollectie anders
vormgegeven moeten worden. Ten eerste is er nu niet per individuele fout gekeken hoe vaak deze per leerling terugkwam, ten tweede is het moeilijk om iets op basis van twee
schrijfwerken ‘hardnekkig’ te noemen. Los van het feit dat voor een andere opzet veel meer doorlooptijd nodig zou zijn, gaven de categorieën, alsmede de ervaringen van de sectie en mijzelf voldoende aanknopingspunten om te kijken of een game een werkbare methode is om bepaalde fouten aan te pakken.
3.5 Samenvatting
Hoewel er een en ander is af te dingen op de gegevensverzameling, heeft de empirische verkenning geleid tot inzicht in de fouten en een keuze mogelijk gemaakt die moest leiden tot een werkbaar prototype.
4
Ontwerphypothese en ontwerpregels
Het idee een les te ontwerpen waarbij de leerlingen op een andere manier met deze
hardnekkige fouten worden geconfronteerd en worden gedwongen er bewust naar te kijken is, zoals uit het voorgaande blijkt, probleemgestuurd en vakinhoudelijk van aard. Onder hardnekkige fouten wordt in het navolgende verstaan: ‘fouten die leerlingen ondanks het aanbieden van de juiste vorm en actieve correctie blijven maken.’ Het prototype is gebaseerd op de empirische verkenning uit hoofdstuk 2. Dit heeft tot gevolg dat een leerling niet alleen de eigen fouten voorbij zal zien komen. Binnen het tijdsbestek van het vak Educatief Ontwerp is het onmogelijk een op de individuele leerling toegespitst product te realiseren. De diverse onderdelen van de probleemstelling en het prototype zijn vervat in de volgende
ontwerphypothese.
Ontwerphypothese:
Als leerlingen door middel van een game (x1) bewust worden gemaakt van
hardnekkige fouten (x2) en worden uitgedaagd deze te corrigeren (x3), verbetert hun vermogen om eigen fouten bij schrijfwerk te herkennen en corrigeren (y1)
Ontwerpregels:
X1: Met een game zijn leerlingen op een andere manier met de taal bezig dan ze gewend zijn. Bij de gangbare invul- en/of vertaaloefeningen weten ze wat er van hen wordt verwacht en zijn ze min of meer gericht op het specifieke taalonderdeel dat onderwerp is van de
opdracht. Een game waarbij de voor de leerlingen problematische onderdelen zijn samengevoegd, voert de leerlingen kriskras door de diverse onderdelen, zoals in het toepassen van taal in algemene context ook gebeurt. Door de leerlingen meteen te confronteren met een fout, dan wel de leerlingen te dwingen over de achterliggende taalregels na te denken, neemt het taalbegrip toe, leren ze de verschillende onderdelen onderscheiden en moeten ze keuzes maken. In een game is dat op diverse manieren te verwerken, bijvoorbeeld door levels in te bouwen (je mag alleen naar een hoger level als je alle vragen goed hebt), door te variëren met het type vragen (open en meerkeuzevragen, waarom-vragen, zoek-de-fout-vragen, enzovoorts), en door meteen feedback te geven op een antwoord.
X2: Als leerlingen door de game ontdekken dat ze bepaalde fouten keer op keer maken, verschuiven ze van de fase onbewust onbekwaam naar de fase bewust onbekwaam. De herhaling vergroot het bewustzijn ten aanzien van de fout, en hiermee ook het
taalbewustzijn. De kans op herkenning van de fout in een andere context zal hierdoor toenemen c.q. de kans dat de fout wordt gemaakt zal afnemen. De fouten die in het spel worden verwerkt behoren tot diverse categorieën (zie paragraaf 3.4.2). Door de categorieën in dezelfde game te integreren wordt een algemene context beter benaderd. Ideaal
gesproken krijgen de leerlingen na de game automatisch feedback per foutcategorie, zodat ze de verschillende onderdelen leren onderscheiden, maar dat is in het prototype niet realiseerbaar. Uiteraard zou het foutenbewustzijn van leerlingen met behulp van bijvoorbeeld een zelfreflectieformulier kunnen worden gevoed.
X3: Als leerlingen door middel van positive reinforcement worden uitgedaagd hun fouten te herstellen, zal dat bijdragen aan het foutenbewustzijn en de ontwikkeling van strategieën
voor het bouwen van correcte zinnen doordat hun vermogen informatie op waarde te schatten en onjuistheden te signaleren wordt vergroot. Theoretisch kan dit op verschillende manieren in de game worden geïntegreerd, bijvoorbeeld door levels in te bouwen (zie x1), door een beloning (punten) of door een leaderboard in te bouwen waarop je kunt stijgen door meer punten te halen (door de game opnieuw te spelen). De uitdaging zorgt voor meer plezier en dat heeft een positief effect op de intrinsieke motivatie.
Al met al zal door de game een beroep worden gedaan op de metacognitieve vaardigheden van de leerlingen en zou daarmee hun vermogen tot zelfregulatie bij schrijfwerk verbeteren.
5
Gameontwerp
In hoofdstuk 2 is ingegaan op de theorie achter gameontwerp. Alvorens over te gaan tot een bespreking van de valideringsopzet wordt de theoretische achtergrond in dit hoofdstuk uitgebreid met praktische gevolgen en keuzen ten aanzien van het ontwerp van het prototype.
5.1 Eisen
In paragraaf 2.4 zijn de game-like elements van het vijfstappenmodel voor de gamificatie van een concept van Huang en Soman (2013) zijn genoemd, namelijk
Individueel: punten/levels/trofeeën
Sociaal: leaderboard, interactieve samenwerking Beide: instant feedback, beloning
Op basis van de andere theoretische en empirische overwegingen uit het voorgaande heb ik deze basiselementen in verband met de doelstelling de leerlingen te leren fouten te
herkennen en te corrigeren aangevuld met een aantal eigen eisen:
‘Challenging but not too difficult’: om de klus te klaren moeten metacognitieve
vaardigheden worden aangesproken, en die zijn weer een voorwaarde voor zelfregulatie. Plezier: de leerlingen moeten het leuk vinden om de game te spelen, want plezier en
competitie zouden tot een toename van de intrinsieke motivatie leiden. Deze motivatie zou ook kunnen aanzetten tot vaker spelen van het spel.
Geselecteerde foutencategorieën door elkaar heen, variatie: door het spel afwisselend te houden en een algemene (dus niet specifiek op een taalonderdeel gerichte) context zo dicht mogelijk te benaderen moeten de geselecteerde categorieën door elkaar heen worden gebruikt, zodat fouten eerder in algemene output zullen worden herkend en gecorrigeerd. Dit is een bewezen effectieve leerstrategie (Dunlosky, 2013).
Herhaling: type fouten moeten vaker voorkomen om tegemoet te komen aan ‘toevalstreffers’. Dit is met name van belang bij meerkeuzevragen, waar gokken een belangrijke valkuil is.
Ook voor deze elementen geldt dat de voorhanden zijnde formats medebepalend zullen zijn.
5.2 Doelgroep
Gezien mijn wens de leerlingen op onconventionele wijze bewust te maken van de
hardnekkige fouten en gezien het feit dat de doelgroep vergroeid is met de telefoon, vatte ik het idee op een spel te ontwikkelen. Het idee werd enthousiast ontvangen door mijn
collegae in de bovenbouw en unaniem nuttig geacht voor zowel havo als vwo. Mijns inziens is het met name voor 4 havo interessant gezien het in de inleiding reeds aangestipte
ontbreken van grammaticatoetsen. Daarnaast is mijn ervaring tot nog toe dat de gemiddelde 4 havoleerling weinig gemotiveerd is om zelf te onderzoeken welke verbeterpunten hij/zij heeft. Een spel zoals ik voor ogen heb, zou de kreukels wellicht kunnen gladstrijken aan het eind van het jaar en ter voorbereiding op de schrijfopdrachten in het examenjaar, alsmede de leerlingen motiveren zich actiever met de taalverwerving bezig te houden.
5.3 Ontwerp
De eerste ideeën richting een type spel waarbij levens te verdienen of verliezen zijn (je mag bijvoorbeeld pas verder als je vijf vragen goed hebt). Een collega die zich in gamification
heeft verdiept stelde dat het succes van Super Mario wordt bepaald door de mogelijkheid steeds opnieuw te kunnen beginnen. Ik kwam al gauw tot de conclusie dat zelf een game (laten) ontwikkelen weliswaar de grootste kans op incorporatie van alle criteria oplevert, maar onevenredig veel tijd (en in het geval van ontwikkeling door een derde, geld) kost, dus ik heb mijn toevlucht moeten nemen tot allerlei plug & play formats die op internet gratis beschikbaar zijn.
De formats variëren van tools om met de hele klas een quiz te doen tot kant-en-klare spelletjes die specifiek gericht zijn op een onderdeel van de taal. Veel van deze spelletjes en quizzen staan ook op fora voor mensen die werkzaam zijn in het onderwijs. Het bekendste voorbeeld is Kahoot! Volgens een artikel in de New York Times (Singer, 2016) gebruikten alleen al in de Verenigde Staten 20 van de 55 miljoen leerlingen (primair en secundair onderwijs) in een maand tijd (maart 2016) Kahoot! Dit spel wordt echter veelal in klassikale context wordt gespeeld en door de bonus die staat op zo snel mogelijk antwoorden wordt er meer gegokt, hetgeen leren in de weg staat. Zo heb ik veel van de formats en voorbeelden de revue laten passeren, maar ze hebben allemaal een groot bezwaar gemeen: geen van deze spellen komt tegemoet aan de gestelde ontwerpregels. Over het algemeen betreft het oefeningen voor een deelonderwerp van de taal die vergelijkbaar zijn met wat mijn
doelgroep al doet en die feedback ontberen. Uiteindelijk bleven er drie websites met formats over die de moeite van nader onderzoek waard waren, hoewel binnen deze websites ook veel spellen onbruikbaar zijn:
www.classtools.net (retro arcade games)
www.kubbu.com (quiz-achtig met veel mogelijkheden voor verschillende typen vragen) www.wisc-online.com (modernere games met vast format)
Met behulp van deze websites heb ik drie proefopzetjes gemaakt. Ten eerste bracht dat tijdens het maken van de opzetjes al valkuilen aan het licht, ten tweede leerde ik daarmee hoe ik vragen moest en kon formuleren c.q. vormgeven voordat ik een grote database met vragen ging aanleggen, en ten derde kon ik aan de hand van zowel mijn ervaringen als de input van validering I een overzicht van de voor- en nadelen per opzet maken en een gefundeerde keuze maken voor het prototype.
Naast de game-criteria c.q. ontwerpregels heb ik in de valuatie ook gelet op
gebruiksgemak voor ontwerper en speler, aanpassingsmogelijkheden voor de ontwerper, en uiterlijk.
5.4 Beperkingen
Het vooronderzoek heeft geleid tot een aantal beperkingen:
de keuze voor bestaande formats ten opzichte van zelf (laten) programmeren houdt per definitie in dat het niet volledig tailormade zal zijn;
de categorieën fouten die worden meegenomen zijn uitputtend;
het spel kan niet worden geïndividualiseerd, dus een fout die je niet/nooit maakt, komt toch voorbij;
veel van de formats werken met meerkeuzevragen, hetgeen gokken in de hand werkt en dus de kans op het aanwenden van metacognitieve vaardigheden verkleint;
6
Opzet en methoden voor valideringsonderzoek
Dit hoofdstuk bevat een uiteenzetting van de manier waarop de twee valideringsronden zijn vormgegeven.
6.1 Validering I
Vanwege de complexiteit van het ontwikkelen van een game heb ik gekozen voor de volgende aanpak. Na het bekijken en met behulp van een aantal proefvragen uitproberen van een aantal gratis beschikbare formats heb ik een shortlist gemaakt van games die in aanmerking kwamen voor het prototype. Geen van de games kon voldoen aan het ideaalplaatje, dus er zou niet aan alle eisen kunnen worden voldaan. De shortlist heb ik nader uitgewerkt tot een minigame, zodat een 4 havoleerling (doelgroep) en een docent een idee kregen van de werking van de game, het type vragen en het uiterlijk. Leerling en docent hebben aan de hand van de ontwerpeisen en -regels een micro-evaluatie van de minigames (validering I) gedaan. De reden om voor validering I ook een leerling te gebruiken was ingegeven door het feit dat een grote component van het welslagen van het idee is dat leerlingen plezier hebben in het doen van de game en de game voldoende uitdagend is. Voor een volwassene is dit moeilijker in te schatten. De leerling is specifiek uitgekozen op basis van interesse in games, omdat dit tot een kritischer blik zou leiden. De docent is geselecteerd op basis van de jarenlange ervaring in het schrijfonderwijs.
Zowel leerling als docent hebben alle minigames van de shortlist gespeeld en aan de hand van de gespreksleidraad die ik ook voor de tweede validering heb gebruikt (bijlage F) hun ervaringen uiteengezet. Hiermee kwamen de ontwerpregels aan bod. Ik heb deze ervaringen vertaald naar scores die zijn verwerkt in een tabel die is weergegeven in bijlage C. De scores bestonden uit plussen en minnen. Zo kreeg een heel duidelijk pluspunt of
duidelijke voorkeur twee plussen, een positief oordeel een +, een neutraal oordeel een plus-min, en een negatief oordeel een min.
6.2 Validering II
De bedoeling was dat ik op basis van de feedback uit de eerste validering een keuze uit de shortlist zou maken en het prototype op basis daarvan zou ontwerpen. Met behulp van twee focusgroepen (vier leerlingen respectievelijk twee leden van de sectie) zou feedback op het prototype worden vergaard, teneinde conclusies te kunnen trekken ten aanzien van de ontwerphypothese (validering II) en te kunnen komen tot een aanbeveling.
De leerlingen uit de leerlingenfocusgroep zijn op basis van vrijwilligheid geselecteerd uit de doelgroep voor de game. De timing voor de validering was niet ideaal in verband met schoolexamens en veel uitval door een projectweek en veel vrije dagen. De leerlingen hadden last van stress. Ik heb daarom met de roostermaker voor mijn 4 havoklassen gezocht naar tussenuren die aansloten op een pauze, zodat deelname aan mijn onderzoek niet extra belastend zou zijn en er toch voldoende tijd was voor het uitproberen van het prototype en het focusgroepgesprek. Het idee is in de klas uiteengezet en leerlingen konden zich
aanmelden. De deelnemers vormden een mix van leerlingen die meededen op basis van interesse in games, een lage score voor Engels, sympathie voor mij, of een combinatie van deze factoren. De docenten zijn niet actief geselecteerd; de groep bestond uit de aanwezige sectiegenoten bij een sectiebijeenkomst waarin tijd voor mij was ingeruimd. Leerlingen en docenten werden gescheiden bevraagd in verband met het risico op politiek correct antwoorden door en/of terughoudendheid van de leerlingen.
Voor de gesprekken is gebruikgemaakt van computers voor de games en een gespreksleidraad voor de gesprekken. De gesprekken heb ik vervolgens verwerkt in een scoringsformulier op dezelfde wijze als in validering I. In het resultatenoverzicht in bijlage G is niet gedifferentieerd naar focusgroep, maar zijn de resultaten door mij samengevat in een tabel. Hierbij is op dezelfde wijze te werk gegaan als bij validering I.
6.3 Criteria
De criteria die bij de focusgroepen aan bod moesten komen waren, onderverdeeld naar ontwerp- en overige criteria, de volgende:
Ontwerpcriteria:
o meerdere foutencategorieën door elkaar o feedback
directe confrontatie met de fout directe feedback
per foutencategorie
positive reinforcement: punten, levels, leaderboard o variatie in het type vragen
overige criteria
o tracking mechanisme o duidelijk einde van het spel o duidelijke spelregels
o mate van uitdaging/moeilijkheidsgraad o feedback voor de docent
o fun/vaker willen spelen o (interactieve) samenwerking
o herhaling van de foutencategorieën o gebruiksgemak
o flexibiliteit o nut
Overigens is een aantal van deze criteria niet direct interessant voor de leerlingen, zoals het tracking mechanisme of feedback voor de docent.
6.4 Afwijking
Hoewel de opzet van de valideringen kon worden gehandhaafd verliep het proces anders dan verwacht, want de conclusies na validering I waren niet duidelijk genoeg om een keuze voor één site te maken. Ik heb derhalve twee sites gebruikt en dus twee prototypes gemaakt. Beide opties zijn in validering II besproken. De tweede validering is de aanzet tot conclusies en aanbevelingen ten aanzien van het idee van een game.
7
Resultaten eerste validering
Zoals geschetst in het vorige hoofdstuk hebben een in games geïnteresseerde 4 havoleerling en een docent de drie minigames uitgeprobeerd en hun ervaringen aan de hand van de ontwerp- en gameontwerpregels met mij besproken. In bijlage C zijn de resultaten hiervan in een tabel weergegeven. Zoals reeds aangegeven bij de ontwerpregels (X2) was het bij geen van de sites de mogelijk de feedback te differentiëren naar foutencategorie.
Conform opzet hebben zowel de leerling als de docent eerst de verschillende mini-games gespeeld en hebben we de ervaringen aan de hand van de in het voorgaande besproken criteria een-op-een besproken.
7.1 Afvaller
Samengevat kwam het erop neer dat de leerling het minst enthousiast was over de Kubbu-spellen. Ten eerste werkten de spellen niet altijd en dat leverde meteen wrevel op, ten tweede leken ze veel te veel op quizzen die (in andere vakken) al vaker voorbijkomen, ten derde werd in plaats van tijdens het spel pas aan het eind duidelijk hoe goed je het deed in termen van punten. Voor de docent was Kubbu aantrekkelijk omdat feedback en
verschillende typen vragen mogelijk zijn, terwijl bij de andere spellen alleen
meerkeuzevragen mogelijk zijn. Daar staat tegenover dat het arbeidsintensiever is om te maken en de maker zelf de volgorde van de antwoorden moet bepalen. Doorslaggevend voor het afvallen van Kubbu was het ontbreken van positive reinforcement en het feit dat de game kennelijk niet stabiel is.
7.2 Keuze
Het grote nadeel van zowel Classtools als Wisc-online is dat er alleen maar meerkeuzevragen mogelijk zijn. Het feit dat de leerling bij Classtools zelf voor meerdere spellen (6) kan kiezen en er verschillende levels te halen zijn was een groot voordeel ten opzichte van Wisc-online, waar alleen het spel Beekeeper in aanmerking kwam. Daar stond tegenover dat de directe feedback van Beekeeper als een groot voordeel werd gezien ten opzichte van Classtools. De directe feedback houdt in dit geval in dat na aanklikken van het antwoord een verklaring te zien is waarom een bepaald antwoord het goed is. Dit komt dus onafhankelijk van het gekozen antwoord in beeld. Bij Classtools wordt slechts het goede antwoord aangegeven.
In het navolgende zullen de volgende namen worden gebruikt om de games te onderscheiden: de games van Classtools zullen onder de naam Arcade Games worden aangeduid en de game van Wisc-online onder de naam Beekeeper.
Opvallend was dat de docent qua plezierelement en uiterlijk anders tegen de spellen aankeek dan de leerling. Waar de leerling totaal geen last had van het retro-uiterlijk van de Arcade Games en door de ervaring met gamen (zelfs met dezelfde games), snel doorhad wat de bedoeling was, raakte de docent snel geërgerd omdat het te lang duurde voor duidelijk werd hoe het spel werkte.
Op basis van de gesprekken voor validering I, waaruit bleek dat beide spellen grote voor- en nadelen hadden, heb ik besloten door te gaan met beide sites. Weliswaar leverde dat extra werk op, maar aangezien ik voor beide sites dezelfde vragen kon gebruiken, vond ik de mogelijkheid meer mensen te laten kijken naar op het eerste gezicht vergelijkbare
8
De prototypes
In hoofdstuk 5 zijn gameontwerp en de beperkingen aan de orde gekomen. Bij het hoofdstuk over validering I heb ik reeds uitgelegd dat er in feite twee prototypes zijn. In dit hoofdstuk wordt ingegaan op deze prototypes; ‘Arcade Games’ en ‘Beekeeper’. De werking van de prototypes wordt uitgelegd, alsmede de voor- en nadelen voor degene die de game moet maken/vullen (veelal de docent). Validering II wordt in hoofdstuk 9 besproken. Aangezien voor beide games dezelfde vragen kunnen worden gebruikt, zal de eerste paragraaf over de vragen gaan.
8.1 Vragen
Op basis van de empirische verkenning, beschreven in hoofdstuk 3, heb ik een keuze gemaakt voor een aantal foutencategorieën die in de games worden verwerkt, te weten Lexicaal: voorzetsels;
Spelling: homofonen en lastige/moeilijke woorden
Grammatica: (onregelmatige) werkwoorden, betrekkelijk voornaamwoord, bijvoeglijk naamwoord/bijwoord;
Woordvolgorde.
Om te beginnen heb ik voor elke categorie tussen de 20 en 45 meerkeuzevragen opgesteld. Voor deze vragen en de foute antwoorden heb ik geput uit de geanalyseerde schrijfwerken van de leerlingen. Hoewel het weliswaar meerkeuzevragen betreft, is binnen dat keurslijf toch te enigszins te variëren. Zo is er de invuloefening waarbij een keuze moet worden gemaakt uit meerdere opties:
I'm _____ (op) school all day*at*on*in*by
(de opties staan tussen de asterisken, ‘at’ is het juiste antwoord)
Ook is er de mogelijkheid waarbij de leerling moet kiezen welke bewering de juiste is: 'accepteren' - Which is correct? I. accept II. except*I is correct*II is
correct*both*neither
(de opties staan tussen de asterisken, ‘I is correct’ is het juiste antwoord)
Ten slotte heb ik gebruikgemaakt van de versie waarin de vraag simpelweg ‘welke zin is correct?’ luidt en het juiste antwoord een van de opties is:
Which is correct?
a) They have known each other for 10 years b) They knew each other for 10 years c) They knowed each other for 10 years d) They have knowed each other for 10 years (het juiste antwoord is a)
volgens een vast stramien, dat wil zeggen de vraag en meteen daar achteraan, dus zonder spaties, maar gescheiden door asterisken de antwoordopties, met het juiste antwoord voorop. Het programma van de site regelt zelf een willekeurige verdeling van de antwoorden. Voor Beekeeper typt de maker zelf de vraag in en de antwoordopties in verschillende regels, waarbij de maken moet aanvinken welke optie de juiste is. In bijlage D is ter illustratie een aantal vragen opgenomen in het format voor Arcade Games, gevolgd door alle gebruikte vragen.
Uiteraard is het aan de maker welk type vragen, of welke foutencategorieën c.q. onderwerpen in de game worden gebruikt. De games kunnen worden ingezet om met behulp van computers uiteenlopende zaken te toetsen.
In de volgende twee paragrafen wordt ingegaan op de twee ontwikkelde prototypen. In bijlage E is aan de hand van screenshots een gedetailleerd overzicht te vinden van de verschillende stappen die de speler in beide games doorloopt.
8.2 Arcade Games
De site www.classtools.net is een ondersteunende site voor docenten. Er zijn onder meer timers, een QR-codeprogramma en quizprogramma’s op te vinden. Een van de opties is de Arcade Game Generator (afbeelding 3).
Met een klik op Create New Game verschijnt het instructiescherm (afbeelding 4).
Afbeelding 3. Button op classtools.net Afbeelding 4. Instructies voor gamecreatie
De instructies zijn eenvoudig, maar het opbouwen van de vragen database vergt grote concentratie en nauwkeurigheid. Met name spatiefouten en/of minder dan vier opties bij de antwoorden kunnen tot vreemde situaties leiden, waarbij het systeem dan zelf antwoorden gaat selecteren uit de antwoorden van alle vragen. Een groot voordeel van dit format is dat het systeem zelf de vragen en per vraag de antwoorden husselt, zodat je niet hoeft na te denken over de volgorde van de een of de ander. Het uploaden van de database resulteert in een code/link die met de leerlingen te delen is
(http://www.classtools.net/arcade/201905_H83HB5). De leerlingen krijgen het volgende scherm te zien (afbeelding 5):
De leerling kan kiezen uit 7 verschillende, inmiddels ouderwetse, spellen, namelijk PacMan, Manic Miner, Asteroids, Snake, Pong!, Wordshoot en Flashcards. De laatste is niet echt een spel. Deze keuzes zijn helaas niet te
beperken door de docent.
PacMan, Manic Miner en Pong! openen met een eerste vraag voordat het spelen begint
(afbeeldingen 6 en 7). De spellen volgen allemaal het stramien van de bekende, klassieke spellen met dezelfde naam uit de jaren tachtig van de vorige eeuw. Het voert in dit kader te ver om alle spellen te beschrijven. Na de start moet de speler elke keer dat er iets misgaat vragen goed beantwoorden om nieuwe levens te krijgen of verder te mogen spelen (afbeelding 8). Het aantal goed te beantwoorden vragen loopt op. De individuele score is zichtbaar in beeld en er kan op een link geklikt worden om het leaderboard te zien (groene balk in afbeeldingen 6 en 8).
Afbeelding 6. Startvraag Afbeelding 7. Spel PacMan
Samengevat is de game flow van de Arcade Games als volgt:
Afbeelding 9. Game flow Arcade Games
Voor de spellen Snake, Asteroids en Wordshoot worden de vragen achter elkaar afgewerkt en gelden er andere regels waardoor levens worden verloren of het spel afloopt (bijvoorbeeld een tijdrestrictie)
Aan dit format kleeft een aantal voor- en nadelen voor de maker:
Voordelen Arcade Games Nadelen Arcade Games
1. programma husselt de vragen (en in dit geval dus de foutencategorieën)
1. altijd 4 antwoorden nodig per vraag
2. programma husselt de antwoorden van de meerkeuzevragen
2. het aantal spellen is niet te beperken
spellen
4. er is geen limiet aan het aantal vragen 4. geen feedbackmogelijkheden (uitleg)
5. alleen maar meerkeuzevragen 6. werkt niet alle vragen af (want
afhankelijk van hoe goed de speler het spel speelt)
Tabel 3. Voor- en nadelen Arcade Game Generator classtools.net voor de maker/docent
8.3 Beekeeper
Het spel Beekeeper kan worden gevonden op https://www.wisc-online.com. Via de tab
‘Games’ kan worden gekozen voor ‘Build Games’. Het spel laat zich nog het beste vergelijken met Ganzenbord. Zoals in paragraaf 8.1 reeds is beschreven, moet de bouwer zelf de
volgorde in de vragen aanbrengen, alsmede variëren in de positie van het juiste antwoord (a, b, c, of d). Het voordeel is wel dat het bij Beekeeper geen vereiste is 4 antwoordopties te vullen; het minimum aantal opties is twee.
Afbeelding 10. Startscherm Build Games van Wisc-online.com
Nadat de maker de game een naam en omschrijving heeft gegeven verschijnt het
‘vragenbouwscherm’ (afbeelding 11). De vinkmogelijkheid is om aan te geven welk antwoord het juiste is en met het rode plusje kan het aantal antwoordopties worden uitgebreid. De feedback kan onderin worden ingevuld en verschijnt voor de leerling na beantwoording van de vraag bovenin in beeld, ongeacht de juistheid van het gegeven antwoord.
Afbeelding 11. Vragenbouwscherm van Beekeeper
Voor de speler ziet het er als volgt uit. Via een link komt de leerling bij ‘Revision Mixed (4 havo)’ en krijgt hij/zij eerst een uitleg te zien (afbeelding 12) en daarna de keuze het spel alleen, of met 2, 3 of 4 spelers te spelen (afbeelding 13). Het doel is zo snel mogelijk naar het einde van de honingraat te komen. Door op Spin te klikken krijgt de speler te zien hoeveel plaatsen hij/zij opschuift bij een goed antwoord (afbeelding 14). Het goede antwoord licht op in een groen vakje, bij een fout antwoord licht het gekozen antwoord op in een rood vakje. Bovenin het scherm is ruimte om feedback te geven. Indien de maker niets invult verschijnt er correct of incorrect, al naar gelang de juistheid van het aangeklikte antwoord (zie
afbeelding 15). De leerling doorloopt zo de vragen tot het eindpunt wordt bereikt.
Afbeelding 14. Aantal plaatsen vooruit Afbeelding 15. Fout antwoord met feedback.
Aan Beekeeper kleeft voor de maker een aantal voor- en nadelen, hoewel het minder nadelen kent dan de Arcade Games:
Voordelen Nadelen
1. zelf aantal antwoorden per vraag bepalen
1. zelf de volgorde van de antwoorden bepalen (dus opletten dat niet altijd antwoord A het goede antwoord is)
2. maar 1 spel mogelijk 2. vaste volgorde van de vragen, dus zelf
de foutencategorieën afwisselen 3. de leerling kan met meerdere spelers
spelen (samenwerken)
3. alleen maar meerkeuzevragen
4. werkt op een smartphone 4. geen levels
5. feedbackmogelijkheden (uitleg) 6. werkt alle vragen af
9
Resultaten tweede validering
Op 21 mei hebben vier leerlingen uit een van mijn 4 havoklassen in een computerlokaal eerst de twee prototypes uitgetest en hun ervaringen daarna in een focusgroep setting besproken. In bijlage F is een gespreksleidraad met een aantal voorbeeldvragen opgenomen die ik tijdens de bijeenkomst heb gehanteerd. In tegenstelling tot de voorgenomen opzet waarbij ik uitging van twee sectieleden, heb ik de prototypes tijdens een sectiebijeenkomst met de vijf aanwezige leden van de bovenbouwsectie besproken.
9.1 Leerlingen
De leerlingen vonden beide games er plezierig uitzien en leuk om te doen, maar gaven aan in dit opzicht een voorkeur te hebben voor Beekeeper. De Arcade Games zijn in hun klassieke vorm bekend en de leerlingen kunnen de ‘retro-look’ wel waarderen. De traagheid van deze games vormde een ergernis, evenals het feit dat bij de helft van de spellen het aantal vragen dat goed moest worden beantwoord opliep. Dat laatste was een storende factor in de voortgang van het spel; de vragen zaten het spelen in de weg. PacMan werd door allen als het leukste spel ervaren. De instructies van de games waren duidelijk. Beekeeper werd echter als frisser en duidelijker gezien, en bij dit onderwerp kwam de feedback/uitleg al naar voren als een pluspunt. Belangrijk was ook de mogelijkheid om met meer spelers te spelen.
Aangezien beide prototypes met dezelfde vragen werken, werden de vragen voor beide als wisselend makkelijk en ‘oké’ ervaren. Bij Beekeeper kwamen de leerlingen er beter in doordat de vragen geïntegreerd zijn in het spel, terwijl bij Arcade Games hun spel werd onderbroken door vragen. De fouten die met de vragen aan bod kwamen werden overigens wel herkend als veelgemaakte fouten. Spontaan werd een aantal fouten herkend dat voorbij was gekomen en herkend als lastige onderwerpen (bijvoorbeeld ‘voorzetsels’,
‘persoonsvorm’, ‘tijden’).
Ten aanzien van de beloningselementen gaven alle leerlingen aan dat ze rationeel wel begrepen dat punten, leaderboards, trofeeën en levels belangrijk konden zijn, maar dat het hen persoonlijk niet interesseerde. Dit zou in een klassikale situatie wellicht anders zijn, maar daar waren ze huiverig voor, omdat ze het risico ten overstaan van de klas zichtbaar ergens onderaan te staan als ongewenst beschouwden. Het ontbreken van levels in Beekeeper werd als onbelangrijk ervaren.
De leerlingen waren unaniem van mening dat de feedback van Beekeeper fijn, goed, essentieel en nuttig was en een gemis was in de Arcade Games. Huns inziens helpt een game met dergelijke feedback de leerling zich bewuster te worden van de fouten en ga je ze door de herhaling en uitleg onbewust ook minder snel maken, ook in een andere omgeving, zoals bij het schrijfwerk. Desalniettemin dacht geen van de leerlingen een dergelijke game uit zichzelf te gaan spelen. De game zou dus alleen in opdracht of alleen bij extreme verveling worden gespeeld.
Voortvloeiend uit de discussie rond het concept van een game om fouten aan te pakken kwam de suggestie dit soort games formatief in te zetten ter voorbereiding op een toets. Met name omdat ze dan op een andere manier bevraagd zouden worden dan tijdens de toets en tegelijkertijd konden leren van de feedback. Dit zou automatisch inhouden dat het aantal foutencategorieën en de variatie zou afnemen, maar dat was huns inziens alleen maar beter, want de afwisseling leidde maar af.
Samenvattend vonden de leerlingen Beekeeper leuker dan de Arcade Games. De laatste hadden ze in enigerlei vorm al zo vaak gespeeld, irriteerde omdat er steeds opnieuw
