Verbeterde zelfregulatie door formatieve evaluatie
bij lessen in digitale geletterdheid in de onderbouw
van het voortgezet onderwijs
Rebecca Sier
Sier, R. (2019). Verbeterde zelfregulatie door formatieve evaluatie bij lessen in digitale ge-letterdheid in de onderbouw van het voortgezet onderwijs. Amsterdam: Interfacultaire Leraren-opleidingen UvA.
Studentnummer: 5893011 Schoolvak: Natuurkunde
Onderzoeksvariant: Effectonderzoek
Opleiding: Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam Vakdidacticus: Erik Min
Samenvatting
Bij lessen in digitale geletterdheid bestaan grote verschillen tussen de niveau’s en de leervoorkeu-ren van de leerlingen. Door te diffeleervoorkeu-renti¨eren naar zelfstandigheid krijgen leerlingen de mogelijk-heid zelf keuzes te maken in het leerproces, zodat tegemoet wordt gekomen aan deze verschillen. De effectiviteit van deze werkwijze valt of staat met de mate waarin een leerling in staat is tot zelfregulerend leren, dat wil zeggen het maken van effici¨ente keuzes in de leerstrategie welke leidt tot het behalen van de gestelde leerdoelen.
Leerlingen in de onderbouw van het voortgezet onderwijs hebben door beperkte leerervaring een laag vermogen tot zelfregulerend leren. Daarom zullen deze leerlingen ondersteund moeten worden wanneer gedifferentieerd wordt naar zelfstandigheid. Een methode om dit te bewerk-stelligen is de inzet van formatieve evaluatie, een evaluatievorm die erop gericht is leerlingen van feedback omtrent het leerproces te voorzien. De effectiviteit van deze aanpak wordt verhoogd door leerlingen met de zelfevaluatie helder inzicht te geven in de leerdoelen en door een concrete en specifieke vraagstelling die ingaat op wat er in de les zal worden behandeld.
Hier wordt onderzocht of de inzet van formatieve evaluatie bij lessen in digitale geletterdheid in de onderbouw van het voortgezet onderwijs leerlingen helpt bij zelfregulerend leren en de planning van het eigen leerproces in het bijzonder. Leerlingen in de tweede klas van het VWO wordt in drie lessen over programmeerplatform Arduino eens per les de keuze gegeven tussen het volgen van klassikale uitleg en zelfwerkzaamheid aan de hand van werkbladen. Voor 30 leerlingen in de interventiegroep wordt elk keuzemoment voorafgegaan door het maken en nakijken van hiertoe ontworpen formatieve zelftests welke inzicht geven in de leerdoelen en welke bestaan uit concrete en lesspecifieke vraagstellingen. 25 Leerlingen uit de controlegroep maken de keuzes zonder zelftests. Aan het einde van de derde les wordt het vermogen van zelfregulatie van de leerlingen gemeten met de schaal voor metacognitieve zelfregulatie van de Motivated Strategies for Learning Questionnaire (MSLQ), met schriftelijke reacties van leerlingen en met verdiepende interviews met vier geselecteerde leerlingen per onderzoeksgroep.
Leerlingen uit de interventiegroep en uit de controlegroep behaalden na het invullen van de MSLQ-vragenlijst gemiddelde scores van respectievelijk 35,3 en 35,8, met standaardafwijkingen van 7,1 en 6,8. Omdat de scores statistisch niet van elkaar afwijken vormen deze resultaten geen bewijs voor de gestelde hypothese. Vanwege het kleine aantal deelnemende leerlingen is het evenmin een bewijs voor het tegendeel van de hypothese. Schriftelijke reacties en verdiepende interviews wijzen wel op een verschil tussen de interventie- en controlegroep. Leerlingen uit de interventiegroep geven aan bij het maken van hun keuzes te zijn geholpen door gebruik te maken van de gemaakte zelftests en beter inzicht te hebben in de leerdoelen en de inhoud van de klassikale uitleg. Volgens de docent leerden leerlingen uit de controlegroep minder effici¨ent in de les.
De voorlopige conclusie luidt dat formatieve zelfevaluatie bij lessen in digitale geletterdheid in de onderbouw van het voortgezet onderwijs leidt tot verbeterde zelfregulatie onder de geteste leerlingen. Het is nodig de hypothese te testen met een grotere groep deelnemers, meer do-centen en verschillende lessen om meer bewijzen te verzamelen die het oordeel over de gestelde hypothese verstevigen en veralgemeniseren.
Inhoudsopgave
Samenvatting 1
1 Ontwerpvraagstuk 3
2 Theoretische verkenning 4
2.1 Differentiatie naar zelfstandigheid . . . 4
2.2 Zelfregulerend leren . . . 4
2.3 Zelfevaluatie . . . 4
2.4 Zelfregulerend leren bij onderbouwleerlingen . . . 5
3 Empirische verkenning 6 3.1 Ervaringen van docenten . . . 6
3.2 Ervaringen van leerlingen . . . 8
4 Ontwerphypothese 10 5 Ontwerpregels 11 6 Methode 12 6.1 Onderzoeksplan voor twee effectmetingen . . . 12
6.2 Gepland verloop van de ontwerplessen . . . 13
6.3 Ontwerp formatieve zelftests . . . 13
7 Resultaten 14 7.1 Verloop van de lessen . . . 14
7.2 Verloop van de effectmetingen . . . 15
7.3 Effectmeting 1: de MSLQ-vragenlijst . . . 17
7.4 Effectmeting 2: schriftelijke reacties van leerlingen op de lessenreeks . . . 17
7.5 Effectmeting 3: verdiepende interviews . . . 19
8 Conclusie en discussie 23
9 Analytische terugblik 26
Referenties 27
Bijlage 1: Een voorbeeld van de gebruikte werkbladen 29
Bijlage 2: Formatieve evaluaties 31
Bijlage 3: Presentatiedia’s 34
Bijlage 4: MSLQ-vragenlijst aan leerlingen 57
1
Ontwerpvraagstuk
Differentiatie in het onderwijs is een aanpak waarbij recht wordt gedaan aan de verschillen tussen leerlingen wat betreft niveau, interesse, leerstijl en zelfstandigheid [Kortland et al., 2017]. Bij differentiatie naar zelfstandigheid krijgen leerlingen de mogelijkheid eigen initiatief te nemen in het leerproces. Werkt een leerling graag zelfstandig, dan zou deze een klassikale uitleg kunnen overslaan om met minder aanwijzingen aan de slag te gaan met een opgave. Een voordeel van differentiatie naar zelfstandigheid is dat gevorderde leerlingen extra worden uitgedaagd, ondanks dat ze dezelfde lesstof en leerdoelen krijgen als de rest van de klas [Janssen et al., 2016].
De effectiviteit van differentiatie naar zelfstandigheid valt of staat met de mate waarin een leerling in staat is tot zelfregulerend leren. Is een leerling niet of verminderd in staat tot zelfregulatie, dan heeft deze moeite met het maken van een keuze voor de leerstrategie die leidt tot het behalen van de gestelde leerdoelen [Zimmerman, 2008]. De differentiatie kan in dit geval een averechts resultaat opleveren: in plaats van onderwijs op maat te ontvangen bestaat het risico dat leerlingen de weg kwijtraken voor ze beginnen met leren.
Leerlingen in de onderbouw van het voortgezet onderwijs hebben in vergelijking met oudere scholieren en studenten weinig ervaring met zelfregulerend leren en daardoor een lager vermo-gen tot zelfregulerend leren [Alt, 2015]. Het is echter wenselijk ook bij jongere leerlinvermo-gen te differenti¨eren naar zelfstandigheid. Dit wijst op een uitdaging: hoe kan de zelfregulatie van onderbouwleerlingen worden verbeterd?
Een methode om leerlingen te ondersteunen bij zelfregulatie is de inzet van formatieve evaluatie: een evaluatievorm die erop gericht is leerlingen van feedback omtrent de leerpres-taties en -voortgang te voorzien [Nicol and Macfarlane-Dick, 2006]. Stimulatie van reflectie op het geleerde en op het eigen leerproces verhoogt het vertrouwen van leerlingen in hun vermogen tot leren en draagt daardoor bij aan de regulatie van het leerproces [Alt, 2015, Schunk and Ertmer, 1999]. Tevens heeft formatieve evaluatie die de leerlingen informeert over de leerdoelen een positief effect [Panadero et al., 2017].
In dit project wordt het effect van formatieve zelfevaluatie op het vermogen tot zelfregule-rend leren van onderbouwleerlingen onderzocht. Aan de hand van literatuur over zelfregulatie en vooronderzoek uit de lespraktijk worden formatieve zelftoetsen ontworpen met het doel on-derbouwleerlingen te helpen bij hun keuze tussen zelfstandig leren en het volgen van klassikale uitleg.
De zelftoetsen worden ingezet bij lessen in digitale geletterdheid als onderdeel van het vak Natuur- en Scheikunde, waarbij leerlingen in de tweede klas van het VWO in aanraking komen met het programmeerplatform Arduino. Deze keuze is gemaakt vanwege de grote rol die differen-tiatie naar zelfstandigheid in de lessen speelt en vanwege de wens van docenten om leerlingen te ondersteunen bij het keuzeproces. De lessen zijn binnen het natuurkundeonderwijs van belang als onderdeel van de technische vaardigheden zoals beschreven in de Syllabus van het centraal examen 2019, in het bijzonder de subdomeinen Ontwerpen en Technisch-instrumentele vaardig-heden [Hendrikse, 2017]. Tevens is de verwachting dat er meer ruimte zal komen voor lessen in digitale geletterdheid in het voortgezet onderwijs. Dit blijkt onder meer uit het conceptvoorstel voor curriculumvernieuwing in het domein digitale geletterdheid, opgesteld door het gelijkna-mige ontwikkelteam van Curriculum.nu [Curriculum.nu, 2019]. Onderzoek naar de effectiviteit van onderwijsmethoden zoals formatieve evaluatie in lessen over digitale geletterdheid is daarom met toenemende mate relevant.
2
Theoretische verkenning
Er zullen formatieve evaluaties worden ontworpen met het doel de leerling te ondersteunen bij zelfregulatie van zijn of haar leerproces. Om te bepalen aan welke regels de evaluaties dienen te voldoen wordt gebruikgemaakt van onderwijskundige literatuur over zelfregulerend leren en zelfevaluatie.
2.1 Differentiatie naar zelfstandigheid
Bij differentiatie naar zelfstandigheid wordt onderscheid gemaakt tussen verschillende vormen van zelfstandig werken en leren [Simons and Zuylen, 1995]. In dit onderzoek richten we ons op de vorm zelfstandig leren. Hierbij wordt de leerstrategie aan de leerling of aan groepjes leerlingen overgelaten. In het huidige onderzoek zullen leerlingen kunnen kiezen tussen twee leerstrategie¨en: het zelfstandige werken of het volgen van klassikale uitleg. Door leerlingen zelf-standig te laten leren, dus zelf te laten kiezen voor een leerstrategie, wordt aanspraak gemaakt op metacognitieve kennis en vaardigheden.
Wanneer leerlingen gekozen hebben voor zelfwerkzaamheid, dan is er sprake van zelfstandig samenwerken [Simons and Zuylen, 1995], waarbij leerlingen in groepen van twee werken aan een opdracht. In dit onderzoek wordt geen aandacht besteed aan deze fase van het leerproces. 2.2 Zelfregulerend leren
Bij differentiatie naar zelfstandigheid en het zelfstandig leren in het bijzonder, maken leerlingen keuzes over het eigen leerproces. Het is daarom wenselijk dat de leerlingen in staat zijn tot regulatie van dit leerproces.
In dit onderzoek wordt de definitie van zelfregulerend leren volgens Zimmerman [Zimmerman, 2008] gebruikt: zelfregulerend leren duidt op de mate waarin leerlingen actief handelen in het eigen leerproces [Lombaerts et al., 2007]. Hierbij wordt onderscheid gemaakt tussen metacognitieve, motivationele en gedragsmatige componenten. In het huidige onderzoek ligt de interesse bij de metacognitieve component, welke aangeeft in hoeverre leerlingen in staat zijn een planning voor het leerproces op te stellen, zichzelf bij te sturen bij de uitvoering van de planning en zichzelf te evalueren [Lombaerts et al., 2007].
De mate van ori¨entatie op de te leren taak is een sterke voorspeller van de zelfregulatie van de leerling [Dorman et al., 2006, Panadero et al., 2017]. Hierbij gaat het om kennis van de leerdoelen en een overzicht over wat er zoal moet worden geleerd. Met deze kennis zijn leerlingen in staat het leren te plannen en monitoren, met positieve gevolgen voor de mate waarin leerlingen in staat zijn het leerproces succesvol af te ronden. Deze kennis draagt bij aan het ontwerp van formatieve zelfevaluaties, waarbij uit de evaluatie voor de leerling duidelijk moet worden wat de leerdoelen en de omvang van het te leren onderwerp zijn.
2.3 Zelfevaluatie
Zelfevaluatie is een leermethode waarbij leerlingen zelfstandig nagaan hoe ver ze zich van een gesteld leerdoel af bevinden [Panadero et al., 2017, Andrade and Valtcheva, 2009]. De evaluatie verduidelijkt leerdoelen, helpt leerlingen om het leerproces te monitoren en faciliteert reflectie op de leerresultaten die tot dusver zijn behaald. Zelfevaluatie vormt een essentieel onderdeel van het leerproces wanneer een leerling niet alleen het stappenplan van zijn of haar docent afloopt, maar zelf de verantwoordelijkheid voor het leren op zich neemt.
Van de verschillende typen van zelfevaluatie richt dit onderzoek zich op de variant waar-bij gebruik wordt gemaakt van monitoring. Hierwaar-bij maken leerlingen formatieve toetsen over
de te leren vaardigheden of kennis, zodat blijkt waar in het leerproces de leerling zich be-vindt. Andere vormen van zelfevaluatie zoals het invullen van vragenlijsten over zelfeffectiviteit en het gebruik van beoordelingsinstrumenten hebben een minder groot effect op zelfregulatie [Panadero et al., 2017].
Formatieve toetsing is een effectieve methode om leerlingen te helpen bij de zelfregulatie van hun leerproces. Regelmatige toetsing waarbij de opgaven specifiek ingaan op de lesstof en een goede indruk geven van de leerdoelen vergroten de mate waarin leerlingen stilstaan bij hun vooruitgang [Cauley and McMillan, 2010, Panadero et al., 2017], met een positieve weerslag op het vermogen tot zelfregulatie.
2.4 Zelfregulerend leren bij onderbouwleerlingen
Jonge leerlingen zijn in vergelijking met leerlingen uit de bovenbouw van het middelbaar onder-wijs meer gebaat bij interventies ter bevordering van zelfregulerend leren [Panadero et al., 2017, Vukman and Licardo, 2009]. De interventies bestaan uit vormen van zelfevaluatie waarbij leer-lingen reflecteren en zichzelf toetsen op hun voortgang bij de uitvoering van een leertaak. Het vermogen tot zelfregulatie neemt bij de leerlingen toe, met tevens een afname van negatieve zelf-regulatie. Ook vergroot de motivatie van leerlingen als gevolg van de interventies, met opnieuw een sterker effect bij jonge in vergelijking met oudere leerlingen.
3
Empirische verkenning
Het ontwerp van formatieve evaluaties wordt ingezet in een tweede klas van het VWO, bij lessen die steunen op differentiatie naar zelfstandigheid. De inzet en inhoud van de evaluaties wordt mede bepaald door gebruik te maken van ervaringen van de hierbij betrokken docenten en leerlingen.
3.1 Ervaringen van docenten
De te ontwerpen formatieve evaluaties worden ingezet bij het vak Natuur- en Scheikunde, ge-volgd door leerlingen uit de tweede klas van Het 4e Gymnasium te Amsterdam. Uit gesprekken met een van de docenten van het vak kwamen de volgende bevindingen naar voren.
Onderwijs in digitale geletterdheid In de lessen waar dit ontwerp zich op richt leren leerlingen om te gaan met het programmeerplatform Arduino en de bijbehorende materialen, zoals een Breadboard en een Breakout board. Leerdoelen van de lessen zijn onder meer het kunnen ontwerpen, programmeren en schakelen van een eenvoudig protocol waarin LED-lampjes en drukknopjes zich op voorspelbare wijze gedragen. Het lesonderwerp sluit aan op plannen van het conceptvoorstel Digitale geletterdheid, opgesteld door Curriculum.nu [Curriculum.nu, 2019], volgens welke het belangrijk is dat leerlingen “begrip ontwikkelen van de werking van digitale technologie”.
Elk lesuur duurt 45 minuten. Lessen worden in blokken van twee gegeven. Leerlingen krijgen aaneengesloten dus steeds 90 minuten les.
Ervaring van voorgaande lessenseries over Arduino leerde dat er tussen de leerlingen een sterk verschil in voorkennis bestaat. Waar een eerste leerling in zijn of haar vrije tijd al ro-bots bouwde en programmeerde is een tweede leerling niet in staat antwoord te geven op de vraag wat programmeren betekent. Onder de laatste groep leerlingen kan zelfs vrees voor het te behandelen onderwerp bestaan, juist door een gebrek aan voorkennis en omdat leerlingen de indruk hebben niet in staat te zullen zijn de leerdoelen te behalen. Docenten van het vak geven aan dat de mate van zelfregulatie van deze leerlingen beperkt is, zeker in vergelijking met de leerlingen die ervaring hebben met programmeersoftware. Ook volgens de literatuur zou-den onderbouwleerlingen van de middelbare school verschillend omgaan met ICT-vaardighezou-den, waar ook het Arduino-onderwijs onder valt. Verschillen zijn gevonden in geslacht en etnische achtergrond [Volman et al., 2005]. Deze verschillen ondersteunen het belang van differentiatie bij ICT-onderwijs.
Vanwege het grote niveauverschil tussen de leerlingen hebben de docenten van het vak een reeks lesontwerpen ontwikkeld die het mogelijk maakt te differenti¨eren naar niveau. In de lessen gaan leerlingen zelf aan de slag en wordt in principe geen klassikale uitleg gegeven. De docent en een TOA zijn aanwezig voor persoonlijke beantwoording van vragen die door de leerlingen worden gesteld. Het lesmateriaal bestaat uit zeven werkbladen die de leerlingen een voor een doorwerken. Een voorbeeld van een werkblad is bijgevoegd in bijlage 1. Elk werkblad is een geplastificeerde A4 met daarop een stuk Arduino-code, toelichting op de code, instructies om de code goed te laten werken met de beschikbare hardware en opgaven die leerlingen maken door zelf aanpassingen te maken in de gebruikte code of schakeling. Per werkblad wordt een functie van de programmeertaal of het gebruik van een stuk hardware behandeld, zodat leerlingen met de voltooiing van elk werkblad nieuwe, concrete vaardigheden hebben geleerd.
De werkbladen maken het mogelijk te differenti¨eren naar niveau, niet alleen omdat leerlingen op hun eigen tempo, want zelfstandig werken, maar ook omdat gevorderde leerlingen gevorderde werkbladen worden aangeboden. Alleen de eerste vier werkbladen zijn nodig om de leerdoelen
van het onderdeel over Arduino te behalen, de werkbladen 5 tot en met 7 zijn bestemd voor leerlingen die extra uitdaging kunnen gebruiken na afronding van werkblad 4.
De ervaring van de docenten met het beschreven lesontwerp is dat het goed lukt te diffe-renti¨eren naar niveau. Gevorderde leerlingen tonen enthousiasme in de lessen, zodanig dat ze zelfs na de lestijd door blijven werken met de werkbladen. Ook leerlingen met geen of min-der ervaring met programmeren gaan aan de slag en het lukt ze in de beschikbare lestijd het minimale aantal van vier werkbladen door te werken.
Ondanks de succesvolle toepassing van differentiatie naar niveau merken de docenten een aantal verbeterpunten aan het ontwerp op. Leerlingen die moeite hebben met het lesonder-werp vragen veel aandacht van de docent. Vaak stellen deze leerlingen vergelijkbare vragen die de docent steeds opnieuw beantwoordt. Het zou effici¨enter zijn de leerlingen die daar be-hoefte aan hebben te voorzien van klassikale uitleg, terwijl de verder gevorderde leerlingen hun zelfwerkzaamheid ongestoord voort kunnen zetten.
Om tegemoet te komen aan leerlingen die behoefte hebben aan extra uitleg, worden in het ontwerp van de lessenreeks momenten van klassikale uitleg opgenomen. Lessen worden nu begonnen met een uitleg van 10 tot 15 minuten en leerlingen bepalen zelf of ze deze uitleg willen volgen of zelf aan de slag gaan. Na de klassikale uitleg gaan ook de leerlingen die geluisterd hebben zelf verder met de werkbladen. In het nieuwe lesontwerp wordt zo gebruikgemaakt van differentiatie naar zowel niveau als zelfstandigheid.
Differentiatie naar zelfstandigheid De leerlingen die het onderwerp van dit onderzoek vormen hebben bij het vak Natuur- en Scheikunde eerder lessen gevolgd waarin gebruik werd gemaakt van differentiatie naar zelfstandigheid. In lessen over algemene vaardigheden uit de natuur- en scheikunde werkten leerlingen met werkbladen vergelijkbaar met de werkbladen die in het Arduino-onderwijs worden ingezet. Leerlingen kregen in dit geval zo nu en dan de keuze tussen het volgen van klassikale uitleg, of het zelfstandig verder werken met de werkbladen. Deze aanpak is vergelijkbaar met de afwisseling van klassikale uitleg en zelfwerkzaamheid die bij de Arduino-lessen zal worden toegepast.
De docenten van de lessen over algemene vaardigheden zijn gelijk aan de docenten van de lessen over Arduino. Ze merken op dat leerlingen moeite hebben met het maken van een keuze omtrent hun leerproces. Leerlingen die volgens de docent baat zouden hebben gehad bij klassi-kale uitleg, kozen ervoor zelfstandig te werken, ook als ze zelf wisten dat dit de minder goede keuze was ten aanzien van hun leerproces. In een aantal gevallen zonderden deze leerlingen zich met een groep klasgenoten af van de les. Als de docent later met de betreffende leerlingen naar een opgave keek, stelden de leerlingen vragen die tijdens de klassikale uitleg waren behandeld. In andere gevallen van leerlingen die ervoor gekozen hadden niet naar de klassikale uitleg te luis-teren werd serieus zelfstandig gewerkt, maar bleek ook bij hen vaak de in de uitleg behandelde kennis niet bekend.
De docenten geven aan de indruk te hebben dat leerlingen niet een weloverwogen keuze maakten tussen klassikale uitleg en zelfwerkzaamheid. Ze noemen verschillende mogelijke oor-zaken voor dit gebrek. De klassikale uitleg werd ad hoc, dat wil zeggen op niet voorspelbare momenten in een les gegeven. Leerlingen konden daarom niet anticiperen op een stuk klassikale uitleg en de mogelijke baat die ze daarbij zouden hebben. Bij aanvang van de uitleg werd kort genoemd wat zou worden besproken, maar duidelijke leerdoelen ontbraken. Dit bemoeilijkte voor leerlingen het oordeel over wat ze aan de uitleg zouden hebben. Tevens ontbraken momen-ten van reflectie, waarbij leerlingen bewust stilstaan bij hun leerproces en de rol die klassikale uitleg en zelfwerkzaamheid daarin spelen.
3.2 Ervaringen van leerlingen
Uit de ervaringen van docenten met differentiatie naar zelfstandigheid blijkt dat leerlingen niet altijd de keuzes maken die ze het beste zouden helpen bij hun leerproces. Om te ontdekken wat hiervan de oorzaak is hebben we leerlingen gevraagd naar hun ervaringen met differentiatie naar zelfstandigheid en hun beweegredenen bij het maken van keuzes tussen klassikale uitleg en zelfstandig werken.
Na voltooiing van de lessen over algemene vaardigheden, waarin werd gedifferentieerd naar zelfstandigheid, vroegen we leerlingen een korte schriftelijke reactie te geven op de zinnen “Dit vond ik wel fijn aan het werken met de werkbladen” en “Dit vond ik niet zo fijn aan het werken met de werkbladen”. 34 Leerlingen reageerden. Hoewel de vraagstelling er niet op gericht is te ontdekken hoe leerlingen zichzelf kunnen reguleren, geven reacties wel een indruk van de wijze waarop differentiatie naar zelfstandigheid via het gebruik van werkbladen wordt ervaren. Deze ervaringen dragen bij aan de bepaling van de ontwerpregels van dit onderzoek.
25 Leerlingen (74%) schreven het te waarderen met de werkbladen zelfstandig aan de slag te kunnen. Een leerling schreef, “Je kon op je eigen tempo werken, dus niet dat je het maar half snapt en al door moet naar het volgende onderwerp”. Het geeft aan dat de leerling baat had bij de differentiatie naar niveau. Ook schreef een leerling, “Je kon om uitleg vragen zonder dat je uitleg kreeg over andere dingen die je eigenlijk al lang snapte”. Er wordt hier gedoeld op de mogelijkheid een docent persoonlijk vragen te stellen over de lesstof, terwijl de rest van de klas zelfstandig verder werkt.
13 Leerlingen (38%) gaven aan meer klassikale uitleg nodig te hebben gehad. Tussen de reacties stond, “Soms snapte ik de uitleg [in de werkbladen] niet helemaal, en dan is het toch ook wel fijn om soms een beetje uitleg te krijgen”. Een andere leerling schreef, “Als je een vraag hebt moet je heel lang wachten terwijl dan veel mensen dezelfde vraag hebben”. Een leerling doet een suggestie om dit probleem op te lossen: “Misschien eerst uitleg op ’t bord en dan aan de slag met werkbladen”.
Opvallend is dat uit de reacties blijkt dat leerlingen momenten van klassikale uitleg misten, ondanks dat deze momenten er wel waren. We vroegen 4 leerlingen in een verdiepend interview om hun reacties toe te lichten. De leerlingen waren uitgekozen op hun positieve reacties wat betreft de zelfstandigheid die ze in de lessen werd geboden, maar ook hun negatieve reacties omtrent het gemis aan klassikale uitleg. De leerlingen vertelden dat ze de momenten van klas-sikale uitleg graag aan het begin van de les zouden hebben gehad, voordat ze zelf beginnen te werken met het onderwerp. De momenten van klassikale uitleg werd echter niet steeds aan het begin van de les gegeven, maar op onvoorspelbare momenten, zodanig dat de leerlingen niet konden anticiperen op de uitleg. Het kwam voor dat klassikale uitleg te laat kwam, want nadat ze medeleerlingen hadden gevraagd om hulp of nadat ze van de docent persoonlijk hulp had-den gekregen. Het zou volgens de leerlingen effici¨enter zijn geweest om de les te beginnen met klassikale uitleg, waarbij goed duidelijk werd gemaakt over welk onderwerp uitleg zou worden gegeven en bij welk werkblad dit onderwerp hoorde.
Uit de door leerlingen ingevulde vragenlijsten en de verdiepende interviews is niet naar voren gekomen in hoeverre de leerlingen in staat zijn tot zelfregulatie. Er wordt immers niet gevraagd naar de ervaring van de leerlingen bij het maken van een keuze tussen zelfstandig werken en het volgen van klassikale uitleg. Toch worden de antwoorden van de leerlingen op de gestelde vragen nuttig bevonden voor het huidige onderzoek, omdat het inzicht geeft in hoe leerlingen differen-tiatie naar zelfstandigheid door middel van het gebruik van werkbladen ervaren. Leerlingen blijken zowel gebruik te willen maken van klassikale uitleg als van zelfwerkzaamheid en geven aan behoefte te hebben aan voorspelbaarheid wat betreft de planning en inhoud van klassikale uitleg. Hieruit kan worden opgemaakt dat leerlingen behoefte hebben aan meer handvaten bij
de regulatie van het eigen leerproces. In het huidige onderzoek zal met formatieve evaluaties een nieuw handvat worden bijgedragen.
4
Ontwerphypothese
Als leerlingen uit de tweede klas van het VWO in lessen over digitale geletterdheid v´o´or het maken van een keuze tussen (1) klassikale uitleg en (2) zelfstandig werken een formatieve zelfe-valuatie uitvoeren die inzicht geeft in de leerdoelen en het niveau dat ze hebben op het gebied van hetgeen zo klassikaal wordt uitgelegd, dan zullen ze beter in staat zijn tot de metacognitieve component van zelfregulerend leren, dat wil zeggen de planning van het eigen leerproces.
5
Ontwerpregels
Aan de hand van het theoretische en empirische vooronderzoek werden de volgende regels op-gesteld voor het ontwerp van de formatieve toetsing, in combinatie met de differentiatie naar zelfstandigheid in de Arduino-lessen.
(1) De formatieve evaluaties dienen aan het begin van de les te worden uitgevoerd. Direct na de evaluaties volgt voor leerlingen de keuze tussen het volgen van klassikale uitleg en zelfwerkzaamheid. Direct na het keuzemoment begint de klassikale uitleg.
In de empirische verkenning gaven zowel docenten als leerlingen aan dat onvoorspelbaarheid van de momenten waarop klassikale uitleg wordt gegeven afdoet aan de mogelijkheid om een weloverwogen keuze te maken tussen het volgen van klassikale uitleg en zelfwerkzaamheid. Ook de theoretische verkenning wijst erop dat zelfevaluatie (in dit geval aan de hand van de forma-tieve toets) voor het begin van de uitvoering van een taak dient te worden uitgevoerd, zodat leerlingen in staat worden gesteld met de uitkomsten van de evaluatie hun leerproces te plannen [Cauley and McMillan, 2010].
(2) De formatieve evaluaties dienen helder inzicht te bieden in de leerdoelen waar met de klassikale uitleg naartoe zal worden gewerkt.
Kennis over de leerdoelen maakt het voor leerlingen mogelijk te bepalen waar ze zich ten opzichte van de leerdoelen bevinden, zodat ze de rest van het leerproces kunnen over-zien en plannen. In de literatuur wordt gesproken van de noodzaak van duidelijke leerdoe-len en de verwachtingen van de docent bij de uitvoering van meta-cognitieve interventies ten behoeve van planning, het gebruik van een leerstrategie en monitoring van het leerproces [Panadero et al., 2017, Cauley and McMillan, 2010].
(3) De vragen in de formatieve evaluatie dienen specifiek in te gaan op wat er in de klassikale uitleg zal worden behandeld, in plaats van te vragen naar meer globale kennis.
Met specifieke vragen wordt het type vragen bedoeld waarmee kan worden getest of leerlingen de inhoud van de klassikale uitleg begrijpen. Het gaat hierbij om toepassingsopgaven die ook in een summatieve evaluatie zouden kunnen voorkomen, in tegenstelling tot meer globale opgaven die bijvoorbeeld vragen om een beschrijving van gebruikte concepten. Specifieke vraagstellingen helpen leerlingen in te schatten wat ze moeten leren [Andrade and Valtcheva, 2009].
(4) De formatieve evaluaties dienen regelmatig, in dit geval eens per lesuur te worden uitge-voerd.
Regelmatige evaluaties maken het voor leerlingen mogelijk om bij te houden welke vooruit-gang ze boeken ten opzichte van de gestelde leerdoelen [Cauley and McMillan, 2010]. Daarnaast biedt regelmatige evaluatie het voordeel dat leerlingen gewend raken aan de toetsing. Ervaring met zelfevaluatie resulteert in een meer positieve houding van de leerlingen ten overstaan van de evaluaties [Andrade and Valtcheva, 2009].
6
Methode
6.1 Onderzoeksplan voor twee effectmetingen
Om te onderzoeken welk effect de formatieve evaluaties sorteren wordt gebruikgemaakt van een interventiegroep en een controlegroep. De beide groepen zijn klassen van het tweede leerjaar van Het 4e Gymnasium die onderwijs volgen over Arduino. De interventiegroep bestaat uit 30 leerlingen, de controlegroep bestaat uit 25 leerlingen. De leeftijden van de leerlingen varieert tussen de 12 en 14 jaar. Beide groepen krijgen les van ondergetekende.
Beide groepen ontvangen hetzelfde lesmateriaal in de vorm van werkbladen en gaan groten-deels zelfstandig aan de slag. Ook krijgen beide groepen aan het begin van de les de mogelijkheid te kiezen tussen het volgen van klassikale uitleg en direct zelfstandig werken. Alleen leerlingen in de interventiegroep zullen v´o´or het maken van de keuze de formatieve zelfevaluatie uitvoeren. Het effect van de formatieve evaluaties op de zelfregulatie van de leerlingen wordt vastgesteld aan de hand van leerervaringen van de leerlingen. We voeren drie effectmetingen uit.
Allereerst zullen alle leerlingen na de laatste les over Arduino een vragenlijst invullen die inzicht geeft in het vermogen van zelfregulatie van de leerlingen. Er wordt gebruikgemaakt van de Motivated Strategies for Learning Questionnaire (MSLQ) [Pintrich et al., 1991], een gevali-deerd meetinstrument dat inzicht geeft in de motivatie van leerlingen bij hun leerproces. We zijn ge¨ınteresseerd in mate van zelfregulerend leren, in het bijzonder de mogelijkheid tot het plannen van een leerstrategie [Zimmerman, 2008]. Dit wordt gemeten met de MSLQ-schaal over meta-cognitieve zelfregulatie. De vragenlijst wordt vertaald naar het Nederlands, om deze geschikt te maken voor afname bij Nederlandstalige leerlingen. De ontstane vragenlijst is bijgevoegd in bijlage 4. Hoewel de originele vragenlijst van de MSLQ gevalideerd is ontbreekt validatie van de aangepaste vragenlijst die in het huidige onderzoek wordt gebruikt. Validatie zal in deze niet worden uitgevoerd. Dit zal in aanmerking moeten worden genomen bij beoordeling van de resultaten van het huidige onderzoek. De vragenlijst wordt afgenomen door deze in een Google Form te verwerken en deze aan de leerlingen te mailen.
De resultaten van de vragenlijsten worden per groep met elkaar vergeleken om te bepalen of de interventie invloed heeft gehad op het vermogen tot zelfregulatie van de leerlingen.
De tweede effectmeting bestaat uit bestudering van de reacties van leerlingen op de vraag “Wil je nog iets kwijt? Dat kan hier.” Deze vraag volgde in het formulier dat leerlingen tijdens de laatste les over Arduino invulden, na beantwoording van de vragen van de MSLQ-vragenlijst. Het werd leerlingen niet verplicht antwoord te geven op deze vraag, zodat ze dit slechts deden als ze werkelijk een mening hadden over de lessen. Aanvankelijk werd de vraag slechts toegevoegd om extra informatie te verzamelen voor de formulering van interviewvragen. De reacties van leerlingen op deze vraag bleken echter interessant genoeg om in het onderzoek te worden opgenomen als extra effectmeting.
De derde effectmeting bestaat uit twee verdiepende interviews met selecties van vier leerlin-gen per groep. De leerlinleerlin-gen worden zodanig geselecteerd dat gesproken wordt met leerlinleerlin-gen die in de lessen verschillende leerstrategie¨en en voorkennis hebben getoond. Het doel van de in-terviews is het beter kunnen duiden van de resultaten die volgen uit de vragenlijst van de eerste twee effectmetingen. In de verwerking van de resultaten ligt daarom de nadruk op bespreking van de interviews. Omdat de vraagstelling in de interviews afhangt van de resultaten van de eerste twee effectmetingen zal in de rapportage van de resultaten behandeld worden om welke vragen het gaat.
6.2 Gepland verloop van de ontwerplessen
Elk van de Arduino-lessen zoals gevolgd door de interventiegroep zal achtereenvolgens bestaan uit de volgende lesonderdelen. Een les duurt 45 minuten.
0-5 min. — binnenkomst en start Leerlingen komen het lokaal binnen en maken zich klaar voor de les.
5-10 min. — formatieve evaluatie Leerlingen beantwoorden vragen van de formatieve evaluatie.
10-15 min. — nakijken en keuzemoment Leerlingen kijken hun antwoorden op de vragen uit de formatieve evaluatie na aan de hand van een beoordelingsmodel. Daarna maken ze een keuze tussen zelfwerkzaamheid en het volgen van klassikale uitleg.
15-30 min. — klassikale uitleg of zelfwerkzaamheid De klassikale uitleg duurt 10 tot 15 minuten. Leerlingen die ervoor kozen zelfstandig aan de slag te gaan doen dat met de werkbladen. Deze leerlingen wordt gevraagd rumoer tot het minimum te beperken, zodat de klassikale uitleg goed kan worden verstaan.
30-45 min. — zelfwerkzaamheid Alle leerlingen gaan zelfstandig aan de slag met werk-bladen. De docent en een TOA is beschikbaar voor het stellen van vragen.
De planning volgt ontwerpregel (1), volgens welke de formatieve evaluaties aan het begin van de les dienen te worden uitgevoerd, gevolgd door een keuze tussen klassikale uitleg en zelfwerkzaamheid. Direct na de keuze volgt de klassikale uitleg. Aan ontwerpregel (4), welke zich richt op een regelmatige formatieve evaluatie, wordt voldaan door het gegeven lesplan in te zetten bij elke les van de interventiegroep.
Bij de controlegroep zullen de lessen er hetzelfde uitzien, afgezien van het tweede en derde lesonderdeel. Leerlingen uit de controlegroep maken wel de keuze tussen zelfstandig werken en het volgen van klassikale uitleg, maar maken van tevoren niet een formatieve zelftoets. De klassikale uitleg zal hetzelfde zijn in de twee onderzoeksgroepen, waarbij gebruik wordt gemaakt van dezelfde presentatiedia’s. De dia’s zijn opgenomen in bijlage 3.
6.3 Ontwerp formatieve zelftests
In bijlage 2 zijn de formatieve zelftests opgenomen. De tests zijn ontworpen aan de hand van de ontwerpregels (2) en (3).
Ontwerpregel (2) wordt in de formatieve zelftests verwerkt door de vraagstelling in de for-matieve zelftests te laten gaan over onderwerpen die aansluiten op de leerdoelen van de lessen over Arduino. Het gaat om meerkeuzevragen over het bouwen van Arduino-schakelingen en het lezen en schrijven van code in de Arduino-programmeertaal. De meerkeuzevragen zijn verge-lijkbaar met vragen die leerlingen gesteld zullen worden in een schriftelijke overhoring over het onderwerp.
Ontwerpregel (3) wordt gevolgd door de formatieve zelftests te laten bestaan uit vragen die in de aansluitende klassikale uitleg worden behandeld. Leerlingen wordt v´o´or het maken van een keuze tussen klassikale uitleg en zelfwerkzaamheid verteld dat de klassikale uitleg bestaat uit de behandeling van de zojuist gemaakte zelftest. Op deze wijze geeft de evaluatie een helder inzicht in wat er in de klassikale uitleg zal worden behandeld en wordt er niet gevraagd naar globale kennis.
7
Resultaten
7.1 Verloop van de lessen
Wat volgt is een beschrijving van het verloop van de gegeven lessen. Waar mogelijk wordt aangegeven hoe de uitvoering afwijkt van de eerder beschreven planning en welk verschil tussen beide invloed kan hebben op het toetsen van de ontwerphypothese.
Verschillen in het verloop van de lessen tussen de interventie- en de controlegroep kunnen zijn ontstaan door de gebruikte interventie, maar ook andere oorzaken zijn aannemelijk. Er kan hierbij worden gedacht aan de verschillende tijdstippen waarop de lessen plaatsvonden (maandagen van 08:30 tot 10:00 uur voor de interventiegroep, woensdagen van 09:15 tot 10:45 uur voor de controlegroep), de verschillen in groepsdynamiek en de relatie die de leerlingen met de docent hebben.
Meer gekozen voor klassikale uitleg in interventiegroep Tussen de onderzoeksgroepen was een groot verschil wat betreft de hoeveelheid leerlingen die ervoor koos te luisteren naar de klassikale uitleg. In de interventiegroep luisterde per les minimaal 40% van de leerlingen naar de uitleg, wat sterk verschilt van de 16% die werd gemeten in de controlegroep. Hoewel dit verschil te maken kan hebben met de verschillen in groepsdynamiek en de relatie van de leerlingen met de docent, is de verwachting dat dit verschil een direct gevolg is van de inzet van formatieve zelftests bij de interventiegroep.
De zelftests hielpen leerlingen in de interventiegroep om in te schatten wat er tijdens de uitleg werd behandeld, zodat leerlingen beter wisten wat ze aan de uitleg zouden hebben. Ook cre¨eerde het maken van de zelftests een natuurlijk rustmoment in de klas, welke in de controlegroep ontbrak. De indruk ontstond dat leerlingen een meer bewuste keuze maakten tussen zelfwerkzaamheid en opletten wanneer dit vanuit rust gebeurde, zoals het geval was bij de interventiegroep. Afgeleide leerlingen uit de controlegroep leken niet allemaal door te hebben dat er een keuze moest worden gemaakt en gingen daarom automatisch zelf aan de slag, in plaats van op te letten.
Afleiding van zelftest en keuzemoment door materiaalgebruik Leerlingen werkten met laptops uit een verrijdbare laptopkar. Ervaring leert dat het lang kan duren voordat lap-tops gebruiksklaar zijn. Om de lessen snel op te starten werd de leerlingen gevraagd direct bij binnenkomst een laptop te pakken en deze aan te zetten. Met dezelfde reden pakten leerlin-gen alvast de benodigde materialen, waaronder een werkblad en de Arduino-hardware. Nadat leerlingen aan hun tafel waren gaan zitten werd ze de zelftest gegeven (alleen in het geval van de interventiegroep). Veel leerlingen bleken echter afgeleid door de verzamelde materialen en wilden liever direct beginnen met het bouwen van hun Arduino-schakelingen. De leerlingen moesten daarom worden aangespoord om te beginnen met het maken van de zelfevaluatie en het vermoeden bestaat dat de zelftests niet door alle leerlingen serieus gemaakt zijn. Dit kan invloed hebben op het testen van de ontwerphypothese omdat hierdoor minder goed kan worden nagegaan welk effect de zelftests hebben op zelfregulatie. Wel is gezien dat minstens driekwart van de leerlingen in de interventiegroep de zelftest serieus maakte.
Ook in de klassen waar leerlingen geen zelftest maakten werden leerlingen afgeleid door de Arduino-materialen op het moment dat ze gevraagd werden te kiezen tussen zelfwerkzaamheid en het luisteren naar klassikale uitleg. Ondanks de herhaalde vraag om te kiezen tussen de twee opties waren sommige leerlingen al zodanig bezig dat ze er niet bewust voor kozen om niet te luisteren naar de uitleg. Dit kan invloed hebben op het testen van de ontwerphypothese, omdat leerlingen door de afleiding niet toekomen aan het moment waarop ze zichzelf zouden moeten
reguleren. Als blijkt dat leerlingen uit de controlegroep zichzelf minder goed kunnen reguleren, dan komt dit mogelijk niet (alleen) doordat hen geen zelftest is gegeven, maar (ook) doordat ze niet bewust de keuze maakten tussen zelfwerkzaamheid en het volgen van klassikale uitleg. Rommelig verloop tussen keuzemoment en begin uitleg Het moment tussen de tijd waarop leerlingen de keuze tussen opletten of zelf werken voorgelegd kregen en het begin van de uitleg kon lang duren, omdat er op dat moment nog altijd leerlingen bezig waren met het pakken van werkbladen en apparatuur. De docent wachtte met het geven van uitleg tot de onrust voorbij was, maar dit zou ervoor gezorgd kunnen hebben dat leerlingen alsnog zelfstandig aan de slag gingen, ook al waren ze aanvankelijk van plan om naar de uitleg te luisteren. Dit kan invloed hebben op het testen van de ontwerphypothese omdat nu niet alleen de resultaten van de zelftest, maar ook omstandigheden zoals de tijdsduur tussen zelftest en uitleg invloed kunnen hebben gehad op de door leerlingen gemaakte keuzes.
Postieve reacties zelftests Leerlingen die de formatieve zelftest maakten reageerden daar in de les positief op, zonder dat de docent er naar vroeg. Een leerling gaf aan beter te weten welke stof ze nog niet begreep na het maken van de zelftest, zodat ze gericht kon luisteren naar de uitleg. Andere leerlingen waren enthousiast over hoe goed ze de zelftest hadden gemaakt, ondanks dat ze eerder dachten “er niets van te begrijpen”. De leerlingen lieten de rest van de les een vergroot zelfvertrouwen zien bij de uitvoering van de opgaven in de werkbladen: ze stelden de docent na het maken van de zelftest weinig vragen en wanneer de docent bij ze kwam lieten ze zien vastberaden te zijn om de problemen die ze tegenkwamen op te lossen.
Vraag van controlegroep naar inhoud uitlegmoment In de klas waar geen zelftest werd gemaakt vroegen leerlingen herhaaldelijk naar de inhoud van de klassikale uitleg op het moment dat ze gevraagd werden te kiezen tussen het volgen van de uitleg of zelfwerkzaamheid. De docent had al kort aangegeven dat het zou gaan over “het bouwen van Arduino-schakelingen” of “het begrijpen van Arduino-code”. Dit bleek voor de leerlingen echter niet voldoende informatie voor het maken van een keuze. In de interventiegroep werd niet gevraagd naar de inhoud van de uitleg: het was voor leerlingen voldoende te weten dat de klassikale uitleg in zou gaan op de zelftests die de leerlingen kort daarvoor maakten.
Geen verplicht toetsmoment Vanwege een tekort aan lessen is besloten een facultatieve toets af te nemen bij de onderzoeksgroepen. Dit houdt in dat leerlingen de schriftelijke over-horing over Arduino alleen maakten wanneer ze dit zelf wilden. In de praktijk betekende het dat alleen de leerlingen die hun gemiddelde cijfer voor het vak wilden verbeteren de overhoring maakten. Dit kan invloed hebben op het testen van de ontwerphypothese omdat de schriftelijke overhoring voor leerlingen vaak een extra motivatie is om hun leerproces zo in te richten dat ze zich richting de leerdoelen bewegen. Zonder schriftelijke overhoring mist deze vorm van extrin-sieke motivatie, met als gevolg dat niet alle leerlingen proberen de leerdoelen te bereiken. In dat geval zullen ze ook niet of verminderd bezig zijn met zelfregulatie, met of zonder formatieve zelftest.
7.2 Verloop van de effectmetingen
De MSLQ-vragenlijst In het laatste kwartier van de laatste les over Arduino werd leerlingen gevraagd de vragenlijst in te vullen. De e-mail met daarin een link naar de vragenlijst werd aan het begin van dit kwartier verzonden. Leerlingen kregen van de docent de opdracht in stilte en voor zichzelf de vragenlijst in te vullen. Er werd bij gezegd dat de Arduino-lessen onderwerp
waren van een onderzoek ter voltooiing van de lerarenopleiding en dat de leerlingen daar bij konden helpen door de vragenlijst serieus in te vullen. Ook stond in de e-mail met de link naar de vragenlijst en bovenaan de vragenlijst zelf de volgende tekst.
“Onderstaande vragenlijst gaat over hoe je de afgelopen lessen leerde over Arduino. Als je de vragen invult helpt me dat om de lessen beter te maken. Zou je de vragen voor me in willen vullen? Dit gebeurt anoniem.”
Om te voorkomen dat leerlingen werden be¨ınvloed bij het invullen van de vragenlijst werden ze er niet van op de hoogte gesteld dat de vragenlijst een meetinstrument is voor de mate van zelfregulatie van de leerling, noch dat de formatieve zelftests waren ingezet als interventie.
Na beantwoording van de MSLQ-vragenlijst was er in het verzonden formulier ruimte voor leerlingen om iets over de lessen op te schrijven in reactie op de zinnen, “Wil je nog iets kwijt over de lessen? Dat kan hier.” In tegenstelling tot de vragen uit de MSLQ-vragenlijst was beantwoording van deze open vraag niet verplicht. De vraag vormt een extra hulpmiddel om te bepalen welke vragen gesteld kunnen worden in de verdiepende interviews met een selectie leerlingen.
Het invullen van de vragenlijst verliep ordelijk. Leerlingen waren er tussen de 5 en 10 minuten mee bezig. Ze vulden de lijst in op hun telefoon of op de computer waar ze die les mee gewerkt hadden. Er waren geen technische problemen bij de afname.
De interviews In de laatste les over Arduino werd per klas vier leerlingen gevraagd of ze in de eerstvolgende pauze na de les 15 minuten wilden praten over de Arduino-lessen. De leerlingen werd verteld dat ze daarmee zouden helpen bij de voltooiing van de lerarenopleiding. Elk van de gevraagde leerlingen reageerde positief op de vraag en deed mee aan het interview.
De gekozen leerlingen hadden tijdens de lessen verschillende leerstrategie¨en getoond. Per klas werden twee leerlingen gekozen die er telkens voor gekozen hadden zelfstandig te werken en twee die geluisterd hadden naar de klassikale uitleg. Het was niet mogelijk leerlingen te kiezen die er afwisselend voor gekozen hadden te luisteren of zelfstandig te werken, omdat leerlingen per les consequent dezelfde keuzes maakten.
De twee zelfstandig werkende leerlingen uit de interventiegroep waren uitgekozen op de mate van zelfregulatie die ze gedurende het schooljaar hadden getoond: het ging om leerlingen die het hele jaar veel vragen hadden gesteld bij het werken aan opdrachten, vaak aangaven “er niets van te begrijpen”, ook wanneer ze de opdracht nog niet goed hadden gelezen. Omdat de leerlingen er in het geval van de Arduino-lessen voor kozen om niet naar klassikale uitleg te luisteren en relatief weinig vragen te stellen ontstond interesse naar de beweegredenen voor deze onverwachte keuze van de leerlingen.
De twee naar uitleg luisterende leerlingen uit de interventiegroep waren uitgekozen op het verschil van hun leerstrategie in vergelijking met de leerstrategie van de andere twee beschreven leerlingen. Waar de zelfstandig werkende leerlingen weinig vragen stelden en zelfstandig aan de slag gingen, daar hadden de naar uitleg luisterende leerlingen veel vragen aan de docent, ook na het volgen van de klassikale uitleg.
In de controlegroep was weinig keuze tussen de naar uitleg luisterende leerlingen: van de 25 leerlingen waren er slechts vier die de uitleg volgden. Elk van deze vier leerlingen vertoonde een vergelijkbare leerstrategie, waarbij veel vragen werden gesteld aan de docent, ook na de klassikale uitleg. Er werd daarom willekeurig gekozen voor twee van de vier leerlingen.
De ondervraagde zelfwerkende leerlingen uit de controlegroep werden gekozen op basis van hoe serieus ze tijdens de lessen gewerkt hadden. De leerlingen leken niet altijd zin te hebben in de lessen en waren zo nu en dan afgeleid, maar werkten op andere momenten juist goed aan de
Arduino-werkbladen. Ook deze leerlingen vertoonden daarom een andere leerstrategie dan de overige ge¨ınterviewde leerlingen.
Per onderzoeksgroep werden de vier leerlingen tegelijkertijd vragen gesteld. Hiervoor is gekozen om te zorgen dat de leerlingen zich op hun gemak voelden. Leerlingen vroegen of het niet zou gaan om een toets of ondervraging voor een cijfer en toonden zich ongerust. Het stelde ze gerust te weten dat er meer leerlingen bij zouden zijn en dat het alleen ging om een interview als onderdeel van een onderzoek waarin hun antwoorden anoniem zouden worden verwerkt. Een nadeel van deze aanpak is dat leerlingen in de beantwoording van de interviewvragen mogelijk be¨ınvloed werden door de beantwoording van dezelfde vraag door andere leerlingen. Er werd geprobeerd deze be¨ınvloeding te beperken door leerlingen te vragen zo eerlijk mogelijk zelf antwoord te geven, dat geen van deze antwoorden “goed” of “fout” is en dat het normaal is als het ene antwoord verschilt van het andere antwoord. De gegeven antwoorden waren inderdaad verschillend, zodanig dat er van uit wordt gegaan dat er sterke be¨ınvloeding was door andere leerlingen bij de beantwoording van de vragen.
7.3 Effectmeting 1: de MSLQ-vragenlijst
De vragenlijst is door 50 leerlingen ingevuld, 28 leerlingen uit de interventiegroep en 22 leerlingen uit de controlegroep. Hoewel de twee groepen respectievelijk bestaan uit 30 en 25 leerlingen wijkt het aantal respondenten af wegens afwezigheid van een aantal leerlingen tijdens de lessen waarin de vragenlijst werd ingevuld.
Na omkering van de scores op de vragen die door de handleiding van de MSLQ-vragenlijst als “reversed ” zijn aangegeven werd een gemiddelde score van 35,3 (met een standaardafwijking van 7,1) gevonden bij de interventiegroep. De controlegroep had een gemiddelde score van 35,8 (met een standaardafwijking van 6,8).
De scores van de twee groepen wijken statistisch niet van elkaar af. De resultaten van de vragenlijst vormen daarom geen bewijs voor de gestelde hypothese. Vanwege het relatief kleine aantal respondenten is het evenmin een bewijs voor het tegendeel van de gestelde hypothese. 7.4 Effectmeting 2: schriftelijke reacties van leerlingen op de lessenreeks Op de laatste, open vraag van het formulier dat door de leerlingen werd ingevuld werden antwoorden gegeven die interessant zijn voor het testen van de ontwerphypothese. Er is daarom voor gekozen om deze reacties in het onderzoek op te nemen als extra effectmeting.
Er volgt een selectie van de reacties die leerlingen gaven op de vraag of leerlingen nog iets kwijt wilden over de lessen. Interessant zijn de verschillen van de reacties tussen de twee groepen.
Reacties van leerlingen uit de interventiegroep
“Ik vond het erg leuk, omdat we veel zelf mochten doen en er niet veel uitleg nodig was.”
“Ik begreep in de eerste les niks van arduino. Door de zelftest snapte ik het wel. Ik vind die testjes daarom heel fijn.”
“Op de werkbladen stond meestal alleen de code, maar geen uitleg over de code; dat maakte het een beetje lastig aan het begin.”
Uit reacties blijkt dat de leerlingen het waarderen zelfstandig aan de slag te kunnen in de lessen, maar ook dat de leerlingen door deze zelfstandigheid de indruk kunnen hebben in het diepe te worden gegooid. Anders dan wat in de derde reactie wordt gesuggereerd staat in de
werkbladen wel degelijk uitleg over de code. De uitleg in de werkbladen is echter beperkt, zodat leerlingen de betekenis van de code zelf leren ontdekken. De reacties van de leerlingen sluiten aan bij de keuze om te differenti¨eren naar zelfstandigheid: sommige leerlingen zijn blij met de mogelijkheid om zelfstandig ontdekkend te leren, terwijl andere leerlingen meer uitleg nodig hebben.
Uit de tweede van de drie reacties blijkt dat de zelftest leerlingen heeft geholpen om de inhoud van de lessen beter te begrijpen. Er kan niet uit worden opgemaakt of de stof beter begrepen werd door het maken van de zelftest of door de uitleg die op de zelftest volgde en ook is onduidelijk of de zelftest de leerling in staat stelde zijn of haar leerproces beter te reguleren. Daarom kan de reactie niet worden gebruikt om de geldigheid van de ontwerphypothese te testen. Wel geeft de reactie de indruk dat de leerling baat heeft gehad bij het maken van de formatieve zelftests, zodanig dat ze bijgedragen hebben aan begrip van de stof die in de lessen werd behandeld.
Reacties van leerlingen uit de controlegroep
“Ik vond het interessante lessen, maar soms een beetje rommelig” “Misschien is meer klassikale uitleg met de hele klas beter.”
“Ik vond het leuke en interessante lessen, maar ik vind het toch wel lastig. Het zou fijn zijn om nog wat meer uitleg te krijgen aan het begin.”
“Ik vond het fijn dat je zelfstandig te werk kon gaan, eerst zelf uitzoeken en als je vragen hebt stel je ze.”
“Ik vond het leuk dat je zelf veel kon experimenteren zodat je vaardig werd met hoe het programma werkt en wat je ermee kan doen.”
“Ik vond de lessen heel leuk, en ik vond het ook heel fijn dat je zelf mocht kiezen of je naar een uitleg wilde luisteren of door wilde gaan.”
Uit de reacties van leerlingen uit de controlegroep blijkt dat ook deze leerlingen de inhoud van de lessen, de mogelijkheid tot zelfstandig werken en het ontdekkende leren hebben gewaardeerd. Een leerling geeft aan dat de lessen rommelig waren en dit komt overeen met de indruk van de docent: de lessen van de interventiegroep verliepen vooral bij het opstarten ordelijker dan die van de controlegroep. In het geval van de controlegroep gingen sommige leerlingen aan de slag met de werkbladen en de Arduino-materialen zonder daar uitleg bij te verwachten, terwijl andere leerlingen pas aan de slag gingen als ze daartoe aangespoord werden door de docent. Leerlingen in de interventiegroep lieten zien meer gefocust en zelfstandig aan de slag te gaan na het maken van de formatieve zelftests, mogelijk vanwege de klassikale opening van de les die door deze zelftests werd ge¨ıntroduceerd. De tests herinnerden leerlingen aan de leerdoelen van de Arduino-lessen, gaven leerlingen een positieve bevestiging als ze de vragen goed hadden beantwoord en lieten zien wat leerlingen nog leren moesten als de vragen fout beantwoord waren. Volgens de docent resulteerde dit in meer doelmatig en effici¨ent leergedrag onder de leerlingen van de interventiegroep en daarmee tevens een meer ordelijk verloop van de lessen. Interessant is dat de ordeverschillen tussen de twee groepen in andere lessen van dat schooljaar omgekeerd waren: het waren steevast de lessen van de controlegroep die ordelijker verliepen dan de lessen van de interventiegroep. Dit spreekt voor de beschreven invloed van formatieve zelftests op het leerklimaat.
Uit de reacties blijkt dat leerlingen uit de controlegroep verschillen in hun vraag naar meer klassikale uitleg. Ook dit ondersteunt de keuze om te differenti¨eren naar zelfstandigheid. Op-vallend is de vraag van een leerling naar meer klassikale uitleg met de hele klas. Deze leerling
heeft wellicht de indruk dat de mogelijkheid om te kiezen voor klassikale uitleg niet voldoende is om de leerlingen die deze uitleg nodig hebben te laten luisteren. Ook is het mogelijk dat deze leerling gestoord werd door het rumoer van leerlingen die zelfstandig werken tijdens de klassikale uitleg, ondanks de vraag van de docent om dit rumoer tot een minimum te beperken. Bij de leerlingen die tijdens de uitleg opletten is echter nagegaan of ze door het rumoer gestoord werden en dit bleek niet het geval.
De hoeveelheid klassikale uitleg werd door leerlingen uit de interventiegroep niet negatief besproken, terwijl enkele leerlingen uit de controlegroep aangeven dat er behoefte was naar meer klassikale uitleg. In beide groepen is evenveel klassikale uitleg gegeven. Een aannemelijke reden voor de verschillen tussen de reacties is de inzet van de formatieve zelftoetsen in de interventiegroep, welke tevens positief werd beoordeeld door een leerling uit de interventiegroep. 7.5 Effectmeting 3: verdiepende interviews
Een transcriptie van de afgenomen interviews is opgenomen in bijlage 5.
Vraagstelling In het interview is de aandacht uitgegaan naar de overwegingen van de leer-lingen bij de keuze tussen het volgen van klassikale uitleg en zelfwerkzaamheid. Hierbij is gebruikgemaakt van inzichten die verkregen werden bij de eerste twee effectmetingen.
Leerlingen uit de interventiegroep is gevraagd naar hoe ze het werken met formatieve eva-luaties hebben ervaren, terwijl leerlingen uit de controlegroep gevraagd werd of een dergelijke evaluatie ze geholpen zou hebben bij de planning van hun leerproces. De volgende vragen vorm-den de leidraad voor de gesprekken. Vragen met een enkele asterisk (*) wervorm-den alleen gesteld aan de interventiegroep, vragen met een dubbele asterisk (**) werden alleen gesteld aan de controlegroep.
(1) Hoe vond je het om de afgelopen lessen te leren werken met Arduino?
Vraag (1) werd gesteld om een algemene indruk te krijgen van wat leerlingen vonden van de lessen, zonder ze daarbij een richting op te sturen in de beantwoording van de vraag. (2) Hoe vond je het om zelfstandig met de werkbladen te werken?
Uit reacties in effectmeting 2 blijkt dat de hoeveelheid klassikale uitleg en de mogelijkheid om ervoor te kiezen hier niet naar te luisteren door leerlingen verschillend wordt gewaar-deerd. Door vraag (2) te stellen wordt gepoogd meer te weten te komen over de mogelijke problemen die leerlingen ervaren en zien bij deze aanpak en of de formatieve zelftests hier een rol in spelen.
(3a) Hoe vond je het om jezelf te kunnen testen aan het begin van de les?*
(3b) Zou je het prettig hebben gevonden om aan het begin van de les een zelftest te maken waarmee je na kunt gaan wat je al begrepen hebt van de klassikale uitleg die daarna zou worden gegeven? Leg uit.**
Met deze vraag wordt specifiek ingegaan op het effect dat de leerlingen ervaren hebben bij het maken of missen van zelftests. Beantwoording van de vraag geeft een indruk van hoe de zelftests bij hebben gedragen in het leerproces van de leerlingen.
(4) Welke redenen had je om te kiezen voor het volgen van uitleg of het zelfstandig werken?
Uit het verloop van de lessen is gebleken dat in de controlegroep vaker gekozen werd om niet naar de klassikale uitleg te luisteren dan in de interventiegroep. Ook bleek uit effect-meting 2 dat er verschillende meningen bestaan over de doeltreffendheid om het volgen van de uitleg niet verplicht te stellen. Met vraag 4 wordt nagegaan of de redenen die leer-lingen hadden om niet naar klassikale uitleg te luisteren verschillen per onderzoeksgroep en welke rol zelftests daar mogelijk in hebben gespeeld.
(5) Had je de indruk dat je wist wat je moest doen om te leren werken met Arduino? Leg uit.
Om zichzelf goed te kunnen reguleren zal een leerling moeten weten wat te doen om te leren werken met Arduino. Met vraag (5) wordt nagegaan in hoeverre dit het geval is en in hoeverre er een verschil bestaat tussen de onderzoeksgroepen.
(6a) Zou je andere keuzes hebben gemaakt als je de zelftoetsen niet had gemaakt? Leg uit.*
(6b) Zou je andere keuzes hebben gemaakt als je zelftoetsen had gemaakt? Leg uit.**
Met deze vraag wordt nagegaan in hoeverre leerlingen de zelftests als nuttige toevoeging hebben ervaren en in hoeverre deze tests invloed heeft op de (effectiviteit van de) wijze waarop ze zichzelf hebben gereguleerd.
(7) Ben je van plan om de schriftelijke overhoring over Arduino te maken en heeft dit plan invloed op de wijze waarop je met Arduino bezig bent geweest? Uit de rapportage van het verloop van de lessen blijkt dat de schriftelijke overhoring niet verplicht is gesteld. Dit zou invloed kunnen hebben op de mate van zelfregulatie van de leerlingen, omdat het vooruitzicht van toetsing een sterke extrinsieke motivatie is om het leerproces effici¨ent te reguleren.
Verwerking van interviews Er zal nader worden ingegaan op de resultaten van de interviews waar ze bijdragen aan het testen van de ontwerphypothese.
Uit reacties van de leerlingen op de eerste vraag blijken grote verschillen te bestaan in de enthousiasme van leerlingen over het onderwerp: de een vindt het saai, de ander is zo enthousiast dat deze van plan is thuis verder te spelen met een Arduino-set. Dit verschil tussen leerlingen laat zien dat de motivatie om te begrijpen hoe Arduino werkt sterk verschilt per leerling. Dit zal sterke invloed hebben op de zelfregulatie van leerlingen: hoe meer motivatie om iets te begrijpen, des te beter de keuzes die een leerling maakt om dit doel te bereiken. Hier zal rekening mee moeten worden gehouden bij de beoordeling van de rest van de resultaten van dit onderzoek.
Uit de interviews blijkt, net als uit effectmeting 2, dat verschillend gereageerd wordt op de differentiatie naar zelfstandigheid. Niet elke leerling waardeert het dat er weinig klassikale momenten zijn en er wordt meer uitgebreide klassikale uitleg gemist. Ook wordt verschillend gereageerd op de constructivistische lesaanpak, waarbij leerlingen leren door te experimenteren en ontdekken met het werkblad en de Arduino-materialen. Dit duidt op verschillen tussen leerlingen in de mate van zelfregulatie bij de gebruikte constructivistische aanpak: leerlingen die deze aanpak prettig vinden om mee te leren zullen beter in staat zijn om ontdekkend te leren en geven niet direct op wanneer ze het antwoord op een vraag niet direct weten.
De formatieve zelftests zijn positief ontvangen door de interventiegroep. Het hielp de leer-lingen om na te gaan of ze de leerdoelen al behaald hadden. Daarnaast werden de resultaten
van de zelftests door de leerlingen gebruikt om te bepalen of ze tijdens de klassikale uitleg op zouden letten. Dit ondersteunt de ontwerphypothese: de inzet van formatieve zelftests helpt leerlingen om zichzelf te reguleren in de les.
Voor beantwoording van vraag (3b) is de leerlingen uit de controlegroep verteld dat de vragen die tijdens de klassikale uitleg werden behandeld ook van tevoren gemaakt hadden kunnen worden door alle leerlingen. De leerlingen reageren positief op dit idee en geven aan dat het ze geholpen zou hebben om beter te weten waar de klassikale uitleg over zou gaan. Ook de leerlingen die niet opgelet hebben of ¨uberhaupt niet door hadden dat er een keuzemoment was geven aan dat de zelftests zouden hebben geholpen om bewuster een keuze te maken over hoe te leren over Arduino. Deze resultaten ondersteunen de ontwerphypothese.
Uit beantwoording van vraag (4) blijkt dat leerlingen uit de interventiegroep sterk geleund hebben op de resultaten van de zelftest bij het maken van de keuze tussen opletten en zelf werken. Ook hangt de gemaakte keuze af van de aanwezigheid van andere mogelijkheden om uitleg te krijgen. Leerlingen werkten samen en als ´e´en van beide de zelftest beter maakte dan de ander, dan kan de leerlinge die hulp nodig heeft ervoor kiezen toch niet op te letten en vragen te stellen aan zijn of haar samenwerkingspartner. Ook in dit geval zal echter gebruik worden gemaakt van de formatieve zelftests om te bepalen wat al wel of nog niet begrepen is en hoe het leerproces hier het beste op kan worden aangepast. Dit ondersteunt de gestelde ontwerphypothese.
Leerlingen uit de controlegroep hebben gebruikgemaakt van andere methoden om hun leer-proces te reguleren. Als leerlingen de stof niet begrepen en de klassikale uitleg nuttig was gebleken bij vorige keren dat er uitleg werd gegeven, dan was dit een reden voor leerlingen om opnieuw op te letten. De leerlingen konden van tevoren echter niet goed inschatten of ze de stof die in de uitleg behandeld werd al begrepen. Dit leidde tot ineffici¨entie in het leerproces: het was effici¨enter geweest om alleen op te letten wanneer duidelijk is dat er iets behandeld wordt dat nog niet begrepen is.
Een andere leerling uit de controlegroep laat weten niet door te hebben gehad dat er een keuzemoment was. Dit sluit aan op de beschrijving van het verloop van de lessen, waaruit blijkt dat de lessen van de controlegroep rommelig verliepen. Zonder zelftest was er geen klassikaal rustmoment waar leerlingen de keuze tussen opletten en zelf werken konden maken. Voor de genoemde leerling zal het gemis van dit rustmoment er voor gezorgd hebben dat het keuzemo-ment ongemerkt voorbijging. Ook deze reactie ondersteunt de gestelde ontwerphypothese: de formatieve zelftests dragen bij aan een moment van bezinning, welke leerlingen in staat stelt stil te staan bij de regulatie van het leerproces. Leerlingen uit de onderbouw moeten in veel gevallen nog leren zichzelf te reguleren en zelftests kunnen ervoor zorgen dat dit bewust plaatsvindt bij de leerling.
De beantwoording van vraag (5) door leerlingen van de interventiegroep laat zien dat de zelftests hebben geholpen bij bepaling van de leerdoelen van de lessen. Deze stap maakt zelfre-gulatie mogelijk. Het is immers niet mogelijk het leerproces te reguleren wanneer niet duidelijk is waar de regulatie tot moet leiden. Een andere tactiek die tevens de leerlingen uit de contro-legroep hielp bij zelfregulatie is door aan de slag te gaan met de werkbladen. Vraagstukken en problemen die leerlingen tegenkwamen vormden bewijsstukken voor hetgeen nog geleerd moest worden, dat wil zeggen voor de leerdoelen van het vak. Er kan daarom worden gesteld dat zowel de constructivistische leerstijl van de werkbladen als de zelftests bijdragen aan ontdekking van de leerdoelen en de zelfregulatie die tot het behalen deze doelen moet leiden.
Op vraag (6) zijn leerlingen uit de interventiegroep en controlegroep het met elkaar eens: de toetsen hebben invloed gehad of zouden invloed hebben gehad op de gemaakte keuzes in het leerproces. uit de reactie van leerlingen uit de interventiegroep blijkt dat leerlingen zonder zelftests meer zelfstandig zouden hebben gewerkt, in plaats van naar de klassikale uitleg te
luisteren. Dit is inderdaad het patroon dat in de lessen van de controlegroep werd gemerkt: er viel op dat minder leerlingen uit de controlegroep naar de uitleg luisterden dan in de inter-ventiegroep. Ook de reacties van leerlingen uit de controlegroep laten zien dat de zelftests mee zouden hebben gewogen bij het maken van hun keuzes, ook als dit toch tot dezelfde keuzes zou hebben geleid.
Geen van de ge¨ınterviewde leerlingen was van plan deel te nemen aan toetsing van het onderwerp. De leerlingen leggen uit dat dit inderdaad invloed heeft gehad op de wijze waarop ze in de les bezig zijn geweest met de te leren stof. De leerlingen uit de interventiegroep zouden onder meer de zelftests hebben gebruikt om mee te studeren en ze zouden aantekeningen hebben gemaakt bij verwerking van de werkbladen. Hieruit blijkt dat het vooruitzicht van een toetsmoment invloed heeft op de leerdoelen die leerlingen zichzelf stellen. Dit zal daarom tevens invloed hebben gehad op de mate waarin leerlingen hun leerproces reguleerden. Hier zal rekening mee moeten worden gehouden bij beoordeling van de resultaten.
8
Conclusie en discussie
Door middel van een vragenlijst en interviews is onderzocht of formatieve zelftests die leerlingen inzicht geven in de leerdoelen en hoe ver ze van de leerdoelen af zitten hen beter in staat stellen zichzelf te reguleren in het leerproces.
De resultaten van de MSLQ-vragenlijst leveren geen bewijs voor de gestelde hypothese. Wegens een klein aantal onderzochte leerlingen is met de resultaten van de vragenlijst evenmin bewijs geleverd voor het tegendeel van de hypothese.
De resultaten van de schriftelijke reacties van leerlingen op de lessenreeks in combinatie met de aansluitende interviews geven sterke aanwijzingen dat leerlingen uit de interventiegroep de zelftests hebben gebruikt bij de zelfregulatie van hun leerproces. Tevens geven leerlingen aan dat hun zelfregulatie en in het bijzonder het maken van de keuze tussen het volgen van klassikale uitleg en het zelfstandig werken vergemakkelijkt werd door gebruik te maken van zelftests. Twee van de redenen die hiervoor worden opgegeven zijn dat de zelftests inzicht geven in de leerdoelen van de lessen en inzicht geven in de inhoud van de klassikale uitleg die op de zelftests volgden. Dit sluit aan op de ontwerpregels die gebruikt werden bij het ontwerp van de formatieve zelftests.
Meer leerlingen uit de interventiegroep dan uit de controlegroep kozen ervoor op te letten tijdens de klassikale uitleg. Uit de interviews blijkt dat leerlingen uit de controlegroep die ervoor kozen niet op te letten tijdens de klassikale uitleg wellicht anders gekozen zouden hebben in het geval ze zelftests hadden gemaakt. Dit ondersteunt opnieuw de ontwerphypothese: het is naar aanleiding van de reacties van leerlingen aannemelijk dat de inzet van formatieve zelftests een positieve invloed heeft gehad op de mate van zelfregulatie van het leerproces.
Concluderend kan worden gesteld dat er aanwijzingen zijn gevonden ter bevestiging van de gestelde ontwerphypothese. Hoewel de hypothese niet kan worden bevestigd door een laag aantal respondenten en tevens een laag aantal interventies en meetmomenten, is met de gedane metingen aannemelijk gemaakt dat formatieve zelftests de zelfregulatie van onderbouwleerlingen uit het voortgezet onderwijs in lessen over digitale geletterdheid positief be¨ınvloeden.
In het ontwerp van de lessen en de formatieve zelftests is gebruikgemaakt van een viertal ontwerpregels. Wanneer leerlingen spreken over de voordelen van de zelftests worden argu-menten genoemd die aansluiten op de ontwerpregels (1) en (2). Leerlingen vinden het pret-tig dat de zelftests voor de klassikale uitleg worden gegeven, zodat ze kunnen helpen bij het maken van een keuze tussen opletten en zelfstandig werken. Dit sluit aan op de in de ontwerpregels gebruikte inzichten van [Cauley and McMillan, 2010]. Ook zijn leerlingen te-vreden met de mogelijkheid om via de zelftests na te gaan in hoeverre ze de stof begrepen hebben en daarmee hoe ver ze zich van de leerdoelen van de les af bevinden. Het toont hoe zelftests bijdragen aan de planning van het leerproces door de leerdoelen te verhelderen [Panadero et al., 2017, Cauley and McMillan, 2010].
Over de inhoud van de zelftests (ontwerpregel (3)) en de regelmatigheid waarmee ze werden gegeven (ontwerpregel (4)) zijn geen opmerkingen gemaakt door de leerlingen. Wel is duidelijk dat leerlingen de inhoud van de zelftests nuttig vonden om hun eigen niveau in te schatten. Leer-lingen geven aan dat ze de zelftests gebruikt zouden hebben om te leren voor een toetsmoment, wat erop wijst dat ze de inhoud van de tests op het toetsniveau inschatten.
Om de conclusie op waarde te schatten moet rekening worden gehouden met alternatieve fac-toren die de resultaten kunnen verklaren of mogelijk hebben be¨ınvloed. Er is al opgemerkt dat leerlingen verschillende leerstijlen hanteren en dat de constructivistische leerstijl die in dit on-derzoek werd toegepast voor leerlingen verschillende resultaten oplevert [Woolfolk et al., 2013]. In de waardering van de zelfstandigheid die leerlingen in de lessen geboden werd kan de construc-tivistische leerstijl van de werkbladen invloed hebben gehad. Het is aannemelijk dat leerlingen
met een voorkeur voor deze leerstijl goed in staat zijn hun leerproces bij constructivistisch opgezette lessen te reguleren. Deze leerlingen hebben mogelijk voldoende aan de werkbladen en vergeleken met andere leerlingen minder baat bij de zelftests. Om na te gaan in hoeverre zelftests bijdragen aan de regulatie van het leerproces bij leerlingen in de onderbouw van het VWO is het daarom nodig formatieve zelftests in te zetten in lessen waar een andere leerstijl in wordt gehanteerd.
Ook het gemis van een toetsmoment kan invloed hebben gehad op de onderzoeksresultaten. Toetsing vormt een sterke extrinsieke motivatie voor leerlingen om het leerproces te plannen [Woolfolk et al., 2013, Kortland et al., 2017]. Mist deze motivatie, dan is het voor leerlingen minder belangrijk om op te letten tijdens klassikale uitleg en de zelftest serieus te maken. Om de ontwerphypothese te testen zal ook de inzet van formatieve zelftests moeten worden onderzocht bij vakken die worden getoetst.
Een zwak punt in de analyse is de eerste effectmeting, waarbij gebruik is gemaakt van de MSLQ-vragenlijst. De vragenlijst is vertaald naar het Nederlands en de nieuw ontstane vragenlijst is niet gevalideerd. Daarnaast bevat de vragenlijst vragen die voor het onderzoek niet relevant waren, waaronder vragen waarin wordt gevraagd naar de wijze waarop leerlingen thuis te werk gaan om de onderwezen stof te leren en hoe leerlingen studeren voor een toets over de onderwezen stof. Bij de onderzochte reeks lessen was het voor leerlingen niet nodig om thuis te oefenen of studeren, noch om te leren voor een toetsmoment. Aangeraden wordt om in vervolgonderzoek gebruik te maken van een ander, gevalideerd meetinstrument om de mate van zelfregulatie van het leerproces in kaart te brengen. Een andere optie is ervoor te zorgen dat de onderzochte lessen en de MSLQ-vragenlijst beter op elkaar aansluiten.
De bevindingen van het onderzoek wijzen erop dat het positieve effecten heeft om zelftests in te zetten in lessen waarin wordt gedifferentieerd naar zelfstandigheid. Zelftests kunnen ervoor zorgen dat leerlingen stilstaan bij hun leerproces, de leerdoelen en de doelen die ze zichzelf voor de huidige les stellen. Dit is een welkome toevoeging in lessen waarin leerlingen zelfstandig aan de slag kunnen, maar waarbij het nodig is ze hulpmiddelen aan te reiken om zelfstandige werkzaamheden effici¨ent en doelmatig in te zetten. Met dit onderzoek in gedachten wordt docenten die formatieve zelftests inzetten aanbevolen om met de volgende zaken rekening te houden.
• Formuleer de vragen in de zelftests zodanig dat leerlingen er uit kunnen afleiden wat de doelen van de les zijn en in hoeverre ze deze lesdoelen al hebben behaald.
• Laat leerlingen hun antwoorden op de vragen zelf nakijken en behandel de uitwerkingen later in de klassikale uitleg. Zo weten leerlingen precies wat aan bod zal komen in de uitleg en of het voor hen de moeite waard is om op te letten.
• Probeer de tijd tussen het maken van de formatieve zelftests en het geven van klassikale uitleg tot een minimum te beperken. Dit bevordert de rust in de klas tijdens de klassikale uitleg en zorgt ervoor dat leerlingen die van plan zijn op te letten niet afgeleid raken. • Maak de formatieve zelftests kort en gemakkelijk om na te kijken. Door het kort te houden
zullen leerlingen voldoende concentratie hebben om de gehele toets te maken. Door te zorgen dat de tests makkelijk na te kijken zijn kost het weinig tijd om leerlingen de vragen zelf na te laten kijken.
• Gebruik presentatieslides met daarop de antwoorden en vervolgens de uitwerkingen van de vragen uit de zelftests. Zet de vraag en de mogelijke antwoorden bij de uitwerkingen, zodat leerlingen gemakkelijk kunnen bekijken welke vraag op het moment behandeld wordt. Zo kunnen ze besluiten eventueel alleen het deel van de uitleg te volgen die hen interesseert.
Op de ontwikkelde zelftests en lessen werd positief gereageerd door vaksectiegenoten en de werkplekbegeleider. De inzet van formatieve toetsing wordt aangemoedigd op de school waar het onderzoek is uitgevoerd en het is nuttig uit te zoeken op welke wijze deze toetsing het gewenste resultaat oplevert. Leden van de vaksectie hebben geen verwachting uitgesproken over de resultaten, maar vonden de gevonden resultaten plausibel. Een docent van andere klassen uit de onderzochte jaarlaag heeft de zelftests in zijn lessen ingezet en zei een vergelijkbaar resultaat te hebben gemerkt: leerlingen gingen effici¨enter en doelgerichter aan het werk na de zelftests te hebben gemaakt. Deze resultaten zijn niet opgenomen in het huidige onderzoek, omdat niet kon worden nagegaan of de zelftests op dezelfde wijze zijn ingezet in de betreffende lessen.
