EINDPAPER Ontwerponderzoek
EINDPAPER ONTWERPONDERZOEK
Naam auteur(s) N. RaapVakgebied Engels
Titel Kruip in de huid van het Cito
Onderwerp Verbeteren van leerresultaat en motivatie door leerlingen zelf vragen te laten maken bij door hen geselecteerde teksten.
Opleiding Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam
Doelgroep VWO 5
Sleuteltermen Engels, Leesvaardigheid, Examenvragen maken, Motivatie
Links
Bibliografische referentie
Raap, N. (2019). Kruip in de huid van het Cito, Amsterdam: Interfacultaire Lerarenopleidingen UvA.
Studentnummer 10259813
Begeleider(s) Chris Veldwijk, Daphne van Weijen
Eindpaper Ontwerponderzoek
Samenvatting
Dit onderzoek wil aangeven dat, wanneer leerlingen door middel van top-down processing, met door henzelf gese-lecteerde authentieke teksten, waarbij zij zelf vragen maken op VWO CITO eindexamenniveau en die vervolgens door hun klasgenoten van feedback laten voorzien, de leerresultaten voor leesvaardigheid verbeteren en de motivatie toeneemt. De resultaten lieten geen significante verbetering zien in de leerresultaten en ook niet in de motivatie, de resultaten van de interventiegroep kwamen in grote lijnen overeen met die van de controlegroep. De resultaten on-dersteunen de hypothese dus niet, maar hierbij dient aangetekend te worden dat dit een studie van beperkte omvang betreft. Daarnaast was het moment van interventie, in de laatste weken van het schooljaar, niet ideaal. Meer onder-zoek en herontwerp is nodig om de metingen van het leerresultaat en de motivatie betrouwbaar te maken.
I Probleemanalyse Aanleiding Opvallend is de ongeïnteresseerdheid van de leerlingen in Atheneum 5 bij Engels. Ze zijn snel afgeleid, moeten worden aangesproken op hun gedrag of geven een apathische indruk. Een deel van deze groep leerlingen heeft in het afgelopen jaar een uur extra (Cambridge) Engels gekregen. Ze lieten zien erg goed te zijn bij de reguliere lessen en daarnaast hadden ze lucht over bij hun andere vakken. Steevast behoort deze groep tot de hoogst scorende leerlingen van de klas op alle onderdelen en hebben ze daarnaast, wanneer hen wat wordt gevraagd, goede antwoorden klaar. Toch hebben ook zij nog een hoop te winnen op onderdelen als schrijfvaardigheid, literatuur en leesvaardigheid.
Andere leerlingen uit deze groep lijken ongemotiveerd. Bij gezamenlijke opdrachten zal een leerling niet snel uit zichzelf wat zeggen, wordt er veel gepraat over andere zaken onderling, bij het checken van het werk wordt er pas bij aandringen opgeschreven wat van hen wordt gevraagd. Presentaties worden aangehoord, maar leerlingen stellen geen vragen, pas als de leerlingen wordt gevraagd vragen op te schrijven tijdens de presentatie volgt er iets van interactie, maar dit moet ik als docent telkens sturen. Met name bij het onderdeel leesvaardigheid is de aandacht beperkt (er wordt veel gekletst), de input weinig serieus (als er MC vragen zijn, wordt er maar wat gegokt) en vragen worden niet gedetailleerd genoeg beantwoord.
Als ik naar de opdrachten voor het onderdeel leesvaardigheid kijk, kan ik me voorstellen dat de manier van oefenen voor hun leesvaardigheidstoetsen als eentonig wordt ervaren. Het gaat altijd volgens een vast patroon: een oefening waarin de voorkennis wordt geactiveerd, een oefening waar er moet worden gescand en vervolgens een oefening waar de hele tekst goed moet worden gelezen en waar er vragen worden gesteld die bijvoorbeeld te maken hebben met de structuur van de tekst, de intentie van de auteur of de hoofdgedachte.
Empirisch bij leerlingen verzamelde data
kij-ken op magister van de laatst afgenomen leesvaardigheidstoets (deze leestoets bevatte zoekvra-gen, vragen over de tekststructuur, de communicatieve strekking, hoofdgedachtes en betekenis van tekstelementen, de vragen bestonden uit zowel open vragen als meerkeuze vragen over een tweetal teksten, waarbij ook een gatentekst (zie ook bijlage 3)) van twee atheneum 5 klassen. Ook zijn de onderstaande vragen gesteld aan een groep van 6 leerlingen, 3 jongens en 3 meisjes, waaraan ik had gevraagd na de les nog even te blijven voor een gesprek.
Welke van de onderdelen (spreekvaardigheid, kijk/luistervaardigheid, literatuur, leesvaardigheid) vind je het minst uitdagend/ben je minder voor gemotiveerd?
Wat staat je tegen wanneer deze onderdelen worden geoefend/behandeld? Waar zie jij mogelijkheden tot verbetering, wat moet anders?
Specifiek heb ik dus gevraagd welk onderdeel (spreekvaardigheid, kijk/luistervaardigheid, litera-tuur, leesvaardigheid) werd gezien als minder uitdagend. In het vraaggesprek met zes leerlingen (3 meisjes en 3 jongens van verschillende niveaus), kwam naar voren dat vooral de lessen die erop gericht zijn de leesvaardigheid te bevorderen, als eentonig worden ervaren. Er wordt aange-geven dat de teksten die worden behandeld niet interessant zijn en dat de vragen te simpel zijn om voor voldoende uitdaging te zorgen. Ook geven leerlingen aan dat (zoals ik reeds vermoedde) de manier waarop de teksten worden behandeld als een sleur wordt ervaren; de teksten worden vaak volgens een bepaald patroon aangeboden. Er wordt deze periode veel uit het boek van de methode (Stepping Stones) gewerkt en dat zorgt voor weerstand bij leerlingen, ze geven aan dat de teksten uit de methode Alquin die werden gebruikt bij de lessen in het kader van Cambridge English, als uitdagender en actueler werden ervaren. Ook gaven de leerlingen aan een keuzevrij-heid te missen tijdens de lessen en ervaren ze de opdrachten als weinig activerend.
De 30 leerlingen uit de atheneum 5 groep (A5a) waar ik de interventie wil toepassen, hebben gemiddeld een 6.6 gescoord op de eerste leestoets. Een toets die naast VWO examenvra-gen, voor een groot deel uit CE CITO vragen van de HAVO bestond. Vergeleken met een soort-gelijke toets die werd afgenomen in VWO 5 van het voorgaande jaar scoren leerlingen gemiddeld 0.3 punt lager. Er werden verder vrij veel onvoldoendes gescoord: 7 onvoldoendes, waarbij het laagste cijfer een 3.5 was en het hoogste cijfer een 8.7. In het voorgaande jaar waren dit 4 onvol-doendes bij een groepsgrootte van 27. De groep A5a bestaat uit 30 leerlingen, 12 meisjes en 18 jongens, en de parallelgroep die als controlegroep kan fungeren (A5b) uit 31 leerlingen, 15 meis-jes, 16 jongens. Ik ben docent in A5a, de parallelgroep wordt lesgegeven door een collega. Input vaksectie
Collega’s laten ook blijken dat zij de motivatie van hun leerlingen ook vinden tegenvallen, die geluiden komen overeen met de hierboven beschreven observatie. Mijn collega’s geven dan ook aan geïnteresseerd te zijn in de uitkomsten van het onderzoek. Een aantal tips werden meegege-ven, zoals het toepassen van meer differentiatie in de lessen leesvaardigheid. Op dit laatste punt heb ik doorgevraagd, waarbij bijvoorbeeld het aanbieden van teksten op verschillende niveaus werd geopperd. Ook andere adviezen, zoals het zelf genereren van vragen door leerlingen werden gesuggereerd.
Mijn directe collega die in de parallelklas A5 lesgeeft, geeft aan bezorgd te zijn over de behaalde resultaten voor leesvaardigheid, in de A5 parallelklas hebben 12 van de 30 leerlingen onvoldoende gescoord voor de leestoets. In mijn klas is eenzelfde beeld te ontdekken (7 onvol-doendes op 30 leerlingen). De tip om leerlingen op een andere manier met teksten om te laten gaan door hen zelf vragen te laten formuleren bij teksten, heb ik verder onderzocht. In de
litera-tuur heb ik gekeken of een soortgelijke aanpak ook een positief effect heeft gesorteerd op zowel motivatie als leerresultaat. Tegemoetkomen aan de autonomie van de leerling door hen zelf tek-sten te laten selecteren is een tweede advies die ik verder heb onderzocht.
Verkenning en keuze van oplossingen
In het literatuuronderzoek heb ik eerst gekeken naar algemene literatuur over motivatie, later heb ik naar specifieke onderzoeken gekeken die naar interventies keken die zowel de motivatie als de leesvaardigheid van leerlingen bevorderden.
Motivatie wordt door Brown (2007) gedefinieerd als “de mate waarin je keuzes maakt om (a) doelen na te streven en (b) de moeite die je zult doen om die na te streven” (p. 85). Dit wordt op verschillende manieren geïnterpreteerd, waarbij er grofweg drie verschillende invalshoeken kunnen worden onderscheiden van waaruit gewerkt kan worden om de motivatie van leerlingen te beïnvloeden:
1. de gedragsmatige aanpak (behavioral approach), waar de rol van beloning (en misschien straf) een grote rol speelt,
2. de aanpak uit de cognitieve psychologie, waar beloning ook een rol speelt, maar waar het verschil ligt in de bron van de motivatie en de kracht van zelfbeloning (hieronder vallen ook de Drive theory, de Hierarchy of needs theory en de Self-control theory).
3. en de constructionistische aanpak, waar er nadruk wordt gelegd op de sociale context en de persoonlijke keus van de leerling (Brown, 2007, p 85).
Deze drie benaderingen komen op verschillende manieren terug in een lijst van aanpakken die Dorneyei beschrijft in zijn artikel Motivation and Motivating in the Foreing Language Classroom (1994), waarin hij het onderzoek naar motivatie bij vreemde taal probeert samen te vatten. Hier-onder volgt de lijst van aanpakken voor het stimuleren van de motivatie van de leerling die voor mijn interventie relevant zijn:
Enthousiaste manier van presenteren (door docent). Zijn leerlingen bekend met het doel
Hebben leerlingen een keuze (om b.v. doel te behalen)
Kunnen leerlingen zelf regels etc. ontdekken (i.p.v. verteld te worden) Draagt het bij aan autonomie en onafhankelijkheid van de leerling Is het interactief (met andere leerlingen)
Is er uitdaging (redelijke)
Creëer een aangename en ondersteunende omgeving in de klas Gebruik authentiek materiaal
Zorg dat de leerling de taak aankunnen
Geef leerlingen een gedetailleerde uitleg over procedures en strategieën die ze moeten toepassen om de taak af te ronden
Stel leerlingen in staat hun werk aan anderen te laten zien, zodat ze trots kunnen zijn op hun werk
Geef leerlingen autonomie zodat ze op verschillende manieren hun doel kunnen bereiken Toon interesse
Geef motiverende feedback
Stimuleer de doel-georiënteerdheid van de groep door zo nu en dan te evalueren in hoeverre de groep zijn doel al heeft bereikt.
Veel van de punten in de lijst van Dorneyei zijn erg algemeen van aard en hebben veel te maken met de randvoorwaarden van het onderwijs. De punten die hierboven over zijn genomen zijn spe-cifiek bruikbaar bij een interventie leesvaardigheid en vinden ook hun weerklank bij andere on-derzoekers.
Marzano en Miedema (2013, p 21) geven dan ook soortgelijke suggesties voor het bevorderen van de motivatie. In hun boek van de vijf dimensies van het leren wordt onder dimensie één in-gegaan op het aspect motivatie en het belang van een positieve houding van de leerling ten aan-zien van school. De strategieën om een positieve houding ten aanaan-zien van school te bevorderen worden in drie verschillende domeinen gescheiden: het klassenklimaat, schoolse taken en op-drachten, en betrokkenheid voelen bij het eigen leren. Vooral de observatie dat leertaken als waardevol en relevant moeten worden ervaren (bijvoorbeeld door een beroep te doen op inbreng van leerlingen), als helder en duidelijk moeten worden ervaren (leerling moet bijvoorbeeld over alle bronnen kunnen beschikken om hun opdracht te voltooien) en dat daarnaast een focus moet zijn op het ontwikkelen van verantwoordelijkheid van leerlingen (bijvoorbeeld door het werk van elkaar van feedback te voorzien), zijn relevant voor mijn onderzoek en helpen een kader te stellen voor de hypothese en de daaraan gekoppelde ontwerpregels.
Eén van de manieren om een positieve houding te bewerkstelligen die voor mijn ontwerplessen toe te passen is de gelegenheid geven tot groepswerk en samenwerking (Marzano & Miedema 2013, p. 28). Young (2003) geeft aan dat betekenisvolle opdrachten die complex zijn en uitda-gend, de motivatie van leerlingen bevorderd. Die hogere orde vaardigheden waar hij naar verwijst zorgen voor meer uitdaging, te denken valt hierbij ook aan de onderdelen toepassen, analyseren, evalueren en creëren uit de taxonomie van Bloom.
Leesvaardigheid
Specifiek voor leesvaardigheid beschrijven Rosenshine, Meister en Chapman (1996) een aantal onderzoeken, waarin naar de effectiviteit werd gekeken van het maken van vragen bij tek-sten door leerlingen zelf. Hierin wordt dus gekeken naar onderzoeken waarin de leerling uit wordt gedaagd om zijn hogere orde denkvaardigheden te gebruiken in complexe opdrachten. Sommige van deze onderzoeken lieten een positief resultaat zien, zowel op het vlak van motivatie als ook bij de resultaten voor leesvaardigheidstoetsen en lijken dus aan te sluiten bij de meer al-gemene uitspraken over motivatie en leerresultaat van voorgaande onderzoekers.
Rosenshine, Meister en Chapman (1996) beschrijven leesvaardigheid als één van de vaar-digheden die minder gestructureerd is; er zit niet een voorspelbaar algoritme in de taak om tot het gewenste resultaat te komen en de taak kan ook niet worden teruggebracht tot een bepaalde se-quentie van sub-taken: lezen is een minder gestructureerde vaardigheid, vergeleken met bijvoor-beeld het uit je hoofd leren van bepaalde zinnen of het toepassen van een grammaticale regel (p. 181).
zich deze vaardigheid beter eigen te maken. Aandacht voor cognitieve strategieën (bij leesvaar-digheid behelst dat o.a. het maken van samenvattingen, maar bijvoorbeeld ook het vormen van vragen en het evalueren daarvan) heeft meerdere voordelen. Het voorziet in een algemene aanpak die kan worden toegepast bij het aanleren van hogere denkvaardigheden. Daarnaast laat onder-zoek zien dat leerlingen die werden onderwezen in verschillende cognitieve strategieën, betere posttest scores lieten zien (Rosenhine, Meister & Chapman, 1996, p182).
Wanneer leerlingen zelf vragen opstellen bij het lezen van teksten richt de aandacht van de leerling zich op de inhoud van de tekst. De leerling wordt er daarnaast in gestimuleerd, zelf hogere denkvaardigheden toe te passen (Garcia & Pearson 1990), in de taxonomie van Bloom aangeduid met de drie termen analyseren, creëren en evalueren. Leerlingen die worden getraind in het zelf genereren van vragen laten een hoger zelfbewustzijn zien van de toereikendheid van hun begrip (Rosenshine, Meister & Chapman, 1996). Verder geeft ditzelfde onderzoek aan dat leerlingen meer betrokken raken bij dat wat ze lezen en niet alleen maar gericht zijn op het ant-woorden van de vragen van de docent. Leerlingen spelen een actieve, initiërende rol tijdens het leerproces en zijn meer betrokken (Craig & Lockhart, 1972).
Andere onderzoeken laten daarnaast zien dat leerlingen die zelf vragen hebben moeten formeren, de kern van een tekst beter kunnen identificeren en daardoor ook beter worden in het inschatten van het niveau van hun eigen tekstbegrip (Wong, 1985). Verder kunnen leerlingen mogelijk ook beter de problemen identificeren en oplossen bij een beperkt en onvolledige begrip van een tekst (Palincsar & Brown, 1984).
In studies waar leerlingen signaalwoorden kregen aangereikt als who en where scoorden ze significant hoger dan controlegroepen. (Rosenshine, Meister & Chapman, 1996, p. 190) Het maken van generieke vragen lieten ook gunstige effecten zien bij post toetsing (King, 1992). In onderzoeken waar leerlingen geleerd werden tekst-expliciete vragen (vragen waar de antwoorden d.m.v. inferentie uit de tekst moeten worden gehaald en rechtstreeks uit de tekst kunnen worden overgenomen), tekst impliciete vragen (vragen waarvan de antwoorden d.m.v. het maken van inferentie uit de tekst zelf moeten worden gehaald, maar waarvan het antwoord niet rechtstreeks uit de tekst kan worden overgenomen) en schema-based (voorkennis gecombineerd met kennis van de tekst) vragen te maken, lieten geen significant verschil (Rosenshine e.a., 1996). Bij leer-lingen waar geen procedurele aanwijzingen werden gegeven lieten sommige onderzoeken een positief effect zien (Helfeldt & Lalik, 1979).
Anderen, zoals Singer en Donlan (1982), probeerden erachter te komen of het aanleren van probleemoplossende schema in de vorm van het zelf ontwikkelen van verhaal specifieke vra-gen ervoor zorgden dat deze ontwikkelde schema ook werd toegepast bij andere teksten waar deze top-down processing (toevoegen van reeds aanwezige kennis) konden worden toegepast voor een beter begrip van de tekst. Leerlingen werd dus aangeleerd hun reeds aanwezige kennis over de tekststructuren en inhoud van teksten in het algemeen te vatten in generieke vragen (in dit geval vragen gericht op verhalen) die vervolgens zouden kunnen worden gebruikt voor andere verhalen. Het onderzoek liet zien dat leerlingen die zelf verhaal specifieke vragen hadden ont-wikkeld, statistisch significant beter scoorden dan de controle groep.
Het genereren van vragen bij een tekst is gericht op de higher-level processes; het begrij-pen en interpreteren van de tekst, het maken van inferenties en andere meta-cognitieve vaardig-heden als het sturen van het eigen leesproces en het gebruik van lees-strategieën. Deze aanpakken vinden we terug in de definitie zoals die wordt omschreven door het PISA waar leesvaardigheid wordt omschreven als “het begrijpen van, gebruiken van, reflecteren op en interesse in
geschre-ven teksten om je doelen te bereiken, je kennis en potentieel te verruimen, en deel te nemen aan de maatschappij”(Gille, Loijens, Noijons&Zwitser, 2010, p. 38). Deze definitie vindt tevens zijn weerklank in de exameneisen waarin in de eindtermen voor het examen als volgt wordt omschre-ven wat een leerling moet kunnen (Examenprogramma 2019):
Aangeven welke informatie relevant is, gegeven een vaststaande behoefte De hoofdgedachte van een tekst(gedeelte) aangeven
De betekenis van belangrijke elementen van een tekst aangeven Relaties tussen delen van een tekst aangeven
Conclusies trekken met betrekking tot intenties, opvattingen en gevoelens van de auteur. Gezien verschillende van de hierboven beschreven onderzoeken positieve effecten laten zien in de domeinen die in de eindtermen van het examen staan omschreven, kan worden aangenomen dat een aanpak, waarbij leerlingen vragen maken bij teksten die zijzelf selecteren, hen kan helpen beter te scoren op leesvaardigheidstoetsen. Wanneer de leerlingen kennis ontwikkelen van het type vragen dat wordt gesteld in het CITO eindexamen, waarna vervolgens van hen wordt ver-langd zelf soortgelijke vragen te ontwikkelen, kan dit een positief effect sorteren op het begrip van teksten en tevens op hun resultaten voor leesvaardigheid. De leesvaardigheidstoetsen wijken alleen in omvang af van het eindexamen van het CITO. Aangezien er sprake is van het aanspre-ken van hogere denkvaardigheden wanneer leerlingen zelf vragen moet genereren met de voor-kennis die zij hebben over zowel de tekst als het type vragen in het algemeen, kan deze aanpak tevens een positief effect hebben op hun motivatie. O.a. Craig en Lockhart (1972) spraken in dit kader van een actievere en initiërende rol die leerlingen speelden, Dorneyei (1994) gaf daarnaast aan hoe belangrijk uitdaging is voor motivatie. Daar komt bij dat de autonomie van de leerling wordt aangesproken wanneer er door henzelf teksten mogen worden geselecteerd. Focus op de ontwikkeling van verantwoordelijkheid door groepswerk kan dit effect verder versterken. Onder andere Marzano en Miedema (2013, p 21) geven aan dat groepswerk een positievere houding van de leerling kan bevorderen. Hierbij dient aangetekend te worden dat de leerling duidelijkheid dient te worden verschaft over het doel van zijn werk en dat de leerling voldoende hulp dient te ervaren of kan vinden wanneer hij of zij vast lijkt te lopen. Het geven van feedback door leer-lingen aan elkaar in dit proces kan de positievere houding verder verstevigen (Brown, 2007, p. 497).
II Ontwerphypothese en ontwerpregels
Als leerlingen in groepen door middel van top-down processing (X1), bij door henzelf geselecteerde au-thentieke teksten (X2), vragen maken op VWO CITO eindexamenniveau (X3) die zij vervolgens door hun klasgenoten van feedback laten voorzien (X4), dan zal hun leerresultaat (Y1) voor leesvaardigheid verbe-teren en hun motivatie (Y2) toenemen.
Ontwerpregels
1. Er is sprake van een expliciete instructie waarbij er, a.d.h.v. voorbeelden uit VWO CITO exa-mens, ingegaan wordt op de voorkennis van de leerlingen over de verschillende typen vragen en teksten die er zijn. Dit stelt leerlingen in staat hun voorkennis over teksten en vragen te gebruiken bij het construeren van de vragen bij de teksten. De leerlingen hebben zodoende tevens duidelijk voor ogen wat er van hen verwacht wordt en zijn bekend met het doel van de lessen wat hun mo-tivatie ten goede kan komen (Dorneyei, 1994).
leerlingen in het selecteren van teksten (mits ERK niveau C1) en het maken van vragen. Er is sprake van een hoge mate van autonomie en onafhankelijkheid wat wellicht de motivatie stimuleert.
3. Als de leerlingen bezig zijn met de opdrachten beschikken zij, door de op elektronische leeromgeving (ELO) geplaatste teksten die kunnen worden geselecteerd en door het projecteren van de opdracht op het bord, over alle bronnen die zij nodig hebben om hun opdracht te voltooien, dit ook met het oog op het aanspreken van de motivatie (Marzano en Miedema, 2013, p. 21)
4. Als er wordt gewerkt aan de vragen bij de teksten en het beoordelen van elkaars werk, werken de leerlingen actief samen. De in groepsverband opgestelde vragen bij de
geselecteerde teksten worden van commentaar voorzien door andere groepen. Hierdoor is er een focus op de ontwikkeling van verantwoordelijkheid van leerlingen wat de motivatie bevorderd (Dorneyei, 1994) en kan het geven van feedback deze houding verder
verstevigen (Brown, 2007, p. 497).
5. Als leerlingen in groepen werken d.m.v. top-down processing dan gebruikt de leerling de reeds aanwezige en door de docent geactiveerde kennis die hij heeft over de verschillende typen vragen, het begrijpen en interpreteren van een tekst, het maken van inferenties en andere meta-cognitieve vaardigheden om vragen te genereren bij de geselecteerde tekst. III Onderbouwing Ontwerplessen
Eind juni wordt er gestart met een serie lessen. De nulmeting motivatie zal in de eerste interventieles wor-den afgenomen en tegelijkertijd ook in de controlegroep. De nulmeting leerresultaat heeft al plaatsgevon-den. Daarvoor worden de resultaten gebruikt van een leestoets die is afgenomen in week 49. Eigenlijk is het gat tussen die twee metingen te groot om van een 0-meting te kunnen spreken. Het niveau van de leer-lingen kan in de tussentijd om allerlei redenen zijn veranderd. Het afnemen van een toets als nulmeting vlak voor de interventie zou echter ook voor problemen hebben gezorgd die wellicht de resultaten nog meer zouden hebben beïnvloed. Aangezien de eerste leesvaardigheidstoets volgens het PTA in week 49 moest worden afgenomen en de toets die als nameting is genomen ook een vastgestelde datum had, was het niet mogelijk dit te veranderen. Wanneer er vlak voor de interventielessen een leestoets zou zijn afge-nomen, had er geen cijfer aan kunnen worden verbonden voor het rapport en zou de uitkomst van de me-ting waarschijnlijk daardoor zijn beïnvloed. Immers, sommige leerlingen zullen meer gemotiveerd zijn om een toets goed te maken wanneer er een cijfer aan verbonden is dat meetelt. De leestoets die volgt op de lessenserie zal in beide klassen op dezelfde dag worden afgenomen.
Week 49 Week 25 21 juni Week 26 25 juni Week 26 26 juni Week 26 27 juni Nulmeting leesvaardigheidstoets Nulmeting motivatie en les 1 Les 2
Les 3
Week 26 27 juni Week 27 – Week 29
Maken van de leesvaardigheidstoets. Verwerking van de gegevens
Les 1
In de eerste les wordt de nulmeting van de motivatie gedaan. Leerlingen krijgen via ELO een link waarna ze de vragen met hun telefoon of laptop in google forms kunnen beantwoorden. Hierna volgt de uitleg over de opzet van de komende lessen (ontwerpregel 1).
Daarna laat ik een gatentekst uit het afgelopen examen CITO van het VWO zien. Ik laat voorbeel-den zien van de verschillende vraagvormen die er zijn. (ontwerpregel 5) Ik herinner hen aan de technieken die zij toepassen bij het beantwoorden van dit type vragen (voor het gat lezen, na het gat lezen, zelf be-denken wat het antwoord zou kunnen zijn en daarna vergelijken met de antwoorden die worden gegeven etc.)
Ik geef hen kaders waar op zijn minst één van de vragen aan moet voldoen (ik wil dat ze op zijn minst één vraag maken waarin er kan worden gekozen tussen vier structuurmarkeerders als antwoord). (ontwerpregel 1). Zelf heb ik vooraf aan deze lessenserie een tiental teksten geselecteerd, dit zijn geen examenteksten, maar teksten waarvan ik dacht dat ze aansloten bij de belevingswereld van de leerling, daarnaast zijn dit recente teksten. Ik zorg er ook voor dat de opdracht op het bord zichtbaar blijft. (ont-werpregel 3).
De leerlingen vormen zelf groepen van 4. Ik heb gezorgd voor een laptopkar, waar de groepen ge-bruik van kunnen maken. Wanneer leerlingen het moeilijk vinden zelf een tekst op het juiste niveau (ERK niveau C1) te vinden, kunnen zij terugvallen op de teksten op ELO die door mij zijn geselecteerd. Ze kie-zen per groep één tekst en zullen het dus met elkaar eens moeten worden bij welke tekst vragen worden gemaakt. Wel hebben de leerlingen alle vrijheid bij het kiezen van een tekst (ontwerpregel 2 en 4). Na de selectie van de teksten door de groepen, kan de groep een begin maken van een gatentekst en het formule-ren van de vragen. Hierbij zullen de groepen onderling de taken moeten verdelen, waarbij ieder(e) leer-ling/koppel vragen voor zijn rekening neemt en bijvoorbeeld delen van de tekst verdeeld per persoon (ontwerpregel 5).
Les 2
Aan het begin van deze les wordt er kort teruggegrepen op de vorige les en wordt er kort ingegaan op de opdracht die geprojecteerd staat op het bord, de verschillende soorten vragen die kunnen worden gesteld staan ook weergegeven. De leerlingen hebben in de vorige les een tekst geselecteerd en ronden in deze les hun vragen af. Hun product moet 8 MC vragen bevatten, waarin de leerlingen laten zien dat zij in staat zijn gatenteksten te maken waarbij de leerling dus wordt gedwongen de structuur van een tekst te door-gronden en een goede beheersing van de verschillende structuurmarkeerders te hebben (ontwerpregels 1, 3, 4, 5). Wanneer de leerlingen klaar zijn met deze opdracht leveren ze hun opdracht in via de ELO. Leer-lingen die de opdracht niet afronden leveren deze opdracht voor het begin van les 3 in.
Les 3
Ik begin de les met een korte introductie met het doel van deze les, waarna ik de producten van de vorige les uitdeel aan de verschillende groepen. De leerlingen maken nu de gatenteksten die door hun klasgeno-ten zijn geproduceerd en voorzien die van feedback (ontwerpregel 5). Elke leerling krijgt een gaklasgeno-tentekst en maakt deze. Daarnaast voorziet de leerling de vragen van commentaar. Voldoen de vragen aan de op-dracht? Zijn de vragen helder gesteld? Zijn er zaken die verder opvallen of zijn er suggesties? De groepen ontvangen vervolgens hun van feedback voorziene teksten en bespreken onderling of er aanpassingen moeten worden gedaan in de vraagstelling (ontwerpregel 4). Aan het eind van de les leveren ze hun werk weer in bij mij via de ELO.
Les 4
Aan het begin van de les laat ik de leerlingen een voorbeeld zien van een vraag uit een VWO examen waar stellingen worden gebruikt. Ik laat hen verschillende valkuilen zien bij het beantwoorden van dit type vragen. Daarnaast wordt er stilgestaan bij een open vraag die ingaat op de hoofdgedachte van de tekst. De leerlingen worden deze les gevraagd soortgelijke vragen te construeren: een vraag met vier stel-lingen en een vraag naar de hoofdgedachte van de tekst. Vervolgens wordt de motivatie enquête nogmaals afgenomen en volgt er aan het eind van de les een klassikale evaluatie van de lessenserie.
IV Onderbouwing effectmetingen
In de onderzoeksopzet worden de beoogde effecten van de ontwerplessen gemeten door middel van twee voor- en nametingen in Atheneum 5 in zowel een experimentgroep als in een controle-groep. De experimentgroep (A5a) bestaat uit 30 leerlingen, 12 meisjes en 18 jongens, en de con-trolegroep (A5b) uit 31 leerlingen, 15 meisjes, 16 jongens. Ik ben docent in de experimentgroep en de controlegroep wordt lesgegeven door een collega. Specifiek richt mijn onderzoek zich op twee verschillende niveaus; het niveau van leerresultaat en op het niveau van leerervaring.
De voormeting van de leerresultaten, in dit geval de behaalde cijfers voor een leestoets die voor de interventie is afgenomen, waren al beschikbaar. De nameting bestaat uit de resultaten van een leestoets die aansluitend aan de lessenserie is afgenomen. Beide leestoetsen zijn zowel in de interventiegroep als in de controlegroep afgenomen.
Daarnaast is er gekozen voor een vragenlijst (zie bijlage 3) die is ontwikkeld door onder-zoekers van de Universiteit van Utrecht en Leiden (Sol & Stokking, 2008). In deze motivatietool worden vier verschillende types motivatie getoetst door middel van 16 vragen. Onderscheiden wordt intrinsieke motivatie, geïdentificeerde motivatie, externe motivatie en amotivatie.
Door de intrinsieke motivatie te meten, wordt gekeken naar in hoeverre leerlingen werken voor het plezier en de voldoening die Engels geeft. De vragen die geïdentificeerde motivatie me-ten geven aan in hoeverre leerlingen aan Engels werken, omdat zij dat zelf belangrijk vinden. Dit ligt dicht tegen intrinsieke motivatie aan, maar wordt wel extern gereguleerd. Een leerling kan bijvoorbeeld een mening van ouders internaliseren en eigen maken. De vragen over externe mo-tivatie meten in hoeverre een leerling iets doet, omdat het van hem/haar verwacht wordt, bijvoor-beeld om negatieve gevolgen te vermijden. De vragen naar amotivatie meten in hoeverre leer-lingen geen besef hebben waarom ze aan Engels werken of niet inzien hoe het werk wat zij ver-richten invloed heeft op de uitkomst van een taak.
Om de validiteit van de vragenlijst te bepalen moet er worden nagegaan of de vragen in-derdaad dat meten wat het ze worden geacht te meten (Stokking, 2016). Om de vragenlijst nog meer validiteit te verlenen had ik ervoor kunnen kiezen de vragenlijst te toetsen en vragen toe te voegen over de vragenlijst als geheel zoals: is het doel van de vragenlijst duidelijk. Gezien de beperkte tijd en omdat deze vragenlijst zijn waarde in het verleden al heeft bewezen (“Leerling 2020”, 2019) en alleen op kleine punten is aangepast door mij, heb ik daar niet voor gekozen. Natuurlijk spelen andere aspecten, zoals sociaal wenselijke antwoorden, ook een rol. Ik heb de leerlingen deze vragen niet anoniem laten invullen, omdat ik zeker wilde zijn dat ik de verande-ring per leerling kon meten. Wel heb ik hen duidelijk proberen te maken dat ik niet geïnteresseerd ben in individuele antwoorden en dat hun gegevens zouden worden geanonimiseerd en als geheel zouden worden geanalyseerd. Daarnaast geven de toetsen die na het invullen van de vragenlijst worden toegepast op de vragenlijst (Cronbach’s alpha) aan dat er een voldoende samenhang is geconstateerd. De schalen van de vragenlijst geven een voldoende consistentie aan.
V Verslag uitvoering ontwerp en effectmeting
Les 1 (50 min.)
De les liep eigenlijk zoals gepland. De leerlingen waren wel benieuwd naar wat ik met de gege-vens zou doen aangezien ik in de enquête expliciet om naam en klas vroeg. Ik heb proberen uit te leggen dat de gegevens zouden worden geanonimiseerd en dat dit puur was om er zeker van te zijn dat de gegevens die ik gebruikte afkomstig was van een groep leerlingen die zowel de voor-
als de nameting hadden gedaan. Er werd serieus gewerkt. Het was goed te zien dat leerlingen met een passie voor een
be-paald onderwerp hun medeleerlingen probeerden te overtuigen voor een specifieke tekst te kie-zen. Er werd mij gevraagd te beoordelen of sommige zelfgekozen teksten van een goed niveau waren.
Les 2 (50 min.)
Er was voor deze les wat moeite bij het regelen van een laptop. De laptopkar was al gereserveerd en de leerlingen moesten zelf met hun pas een laptop regelen bij de mediatheek. Dit zorgde er-voor dat de les wat later begon. Sommige groepen waren al wat eerder klaar met de opdracht, terwijl er ook groepen waren die de laatste hand thuis aan de opdracht hebben moeten leggen. Ook tijdens werd er serieus gewerkt door de groepen in het lokaal. Twee groepen waar ik minder toezicht op had, omdat zij van mij buiten het lokaal mochten werken, waren niet klaar met hun opdracht, daar zal ik de volgende keer meer toezicht op moeten houden en een betere inschatting moeten maken wie ik wel en niet meer vrijheid geef. Uiteindelijk hebben wel alle groepen hun werk ingeleverd.
Les 3 (50 min.)
De les liep zoals gepland. Het stukje feedback heb ik bij nader inzien te vrij gelaten. Ik heb de leerlingen weinig kaders gegeven waaraan de feedback moest voldoen, waarschijnlijk is dat de reden dat veel van de teksten terug kwamen met het commentaar dat het prima was. Hier had ik wat meer kunnen sturen op het beoordelen of alle typen vragen aan bod waren gekomen en of de MC vragen voldeden aan de vooraf gestelde eisen van gebruik van signaalwoorden. Wel merkte ik ook deze les weer dat leerlingen niet met tegenzin aan het werk waren. Ze waren eigenlijk wel benieuwd naar het werk van hun klasgenoten.
Les 4 (50 min.)
In deze laatste les wordt opgemerkt dat de leerlingen liever het 4e uur de leestekst hadden ge-maakt i.p.v. het 8e uur waarop de toets gepland staat. Dit is inderdaad verre van ideaal. Het is een vrijdag en de leerlingen willen zich het 8e uur niet nog eens moeten concentreren. Uiteindelijk heb ik dit wel zo gelaten, omdat ook de parallelklas op deze dag de leestoets deed. Verder wilde ik natuurlijk eerst mijn lessenserie hebben afgerond. Daarnaast was het niet mogelijk om de toets de week erop af te nemen, omdat die week geblokkeerd was i.v.m. een aanstaande toetsweek. Mede door deze opstelling van mij, kan ik me voorstellen dat de motivatie voor deze les niet op-timaal was en daardoor de nameting in de vorm van een enquête die deze les is afgenomen ook niet een positief resultaat liet zien. De volgende keer zou ik dit anders aanpakken en zou ik de leestoets op een ander tijdstip hebben gepland.
VI Presentatie Effectmeting
Allereerst presenteer ik beschrijvende statistieken over de leerresultaten van de klas waarin de interventie heeft plaatsgevonden (Klas A) en de klas waarin dit niet is gebeurd (Klas B). Vervolgens presenteer ik veranderingen in motivatie in beide klassen aan de hand van een enquête. Ten slotte toets ik of voor de groep van leerlingen die in de enquête aangeven dat hun motivatie is toegenomen er ook een verbetering in het leerresultaat heeft plaatsgevonden. Ik beschrijf de uitkomsten en aan het eind van deze sectie geef ik een interpretatie en evaluatie van de resultaten.
Tabel 1 toont beschrijvende statistieken van de leerresultaten voor beide klassen. De statistieken hebben betrekking op de leerlingen die zowel de eerste toets als de tweede toets hebben gemaakt. Immers, om het effect van de interventie te kunnen analyseren moeten we de populatie bestuderen die zowel de eerste als de tweede toets heeft gemaakt. Deze populatie is 25 leerlingen in Klas A en 26 leerlingen in Klas B. De laatste rijen in Tabel 1 laten statistieken zien van het verschil in leerresultaat tussen de eerste en tweede toets.
Deze tabel geeft een aantal inzichten in de uitkomsten. Zo valt op dat in deze populatie, Klas A gemiddeld iets beter presteert dan Klas B. Immers, het gemiddelde en de mediaan liggen in beide toetsen een aantal tienden hoger bij Klas A. Het hoogste cijfer in beide toetsen werd echter behaald in Klas B.
Het verschil in leerresultaat tussen beide toetsen is berekend door het cijfer van een leerling in de tweede toets minus het cijfer van dezelfde leerling in de eerste toets. Gemiddeld genomen, presteerden leerlingen slechter in de tweede toets. In Klas A is het gemiddelde resultaat 0.15 lager en in Klas B is dit 0.05. Dit suggereert dat er niet een verbetering in leerresultaten heeft plaats gevonden tussen de eerste en tweede toets. Het ontbreken van significantie is ge‐analyseert door middel van een t‐toets: we kunnen de nulhypothese, dat de gemiddelde verandering in leerresultaat voor Klas A gelijk aan nul is, niet verwerpen (t‐waarde is 0.5738). Het is zorgelijk dat er geen verbetering in de leerresultaten heeft plaatsgevonden, temeer omdat er 6 maanden lestijd zitten tussen de 1ste en de 2de meting. Tabel 1. Leerresultaten Opmerkingen: beschrijvende statistieken voor leerlingen in Klas A5A (A) en Klas A5B (B) die zowel de eerste als tweede toets hebben gemaakt. Om te onderzoeken of er een verbetering in motivatie van leerlingen in Klas A heeft plaatsgevonden als gevolg van de interventie maak ik gebruik van de uitkomsten van de enquête. Deze enquête bestond uit
16 vragen, waarbij leerlingen antwoorden gaven op basis van een Likert schaal (Stokking, 2016, 205): van 1 (past nooit bij mij) tot 5 (past altijd bij mij). Het is belangrijk dat de vragen in de enquête hetzelfde domein meten. Om te meten of er voldoende samenhang tussen de vragen bestond is de Cronbach’s alpha berekend, zie tabel 2. De berekende alpha’s voor intrinsieke motivatie, geïdentificeerde motivatie, externe motivatie, en a‐motivatie zijn respectievelijk 0.80, 0.78, 0.85 en 0.78. Wat opvalt is dat de item‐test en de interitem‐test correlatie van vraag 13 in het domein van intrinsieke motivatie laag is ten opzichte van dat voor de andere vragen. Cronbach’s alpha voor intrinsieke motivatie zonder vraag 13 is dan ook hoger, namelijk 0.84. Alhoewel er dus gediscussieerd kan worden over vragen in de enquête vinden we vrij hoge waarden voor de cronbach alpha coëfficiënt. Aangezien internationaal een minimumnorm voor de alpha van 0.6 wordt gehanteerd en in Nederland vaak 0.7, vallen al deze resultaten ruim boven die norm. Aangenomen kan dus worden dat de uitspraken voldoende met elkaar samenhangen en dus kennelijk aspecten van hetzelfde begrip meten. (Stokking, 2016, p. 269) Tabel 2. Cronbach’s alpha Cronbach’s alpha Intrinsieke motivatie 0.80 Geïdentificeerde motivatie 0.78 Externe motivatie 0.85 A‐motivatie 0.78 Opmerkingen: Conbach’s alpha voor intrinsieke motivatie is berekend met de antwoorden op vraag 1, 5, 9 en 13. Voor geïdentificeerde motivatie vraag 2, 6, 10, en 14. Voor externe motivatie vraag 3, 7, 11, en 15. Voor a‐motivatie vraag 4, 8, 12, en 16. Nu de samenhang is bepaald is het belangrijk te bepalen of er een verandering heeft plaats gevonden in de motivatie van de leerlingen afgaande op de enquête die is afgenomen. Tabel 3 toont de verandering in motivatie van leerlingen die de eerste en tweede enquête hebben ingevuld. Ik bereken de verandering van antwoord op een vraag van de leerling tussen de eerste en tweede enquête. De populatie van leerlingen ligt lager ten opzichte van de leerresultaten, omdat een aantal leerlingen de enquête anoniem hebben ingevuld. Voor deze leerlingen kan ik niet nagaan wie welke enquête invulde en daarom ook niet de verandering in motivatie berekenen. Tabel 3 groepeert de vragen bij, intrinsieke motivatie, geïdentificeerde motivatie, externe motivatie, en A‐motivatie. Merk op dat de interpretatie van verschil in A‐motivatie een vermindering van de motivatie is, terwijl dit voor de andere variabelen een verbetering is. In de formele toetsing onderstaand houd ik hier rekening mee. De gemiddeld positieve veranderingen in motivatie suggereren een lichte verbetering in de motivatie van leerlingen. Deze veranderingen zijn echter klein en de mediane leerling geeft aan dat zijn/haar motivatie niet anders is ten opzichte van de eerste toets. Tabel 3. Veranderingen in motivatie
Opmerkingen: de beschrijvende statistieken is uitgerekend over verschil op alle vragen, waarbij de vragen met betrekking op A‐motivatie zijn omgeschaald alvorens het berekenen van het verschil over alle vragen. In een vervolgstap kijk ik naar de subpopulatie van leerlingen die in de enquête hebben aangegeven dat hun motivatie is toegenomen. Is voor deze leerlingen het leerresultaat ook toegenomen? Voor het beantwoorden van deze vraag is een regressie analyse een geschikte methode. Een regressie is een statistisch techniek om de samenhang van gegevens te analyseren. Ik kijk hierbij of de afhankelijke variabele, het leerresultaat, samenhangt met de onafhankelijke variabele, motivatie. Tabel 4 en 5 tonen de uitkomsten van regressies voor de verschillende soorten van motivatie. De dummy variabele is 1 (0) als de leerling heeft aangegeven dat er een (geen) verbetering in motivatie heeft plaatsgevonden en het de tweede toets betreft. Een significant positief effect voor de onafhankelijke variabele, dummie toets 2 * motivatie, zou erop wijzen dat een toename in motivatie merkbaar is in de leerresultaten.
De regressie‐resultaten in Tabel 4 en 5 tonen echter voor geen enkele dummy een significante verbetering van leerresultaten voor studenten bij wie de motivatie is toegenomen. Dat is, het 95% betrouwbaarheidsinterval omvat 0.
Tabel 4. Toetsing verandering leerresultaat bij leerlingen met verbeterde motivatie
Klas Statistiek Alle vragen
Intrinsieke motivatie Geïdentificeerde motivatie Externe motivatie A‐motivatie A Observaties 19 19.00 19.00 19.00 19.00 A Gemiddelde 0.15 0.00 0.05 0.22 ‐0.34 A Mediaan 0.25 0.00 0.00 0.00 ‐0.25 A Standaard deviatie 0.35 1.10 1.12 1.33 1.71 A Minimum ‐0.38 ‐4.00 ‐4.00 ‐2.00 ‐4.00 A Maximum 0.94 1.00 4.00 4.00 4.00 B Observaties 17 17.00 17.00 17.00 17.00 B Gemiddelde 0.05 0.09 ‐0.19 0.06 ‐0.24 B Mediaan 0.06 0.00 0.00 0.00 ‐0.25 B Standaard deviatie 0.34 0.85 1.03 1.13 1.18 B Minimum ‐0.69 ‐4.00 ‐4.00 ‐4.00 ‐4.00 B Maximum 0.63 1.00 4.00 3.00 3.00
Opmerkingen: t‐waarde tussen haakjes. Achter coëfficiënt staat significantieniveau aangegeven: *** p<0.01, ** p<0.05, * p<0.1 Tabel 5. Toetsing verandering leerresultaat bij leerlingen met verbeterde motivatie Opmerkingen: t‐waarde tussen haakjes. Achter coëfficiënt staat significantieniveau aangegeven: *** p<0.01, ** p<0.05, * p<0.1 Interpretatie en aanbeveling
De bovenstaande analyse suggereert geen significante verbetering in motivatie en leerresultaat. Het kan natuurlijk zo zijn dat deze interventie niet werkt, hoewel uit verschillende studies (wat grotere studies) van onder ander Rosenshine (1996) blijkt dat deze interventie wel degelijk signi-ficante effecten sorteerde. Er zijn veel oorzaken te noemen waarom er met deze interventie niet het verwachte resultaat is bereikt.
Roosterwijzigingen hebben tot gevolg gehad dat mijn lessen meer naar het einde van de dag kwamen te liggen met twee lesuren op de vrijdag, waarvan een 8ste uur. Leerlingen gaven aan hier niet blij mee te zijn en vroegen mij herhaaldelijk of ik hen op een ander moment in de week zou kunnen lesgeven. Ik heb hen telkens gezegd dit niet in de hand te hebben, maar ik kan me goed voorstellen dat dit een negatief effect heeft gehad op hun motivatie. Daarnaast is het eind van de dag ook niet het meest geschikte moment voor een tiener om een toets te maken (Balledux & Schreuder, 2005). Daar kwam nog eens bij dat door ziekte van de roostermaker er grote gaten
Beide
klassen Klas A Klas B
Beide
klassen Klas A Klas B Constante 6.486*** 6.661*** 6.321*** 6.375*** 6.487*** 6.266*** (33.104) (24.684) (21.975) (32.170) (23.915) (21.397) Dummie toets 2 * Verbetering intrinsieke motivatie ‐0.347 ‐0.441 ‐0.284 (‐0.830) (‐0.808) (‐0.436) Dummie toets 2 * Verbetering geidentificeerde motivatie 0.152 0.273 0.001 (0.369) (0.497) (0.002) Observaties 82 41 41 82 41 41 Determinatiecoëfficiënt 0.009 0.016 0.005 0.002 0.006 0.000 Beide
klassen Klas A Klas B
Beide
klassen Klas A Klas B Constante 6.371*** 6.443*** 6.303*** 6.528*** 6.634*** 6.429*** (31.899) (23.473) (21.546) (32.382) (23.667) (21.959) Dummie toets 2 * Verbetering externe motivatie 0.159 0.411 ‐0.170 (0.393) (0.776) (‐0.272) Dummie toets 2 * Vermindering a‐motivatie ‐0.442 ‐0.276 ‐0.669 (‐1.136) (‐0.533) (‐1.129) Observaties 82 41 41 82 41 41 Determinatiecoëfficiënt 0.002 0.015 0.002 0.016 0.007 0.032
vielen in de roosters van leerlingen, iets wat de leerlingen niet prettig hebben gevonden en wat allicht hun houding t.o.v. school heeft beïnvloed.
Een aantal van de leerlingen heeft zich aan het eind van het jaar neergelegd bij het feit dat ze het jaar over zullen doen, of een andere opleiding gaan volgen. Deze leerlingen zullen de laat-ste toets wellicht niet naar hun belaat-ste kunnen of met hun volle aandacht hebben afgerond.
Ook wil ik een kanttekening plaatsen bij de uitkomst van de enquête met de ervaring die ik had in de les. Ik merkte dat, waar ik bij voorgaande lessen als docent vaak de aandacht van leerlingen moest richten op hun werk, ik dat nu veel minder hoefde te doen. Leerlingen selecteer-den zelf teksten en probeerselecteer-den elkaar te overtuigen voor een specifieke tekst te kiezen, er was betrokkenheid bij de opdracht. Het leek dus dat de time-on-task tijdens de les een stuk hoger was en ook waren de producten die de leerlingen produceerden weldoordacht en was er serieus met de taak omgegaan (een voorbeeld is meegenomen in bijlage 2).
Een reden voor het niet verbeteren van het leerresultaat kan verder te maken hebben met de toetsen zelf. De toetsen worden samengesteld uit HAVO en VWO examens van de afgelopen jaren, het aandeel HAVO teksten wordt naarmate het jaar vordert kleiner. In de laatste toets was het aandeel HAVO teksten een stuk kleiner vergeleken met de toets die als nulmeting werd ge-bruikt. Dit verklaart overigens niet dat de uitkomsten in zowel de controlegroep als de interven-tiegroep nagenoeg gelijk waren, immers de controlegroep heeft dezelfde toetsen gedaan, maar liet ook geen significante vooruitgang en/of achteruitgang in het resultaat zien.
De tijd die tussen de voormeting en de nameting van het leerresultaat zit is vrij groot. Dit heeft tot gevolg dat er vele andere aspecten van invloed kunnen zijn op het verschil in resultaat tussen de eerste meting en de tweede en tussen de twee verschillende groepen.
Het is echter ook mogelijk dat er geen duidelijke verbetering gevonden is doordat: o De populatie waarin de toetsing heeft plaatsgevonden vrij klein is.
o Er slechts twee meetmomenten zijn. Voor een betrouwbaar meetresultaat is het preferabel deze interventie bij meerdere klassen gedurende langere tijd toe te pas-sen.
o De slechte periode voor leerlingen waarin de interventie en enquête plaatsvond. Het was voor de leerlingen het einde van het jaar. Er was veel druk, er werden veel toetsen gegeven en leerlingen keken uit naar hun vakantie.
VII Suggestie voor herontwerp
In een herontwerp dient er naar een grotere groep klassen gekeken te worden over een langere periode. Idealiter wordt dit gedaan bij dezelfde docent, waarbij er bij sommige klassen wel en andere klassen geen interventie wordt toegepast. Hierdoor worden de uitkomsten betrouwbaarder en kunnen veel van de bovengenoemde invloeden op het onderzoek worden ondervangen. Validi-teit en betrouwbaarheid kunnen worden verbeterd door een adequate meting met een leestoets die de juiste moeilijkheidsgraad heeft. Andere randvoorwaarden binnen school die bijvoorbeeld te maken hebben met het rooster zijn moeilijk door de docent te beïnvloeden. Voor een herontwerp zouden de twee effectmetingen in de vorm van de leestoets korter op elkaar moeten zitten. Het niveau waarop wordt getoetst kan dan, mede hierdoor, ook meer met elkaar overeenkomen, waardoor er een duidelijker beeld ontstaat welk verschil in resultaat wordt behaald.
Bijlage 1 MDA’s
Docent: Raap Datum:21/06
T i j d 5 0
Klas: A5a Aantal lln: 30
Lesonderwerp Vragen maken
Beginsituatie Leerlingen hebben afgelopen tijd zo nu en dan geoefend voor hun leesvaardigheid d.m.v. teksten uit de methode Stepping Stones. Leskern Leerlingen kiezen een tekst en creëren een gatentekst met bijbehorende MC vragen
Leerdoelen Begrijpen welke type vragen er zijn in een examen en die zelf kunnen produceren.
Docentdoelen
Omdat leerlingen vrij ongemotiveerd zijn, wil ik hen motiveren door meer autonomie en het aanspreken van de hogere denkvaardigheden. Verder wil ik hen begeleiden in het selecteren van een tekst en het herkennen en maken van verschillende examenvragen voor een gatentekst met als uiteindelijke doel een beter resultaat op hun leesvaardigheidstoets.
Boek (+ blz.)
-Media, spullen, hulp Digibord, enquête in google forms, mobiele telefoons, laptops, voorbeeldteksten op elektronische leeromgeving en ook een lijst met structuurmarkeerders
Tij
d Leerdoel Wat ik doe en zeg
Wat zij doen (werkvorm) Leeractiviteit Noem de specifieke!
0-5 0 Introductie Vertel leerlingen over enquête en dat ik een klein onderzoek wil uitvoeren.
Voordracht
luisteren Luisteren, vragen beantwoorden.
5-30 1,2,3 instrueren
Vertel ll het doel van de lessenserie. Laat leerlingen een gatentekst zien uit VWO examen en zoom in op verschillende vraagvormen die zij kunnen stellen. Voordracht luisteren Luisteren, vragen beantwoorden, individueel. 15-45 4,5 Verwerken, instrueren en begeleiden Instructie geven op zelfwerkzaamheid en begeleiden daarvan. groepswerk Vormen groepen, pakken een laptop, selecteren tekst en creëren vragen bij de tekst.
45-50 6 Afronden en kort evalueren
Ik vat de les samen en bespreek of er moeilijkheden
waren/inventariseren hoe ver ze zijn gekomen
De leerlingen luisteren en geven input
Docent: Raap Datum:25/06 T i j d 5 0
Klas: A5a Aantal lln: 30
Lesonderwerp Vragen maken en feedback geven
Beginsituatie Vorige les hebben leerlingen een tekst geselecteerd en hebben zij een aanzet gemaakt voor het creëren van een gatentekst. Leskern Bedenken de laatste vragen voor de gatentekst.
Leerdoelen Begrijpen welke type vragen er zijn in een examen en kunnen die zelf produceren.
Docentdoelen
Omdat leerlingen vrij ongemotiveerd zijn, wil ik hen motiveren door meer autonomie en het aanspreken van de hogere denkvaardigheden. Verder wil ik hen begeleiden in het selecteren van een tekst en het herkennen en maken van verschillende examenvragen voor een gatentekst met als uiteindelijke doel een beter resultaat op hun leesvaardigheidstoets..
Boek (+ blz.)
-Media, spullen, hulp Digibord, mobiele telefoons, laptops, voorbeeldteksten op electronische leeromgeving en ook een lijst met structuurmarkeerders Tij
d Lesfase Leerdoel Wat ik doe en zeg
Wat zij doen (werkvorm) Leeractiviteit Noem de specifieke! 0-5 0,1,2,3
Herhaal kort wat we de vorige les hebben gedaan en vertel hen het lesdoel: afronden van de
gatentekst.
Voordracht
luisteren Luisteren, individueel
5-40 4,5 Leerling kan verschillende examenvrage n (vragen naar tekststructuur, communicatie ve strekking, hoofdgedacht e,
Leerling begeleiden, instrueren
De leerlingen maken vragen in groepen.
De leerling gaat verder met het maken van vragen in groepen, maken tussen de 6-8 MC vragen.
betekeniselem ent) maken.
40-45 4,5
Instructie geven om hun werk af te ronden en in te leveren via magister. Leerlingen sturen hun werk op, zowel tekst als vragen
Sturen hun werk op via magister naar docent.
45-50 6 Afronden en kort evalueren Ik vat de les samen en bespreek of er moeilijkheden waren.
De leerlingen luisteren en geven input
Docent: Raap Datum:26/06
T i j d 5 0
Klas: A5a Aantal lln: 30
Lesonderwerp Vragen maken en feedback geven
Beginsituatie Vorige les hebben leerlingen zelf een gatentekst gemaakt van een bestaande tekst, met bijbehorende vragen die aan specifieke eisen voldeden.
Leskern Leg je gatentekst voor aan een andere groep voor feedback en geef zelf ook feedback. Leerdoelen Herkennen van verschillende type vragen en deze kunnen beantwoorden.
Docentdoelen
Omdat leerlingen vrij ongemotiveerd zijn, wil ik hen motiveren door meer autonomie en het aanspreken van de hogere denkvaardigheden. Verder wil ik hen begeleiden in het geven van feedback en het
herkennen en maken van verschillende examenvragen voor een gatentekst met als uiteindelijke doel een beter resultaat op hun leesvaardigheidstoets..
Boek (+ blz.)
-Media, spullen, hulp Digibord, mobiele telefoons, laptops, voorbeeldteksten op electronische leeromgeving en ook een lijst met structuurmarkeerders Tij
d Lesfase Leerdoel Wat ik doe en zeg
Wat zij doen (werkvorm) Leeractiviteit Noem de specifieke!
0-5 0 Leerling welkom heten en hen vertellen wat we gaan doen. Voordracht luisteren Luisteren, individueel
20-25 1,2,3 Instrueren
Instructie geven hoe er feedback moet worden gegeven, uitdelen gemaakte werk aan andere groepen en feedbackformulieren
Sturen hun werk op via magister naar docent.
25-45 4,5
Ik loop langs en begeleid de groepen, 5 a 10 minuten voor het einde van de les de
Leren maken de vragen en geven
feedbackformulieren teruggeven aan de groepen en hen vragen de laatste veranderingen toe te passen. feedback over kwaliteit a.d.h. van feedbackform ulier
45-50 6 Afronden en kort evalueren Ik vat de les samen en bespreek of er moeilijkheden waren.
De leerlingen luisteren en geven input
Docent: Raap Datum:27/06
T i j d 5 0
Klas: A5a Aantal lln: 30
Lesonderwerp Vragen maken bij examentekst
Beginsituatie Vorige les hebben leerlingen elkaars vragen van feedback voorzien en hun eigen werk verbeterd. Leskern Laten zien van (tweeledige) stellingen en open vragen.
Leerdoelen Herkennen van verschillende type vragen en deze zelf kunnen maken
Docentdoelen
Omdat leerlingen vrij ongemotiveerd zijn, wil ik hen motiveren door meer autonomie en het aanspreken van de hogere denkvaardigheden. Verder wil ik hen begeleiden in het geven van feedback en het
herkennen en maken van verschillende examenvragen voor een gatentekst met als uiteindelijke doel een beter resultaat op hun leesvaardigheidstoets..
Boek (+ blz.)
-Media, spullen, hulp Digibord, mobiele telefoons, laptops, voorbeeldteksten op electronische leeromgeving en ook een lijst met structuurmarkeerders Tij
d Lesfase Leerdoel Wat ik doe en zeg
Wat zij doen (werkvorm) Leeractiviteit Noem de specifieke! 0-5 0,1,2,3
Vertel ll het doel van de lessenserie. Laat leerlingen een examentekst zien uit VWO examen en zoom in op
verschillende vraagvormen die zij kunnen stellen.
Voordracht
luisteren Luisteren, individueel
5-45 4,5 Loop rond, geef aanwijzingen.
De leerlingen werken in groepen aan een aantal vragen De leerlingen creëren een vraag met in ieder geval twee tweeledige stellingen en maken een open vraag die naar de hoofdgedachte vraagt. Leveren
hun werk via magister in.
45-50 6 Afronden en kort evalueren
Ik vat de lessenserie samen en bespreek of er moeilijkheden waren.
De leerlingen luisteren en geven input
Which word fits gap number 1? A. Despite B. Besides C. However D. Although Which word fits gap number 2? A. Because B. Similar to C. Whereas D. In spite of What do we learn about the structure of the brain?
A. All neurons are activated when we think.
B. The structure of a brain cell is com-pared to a tree.
C. The structure of a brain cell changes when a message is sent.
D. Neurons come into contact with one another to allow a message to travel around the brain. What does the second paragraph tell us?
A. Brain develop-ment is an ongoing process.
B. Babies are born with the capacity to do anything.
C. A reduction in connections between neurons helps babies learn how to speak.
D. It is no longer believed that most
changes in the brain occur before adulthood. What does the text tell us about brain reorganisation?
A. It normally occurs in the spring.
B. When we engage in an activity we strengthen connections in the brain. C. As the number of neurons increases, the brain gets stronger.
D. People who play a musical instrument have stronger brain connections than those who play sport.
What does the writer imply in paragraph three? A. All teens should play a musical instrument.
B. It is just as difficult to speak another language as it is to play computer games.
C. If we don’t practise an activity in our teenage years, we won’t be able to do it as an adult. D. Teens can influence their own brain development.
During adolescence …
A. all parts of the brain develop simultaneously.
B. we make emotional decisions because of our hormones. C. we gradually improve our ability to think in abstract terms. D. we are unable to carry out problem-solving tasks.
Overall, the writer thinks teenagers … A. are misunderstood.
B. want to learn more about the changes in their brains. C. are more intelligent than they used to be.
42 Bijlage 4
Ruwe data toetsen
Naam Klas Toets1 Toets2 verschil interventie beidetoets
Leerling1 A 6 6,5 0,5 1 1 Leerling2 A 7,3 7,1 -0,2 1 1 Leerling3 A 5,6 5,9 0,3 1 1 Leerling4 A 6 7,6 1,6 1 1 Leerling5 A 5,2 1 0 Leerling6 A 8,7 8,8 0,1 1 1 Leerling7 A 6,7 8,2 1,5 1 1 Leerling8 A 8,7 7,1 -1,6 1 1 Leerling9 A 8,7 7,1 -1,6 1 1 Leerling10 A 6,7 5,9 -0,8 1 1 Leerling11 A 8 4,9 -3,1 1 1 Leerling12 A 6,7 6,5 -0,2 1 1 Leerling13 A 6 7,1 1,1 1 1 Leerling14 A 8,2 1 0 Leerling15 A 8 5,9 -2,1 1 1 Leerling16 A 4,3 1 0 Leerling17 A 7,3 1 0 Leerling18 A 8 7,6 -0,4 1 1 Leerling19 A 3,5 4,9 1,4 1 1 Leerling20 A 4,8 4,9 0,1 1 1 Leerling21 A 4,3 3,9 -0,4 1 1 Leerling22 A 6 4,9 -1,1 1 1 Leerling23 A 7,3 8,8 1,5 1 1 Leerling24 A 4,8 7,1 2,3 1 1 Leerling25 A 4,8 3,4 -1,4 1 1 Leerling26 A 6,7 7,1 0,4 1 1 Leerling27 A 6 5,9 -0,1 1 1 Leerling28 A 6,7 4,9 -1,8 1 1 Leerling29 A 8 8,2 0,2 1 1 Leerling30 A 1 0
43 Leerling31 B 3,1 6,5 3,4 0 1 Leerling32 B 5,4 5,4 0 0 1 Leerling33 B 6,9 4,9 -2 0 1 Leerling34 B 7,7 0 0 Leerling35 B 0 0 Leerling36 B 3,8 7,6 3,8 0 1 Leerling37 B 6,9 8 1,1 0 1 Leerling38 B 5,4 5,4 0 0 1 Leerling39 B 8,5 7,1 -1,4 0 1 Leerling40 B 7,7 7,1 -0,6 0 1 Leerling41 B 6,9 5,9 -1 0 1 Leerling42 B 7,7 6,5 -1,2 0 1 Leerling43 B 4,6 7,1 2,5 0 1 Leerling44 B 6,9 0 0 Leerling45 B 3,8 4,9 1,1 0 1 Leerling46 B 4,6 0 0 Leerling47 B 7,7 4,9 -2,8 0 1 Leerling48 B 3,8 0 0 Leerling49 B 8,5 6,5 -2 0 1 Leerling50 B 6,9 7,1 0,2 0 1 Leerling51 B 4,6 7,1 2,5 0 1 Leerling52 B 6,2 7,6 1,4 0 1 Leerling53 B 5,4 4,4 -1 0 1 Leerling54 B 6,2 5,4 -0,8 0 1 Leerling55 B 9,2 10 0,8 0 1 Leerling56 B 4,6 5,9 1,3 0 1 Leerling57 B 9,2 8,2 -1 0 1 Leerling58 B 7,7 5,4 -2,3 0 1 Leerling59 B 6,2 4,9 -1,3 0 1 Leerling60 B 4,6 3,9 -0,7 0 1 Leerling61 B 6,2 4,9 -1,3 0 1
45 Bijlage 5 Bibliografie
Balledux, M. & Schreuder, L. (2005). Biologisch ritme en schoolprogramma. Utrecht, Neder-lands Jeugdinstituut. Te downloaden via www.nji.nl/publicaties > Brede school.
Bimmel, P., & Weststrate, C. (2014). Vreemde-talen-didactiek in veertig (en meer)
werkbla-den. Amsterdam: Kok Korpershoek.
Brown, H.D. (2007). Teaching by principles. An interactive approach to language pedagogy.
Third edition (Chapter 19: Teaching speaking). White Plains, NY: Pearson Longman.
Craig, F., & Lockhart, R. S. (1972). Levels of processing: Framework for memory research. Journal of Verbal Learning and Verbal Behavior, 11, 671. Dörnyei, Zoltán. "Motivation and Motivating in the Foreign Language Classroom." Modern Language Journal 78.3 (1994): 273‐84.
Ebbens, S. & Ettekoven, S. (2009). Effectief Leren, Basisboek. Groningen: Noordhoff Uitge-vers. Garcia, G. E., & Pearson, P. D. (1990). Modifying reading instruction to maximize its effectiveness for all students (Tech. Rep. No. 489). Champaign, IL: University of Illinois, Center for the Study of Reading. Gille, E., Loijens, C., Noijons, J., & Zwitser, R. (2010). Resultaten PISA‐2009. Praktische kennis en vaardigheden van 15‐jarigen. Nederlandse uitkomsten van het Programme for International Student Assessment (PISA ) op het gebied van leesvaardighed, wiskunde en natuurwetenschappen in het jaar 2009. Arnhem: CITO. Harry Singer & Dan Donlan, "Active Comprehension: Problem‐Solving Schema with Question Generation for Comprehension of Complex Short Stories," Reading Research Quarterly, 17(1982), pp. 166‐86. Helfeldt, J. P., & Lalik, R. (1976). Reciprocal student‐teacher questioning. Reading Teacher, 33, 283‐ 287. King, A. (1992). Comparison of self‐questioning, summarizing, and notetaking‐review as strategies for learning from lectures. American Educational Research Journal, 29, 303‐325. Kozulin, A.,Gindis, B., Ageyev, V., Miller, S. (2003). Vygotsky’s educational theory and practice in cul‐ tural context. Cambridge: Cambridge University Press. Leerling 2020. (2018). Met deze tool meet je de motivatie van je leerling. Retrieved September 29, 2019 (https://leerling2020.nl/met‐deze‐tool‐meet‐je‐de‐motivatie‐van‐jouw‐leerlingen/).
Marzano, R & Miedema, W. (2013) Leren in 5 dimensies, moderne didactiek voor het
46 Moderne vreemde talen vwo, SYLLABUS CENTRAAL EXAMEN 2019 Arabisch, Duits, Engels, Frans, Russisch, Spaans, Versie 4, juni 2018,
https://www.examenblad.nl/examenstof/syllabus-2019-moderne-vreemde-5/2019/f=/mvt_versie_4_vwo_2019_nader_vastgesteld.pdf Palincsar, A. S., & Brown, A. L. (1984). Reciprocal teaching of comprehension‐ fostering and comprehension‐monitoring activities. Cognition and Instruction, 2, 117‐175. Rosenshine, B., Meister, C., & Chapman, S. (1996). Teaching Students to Generate Questions: A Review of the Intervention Studies. Review of Educational Research, 66(2), 181‐221.
Scrivener, J. (2011). Learning Teaching: The Essential Guide to Enlish Language Teaching. Oxford: Macmillan Education.
Sol, Y.B. & Stokking, K.M. (2008). Het handelen van docenten in scholen met een vernieu-wend onderwijsconcept. Ontwikkeling, gebruik en opbrengsten van een instrument (Kortlo-pend onderwijsonderzoek. Vormgeving en leerprocessen, 71). Utrecht: Universiteit Utrecht. Stokking, K. (2016). Bouwstenen voor onderzoek in onderwijs en opleiding. Apeldoorn: Gar-ant-Uitgevers NV.
Wong, B. Y. L. (1985). Self‐questioning instructional research: A review. Review of Educational Research, 55, 227‐268.
Young, A. (2003). The Challenge to Challenge: Shifting the Motivational Climate of the Col-lege Classroom for Enhanced Learning. ColCol-lege Teaching, 51(4), 127-130. Retrieved from http://www.jstor.org.proxy.uba.uva.nl:2048/stable/27559154
