SJOERD VAN AKEN 10777458
VAK: EDUCATIEF ONTWERPEN BEGELEIDER: GERHARD STOEL Interfacultaire Lerarenopleidingen, Universiteit van AmsterdamBibliografische referentie: Van Aken, S. (2019). Het verbeteren van causale redeneringen
op geschiedenistoetsen. Amsterdam: Interfacultaire Lerarenopleidingen UvA.
HET VERBETEREN VAN CAUSALE
REDENERINGEN OP
GESCHIEDENISTOETSEN
Samenvatting 2
1. Het ontwerpvraagstuk 3
2. Theoretische verkenning 5
Doelstellingen en uitgangspunten op het gebied van schrijfvaardigheid 6
Oplossingen 7
3. Empirische verkenning 9
4. Ontwerphypothese en ontwerpregels 12
5. Onderzoeksplan 14
6. Het lesontwerp 16
7. Lesverloop: uitvoering van de ontwerplessen 18
8. De uitvoering van de effectmetingen 20
Effectmeting 1: inhoudsanalyse tentamenantwoorden 20
Effectmeting 2: learner report 20
9. De uitkomsten van de effectmetingen 21
Beschrijving uitkomsten effectmeting 1: inhoudsanalyse 21
Beschrijving uitkomsten effectmeting 2: learner report 22
10. Conclusies en discussie 24
Conclusies over de uitslagen van het onderzoek, hypothese en ontwerpregels 24
Nadere discussie 25
11. Terugblik op het educatief ontwerpen 27
12. Literatuur 28
13. Bijlagen 30
Inhoud 30
Bijlage 1: lesplannen 31
Bijlage 2: Overzicht aandachtspunten+stappenplan (dubbelzijdig op één blad voor
leerlingen) 38
Bijlage 3: werkbladen #1-3 bij lesontwerp 40
Bijlage 4: Learner report 43
Bijlage 5: Leerlingantwoorden beginmeting 44
Bijlage 6: Leerlingantwoorden eindmeting 50
Bijlage 7: Ruwe data inhoudsanalyse: voormeting experimentele groep 57 Bijlage 8: Ruwe data inhoudsanalyse: voormeting controlegroep 59 Bijlage 9: Ruwe data inhoudsanalyse: nameting experimentele groep 61 Bijlage 10: Ruwe data inhoudsanalyse: nameting controlegroep 63 Bijlage 11: Ruwe data: vergelijkend overzicht totalen voor- en nameting 65
Samenvatting
Dit ontwerponderzoek draait om de vraag: hoe kan ik als geschiedenisdocent leerlingen uit de bovenbouw havo/vwo helpen hun antwoordformuleringen bij toetsvragen te verbeteren? Veel leerlingen uit mijn 4 havoklas maken structurele fouten in het formuleren van historische redeneringen op schriftelijke toetsvragen. Om dit probleem aan te pakken, is in dit onderzoek eerst ingegaan op de verwachtingen die we als docenten en namens het
eindexamenprogramma van de leerling hebben. Hoe zwaar weegt taalvaardigheid, wat is de verhouding tussen taalvaardigheden en de historische denk- of redeneervaardigheden en wat kunnen we in de praktijk eisen of verwachten van de schrijfvaardigheid van de
geschiedenisleerling?
Het probleem wordt zo theoretisch gekaderd, en vervolgens vernauwd tot het causaal redeneren op toetsen. Er wordt een beeld geschetst van hoe een goede causale redenering op een toets eruit kan zien, waarbij structuur en volledigheid de sleutelwoorden zijn. Een
volledig en gestructureerd antwoord vraagt onder anderen het verwerken van een bewering of conclusie en relevante vakbegrippen en domeinwoorden in het antwoord – er is een
scoringsmatrix met zeven dergelijke criteria opgesteld, waarmee het niveau van een antwoord kan worden gekwantificeerd. Dit vormt onderdeel van het effectonderzoek.
Vanuit de literatuur is verkend aan welke voorwaarden een voor dit onderwerp geschikte lesactiviteit moet voldoen, en op basis daarvan zijn een aantal ontwerpregels
opgesteld waarop de lessenserie is gebaseerd. Er zijn zes ontwerpregels gekozen: het expliciet maken van leerdoelen, het bestuderen van voorbeeldantwoorden, strategie-instructie,
modelleren, interactie en reflectie op eigen werk.
Het lesontwerp heeft aan deze regels vormgegeven door taal- en redeneerdoelen op te stellen op basis van werk uit oude toetsen van de klas zelf, waaruit voorbeelden en non-voorbeelden aan de klas zijn getoond, toegespitst op causale redeneringen. Een lijst met vier aandachtspunten voor een goed antwoord vormde samen met een stappenplan historisch redeneren de kern van de lessenserie; door inductieve lesactiviteiten met
voorbeeldantwoorden, het oefenen op werkbladen en het al dan niet interactief nakijken en bespreken van elkaars werk en eigen werk zijn deze instrumenten geoperationaliseerd voor de leerling. In de vierde en laatste les is van de leerling gevraagd dat ze met de nieuwverworven kennis en vaardigheden kritisch terugkijken naar hun vorig tentamen, en evalueren waar hun sterke punten en verbeterpunten liggen.
Over dit lesontwerp heb ik de volgende hypothese onderzocht: na de lessenserie zullen de leerlingen uit mijn 4 havoklas op causaal redeneervragen betere resultaten scoren dan op het voorgaande tentamen, te meten met een inhoudsanalyse (effectmeting 1). Uit diezelfde inhoudsanalyse zal daarnaast blijken dat de leerlingen uit de experimentele groep (A) tussen de twee tentamens meetbaar meer vooruitgang hebben geboekt dan de controlegroep (B). Ook verwacht ik dat de leerlingen uit de experimentele groep zelf rapporteren dat de lessenserie ze heeft geholpen, te meten in een learner report (effectmeting 2).
Uit het effectonderzoek bleek dat leerlingen uit de experimentele groep in de nameting (N=11) nagenoeg significant hoger scoorden op een van de twee deelaspecten van een
volledige antwoordformulering, namelijk de vorm van het antwoord, waar het gebruik van domeinwoorden, vakbegrippen en een bewering en/of conclusie bij hoort. Op de overige punten zijn, ook bij de controlegroep, geen significante verschillen gemeten. Uit het learner report bleek dat leerlingen gematigd positief waren over de lessenserie, maar moeite hadden concrete punten uit het stappenplan terug te halen. De suggestie is, dat een langere en meer over het jaar gespreide lessenserie over antwoordformuleringen de impact zou verhogen.
1. Het ontwerpvraagstuk
Dit ontwerponderzoek draait om de vraag: hoe kan ik als geschiedenisdocent leerlingen uit de bovenbouw havo/vwo helpen hun antwoordformuleringen bij toetsvragen te verbeteren? Ik hoor en vind regelmatig dat leerlingen ‘slecht formuleren’ – bij mijn collega’s in de sectie dit jaar, maar ook bij mijn werkzaamheden als docent op examencursussen de afgelopen jaren. Bij veel van de zwakkere geschiedenisleerlingen in de bovenbouw die ik spreek lijkt dit ook bij hun zelfbeeld te horen: bij de vraag waar het aan zou kunnen liggen, dat ze niet zo goed presteren in het vak, vertellen standaard velen op de examencursussen dat hun antwoorden te lang, of te kort, of gewoonweg ‘niet goed’ zijn, ook al hebben ze voor hun gevoel hun feitenkennis behoorlijk op orde. Wanneer ik naar het werk van die leerlingen kijk, herken ik dat meestal wel: in sommige antwoorden zitten wel de sporen van de juiste kennis en
inzichten, maar zijn de redeneringen die ermee worden opgebouwd zwak of lastig te volgen, en sluiten slecht aan bij de vraag.
Dit is een belangrijk probleem, onder anderen omdat als deel van de eindtermen voor het geschiedenisexamen wordt gevraagd dat leerlingen historisch kunnen redeneren. Het is ook een zeer complex en uitdagend probleem, omdat een juist geformuleerd antwoord op een historische vraag een samenspel is van historische kennis, historische denkvaardigheden – op zichzelf al een complex geheel, – en algemene taalvaardigheid. De vaak impliciete normen en verwachtingen over het vereiste ‘correct Nederlands taalgebruik’, in combinatie met het abstracte pakket aan eisen dat onder de noemer ‘historisch denken’ valt, maken dat wij als docenten onderling al niet altijd helder hebben wat we precies verwachten van een goed antwoord – laat staan dat we dit naar de leerling eenvoudig en eenduidig kunnen overbrengen.
Ik vind het zelf daarom lastig om te bepalen en aan leerlingen over te brengen wat ik voor het vak geschiedenis van hun schrijfvaardigheid verwacht. Elke keer als ik bij een toets- of opdrachtbespreking moet uitleggen wat dan wél een goede formulering bij een bepaalde vraag is, ben ik aan het worstelen. Ik wil en kan geen les Nederlands geven, maar heb wel het gevoel dat ik binnen de context van mijn vak meer met de schrijfvaardigheid van leerlingen zou moeten doen. Bij mijn collega’s zie ik dat de tijd en gelegenheid hiervoor vaak ontbreekt of niet wordt gecreëerd, waardoor ik weinig voorbeelden heb van hoe ik zoiets aan zou kunnen pakken. Lessen gaan meestal over de inhoud van de stof, huiswerk wordt wellicht gecontroleerd maar niet nagekeken. Onze methode, Geschiedenis Werkplaats, biedt in tegenstelling tot sommige andere methodes wel antwoordmodellen met volledig
uitgeschreven redeneringen, maar je hebt als docent niet de zekerheid of daarnaar wordt gekeken – sterker nog, het lijkt er niet op dat dit überhaupt structureel door leerlingen wordt gedaan.
Mijn algemene indruk in mijn werkomgeving is dat met mij veel docenten het idee hebben dat er een formuleringsprobleem is, en dat veel leerlingen dat van zichzelf ook hebben, maar dat het probleem niet voldoende concreet en helder is voor docent en leerling, waardoor geen van de partijen gestructureerd bezig is met oplossingen of verbeterpunten. Er is dus volgens mij daarom behoefte aan een lessenserie die concreet maakt hoe een goede historische redenering eruitziet, en leerlingen bewust maakt van de sterke en zwakke punten van hun eigen formuleringen. Het is moeilijk te zeggen in hoeverre dit valt te generaliseren. In ieder geval heeft het formuleringsprobleem voor mij als docent ten eerste geen eenduidige oplossing uit mijn praktijkomgeving, en ten tweede door de tegenvallende toetsresultaten van veel leerlingen een zekere urgentie – goede gronden om onderzoek te doen.
Opzet en structuur onderzoeksverslag
In het volgende hoofdstuk wil ik het thema van antwoordformuleringen op
geschiedenistoetsen belichten vanuit de vakliteratuur. Het doel van deze theoretische
verkenning is na te gaan hoe het probleem door vakdidactici wordt geïnterpreteerd en welke oplossingen er reeds door hen zijn onderzocht. Centraal staat de vraag hoe belangrijk
taalvaardigheid in ons vak is voor een goed antwoord, en hoe taalvaardigheid en historische vaardigheden zich tot elkaar verhouden. Het perspectief van taalgericht vakonderwijs dat voor het beantwoorden van deze vraag wordt uitgelicht, helpt mijn probleemstelling aanscherpen, en biedt aanknopingspunten voor didactische oplossingen.
Op basis van de theoretische verkenning kan mijn probleem vakdidactisch worden gekaderd, en kunnen duidelijke, voldoende gespecificeerde leerdoelen en criteria opgesteld worden voor het ontwerp. Daarna volgt een empirische verkenning van het probleem voor mijn specifieke onderwijsleersituatie, de jaarlaag 4 havo op mijn school (hoofdstuk 3). Dat is de laatste stap voor het opstellen van een ontwerphypothese met bijbehorende ontwerpregels, en het presenteren van mijn les- en onderzoeksplan (hoofdstuk 4, 5 en 6). De paragrafen daarna vormen het verslag van het verloop van het lesplan, het onderzoek en de
resultaatanalyse (7, 8 en 9). Hoofdstuk 10 en 11 zijn bedoeld ter reflectie op de resultaten en op het ontwerp zelf.
2. Theoretische verkenning Geschiedenis en taal
Voor het bepalen van de criteria voor een goed geformuleerd antwoord op toetsvragen is het examenprogramma een logisch uitgangspunt: die bepalen wat er in de eindexamens moet worden getoetst, en die eindexamens vormen vaak de blauwdruk voor bovenbouwlessen en toetsen. In de eindtermen van het examenprogramma havo/vwo worden geen concrete, formele taaleisen gesteld aan geschiedenisleerlingen (e.g. Examenprogramma geschiedenis havo, 2018). Het impliciete belang van taalvaardigheid is echter groot, door het belang en de vorm die aan het historisch redeneren wordt gegeven in domein A: zonder passend
taalgebruik en bekwaamheid in de juiste taalconstructies kunnen leerlingen onmogelijk aantonen dat ze historische vaardigheden als bijvoorbeeld verbanden leggen, verklaringen geven, of het beargumenteren van historische stellingen beheersen, aldus Stoltz en Kuipers (2015, p. 41). Vanaf nu zal in dit onderzoek met het begrip ‘historisch redeneren’ dat totaalpakket van taalvaardigheid én historisch denken dat bij het vak geschiedenis wordt nagestreefd worden bedoeld.
Hiermee voegen Stoltz en Kuipers zich bij een belangrijke onderwijskundige beweging in Nederland, namelijk die van het taalgericht vakonderwijs. Het aanleren van taalvaardigheden lijkt wellicht geen kerntaak voor vakdocenten buiten de taalvakken (en is bij bijvoorbeeld geschiedenis ook niet expliciet in leerdoel of eindterm terug te vinden), maar wordt inmiddels door steeds meer toch als essentieel gezien voor effectief onderwijs. In navolging van Hajer en Meestringa’s standaardwerk Handboek taalgericht vakonderwijs (2009) zijn er de afgelopen tien jaar verscheidene vakdidactische studies verschenen naar de rol, de obstakels en de mogelijkheden van taal in verschillende vakken. Aanzienlijke aandacht is daarbij uitgegaan naar de uitgesproken talige mens- en maatschappijvakken, waar
geschiedenis een belangrijk onderdeel van is (e.g. Van Drie, 2012, 2015; van Drie, Groenendijk, Braaksma & Janssen, 2016; Meestringa, 2013).
Die studies onderstrepen stuk voor stuk dat er goede theoretische gronden zijn om expliciete aandacht aan taal te besteden in de vakles, puttend uit klassieke pedagogische bronnen als Lev Vygotski (Hajer & Meestringa, 2009, p. 45; zie ook: Wilschut, van Straaten en van Riessen, 2016, p. 104). Het vertrekpunt is echter pragmatisch, en ondersteunt mijn probleemstelling: taal-, en specifiek schrijfvaardigheid is voor vakdocenten en leerlingen een moeilijke vaardigheid, en dat probleem manifesteert zich inderdaad duidelijk bij het maken van toetsen (Van Drie et al., 2016, p. 5, 82). Veel onderzoek bevestigt het door mij en mijn collega’s ervaren gevoel dat leerlingen moeite hebben met gestructureerd schrijven en redeneren; de urgentie van dit probleem wordt voor mijn doelgroep, bovenbouw havo, specifiek benadrukt (Van Drie & Stoel, 2017b, p. 3). De relatie tussen schrijfvaardigheid en historische redeneervaardigheid is sterk, en de combinatie van beiden vormt een van de grootste uitdagingen van het vak geschiedenis voor zowel docent als leerling (Van Boxtel & van Drie, 2008; Stam & van Drie, 2013; Stoel, van Drie & van Boxtel, 2017).
Doelstellingen en uitgangspunten op het gebied van schrijfvaardigheid
Mijn probleem van slechte formuleren op toetsen heeft dus een vakoverstijgende component (zwakke taalvaardigheid), maar is door de relatie met het historisch redeneren ook een specifiek vakprobleem, dat vakspecifieke didactische oplossingen vraagt. In deze paragraaf verken ik nader wat de specifiek historische problemen met taalvaardigheid op toetsen zouden kunnen zijn, en welke leerdoelen daarbij horen. In de slotparagraaf van dit hoofdstuk kijk ik vervolgens op basis van de literatuur hoe mogelijke oplossingen en lesactiviteiten er uit zouden kunnen zien.
Veel omschrijvingen van het schrijfvaardigheidsprobleem kennen op het eerste gezicht eenzelfde ongrijpbare algemeenheid als mijn collega’s en ik bij de koffie: “schriftelijke
redeneringen kennen vaak geen structuur”, zo zeggen bijvoorbeeld Jannet van Drie en Gerhard Stoel (2017b, p. 3). Elders wordt door docenten beschreven dat leerlingen “moeite hebben met het formuleren van goede antwoorden op toetsvragen bij geschiedenis”, en ze het lastig vinden om “volledig antwoord te geven” (Van Drie et al., 2016, p. 82).
Structuur en volledigheid zijn echter, ook al klinken ze generiek, goede
uitgangspunten voor de zoektocht een goed antwoord. Het zijn woorden die zowel breed genoeg zijn om veel soorten schrijfgebreken te omvatten, als concreet genoeg om oplossingen aan op te hangen. Van Drie en Stoel tonen de mogelijkheden in De feiten voorbij, een
onderzoeks- en lesproject gericht op het schriftelijk causaal redeneren bij leerlingen (2017a; 2017b). Causaal redeneren neemt bij de historische denkvaardigheden die in de eindtermen geschiedenis zijn vastgesteld een centrale plaats in, en is een vaardigheid die in veel getoetst wordt (2017a, 4). Het is daarmee een logische onderwerpkeus van Van Drie en Stoel, die voor dit educatief ontwerp wordt overgenomen: door het centraal stellen van causale toetsvragen wil ik een specifieke, concrete (deel)oplossing bieden voor het grote algemene probleem van zwakke antwoordformuleringen.
Van Drie en Stoel bieden duidelijke uitgangspunten voor een volledig en goed gestructureerde causale redenering. Structuur en volledigheid bij het beantwoorden van vragen impliceren bijvoorbeeld dat vaktaal en begrippen worden uitgelegd, een redenering tot aan de conclusie wordt uitgeschreven, en dat er eenheid van aanpak is voor een tekstgenre of soort vraag. (Van Drie en Stoel, 2017a, pp. 26). Een van de sterke punten van De feiten
voorbij is de uitgebreide empirische onderbouwing ervan, waarmee de auteurs in kaart
brengen welke veel voorkomende gebreken er tegenover bovenstaande kenmerken van een goed antwoord staan. Bij antwoorden op causale vragen identificeren zij de volgende
aandachtspunten voor concrete verbetering bij leerlingen in de bovenbouw: het verwerven van een (meer) genuanceerd en analytisch vocabulaire, het onderscheiden en expliciteren van domeinen als economisch, sociaal en politiek, het schrijven van een conclusie, het gebruiken van argumenten uit de passende historische context in plaats van ‘universele’ logica en argumenten, en het gebruiken en verhelderen van historische begrippen (Van Drie en Stoel, 2017a, pp. 27-29).
Samengevat biedt het onderzoek van Van Drie en Stoel een concreet kader voor de lessen van dit educatief ontwerp: causale redeneringen als concreet focuspunt voor het probleem van antwoordformuleringen, met daarop aansluitende leerdoelen gebaseerd op bovenstaande aandachtspunten, zoals ‘leerling onderscheidt en expliciteert domeinen als economisch, sociaal en politiek’, ‘leerling sluit redenering af met een conclusie’ en ‘leerling redeneert vanuit historische context’. De volgende vraag is: welke lesvormen passen bij deze leerdoelen?
Oplossingen
In mijn probleembeschrijving stelde ik dat zowel docent als leerling niet altijd een helder beeld hebben van wat bij een goed antwoord precies wordt verwacht – en dat
schrijfvaardigheid ook voor de docent een complexe, en wellicht verwaarloosde vaardigheid is. Ik koppelde dit aan keuzes bij het doceren, en aan gebrek aan gelegenheid of motivatie bij leerlingen om hun eigen werk te evalueren (door bijvoorbeeld hun gemaakte
werkboekopdrachten na te kijken). Het beeld bestaat inderdaad dat docenten hun tijd vooral aan de inhoud van de stof en de te gebruiken lesmethode besteden, waarbij de historische vaardigheden weinig, en taalvaardigheden hooguit impliciet aan bod komen (e.g. Stam & van Drie, 2013, p. 19-22). Op het gebied van taalvaardigheid worden geschiedenisdocent en – leerling daarnaast ook niet altijd adequaat ondersteund door de lesmethoden (Stoltz en Kuipers, 2015: p. 50).
Het ontwikkelen van taalgericht lesmateriaal, en het taalonderwijsadagium van expliciete aandacht voor taaldoelen moeten dan ook zonder twijfel onderdeel vormen van dit lesontwerp (o.a. Hajer & Meestringa, 2009; Stam & van Drie, 2013, p. 4; Van Drie & Stoel, 2017b, p.3). Bij het stellen van expliciete taaldoelen is het belangrijk om leerlingen mee te nemen in het wat, maar ook in het waarom: het verbeteren van hun antwoordformuleringen is naar hen toe eenvoudig te motiveren met het vooruitzicht dat het hun resultaten op toetsen kan verbeteren. Het ontwikkelen van taalgericht lesmateriaal kan voor ons onderwerp
bijvoorbeeld zijn: het samenstellen van voorbeelden en non-voorbeelden, het ontwikkelen van schema’s en visualiseringen van antwoordstructuren (e.g. bewering, conclusie, begrippen verschillende kleuren geven). Het juist gebruik van deze instrumenten biedt de nodige taalsteun (Hajer & Meestringa, 2009, p. 45).
Het gebruik van voorbeelden houdt de focus ook waar die hoort: bij het historisch redeneren. Het expliciet maken van leerdoelen houdt ook in dat je zo concreet mogelijk maakt wat je als docent van de leerling verwacht, en dat betekent voor ons onderwerp dat er ook het historisch denken expliciete aandacht verdient; iets wat ook in de literatuur in toenemende mate wordt gedaan (e.g. Van Straaten, 2012, p. 8). Het is dus voor ons onderwerp essentieel om in de les te tonen hoe een goede historische redenering wordt opgebouwd. Naast
voorbeelden is ook modelleren daarvoor een goed didactisch instrument: hardop denkend en schrijvend bied je niet alleen taalsteun, maar maak je ook zichtbaar welke inhoudelijke stappen je maakt in een redenering.
Van Drie en Stoel geven in dat kader een waarschuwing in de vorm van dit zeer herkenbaar citaat van een docent: “In je feedback sla je stappen over, je realiseert je niet dat
je zelf eigenlijk veel meer stappen zet. Dat moet je expliciet maken aan leerlingen” (2017b, p.
3). Door je doelen expliciet te maken en in de les te modelleren verminder je de kans op het overslaan van stappen al behoorlijk, maar een mooi aanvullend middel is strategie-instructie. Schrijf- en redeneerstrategieën zijn belangrijk voor het beantwoorden van toetsvragen omdat het leerlingen kan helpen vaste structuren in hun aanpak te ontwikkelen, en hun schrijfwerk te plannen in plaats van hun eerste ingeving als een gedachtestroom op te schrijven. Het bieden van een dergelijke structuur in schrijven en redeneren kan goed door middel van een
stappenplan, bijvoorbeeld een lijst elementen die een goed antwoord moet bevatten, of een rijtje deeltaken die samen een goede aanpak vormen.
Een ander essentieel element in het taalgericht vakonderwijs is interactie; taal is immers sociaal (Hajer & Meestringa, 2009). Modelleren en strategie-instructie zijn
belangrijke vormen van interactie tussen docent en leerling, maar ook het samenwerken van leerlingen onderling kan heel effectief zijn. Door samen te werken krijgen leerlingen de kans om hun gedachten op andere manieren te uiten en te vormen dan bij zelfstandig werk of directe instructie. Hardop denken helpt misconcepties boven te brengen, en biedt gelegenheid
voor leerlingen om van elkaar te leren en op het ‘eigen’ taalniveau over de stof te praten. Dit kan leiden tot dieper begrip, en verlaagt de drempel naar het evalueren van eigen werk.
Interactieve werkvormen kunnen ook een uitstekend middel zijn om reflectie op het eigen werk te bevorderen: het samen evalueren van een voorbeeldantwoord, of het nakijken van elkaars antwoorden, bijvoorbeeld. Zelfreflectie is in zekere zin de kern van veel
geavanceerd leren, maar lijkt specifieke relevantie voor ons onderwerp te hebben, omdat deel van de probleemstelling is dat leerlingen het lastig vinden om hun
schrijfvaardigheidsproblemen voor zichzelf concreet te maken. Zowel door samenwerken als door andere werkvormen kan het reflecteren op de eigen antwoorden en de mogelijkheden tot zelfverbetering worden aangemoedigd.
3. Empirische verkenning
Voor mijn empirische verkenning heb ik aan de hand van Van Drie & Stoel’s criteria voor een goede causale redenering gekeken naar de antwoorden op causale redeneervragen uit het 4-havotentamen uit de afgelopen periode van dertig leerlingen – vijftien uit mijn eigen klas, en vijftien van een collega. Dit zal ook de opzet zijn voor de inhoudsanalyse van mijn onderzoek (zie hoofdstuk 5, 8 en 9). Alle leerlingantwoorden zijn terug te vinden in bijlage 5. Ik heb gekozen voor bronloze vragen, omdat dit waarschijnlijk een eenduidiger beeld geeft van het causale redeneervermogen van de leerling: bij bronvragen is er uiteraard altijd een kans dat de bron een, nou ja, ‘bron’ van verwarring is. Dit zijn de drie vragen waar ik me op heb gericht: 1. Geef een godsdienstige reden en een Europees politieke reden voor de kruistochten.
Tussen de nieuwe wetenschappelijke belangstelling en de Europese expansie in de 16e eeuw bestond een verband. Licht dit verband toe, door uit te leggen…
2. … Waardoor de nieuwe wetenschappelijke belangstelling de Europese expansie bevorderde.
3. … Waardoor de Europese expansie de wetenschappelijke belangstelling bevorderde. Domeinwoorden
Bij vraag 1 heb ik ten eerste gelet op het gebruik van de historische domeinwoorden ‘politiek’ en ‘godsdienstig’: worden ze gebruikt in het antwoord, en worden ze juist gebruikt? Bij 7 van de 30 antwoorden werden ze niet eens genoemd in het antwoord; vaker nog werden ze niet juist gebruikt. Opvallend is dat géén van die 7 antwoorden zonder domeinwoorden alle punten kregen. Dat kwam meestal doordat politiek en godsdienstige verklaringen door elkaar liepen, bijvoorbeeld zo:
- “de expansie van het christelijk en islamitisch geloof
Conflict tussen de gelofen over macht en over inname van Jeruzalem” (leerling #1)
Beide deelantwoorden (gesplitst door gebruik van nieuwe regel) zijn zowel godsdienstig als politiek uit te leggen, maar onvoldoende op een van beiden toegespitst.
Waar de domeinwoorden gebruikt werden, werd overal wel een godsdienstig punt genoemd, al dan niet inhoudelijk goed. Wel viel op dat als politieke reden behoorlijk vaak handel werd gegeven, wel zes keer (politiek lijkt sowieso het lastigste domeinwoord te zijn en economisch en politiek zijn vaak moeilijk te scheiden). Voorbeelden:
- “Politieke oorzaak: de handel liep in gevaar” (#23) of:
- “In Israel was veel handel mogelijk, en in Europa niet. Dat is de Europees politieke reden.” (#14)
Volledig antwoorden: conclusie en bewering
Het bewust en juist gebruiken van de historische domeinwoorden verdient dus aandacht. In bovenstaand antwoord wordt verder wel mooi teruggekoppeld naar de vraag: het
vraagfragment ‘Europees politieke reden’ wordt in een soort van miniconclusie verwerkt. Ook al heeft dat minder direct met historisch redeneren te maken, het kan een belangrijk element van een goede redenering zijn: de ‘structuur en volledigheid’ uit mijn theoretische verkenning
(Van Drie & Stoel, 2017b, p. 3; Van Drie et al., 2016, p. 82). Het verwijzen naar de kernelementen uit de vraag is een goede aanpak voor het verbeteren van de richting en structuur van de redenering; dit wordt meestal het effectiefst bereikt door middel van een conclusie of bewering. Beiden komen zeer weinig terug bij vraag 1. Bij vragen 2 en 3 iets frequenter, maar ook niet vaak. Meestal zijn het éénzinsantwoorden, waarin weinig tot geen redeneerstappen worden gezet, zoals dit antwoord op vraag 3:
- “De europeanen gingen landen aan de de [sic] andere kant van de wereld veroveren en
maakte het hun koloniën” (#21)
Dit antwoord is zowel qua vorm als qua inhoud gebrekkig. Er wordt helemaal geen causaal verband uitgelegd, en daarmee niet ingegaan op het gevraagde. Behalve door het ontbreken van een conclusie of bewering, komt dit ook door het vergeten van de begrippen uit de vraag, iets anders wat de volledigheid van een antwoord structureel zou kunnen verhogen.
Gebruik van historische begrippen
Bij een causaal verband tussen twee begrippen, zoals bij zowel vraag 2 als 3 wordt gevraagd, is het het mooist als beide begrippen expliciet worden genoemd. Dit zijn immers begin- en eindpunt van het pad dat de historische redenering af moet leggen. Impliciet werkt ook, door een parafrasering of definitie van het begrip te gebruiken. Sterker nog, dat maakt een
redenering vaak natuurlijker. Een aardig voorbeeld:
- “Door de Europese expansie kwamen mensen er achter dat bepaalde verhalen niet klopten;
landen werden niet bewaakt door draken, je verbrandde niet als je over een bepaalde grens ging. Mensen waren erg nieuwsgierig hoe dat kwam en kregen zo nog meer belangstelling voor die wetenschappelijke dingen” (#10)
Inhoudelijk valt er uiteraard wel wat te verbeteren, maar het heeft een mooie structuur die ‘van A naar B’ gaat, met begrip B (wetenschappelijke belangstelling) geparafraseerd om de zin soepeler te laten lopen.
Verreweg de meeste antwoorden vergeten één of beide begrippen, laat staan dat ze die ook inhoudelijk gebruiken (zoals leerling #10 ook niet volledig doet, ze legt Europese
expansie niet echt uit). Een perfect antwoord op dit punt, waarin voor de redenering
inhoudelijk gebruik wordt gemaakt van beide begrippen en de lezer niets hoeft te raden of zelf hoeft in te vullen, heb ik niet gezien. Wellicht klinkt dit punt dus te kritisch of onrealistisch, maar bij het geven van examencursussen heb ik gezien dat dit relatief makkelijk aan te leren valt en wel degelijk helpt de antwoorden te verbeteren (vanwege de volledigheid, maar ook inhoudelijk, vanwege de houvast die de leerling eraan heeft waardoor ze minder snel afdwaalt in de redenering).
Universele verklaringen
Er zijn ook leerlingen die in hun aanpak een aantal aspecten van de ‘vorm’, zoals het noemen van begrippen uit de vraag, het gebruik van domeinwoorden of het formuleren van een bewering/conclusie behoorlijk eigen hebben gemaakt, maar inhoudelijk structurele fouten maken. Daarbij bedoel ik dat niet per se de historische kennis zelf, maar de aanpak of benadering van de inhoud het probleem is. Deze leerling bijvoorbeeld, verwijst naar beide begrippen uit de vraag en heeft een aardige antwoordstructuur:
- “Door expansie konden mensen kennis opdoen van mensen uit andere werelddelen. Zo
groeide de wetenschappelijke belangstelling, omdat ze steeds meer wisten en wilden weten” (#19)
Inhoudelijk komt dit antwoord echter tekort: wie zijn de ‘mensen’, en wat is de ‘kennis’ die ze opdoen, en hoe zorgt die kennis nou voor een groeiende wetenschappelijke belangstelling tijdens de 16e eeuw? Het kan zijn dat de leerling met deze vage omschrijving een gokje heeft willen wagen bij gebrek aan kennis; ik zie er echter iets anders in, namelijk de tendens tot wat Van Drie & Stoel universele redenaties noemen 2017a, p. 20; 28). Wat bovenstaand antwoord onder anderen mist, is historische context: het toespitsen van het antwoord op de specifieke historische situatie waar de vraag over gaat, bijvoorbeeld door het rekening houden met tijd en plaats (e.g. Europeanen ontdekten in de 16e eeuw het werelddeel Amerika). Van Drie &
Stoel omschrijven universele redeneringen verder als verklaringen die gebruik maken van zogenaamd tijdloze of algemeen geldende waarheden en principes, en, in dit geval, generieke definities van historische begrippen (e.g. ‘wetenschappelijke belangstelling’ = ‘meer willen weten’) (Van Drie & Stoel, 2017a, p. 20). Een voorbeeld van dat alles wat ik vaak terug zag komen is een variant op deze politieke redenering:
- “Politiek [reden voor de kruistochten] = de koning wilde meer macht” (#25) Hier mist elke vorm van historische context. Je zou dit antwoord ongeacht de
vraag/onderwerp kunnen geven. (Deze jongen heeft overigens, nadat ik hem hier speels op heb gewezen, bij de volgende toets op acht vragen waarop hij het antwoord niet wist acht keer ‘de koning wilde macht’ ingevuld). Voor een historisch specifieker antwoord, en ook gewoon een mooiere redenering, maakt naast het specificeren tijd en plaats ook het gebruik van concrete historische voorbeelden een wereld van verschil. Dit zijn twee antwoorden die ik om die reden mooi vind:
- “Er werden veel uitvindingen gedaan zoals het kompas en de kaart. Zo konden mensen
makkelijker de weg naar andere landen vinden dus dan gingen ze makkelijker handelen”
(#30)
- “Door meer kennis van… alles konden ze betere schepen bouwen, beter overleven op zee,
betere routes varen, etc. hierdoor konden ze verder varen en uitbreiden door landen te veroveren met hun betere wapens.” (#19, zelfde leerling als van de universele verklaring
hierboven!)
Conclusies uit empirische verkenning
Ik heb vier aandachtspunten uit de literatuur in mijn klas verkend en duidelijk teruggezien: het gebruik van domeinwoorden, volledig antwoorden door conclusie en/of bewering, het gebruik van historische begrippen (uit de vraag) en het antwoorden vanuit historische context. Op deze vier zaken wil ik me met mijn lesplan en mijn empirische analyse richten (zie hoofdstuk 5).
4. Ontwerphypothese en ontwerpregels
Ontwerphypothese
Veel leerlingen uit mijn 4 havoklas maken structurele fouten in het formuleren van historische redeneringen op schriftelijke toetsvragen, en krijgen daar onvoldoende terugkoppeling op, waardoor er weinig zelfreflectie en kans op verbetering is op dit punt. Bij causaal redeneren in het bijzonder, zijn een aantal standaardfouten te herkennen. Na het inductief verkennen van vier veelgemaakte fouten op toetsen aan de hand van hun antwoorden uit de vorige toets, en het modelleren van en oefenen met een stappenplan voor historische redeneervragen, zullen de leerlingen uit mijn 4 havoklas op causaal redeneervragen betere resultaten scoren dan op het voorgaande tentamen, te meten met een inhoudsanalyse (effectmeting 1). Uit diezelfde inhoudsanalyse zal daarnaast blijken dat de leerlingen uit de experimentele groep (A) tussen de twee tentamens meetbaar meer vooruitgang hebben geboekt dan de controlegroep (B). Ook verwacht ik dat de leerlingen uit de experimentele groep zelf rapporteren dat de lessenserie ze heeft geholpen, te meten in een learner report (effectmeting 2).
Schematisch overzicht onderzoeksopzet
Groep Voormeting Interventie Nameting
Klas A Tentamen 1 Lessenserie causaal
redeneren op toetsen
Tentamen 2 + learner report
Klas B Tentamen 1 Geen Tentamen 2
Verwachtingen:
- Klas A heeft een hogere gemiddelde score op de nameting dan op de voormeting; - Klas A heeft een groter positief verschil tussen voormeting en nameting dan klas B - Klas A rapporteert positief op het learner report.
Ontwerpregels
Ontwerpregel 1: expliciet maken van leerdoelen (taal- en redeneerdoelen)
De essentie van taalgericht vakonderwijs is dat je expliciet maakt en bespreekt wat je op vaktaalgebied van de leerling verwacht. Ook op het gebied van vaardigheden, voor veel leerlingen vaag terrein met onduidelijke eisen, is dat belangrijk.
Voor deze lessenserie worden de vier punten die ik op basis van de literatuur en empirische verkenning als voornaamste verbeterpunten heb geïdentificeerd, expliciet besproken en aangepakt met de leerlingen.
Ontwerpregel 2: bestuderen van voorbeeldantwoorden
Het bestuderen van voorbeeldteksten en non-voorbeelden is een logisch onderdeel van het expliciet maken van je leerdoelen: je toont heel letterlijk wat je doel van de les is.
In deze lessenserie betekent dit dat we veel antwoorden uit hun eigen oude toetsen zullen bespreken (al dan niet aangedikt door mij), zowel centraal als in groepsvormen. Om effectieve taalsteun te bieden zal ik onder anderen door middel van het kleuren van
Ontwerpregel 3: strategie-instructie door middel van een stappenplan
Er bestaan voor de verscheidenheid aan historische vaardigheden veel schrijfstrategieën, vaak in de vorm van stappenplannen.
Deze lessenserie richt zich op causaal redeneren, en zal daarvoor gebruik maken van een wat breder toepasbaar stappenplan ‘historisch redeneren’, toegespitst en geoefend op typische causale vragen uit de eindexamens van de afgelopen jaren.
Ontwerpregel 4: modelleren
Bij het lesgeven met het stappenplan is het logisch om als docent te modelleren, oftewel zelf voor de klas te tonen hoe je met behulp van het stappenplan een antwoord kan formuleren.
Ontwerpregel 5: interactie
Samenwerkingsopdrachten leiden in het algemeen tot hogere leeropbrengsten, en kunnen specifiek op het gebied van taalonderwijs veel toevoegen, aangezien taalvaardigheid zich sociaal ontwikkelt.
In deze lessenserie ligt de nadruk op het gezamenlijk evalueren en verbeteren van voorbeeldantwoorden op toetsvragen, en van elkaars geschreven werk.
Ontwerpregel 6: reflectie op eigen werk
Effectieve zelfreflectie leidt tot een beter begrip van wat er gevraagd wordt, beter begrip van de eigen verbeterpunten en een sneller verbeterproces.
Het is voor deze lessenserie een belangrijke factor, omdat deel van het probleem met schrijfvaardigheid lijkt te zijn dat leerlingen het lastig vinden om hun mogelijkheden tot verbetering voor zichzelf concreet te maken. Activerende, reflectieve vragen kunnen dit ontwerpprincipe koppelen aan de andere ontwerpregels, bijvoorbeeld het gebruik van antwoorden uit oude toetsen, maar ook het interactief nakijken en bespreken van eigen
antwoorden op oefenopgaven. Het analyseren van de eigen antwoorden op de vorige toets aan de hand van het geleerde van de afgelopen lessen zou goed passen als afsluiting. Het gebruik van werkbladen is een goed middel om tijd en gelegenheid tot reflectie in de lessenserie in te bouwen.
5. Onderzoeksplan
Deze lessenserie wordt uitgevoerd in een 4 havoklas met parallelklassen, dus ik kan werken met een controlegroep. De voormeting, die ook de basis was van de empirische verkenning, bestaat uit een inhoudsanalyse van de kwaliteit van antwoorden op drie bronloze causaal-redeneervragen bij een blind gekozen sample uit de interventieklas (N=15) en een parallelklas (N=15) als controlegroep. De nameting bestaat uit eenzelfde inhoudsanalyse op vergelijkbare vragen op de volgende toets. Naast deze resultaatgerichte effectmeting zal ik ook een
nameting van de leerervaring verrichten, door middel van een learner report in de interventieklas. Dit learner report is te vinden als bijlage 4.
Omdat ik bij de inhoudsanalyse op veel punten meet en een controlegroep heb, moest ik me voor een realistische werklast beperken in de samplegrootte en de hoeveelheid vragen. Op advies van Wim van Kleef heb ik voor beide groepen een aantal van 15 genomen, wat als blinde sample op een klas van 28 (interventiegroep) en 26 (controlegroep) een redelijk representatief beeld moet geven. Een aantal van drie vragen biedt een redelijke variatie in de vraagstelling zonder de werklast onrealistisch hoog te maken.
Uitwerking methodiek inhoudsanalyse
De meting draait om de structuur en volledigheid van de redenering en de aanpak van de leerling, waarvoor de volgende zeven criteria zijn gekozen:
Vorm:
- 1 domeinwoorden uit vraag herhaald in antwoord ja/nee 1/0 - 2 bewering aanwezig ja/nee 1/0
- 3 conclusie aanwezig ja/nee 1/0
- 4 vaktermen uit vraag genoemd ja/nee 2/1/0 (2 bij meerdere begrippen) Inhoud:
- 5 domeinwoorden juist gebruikt 0-1-2 - 6 vaktermen voldoende toegelicht 0-1-2 - 7 antwoord vanuit historische context 0-1-2
Deze criteria zijn gekozen op basis van de aandachtspunten die Van Drie en Stoel
identificeren bij causaal redeneren in de bovenbouw havo. Voor het meten van vormstructuur in een antwoord is de aanwezigheid van criteria 1-4 een indicatie; die worden op nominaal meetniveau binair gemeten (1 = aanwezig, 0 = niet aanwezig). De inhoudelijke structuur van het antwoord wordt ordinaal gemeten voor criteria 5,6 en 7: 0 = niet aanwezig, 1 = deels aanwezig en 2 = voldoende aanwezig.
Als bewering wordt gescoord: een duidelijke vorm van terugverwijzing naar de vraag en/of de kern van de redenering van de leerling aan het begin van het antwoord. Een conclusie is een vergelijkbare terugverwijzing naar de vraag aan het eind van het antwoord. Voor een conclusie wordt gelet op signaalwoorden als ‘dus’, ‘hierdoor’, ‘zo’… Voor criterium 4 geldt dat alleen het noemen van de historische begrippen de punten oplevert; het gaat hier immers om structuur van aanpak van de vorm van het antwoord, niet om de correctheid van de inhoud. Bij 5 en 6 geldt: 1 punt per juist gebruikt domeinwoord/begrip; de waarden voor 7 kunnen vrijer worden geïnterpreteerd, waarbij concretiseren door middel van het (min of meer correct) noemen van plaats, tijd, naam en relevante historische voorbeelden de doorslag geeft. Voor een aanvullende omschrijving van mijn interpretatie van de criteria voor een goede historische redenering, zie hoofdstuk 3.
De vragen van de voormeting zijn dezelfde als die uit hoofdstuk 3. Voor de nameting heb ik vragen opgesteld van zo goed mogelijk vergelijkbare structuur.
Vragen voormeting
1. Geef een godsdienstige reden en een Europees politieke reden voor de kruistochten.
Tussen de nieuwe wetenschappelijke belangstelling en de Europese expansie in de 16e eeuw bestond een verband. Licht dit verband toe, door uit te leggen…
2. … Waardoor de nieuwe wetenschappelijke belangstelling de Europese expansie bevorderde.
3. … Waardoor de Europese expansie de wetenschappelijke belangstelling bevorderde.
Vragen nameting
1. Tijdens de Gouden Eeuw was er sprake van een migratiegolf naar de Republiek. Bedenk een economische en een culturele verklaring voor dit gegeven.
Een bewering. Het modern imperialisme houdt verband met: 2. (1) Industrialisatie in het moederland en...
3. (2) ... Nationalisme in het moederland. Ondersteun beide delen van de bewering.
Niet elk criterium is voor elke vraag relevant: domeinwoorden zijn bijvoorbeeld alleen aanwezig bij de vragen 1 uit de voor- en nameting. Voor zowel de voor- als nameting geldt: voor vraag 1 worden criteria 1, 2, 3, 5 en 7 gemeten; voor vraag 2 zijn dat 2, 3, 4, 6, 7.
6. Het lesontwerp
Mijn lessen zijn gericht op lineaire causale redeneringen, in tegenstelling tot het project van Van Drie en Stoel, dat veel aandacht besteedt aan multicausaliteit. Mijn motivatie hiervoor is dat, hoewel een beter begrip van multicausaliteit een geweldige sprong in het niveau van historisch denken betekent, de gevraagde causale verbanden in de bovenbouw havo op zowel de schoolexamens als het centraal eindexamen bijna allemaal lineair en enkelvoudig van aard zijn. Hoewel ik me in mijn lesgeven in het algemeen juist niet wil beperken tot hetgeen formeel getoetst wordt en graag de uitdaging van het ontwikkelen van complexere vaardigheden aanga, heeft deze 4 havoklas op dit moment meer baat bij een
toetsgeoriënteerde lessenserie. De prestaties op de afgelopen toets zijn een belangrijke motivator voor dit lesontwerp voor zowel mij als de leerlingen. De causale vragen van de afgelopen toets en de eigen antwoorden van leerlingen op die vragen vormen daarom het vertrekpunt.
Op basis van de ontwerpregels uit hoofdstuk 4 zal ik in een lessenserie van vier lessen aandacht besteden aan de volgende vier aspecten of ‘aandachtspunten’ van een goede causale redenering, zoals beschreven door van Drie en Stoel (2017a, pp. 27-29) en verkend in
hoofdstuk 2 en 3 van dit verslag:
- het onderscheiden en expliciteren van domeinen als economisch, sociaal en politiek; - het schrijven van een conclusie;
- het gebruiken van begrippen, voorbeelden en argumenten uit de passende historische context in plaats van ‘universele’ logica en argumenten;
- het gebruiken en verhelderen van historische begrippen uit de vraag.
Door deze lijst centraal te stellen in mijn lessenserie maak ik mijn taal- en leerdoelen expliciet voor de leerlingen. Daarnaast introduceer ik met een redeneerstappenplan een strategie om de schrijfaanpak van leerlingen meer structuur te geven. Het stappenplan is een vorm van strategie-instructie, en biedt een raamwerk om bijvoorbeeld een conclusie en de begrippen uit de vraag logisch in op te nemen. Tot slot zal een deel van de lessen gericht zijn op het herhalen van de oriëntatiekennis voor de aankomende toets, omdat het ten eerste noodzakelijk is in aanloop van de toets en ten tweede een goede tegenhanger is op de balans van inhoud-vaardigheden.
N.B. De lesplannen zijn in MDA-formaat terug te vinden in bijlage 1.
Les 1
In deze les breng ik samen met de leerlingen het probleem in kaart. Na het aanscherpen van het probleem ‘antwoordformuleringen op de toets’ met behulp van de toetscijfers en wat feitjes uit het empirisch onderzoek leg ik uit wat een causale redenering is, hoe een causale vraag eruitziet en waarom we ons specifiek daarop gaan richten deze lessenserie. Vervolgens gaan de leerlingen zelf aan de slag, met korte klassikale besprekingen van hun bevindingen. Hun eigen antwoorden uit de laatste toets zijn het belangrijkste bespreekmateriaal; uiteraard maak ik daarbij gebruik van zowel goede als minder goede antwoorden (voorbeelden en non-voorbeelden).
Met de antwoorden geprojecteerd op het bord bespreken de leerlingen steeds in tweetallen wat ze goed en wat ze minder goed vinden aan het antwoord, en schrijven telkens beiden op een werkblad op (bijlage 3). Dit gebeurt in drie rondes. Ik heb hun antwoorden per ronde geselecteerd op een bepaald genre fout, en de bedoeling is dat we via een
onderwijsleergesprek aan het eind van elke ronde zoveel mogelijk inductief tot een
beschrijving van dat soort fout komen. Zo maakt de klas stapsgewijs kennis met de eerste drie van de vier belangrijkste aandachtspunten die ik in deze lessenserie centraal wil stellen. Het
werkblad is op naam en wordt aan het eind van de les ingeleverd. Huiswerk: het inhoudelijk voorbereiden van de oriëntatiekennis voor het tijdvak steden & staten.
Les 2
In deze lessenserie herhalen we de drie aandachtspunten uit de vorige les, en introduceer ik op dezelfde wijze (begeleid-autonoom inductief ‘ontdekken’ aan de hand van een voorbeeld) het vierde aandachtspunt. Het bewustmaken en bespreken van deze vier aandachtspunten is deel van de oplossing van het aan de klas gecommuniceerde probleem ‘antwoordformuleringen op de toets’, en dat zal ik op dit moment nog eens benadrukken. Het is echter niet de gehele oplossing, en daarmee motiveer en introduceer ik het stappenplan (bijlage 1). De voordelen van een gestructureerde aanpak voor leerlingen zelf moet duidelijk naar voren komen. Door de tijd te nemen voor het als docent uitwerken van een vraag, het direct zelfstandig oefenen en een hand-out met voorbeelduitwerking wordt het abstracte idee van een stappenplan zo
concreet mogelijk gemaakt. Na de verwerkingsopdracht van het stappenplan (in tweetal met een voorbeeldvraag het stappenplan uitwerken) sluit ik de les af met directe instructie over de oriëntatiekennis van het tijdvak steden & staten. Huiswerk: het meegegeven werkblad met drie vragen uit oude toetsen en tentamens invullen (bijlage 3) met behulp van het stappenplan. Les 3
In deze les gaan we in groepjes van 3 werken met een willekeurige indeling (kleurenkaartjes bij de deur en op de tafels, tafels in rijtjes van 3). Kern van de les is het evalueren en
bespreken van elkaars werk, waarvoor het werkblad van de vorige les de kern vormt.
Antwoordmodellen staan op het bord. Nadat leerlingen eerst in stilte ieder het werkblad van een buurman hebben nagekeken, bediscussiëren ze met behulp van een nieuw werkblad met vragen erop wie de beste antwoorden had, welke veelgemaakte fouten ze nog bij elkaar zagen en wat er van het stappenplan wel/niet voor ze werkt. Ook schrijven ze ieder op, op welke dingen ze persoonlijk het meest moeten letten. Ook deze werkbladen zijn op naam en worden aan het eind van de les ingeleverd. Na een korte bespreking van de bevindingen met een door mij geleide ronde langs de tafels eindigt de les met directe instructie over de oriëntatiekennis van het tijdvak ontdekkers & hervormers.
Les 4
In deze les draai ik de volgorde om, en begin met een uitleg over de kenmerkende aspecten van het tijdvak regenten & vorsten. Daarna geef ik de leerlingen hun eigen gemaakte
tentamens van de afgelopen periode ter inzage. Met behulp van de opgedane inzichten uit de afgelopen drie lessen, en de hand-out met de vier aandachtspunten en het stappenplan, gaan leerlingen na waar bij hun (causale) redeneringen de sterke en zwakke punten liggen. Ze krijgen hiervoor een vragenlijst die ze moeten invullen (bijlage 3). De vragenlijst is op naam en moet aan het eind van de les worden ingeleverd. Dit doen ze zelfstandig en in stilte; nadat hier uitgebreid de tijd voor is genomen krijgen ze de kans in tweetallen hun beste en slechtste antwoorden en hun leerpunten te vergelijken en bespreken. Aangezien het de laatste les voor de toets is, zal het laatste kwartier vrij zijn voor vragen of zelfstandig leren.
7. Lesverloop: uitvoering van de ontwerplessen Lesstructuur en planning in de praktijk
De lessenserie is door mijzelf uitgevoerd in aanloop naar de toetsweek, verspreid over anderhalve week. Ik verwachtte daardoor enige tijdsdruk en onwil bij de leerlingen, maar die was door omstandigheden groter dan ik had ingeschat: les 1 en 2 bleek ik binnen het 40-minutenrooster (in plaats van 50) te moeten doen, en les 2 bleek de dag van de lerarenstaking, waardoor een aanzienlijk deel van de klas niet of laat kwam opdagen. Hierdoor kwam mijn lesplan behoorlijk onder druk te staan, en heb ik in les 1 en 2 moeten snoeien in het
kennisgedeelte van de lessen (het bespreken van de kenmerkende aspecten) en meer moeten leunen op huiswerk. Op het huiswerk bleek ik niet te kunnen rekenen, wat gevolgen had voor les 3.
Inhoudelijk verloop van de lessen
Les 1 verliep goed, hoewel ik door de tijdsdruk minder ruimte voor interactiviteit kon laten en meer moest sturen. De klas zocht gemotiveerd mee naar fouten en patronen in de
voorbeeldantwoorden en tijdens de verwerkingsopdrachten merkte ik dat er binnen de tweetallen goed werd overlegd. Toen ik voor aandachtspunt 3 een nieuw voorbeeldantwoord introduceerde en vroeg wat zij anders zouden doen, greep iedereen die ik het vroeg juist terug op het vorige aandachtspunt (meer historische context). Ik concludeer hieruit dat een
controleopdracht nuttig zou zijn geweest: ten eerste wordt dat kennelijk door leerlingen enigszins verwacht, en ten tweede zou het diagnostische waarde hebben. Hoewel het niet de bedoeling was, kreeg ik door hun terugkoppelingen naar mijn uitleg rond aandachtspunt 2 namelijk mooi inzicht in hoe goed dat punt was geland.
Les 2 was een chaotische en onprettige les. Door het 40-minutenrooster en de docentenstaking, waardoor leerlingen zeer laat en verspreid binnen kwamen, had ik weinig effectieve lestijd. Binnen die lestijd was het voor mij halszaak om in ieder geval het
stappenplan duidelijk te introduceren, maar dat vroeg het opofferen van de stofherhaling van de kenmerkende aspecten. Ook kreeg ik de lesdoelen niet goed overgebracht of gemotiveerd. Het resultaat was een les waarin ik te veel aan het woord was, terwijl het nut van het abstracte stappenplanverhaal voor de leerling onvoldoende duidelijk werd. Dit alles ging ten koste van een deel van de good will van de leerlingen – ik kreeg veel kritische vragen over waarom ze dit nou moesten doen, en heb zelfs twee leerlingen eruit moeten sturen. Tot slot was het problematisch dat er veel absenten waren, omdat ik in de planning van les 3 rekende op in les 2 te maken werk. Het resultaat was dat ik huiswerk moest opgeven. Conclusies: een
stappenplan is sowieso nogal abstract en vraagt zeer veel concentratievermogen van de leerlingen, en moet in optimale condities gebracht worden.
Les 3 heb ik mijn doelen niet bereikt, doordat de les organisatorisch niet goed verliep. Deze les zou moeten draaien om het beoordelen van elkaars antwoorden aan de hand van het geleerde over veelgemaakte fouten en stappenplan. Het te beoordelen werk zou vorige les moeten worden gemaakt; door het tijdtekort en de vele absenten heb ik het als huiswerk moeten opgeven, maar dat was uiteraard door lang niet iedereen gemaakt. Hier had ik in een aangepaste lesplanning al tijd voor ingebouwd, maar dat bleek niet genoeg; bovendien overviel het me hoeveel leerlingen het wel gemaakte werk niet bij zich hadden, dus ik had onvoldoende extra werkbladen geprint. Ik heb om voldoende materiaal te hebben bij de nakijkronde sommige leerlingen zover moeten krijgen om hun thuisgelaten antwoorden nog eens te bedenken en op te schrijven.
Bij het nakijken bleek de moeilijkheidsgraad een obstakel: ik had onderschat hoe complex de vragen en de antwoordmodellen voor sommige leerlingen waren. Dit maakte zowel opschrijven als nakijken van de vragen lastiger dan ik had verwacht. De
antwoordmodellen had ik op het bord geprojecteerd, en dat bleek onoverzichtelijk en lastig lezen te zijn. De paar leerlingen die wél alles voorbereid hadden, had ik willen belonen met zelfstandige leertijd, maar die werd meestal niet zo productief benut. Door de rommelige opbouw van de les was er veel verwarring en onvrede en verliep de nakijk- en feedbackronde wisselend. De reflectieve vragen op de werkbladen (zie bijlage 3 werkblad 2) werden vaak kortaf, onvolledig en/of melig ingevuld, bijvoorbeeld ‘noem elk 1 ding wat je over je eigen antwoorden hebt geleerd’ – ‘dingen’, of ‘we beroepen ons op ons zwijgrecht’. Tijdens het opzetten van dit ontwerp werd ik gewaarschuwd voor een ‘zekere
analyseer/feedback/reviseer-moeheid’ – die voorspelling dus lijkt te zijn uitgekomen. Mijn conclusie is – ook zoals voorspeld – dat een wat subtielere dosering, verspreid over meer lessen, beter was geweest. Het in groepjes opdelen met verschillende kleuren post-its ging overigens na een kort moment van weerstand en verwarring heel goed, dat ga ik vaker doen.
Les 4 was de meest bevredigende les. De rode draad die in de rommelige les 2 en 3 voor de leerlingen enigszins verloren was gegaan hebben we hier weer kunnen oppakken, en ook de good will en mijn gevoel over de waarde van de lessenserie werden enigszins hersteld. De respons op de vragenlijst ‘terugblik op je eigen werk’ (zie bijlage 3, werkblad 3) was een stuk zelfkritischer dan wat ik tot dan toe had gezien, en bovendien een stuk concreter over de te verbeteren punten. Veel leerlingen gaven aan dat ze op hun oude toets zagen dat ze de vraag zelden herhaalden, niet concreet historisch antwoordden of geen conclusie gebruikten, en schreven vervolgens een of meerdere van die zaken als voornemen op. Wel waren er ook, zoals steeds met deze klas, wat inconcrete voornemens en leerpunten: moeilijk realiseerbare voornemens als beter/vollediger/specifieker antwoorden, of ‘echt antwoord op de vraag geven’.
8. De uitvoering van de effectmetingen
Effectmeting 1: inhoudsanalyse tentamenantwoorden
Obstakels bij de meting
Het verzamelen van de data leek geen probleem: de tentamens zijn immers verplicht. Ik had echter geen rekening gehouden met ziekte/afwezigheid, waardoor van twee leerlingen de nameting ontbreekt. Vervangen voor een andere leerling lukte niet, omdat de tentamens van de voormeting inmiddels niet meer beschikbaar waren; hierdoor werd mijn N ongewild kleiner en was een deel van de voormeting nutteloos voor de analyse.
Een belangrijke andere ontwikkeling was dat er een aanzienlijk aantal onbeantwoorde vragen waren, en dat veel leerlingen hebben aangegeven tijd- of energietekort te hebben ervaren tegen het einde van de toets – vraag 2 en 3 uit mijn eindmeting waren de laatste vragen op het tentamen, en zijn dus wellicht onder het niveau gemaakt.
Obstakels bij de analyse
De beschrijving van de criteria uit het onderzoeksplan (hoofdstuk 5) bleek over het algemeen zeer goed operationaliseerbaar. Over criteria 6 en 7 ontstonden tijdens de meting echter wel enige twijfels, omdat ze elkaar enigszins overlappen (vaktermen voldoende toegelicht vs. antwoorden vanuit historische context). Ik heb het uiteindelijk zo afgewogen: begripsuitleg is uitleg die per se direct op het begrip is gericht, en mag ook abstract zijn; historische context is voor het gebruik van het specificeren van tijd en plaats, en van voor de tijd of het begrip relevante voorbeelden en toelichtingen (e.g. verbeterde zeekaarten, Amerika wordt ontdekt, nieuwe zeeroutes naar Azië, Copernicus, breder besef dat de aarde rond is en de implicaties daarvan voor de zeevaart, dat zijn allemaal concretiseringen). Sowieso vroeg de meting meer interpretatie en afweging dan ik had verwacht, wat het een zeer tijdrovende klus maakte.
Ik had vooraf bedacht onbeantwoorde vragen als 0-scores op te nemen in de gemiddelden: selecteren op leerlingen die alle drie de vragen bij de voormeting hadden beantwoord zou namelijk tegen het idee van blinde selectie ingaan en de representativiteit negatief beïnvloeden. Ik kreeg echter het advies dat het beperken tot leerlingen met complete data de meting zuiverder zou maken; dus heb ik me daar voor de eindanalyse toe beperkt, met een kleinere sample tot gevolg (N=11 voor de experimentele groep en N=14 voor de
controlegroep). Dit was wel zonde aangezien ik de vraaganalyse voor alle 15 leerlingen al had gedaan, ik bij de experimentele groep een aantal goed scorende leerlingen heb ‘weggegooid’, en ik met een kleinere N een minder betrouwbare eindanalyse heb.
Effectmeting 2: learner report
Obstakels
Het learner report heb ik door twijfel en slechte planning pas ver na de lessenserie afgenomen, wat de resultaten negatief lijkt te hebben beïnvloed. Veel leerlingen gaven aan dat het te lang geleden was om nog een mening te kunnen geven. Ik had geprobeerd hierop te anticiperen door een kleine samenvatting of ‘opfrisser’ van de lessenserie toe te voegen aan de
vragenlijst, maar alsnog had niet elke leerling veel specifieks te melden. Ook kan het zijn dat mijn instructie onvoldoende effectief was. Door de setting van afname (klas verspreid over twee computerlokalen) kon ik niet klassikaal instrueren, en hoewel ik het gevoel had dat de persoonlijke instructie aan kleine groepjes eerder motivatieverhogend dan verlagend was, is het goed mogelijk dat ik niet overal dezelfde soort of kwaliteit instructie heb gegeven en daarmee de meting onregelmatiger heb gemaakt. Overigens is de afnamesetting ook de reden dat N niet optimaal is (19 op een klas van 28, door verplaatste/onvindbare clusters en
9. De uitkomsten van de effectmetingen
Beschrijving uitkomsten effectmeting 1: inhoudsanalyse
Het elimineren van de incomplete datasets leverde de volgende totalen op als ruwe data:
Ter herinnering: pre/post_1 refereren aan de vorm, met de vier criteria: het noemen van domeinwoorden, opnemen van bewering en conclusie en het noemen van de begrippen uit de vraag. Pre/post_2 aan de inhoud: inhoudelijk juist gebruik domeinwoorden, voldoende toelichten van vaktermen/begrippen en het concretiseren van het antwoord vanuit de historische context.
Uit deze totalen kwamen de volgende statistische resultaten:
Beschrijvende statistiek experimentele groep (A)
Mean N Std. Deviation Std. Error Mean Pair 1 pre_vorm 2.82 11 2.136 .644 post_vorm 4.82 11 2.359 .711 Pair 2 pre_inhoud 4.09 11 2.663 .803 post_inhoud 4.55 11 2.806 .846
Beschrijvende statistiek controlegroep (B)
Mean N Std. Deviation Std. Error Mean Pair 1 pre_vorm 3.14 14 2.248 .601 post_vorm 2.57 14 1.785 .477 Pair 2 pre_inhoud 4.71 14 2.730 .730 post_inhoud 4.14 14 1.748 .467 Interpretatie
Zie ook: bijlage 13. De experimentele groep (groep A) lijkt qua zowel vorm als inhoud gemiddeld vooruit te zijn gegaan: van 2,82 (SD=2,136) naar 4,82 (SD=2,359) op vorm, van M=4,09 (SD=2,663) naar M=4,55 op inhoud. Daarvan is alleen de vooruitgang op vorm nagenoeg significant (t (10) = -2,164, p = 0,056). De controlegroep (groep B) blijkt opvallend genoeg op beide punten iets achteruit te zijn gegaan, maar dit verschil is niet significant. Tot slot valt op dat Groep A op zowel vorm als inhoud een lagere gemiddelde startscore had dan groep B, maar dat maakt verder geen onderdeel uit van de (statistische) analyse.
exp. (N=11): Contr. (N=14)
Pre_1 31 44
Pre_2 45 66
Post_1 53 36
Beschrijving uitkomsten effectmeting 2: learner report
Samenvatting
Het learner report is door 19 leerlingen ingevuld. Onderaan deze paragraaf is een
gecategoriseerd overzicht van de opbrengsten per vraag bijgevoegd, wat hier tekstueel wordt samengevat.
Als concrete leer- of verbeterpunten bij vraag 1 en 2 worden het herhalen van (een deel van) de vraag in het antwoord (9+5=14x) en het maken van een conclusie (5+2+1=8x) het vaakst genoemd. Bij de vraag over mijn eigen antwoorden heb ik ontdekt dat… Hebben 6 leerlingen een concreet verbeterpunt genoemd, en nog eens 5 het iets minder concrete ‘ik moet langer/korter antwoorden’. Eén leerling geeft aan te hebben ontdekt dat hij eigenlijk alles al goed doet.
Er is bij het noemen van die leerpunten overlap tussen vraag 1 en 2, de vraag over het stappenplan en die over de vier veelgemaakte fouten (e.g. ‘vraag herhalen’ twee keer
noemen). Vaak ook ontbreekt het verband met een van beiden (7+3=10x bij stappenplan, 11+3=14x bij veelgemaakte fouten). Voor vraag 1, 2 en 3 zijn er ‘generieke’ antwoorden (4-9 afhankelijk van de vraag), waarin de respons bestaat uit bijvoorbeeld ‘beter formuleren’, zonder nadere specificatie van die verbetering. Ook zijn er een paar antwoorden als
‘irrelevant’ geclassificeerd, omdat ze bijvoorbeeld alleen ingaan op het leren van de stof en de kenmerkende aspecten – wat wel een deel van de lessenserie was, maar niet in het learner report wordt bevraagd. Dergelijke antwoorden komen ook 4x terug bij de vraag ‘wat ik nog niet goed begrijp, is…’ Tot slot hebben twee leerlingen bij vraag 4 aangegeven het nut van de lessenserie niet goed te begrijpen.
Overzicht uitkomsten per vraag
Aangezien sommige leerlingen meer dan een antwoord geven op de vragen, worden vragen soms voor meerdere categorieën meegeteld en kan het totaalaantal meer dan 19 zijn. De dikgedrukte categorieën indiceren dat het antwoord inhoudelijk en positief aansluit bij de vraag.
#1 Van het stappenplan heb ik geleerd dat…
Categorie antwoord Aantal Voorbeeld/toelichting (Deel van) vraag
herhalen
9 ‘… Het belangrijk is de vraag te herhalen, bronelementen als deze er zijn in je antwoord te noemen, en een conclusie trekken’
Conclusie 5 ‘(…) Dan conclusie’
Noemen oorzaak-gevolg
1 ‘Ik: - eerst de vraag moet herhalen – dan uitleggen, oorzaak, gevolg – dan conclusie’
Generiek 7 Nietszeggend algemeen, vb. ‘dat je je antwoord goed moet formuleren’, ‘dat je een volgorde moet volgen’ Irrelevant 3 ‘Wat de beste manier van leren was’ (niet aan
stappenplan gekoppeld), ‘ik niet zo goed ben in het volgen van een stappenplan’
#2 Van de vier veelgemaakte fouten heb ik geleerd dat…
Categorie antwoord Aantal Voorbeeld/toelichting Verwijzing naar de
veelgemaakte fouten
5 2x hoe ‘economisch’ te gebruiken (=verwijzing naar domeinwoorden), 2x conclusie, 1x concretisering van het antwoord, vb. ‘dat ik de specifieke namen moet benoemen’’
Specifiek leerpunt, maar niet gerelateerd aan vraag (uiteenlopend)
11 ‘Dat ik de vraag moet herhalen’ (5x) en vergelijkbare opmerkingen die niet bij dit lesaspect horen
Verbetering aangegeven maar niet gespecificeerd
3 ‘Wat goed en wat fout is’, ‘wat je niet moet opschrijven’
Generiek 9 Ook hier een paar varianten op ‘ik beter moet formuleren’. Verder: ‘beter leren’, ‘beter lezen’ etc.
#3 Over mijn eigen manier van antwoorden heb ik ontdekt dat…
Categorie antwoord Aantal Voorbeeld/toelichting Concreet en reflectief
(uiteenlopend)
6 ‘Ik duidelijk moet zijn over wie, en welk historisch moment precies’
Antwoordlengte 5 ‘Ik schrijf te veel op’, ‘ik antwoord te kort’ Generiek 4 ‘Ik minder vaag moet zijn’, ‘beter formuleren’
Niets 1 ‘Ik het eigenlijk al goed doe’
#4 Wat ik nog niet goed begrijp is…
Categorie antwoord Aantal Voorbeeld/toelichting
Niets 9 ‘Ik begrijp het allemaal goed’, (ook 6x blanco) Het nut van volledig
antwoorden of goed formuleren
2 ‘Waarom antwoorden die qua reproductie en inzicht niet fout zijn. Alsnog fout worden gerekend, als deze niet goed geformuleerd zijn.’
Kenmerkende aspecten/stof 4 ‘Hoe het handigst is om te lere’
Overig 3 ‘Goed alles uit bronnen betrekken’, ‘welke de andere twee aandachtspunten zijn’, conclusie
Interpretatie
Zoals bij de beschrijving van de uitvoering in hoofdstuk 8 was voorspeld, is er veel inconcrete respons, in de vorm van generieke en irrelevante antwoorden. Hier is de grote tijdssprong tussen lessenserie en learner report waarschijnlijk een factor in geweest, zoals leerlingen aangaven. Deze klas gaf echter bij de vragenlijsten tijdens de lessenserie ook weinig inhoudelijke feedback, met vergelijkbaar generieke antwoorden en voornemens als ‘ik heb geleerd dat… ik beter mijn best moet doen’ en ‘ik moet beter/vollediger/specifieker antwoorden’ (zie hoofdstuk 7, lesverloop). Van daaruit bezien wijken de resultaten op
bovenstaande meting eigenlijk niet zoveel af, en is het beperkte resultaat op deze effectmeting dus wellicht niet alleen aan de tijdsplanning te wijten.
Over het algemeen kan worden gezegd dat de tijdsplanning een waardevolle meting niet in de weg heeft gestaan: het is immers ook interessant om te zien wat er op de langere termijn bij leerlingen beklijft. De specifieke lesstructuren zakken in dit geval snel weg (onderscheid tussen stappenplan en de vier veelgemaakte fouten wordt nauwelijks meer gemaakt), maar een kleine meerderheid van de klas kan nog wel aangeven iets concreets geleerd te hebben. Daarbij is ‘vraag herhalen’ het meest genoemd, wat interessant is omdat dit element geen specifiek aandachtspunt was in de lessenserie, maar des te belangrijker als hoofddoel achter een groot deel van de stappen en tips: het is het overkoepelende principe achter domeinwoorden gebruiken, bewering gebruiken, conclusie gebruiken en begrippen uit de vraag gebruiken.
10. Conclusies en discussie
Conclusies over de uitslagen van het onderzoek, hypothese en ontwerpregels Op basis van de effectmetingen kan ik concluderen dat de drie verwachtingen uit mijn hypothese allen deels stand hebben gehouden:
- het scoringsgemiddelde voor klas A is toegenomen (nagenoeg significant op ‘vorm’); - Klas A is meer vooruitgegaan dan klas B (aangezien klas B geen significante vooruitgang heeft geboekt);
- Klas A rapporteert deels positief op het learner report.
De nadruk ligt wel op deels: de lessenserie lijkt een wisselend succes te zijn geweest. Het is logisch dat er vooruitgang op vorm is geboekt, voor het verbeteren van de vorm van het antwoord werden immers geen nieuwe inzichten en nauwelijks vaardigheden gevraagd. Bij domeinwoorden en begrippen geldt dat alleen het noemen ervan genoeg is, en elke bewering of conclusie levert voor de vorm punten op, ook als er inhoudelijk verder niets van klopt. Dat in acht nemend is het eigenlijk enigszins teleurstellend dat er bij de interventiegroep nog steeds vier (!) leerlingen zijn die bij vraag 1 de domeinwoorden niet in hun antwoord hebben opgenomen, en dat maar drie leerlingen beide begrippen uit vraag 2 of 3 hebben gebruikt (zie bijlage 9 voor de individuele scores per vraag). Nog geen derde van de leerlingen uit groep A probeerde een conclusie of bewering te maken (2 tot 6 afhankelijk van vraag en criterium, zie bijlage 9).
Blijkbaar heb ik hoe en vooral het waarom van het gebruik van domeinwoorden enigszins, en van een conclusie en bewering onvoldoende kunnen overbrengen – een conclusie die het learner report lijkt te ondersteunen. Vorm is het makkelijkst te verbeteren, maar heeft ook de minst directe relatie met de puntenscores zoals de leerlingen die gewend zijn. Bij domeinwoorden is wellicht het nut het helderst, omdat voor leerlingen heel duidelijk is dat de vraag wil dat ze die in hun antwoord gebruiken. Het nut van bewering en conclusie is abstracter, minder direct gerelateerd aan punten, en is wellicht daarom zo slecht opgepikt.
Inhoudelijk is er zoals gezegd geen significante vooruitgang geweest, en kan dus eigenlijk niet van een geslaagde lessenserie gesproken worden. Twijfel over het rendement van de lessenserie blijkt ook uit het learner report, bijvoorbeeld uit het hoge aantal
‘irrelevante’ antwoorden. Twee van de negentien respondenten verwonderden zich op het learner report expliciet over de lessenserie: waarom al dit gedoe over redeneren als het niet uit lijkt te maken voor je punten op de toets? Vier anderen gaven aan dat ze vooral waarde
hadden gehecht aan het kennisinhoudelijke gedeelte van de lessen over de kenmerkende aspecten. Ook de relevante antwoorden bevatten enige reden tot zorg: ze gaven sterk de indruk dat de leerlingen niet boven het ‘wat doe ik fout/moet ik doen’ zijn uitgestegen, richting ‘hoe kan ik mijn antwoorden verbeteren’.
Het learner report bevatte wel een onvoorzien positief resultaat: op de langere termijn hebben leerlingen de hoofddoelen van de lessenserie het beste kunnen onthouden (e.g. ‘deel vraag herhalen’, ‘antwoord beter formuleren’, zie hoofdstuk 9). Hoewel de kwaliteit en positieve waarde van deze inzichten kunnen worden betwijfeld, interpreteer ik dit als een positieve manifestatie van mijn ontwerpregel van het expliciet maken van de leerdoelen. De andere ontwerpregels waren niet allemaal even effectief; zoals in het lesverloop beschreven vroegen de interactieve en reflectieve activiteiten soms te veel van de leerlingen, en het beperkte succes ervan is terug te zien aan de kwaliteit van de resultaten van het learner report. Een conclusie over beiden is, dat ze gedoseerd en aangepast op de klascultuur ingezet moeten worden. Over de implementatie van de (overige) ontwerpregels volgt nog een woord in de discussiesectie.
