Deij, Vera, Educatief Ontwerpen, Scheikunde

EINDVERSLAG EDUCATIEF ONTWERPEN

Titel Verbeteren van Formuleren bij Scheikundige Redeneervragen

Naam auteur(s) Vera Deij MSc

Studentnummer 10624139

Vakgebied Scheikunde

Doelgroep Havo/vwo

Variant Effectonderzoek

Opleiding Interfacultaire Lerarenopleidingen, Universiteit van Amsterdam

Begeleider(s) Dhr. dr. E. Joling Dhr. dr. Q.L. Elvira

Datum Juni 2019

Bibliografische referentie

Deij, V. (2019) Verbeteren van formuleren bij scheikundige redeneervragen. Amsterdam: Interfacultaire Lerarenopleidingen UvA.

Samenvatting

Bij het schoolvak scheikunde komen ‘leg uit’-vragen voor, waarbij leerlingen moeten redeneren. Dit houdt in dat leerlingen een antwoord formuleren waarin ze met vakspecifieke kennis argumenteren. Op basis van mijn observaties en die van collega’s is echter geconstateerd dat leerlingen onvolledige redeneringen geven die soms niet aansluiten bij de vraag. Dit onderzoek richt zich op het verbeteren van het formuleren bij scheikundige redeneervragen. De hypothese luid: Als ik het probleem dat

leerlingen onvolledige redeneringen geven die (soms) niet aansluiten bij de vraag aanpak met een aangepast SPA+ model waarin aandacht wordt besteed aan het analyseren van de vraag dan verwacht ik dat leerlingen valide redenaties zullen geven die volledig en beter gestructureerd zijn. Onder een

volledige en gestructureerde redenatie wordt verstaan: een redenering met gegevens, verbinding, conclusie en verbindingswoorden. Als de redenering daarnaast ook chemisch correct is wordt er gesproken over een valide redenering. In de interventie wordt een aangepast SPA+ model gebruikt om de antwoorden op redeneervragen te structureren en de verschillende onderdelen van een redenering te expliciteren. Hierin zijn stappen verwerkt waarin leerlingen doe- en puntwoorden moeten onderstrepen en een verband moeten kiezen waarbij suggesties van verbindingswoorden worden gegeven. Leerlingen maken met dit stappenplan verschillende redeneervragen in groepsverband en voorzien elkaar van feedback.

Om het effect van de interventie te meten is gebruik gemaakt van een inhoudsanalyse van antwoorden op toetsen en van hardop denken. Met behulp van de inhoudsanalyse zijn leerresultaten geanalyseerd in een interventie- en controlegroep door antwoorden van leerlingen op twee toetsen, voor zowel een voor- als nameting, te scoren aan de hand van een checklist. De resultaten zijn beoordeeld op de volledigheid van de redenering, de structuur en of de redenering valide is. Het leergedrag van de leerlingen is geanalyseerd door drie leerlingen uit de interventiegroep de toetsvraag van de nameting hardop denkend te laten maken. Uit de effectmetingen blijkt dat in de interventiegroep meer leerlingen volledig en meer valide zijn gaan redeneren dan in de controlegroep. In beide groepen zijn ook verschillende leerlingen minder volledig en minder valide gaan redeneren, wat mogelijk komt doordat de persoonlijke voorkeuren van de leerlingen kunnen verschillen. In beide groepen is de structuur in de redenering toegenomen waardoor dit niet specifiek aan de interventie kan worden toegeschreven. Uit het hardop denken blijkt dat de leerling met de grootste verbetering wel structuur aanbracht in zijn antwoord, maar er kan niet worden aangenomen dat hij het aangepaste SPA+ model gebruikte. De resultaten zijn niet doorslaggevend, waardoor er niet geconcludeerd kan worden dat de interventie leidt tot het gebruik van het aangepaste SPA+ model en het geven van redenaties die beter gestructureerd zijn. Wel is er een indicatie dat het aangepaste SPA+ model zorgt voor een volledigere redenering. Het wordt aanbevolen om het stappenplan frequenter te gebruiken en verder onderzoek met een grotere onderzoeksgroep wordt aanbevolen.

3

Inhoudsopgave

3.2 Oplossingen uit de literatuur ... 8

4. Keuze voor interventie ... 11

5. Hypothese... 12 6. Ontwerpregels ... 12 7. Onderzoeksplan ... 14 7.1 Voor- en nameting ... 14 7.2 Effectmetingen ... 14 7.2.1 Leerresultaten ... 14 7.2.2 Leergedrag ... 15

8. Beschrijving en onderbouwing ontwerp ... 16

9. Beschrijving en analyse van de uitvoering van de ontwerplessen ... 18

10. Uitvoering van de effectmetingen... 20

10.1 Beschrijving van de uitvoering ... 20

10.2 Analyse van de uitvoering ... 20

11. Uitkomsten van de twee effectmetingen... 22

11.1 Beschrijving ... 22

11.2 Resultatenanalyse van de effectmetingen ... 26

12. Discussie en conclusie ... 29

13. Analytische terugblik ... 31

14. Referenties ... 32

Bijlage 1. Afgenomen proefwerk uit empirische verkenning. ... 34

Bijlage 2. Het aangepaste SPA+ model. ... 38

Bijlage 3. Lesplannen van de interventie. ... 39

Lesplan van les 1 ... 39

Lesplan van les 2 ... 41

Lesplan van les 3 ... 43

Lesplan van les 4 ... 45

Bijlage 4. Het gebruikte lesmateriaal. ... 49

Geselecteerde oefenvragen ... 49

Les 2 en 3 ... 49

Les 4 ... 49

Les 5 ... 49

Suggesties voor antwoorden op de geselecteerde vragen ... 50

Les 2 en 3 ... 50

Les 4 ... 50

Les 5 ... 50

De gebruikte PowerPoint ... 51

De gebruikte lesstof uit het tekstboek ... 56

Bijlage 5. De toetsvragen van de voormeting en nameting. ... 62

Voormeting. ... 62

Toetsvraag: ... 62

Antwoordmodel: ... 62

Ingevuld SPA+ model voor voormeting: ... 62

Nameting. ... 63

Toetsvraag: ... 63

Antwoordmodel: ... 64

Ingevuld SPA+ model voor nameting: ... 64

Bijlage 6. Checklist voor inhoudsanalyse. ... 65

Bijlage 7. Ingevulde stappenplannen uit de tweede ontwerples. ... 66

Bijlage 8. Opdracht voor hardop denken. ... 70

Bijlage 9. Rubrics voor de inhoudsanalyse. ... 71

Bijlage 10. Ingevulde checklisten voor de inhoudsanalyse ... 73

Bijlage 11. Gecodeerd transcript hardop denken. ... 75

Leerling 1. ... 75

Leerling 8. ... 76

Leerling 13. ... 77

5

1. Ontwerpvraagstuk

Toen leerlingen tijdens een proefwerk betreffende het broeikaseffect en koolwaterstoffen op basis van gegevens uit de vraag in eigen woorden moesten beargumenteren dat het eten van zalm voordeliger is voor het broeikaseffect dan kibbeling, bleek dat zij onvolledige antwoorden gaven. Tijdens het nakijken van dit proefwerk van mijn vwo 4 klas, viel mij op dat leerlingen slecht scoren bij vragen waarin stond ‘leg uit’, ‘beargumenteer’ en ‘leg in eigen woorden uit’. Hierbij viel op dat sommige leerlingen wel begonnen met een argument, maar er vervolgens geen conclusie aan verbonden of geen toelichting gaven, hetgeen leidde tot een onvolledig antwoord. Daarnaast formuleerden sommigen het antwoord niet goed doordat bijvoorbeeld dagelijkse taal werd gebruikt in plaats van de gevraagde vaktermen. Zo gaf een leerling het antwoord: ‘Het verschil in uitstoot bij het

vangen is maar 0,1 kg. Maar het verschil in de zuinigheid van vervoerwagens is erg groot. De auto op biobrandstof is veel duurzamer en zuiniger dan de vrachtwagen‘. Dit antwoord begint goed, maar de

toelichting op argumenten ontbreekt. Het juiste antwoord bij de vraag is: ‘Ondanks dat zalm meer CO2

uitstoot per kilo dan kibbeling bij het vangen, is het eten van zalm gunstiger omdat het vervoer biobrandstof gebruikt, wat CO2 neutraal is terwijl benzine dat niet is. Hierdoor zal de kibbeling in totaal

meer CO2 uitstoten per kilo, wat een grotere bijdrage levert aan het versterkte broeikaseffect. Dit kan

op lange termijn zorgen dat het warmer wordt en het klimaat verandert’.

Het formuleren van correcte antwoorden bij scheikunde bij ‘leg uit’-vragen heeft mijns inziens een connectie met zowel het formuleren van het antwoord op basis van chemische kennis als met de argumentatieve vaardigheden die leerlingen leren bij het vak Nederlands. Het SLO heeft een onderscheid gemaakt tussen argumenteren en redeneren (SLO, 2018). Argumenteren wordt hierin beschreven als het algemeen argumenteren dat leerlingen bij Nederlands leren en dat vakoverschrijdend toegepast kan worden. Redeneren wordt beschreven als vakspecifieke argumentatie waarbij vakspecifieke kennis of denkvaardigheden gebruikt worden (SLO, 2018). Voor het beantwoorden van ‘leg uit’-vragen zullen de leerlingen dus in dit geval zowel scheikundige kennis moeten hebben om een chemisch antwoord te geven als argumentatieve vaardigheden om een redenering te formuleren.

Bij navraag in de sectie scheikunde op mijn stageschool kwam ook naar voren dat leerlingen uit verschillende jaarlagen onvolledige redenaties geven of dat ze een antwoord geven dat niet aansluit bij de vraag of een antwoord geven zonder duidelijke opbouw naar de conclusie toe. Dit blijkt niet alleen het geval bij scheikunde. Omdat redeneren een talig aspect is in het scheikunde leren, heb ik een gesprek gevoerd met drie docenten Nederlands over de redeneervaardigheden van de leerlingen. Zij gaven allemaal aan dat ze zien dat leerlingen beginnen met een argument, maar hier geen conclusie aan koppelen waardoor er geen complete redenatie wordt gegeven. Ze gaven ook aan dat deze observaties gelden voor verschillende jaarlagen. Daarnaast geven leerlingen soms wel een argument met een conclusie, maar vormt dat geen antwoord op de vraag die gesteld was. Een van de docenten opperde dat leerlingen misschien de vraag niet goed lezen of niet weten wat ze nu eigenlijk moeten doen bij de vraag. Hieruit komt naar voren dat leerlingen dus bij Nederlands ook onvolledige antwoorden geven die niet aansluiten bij de vraag.

Dit onderzoek richt zich op het verbeteren van formuleringen bij redeneervragen in de scheikunde waarin wordt toegewerkt naar volledige en valide redenaties die een goede structuur bevatten en het zal uitgevoerd worden in een vwo 4 klas.

2. Empirische Verkenning

In mijn twee vwo 4 klassen observeerde ik lage scores op de ‘leg uit’-vraag beschreven in

Ontwerpvraagstuk. Om een beeld te krijgen of leerlingen daadwerkelijk slechter scoren op vragen

waarbij een redenering geformuleerd moet worden, werden deze lage scores vergeleken met andere vragen uit hetzelfde proefwerk. Om de scores met elkaar te vergelijken is gekeken naar het percentage van de punten die de leerlingen gemiddeld gescoord hebben, de p-waarde genoemd. De p-waardes zijn gebaseerd op het antwoordmodel waarin alleen gekeken wordt of het antwoord chemisch correct is en niet naar de formulering van de redenatie. In tabel 1 is te zien dat de p-waardes van vragen waarbij redeneringen geformuleerd moeten worden in de klassen lager zijn dan vragen waarin leerlingen structuurformules vanuit de systematische naam moeten tekenen (et vice versa). Bij de vraag waar leerlingen twee argumenten moeten geven komt de p-waarde uit op 0,53 en 0,47. De leerlingen lijken vaak wel een argument te kunnen geven, maar verbinden er geen conclusie aan of beantwoorden de vraag niet. Dit kan betekenen dat leerlingen de vakkennis misschien wel in hun hoofd hebben, maar dat ze dit niet kunnen opschrijven en/of beschrijven in algemene taal en/of vaktermen. Daarnaast kan het inhouden dat ze hun antwoord niet herlezen waardoor er onderdelen in het antwoord ontbreken. De lage score kan mogelijk ook komen doordat leerlingen gegevens moeten analyseren en evalueren wat volgens Krathwohl (2002) aspecten van hogere orde denkvaardigheid zijn terwijl het tekenen meer begrijpen is wat een lagere orde denkvaardigheid is (Krathwohl, 2002).

De opvallende lage score bij vragen met een uitleg of argumentatie heb ik aan mijn werkplekbegeleider voorgelegd. Zij herkende deze observatie en gaf aan dat zij ook denkt dat leerlingen het formuleren van antwoorden lastig vinden en dat dit geldt voor verschillende jaarlagen. In de sectie wordt deze opvatting gedeeld. Ik wil mij richten op het leren formuleren met het oog op toetsen en niet als algemene vaardigheid doordat de observaties uit gemaakte toetsen van vwo 4 komen. Dit heeft naar mijn mening voor de leerlingen op dit moment het meeste belang, omdat er in

7 Zo bevatte het VWO eindexamen scheikunde 2018 eerste tijdvak 27 vragen waarvan 10 vragen om een uitleg, toelichting of argumentatie vroegen. Bij deze vragen moeten leerlingen gegevens en kennis combineren tot een argument of conclusie om met een redenering antwoord te geven. Het formuleren van redenaties komt overeen met 37% van de vragen en 30% van de punten. Uit de toets en item analyse van het Cito over de eindexamen resultaten in Nederland in 2018 komt naar voren dat drie van de vier slechtst gemaakte vragen redeneervragen zijn met p-waarde tussen 0,26 en 0,36 (Cito, 2018). Uit de toets en item analyse van het Cito in de jaren ervoor blijkt ook dat drie van de vier slechtst gemaakte vragen redeneervragen zijn met p-waarde tussen 0,19 en 0,31 in 2017 en p-waarde tussen 0,16 en 0,37 in 2016 (Cito, 2016, 2017). Dit is vergelijkbaar met de resultaten in tabel 1. Dit houdt in dat leerlingen over het algemeen slecht scoren op vragen waar een volledige redenering gevraagd wordt en dat formuleren lastig is voor leerlingen. Ook in de literatuur wordt er aandacht besteed aan het redeneren waaruit duidelijk dat leerlingen dit lastig vinden (Meestringa & Paus, 2017; Visser, Coenders, & Ornée, 2016).

Als ik terugkijk naar de gegeven lessen in mijn vwo 4-klassen moet ik bekennen dat ik niet echt tijd heb besteed aan redeneren. Bij de nabespreking van één toets heb ik het antwoord op het bord geprojecteerd, maar heb ik geen verdere toelichting gegeven op het formuleren van het correcte antwoord. Wel heb ik de leerlingen het tekenen van structuurformules op basis van de systematische naam (et vice versa) uitgelegd. Ze hebben dit zelf ook geoefend en hebben de juiste antwoorden gekregen waarbij ze soms zelf hun antwoord moesten toelichten. Bij deze vragen wordt een hogere p-waarde waargenomen dan bij redeneervragen. Een mogelijke oorzaak van de laag scorende vragen zou dus het gebrek aan uitleg van het redeneren in scheikunde kunnen zijn. Daarnaast zou dit geoefend moeten worden waarbij de leerlingen ook feedback krijgen op hun formuleringen zodat ze zien waar de fouten zitten en redenaties ontbreken. Dit kwam ook naar voren in het gesprek met de docenten Nederlands waarin een docente aangaf dat leerlingen in hun schrift soms wel formuleringen opschrijven, maar dat wij niet weten wat ze opschrijven. De leerlingen krijgen dan geen feedback en er zal waarschijnlijk geen verbetering komen in het argumenteren en redeneren. Dus door aandacht te besteden aan het formuleren van redenaties bij ‘leg uit’-vragen zou dit mogelijk verbeterd kunnen worden in mijn vwo 4 klas doordat de leerlingen een eigen volledige redenatie kunnen om- en opschrijven. Idealiter wordt de leerlingen een bepaalde manier van denken aangeleerd die algemener gebruikt kan worden zowel bij andere vakken als in het dagelijks leven.

3. Theoretische verkenning

3.1 Probleem en oorzaakanalyse

Uit onderzoek door Visser, Coenders, & Ornée (2016) is gebleken dat ook havo 4-leerlingen veel punten verliezen bij het beantwoorden van dergelijke toetsvragen, wat volgens de onderzoekers komt door een ‘gebrek aan taalontwikkeling’ bij de leerlingen. Daarnaast komt uit de literatuur naar voren dat leerlingen hun kennis niet goed onder woorden brengen, omdat ze het bijvoorbeeld lastig vinden, vaag omschrijvende woorden zoals ‘het’ zonder verdere uitleg gebruiken of dagelijkse taal gebruiken in plaats van vaktaal (Fries & Meestringa, 2017; Patterson, 2001; Visser, Maaswinkel, Coenders, & Mckenney, 2018).

In het eerdergenoemde gesprek met de docenten Nederlands kwam naar voren dat er bij Nederlands wel geoefend wordt met argumenteren, maar dat het lijkt alsof de leerlingen deze kennis niet bij andere vakken gebruiken. Hierdoor lijkt het alsof ze geen verband leggen met het argumenteren van Nederlands bij een ander vak waardoor de transfer van de kennis bij Nederlands twijfelachtig is. Ook vertelde een van de docenten dat argumenteren niet goed gaat, wat zou kunnen betekenen dat leerlingen de argumentatievaardigheid niet hebben op het niveau dat wij van ze verwachten of wensen. Een mogelijke oorzaak zou kunnen zijn dat de ontwikkeling van het denken die plaatsvindt vanaf 12 jaar volop in gang is en nog niet toereikend is (Van der Wal & de Wilde, 2018). Daarnaast gaf iemand in hetzelfde gesprek aan dat leerlingen misschien niet weten hoe ze een vraag moeten aanpakken en daardoor niet kunnen beginnen aan de redenatie.

Een andere mogelijke oorzaak wordt toegelicht in onderzoek van Visser et al. (2016, 2018) waarin wordt verondersteld dat de vakkennis wel toereikend is, maar dat de taalontwikkeling in gebreke blijft waardoor leerlingen minder punten scoren dan ze op basis van hun kennis kunnen halen. Hieronder vallen missende voegwoorden, niet complete redeneringen en het geven van een antwoord dat niet aansluit bij de vraag. Daarnaast werd er gevonden dat toen collega’s de theorie van het lesboek herschreven naar een tekst met meer verbindingswoorden (zoals ‘omdat’, ‘doordat’ en ‘daarom’) het begrip bij de leerlingen toenam. Het is mogelijk dus lastig voorde leerlingen om zelf vanuit de tekst verbanden te leggen in de lesstof (Visser et al., 2016). Dit onderzoek is uitgevoerd bij havo 4 leerlingen, maar mijns inziens kunnen deze leerlingen vergeleken worden met vwo 4 leerlingen, omdat de leerlingen hetzelfde ontwikkelingsproces doorgaan (Van der Wal & de Wilde, 2018). Uit onderzoek van Gein (2004) blijkt ook dat leerlingen in zowel havo als vwo eindexamen klassen fouten maken met voegwoorden. Onderzoek van Patterson (2001) in het basisonderwijs geeft als mogelijke verklaring dat leerlingen het lastig vinden om hun gedachten te verwoorden terwijl ze in hun hoofd de redenatie nog aan het opbouwen zijn.

3.2 Oplossingen uit de literatuur

Zoals beschreven is een mogelijke oorzaak het niet genoeg oefenen van formuleren en het krijgen van feedback erop. Zowel een docente Nederlands die ik gesproken heb als ikzelf vinden dat formuleren een cognitieve vaardigheid is en dus verbeterd kan worden door regelmatig te oefenen. De leerlingen zullen dan wel uitleg of feedback moeten krijgen zodat ze ook leren beter te formuleren. Hier kunnen denk ik docenten van andere vakken ook een rol in spelen, zodat leerlingen vaker kunnen oefenen en regelmatiger feedback krijgen (Radloff & de la Harpe, 2000).

9 Naast oefening en feedback, kwam naar voren dat het voor leerlingen misschien lastig is een aanpak te bedenken of te beginnen. Een methode die uitgewerkt is voor natuurwetenschappelijke vakken maakt gebruik van een argumentatieschema en is gericht op de aanpak die leerlingen gebruiken om een vraag te beantwoorden (Schalk & Paus, 2017). Deze methode heet de Systematische Probleem Aanpak plus (SPA +) methode waarin de leerlingen een formulier met stappenplan krijgen waar zes stappen op staan die de leerlingen moeten doorlopen. De naam verwijst naar de systematische probleem aanpak die is ontwikkeld voor rekenvaardigheden (Jansen & Hondebrink, 1991). Eerst noteren de leerlingen de vraag en analyseren ze wat er gevraagd en gegeven wordt. Dan bedenken de leerlingen welke kennis ze nodig hebben om de vraag te beantwoorden en vullen dit voor scheikunde in een tabel in. Deze tabel is onderverdeeld in drie kolommen, namelijk Data, Verbinding en Conclusie, die overeenkomen met de drie onderdelen uit het versimpelde argumentatie schema van Toulmin (Berland & McNeill, 2010; SLO, 2018). Vervolgens formuleren de leerlingen dit tot een redenering waarbij ze gebruik maken van verbindingswoorden. Bij de laatste stap controleren de leerlingen of de vraag is beantwoord en of het antwoord volledig is. Het idee is dat door het invullen van de kolommen het voor de leerlingen duidelijker wordt welke denkstappen ze nemen en ze deze kennis vervolgens om zetten naar een volledige redenering.

In de literatuur zijn ook interventies bekend die specifiek uitgevoerd zijn bij scheikunde waar aandacht wordt besteed aan het leren redeneren. Een mogelijke interventie om redeneren te verbeteren is beschreven in onderzoek door Fries & Meestringa (2017) waarin redenatie denkstappen wordt behandeld. Deze interventie is uitgevoerd in een vwo 5 klas en beslaat drie lessen waarin de leerlingen het lesboek bestuderen, samen oefenen met redeneren en antwoorden analyseren. In de eerste les geeft de docent uitleg over een onderwerp waarna klassikaal de tekst uit het boek wordt geanalyseerd. Dit wordt gedaan door de tekst van de bijbehorende paragraaf te onderscheiden aan de hand van de genres Beschrijvend of Verklarend. Onder genre wordt hier verstaan welk doel de taal in de tekst heeft en voor de bètavakken zijn de meest voorkomende genres Beschrijving, Verklaring en

Procedure (Meestringa & Paus, 2017). In de tweede les oefenen de leerlingen in groepjes door het

maken van opdrachten waarbij de helft het antwoord formuleert met hardop denken en de andere helft observeert. De docent verzameld de antwoorden en deze worden in de derde les uitgedeeld. De leerlingen beoordelen deze antwoorden en er wordt uitleg gegeven over de te maken denkstappen die ook zichtbaar moeten zijn in het eindantwoord. In tweetallen worden de antwoorden herschreven waarna klassikaal één antwoord wordt geformuleerd op het bord. Hierbij is gevonden dat dit resulteert in een completer antwoord dan de leerlingen eerst formuleerden.

Een andere oplossing is een interventie met taalsteun, waarbij eerst één interventie wordt uitgevoerd die later wordt aangevuld met een tweede interventie, die gezien kan worden als uitbreiding van de eerste (Visser et al., 2016, 2018). Bij de eerste interventie is een ‘Taalteken’ ontworpen, dit is een pijl met daarin ‘TAAL’ zoals te zien is in afbeelding 1, die voor redenatie vragen in de toets staat. Het idee van het ‘Taalteken’ is dat de pijl de aandacht van leerlingen richt en dient als ondersteuning, zodat leerlingen meer gefocust zijn op het correct formuleren van antwoorden. Het bleek dat bij het beantwoorden van vier vragen er in de klas significant beter wordt gescoord door de leerlingen als het taalteken voor de vragen stond. Om deze resultaten verder te verbeteren is de interventie uitgebreid (Visser et al., 2018). Hierbij kreeg elke leerling een kaartje met het ‘Taalteken’ en vijf punten waarop ze moeten letten, zie afbeelding 1. Deze vijf punten zijn opgesteld na het analyseren van toetsvragen en zijn de punten waar de leerlingen vaak fouten op maken.

Deze punten werden uitgelegd in de les waarna de leerlingen opdrachten maakten met het kaartje als ondersteuning. Ook werd er geoefend in verschillende activerende werkvormen waarbij sommige leerlingen leerden door de interactie met anderen. Vervolgens maakten de leerlingen een toets waarin opdrachten met het ‘Taalteken’ stonden waarvoor bonuspunten gescoord konden worden. Uit de analyse van de toetsen bleek dat meer leerlingen punten scoorden en dat er een significante verbetering was ten opzichte van de voormeting.

In ander onderzoek is ook gebruik gemaakt van een taalsteun interventie om leerlingen inhoudelijk beter te leren formuleren en redeneervaardigheden te leren (Visser & Ornée, 2018a, 2018b, 2018c). Deze interventie beslaat drie lessen waarin analyseren, uitleggen en formuleren centraal staan. In de eerste les staat analyseren centraal en leren de leerlingen de termen doewoorden en puntwoorden (Visser & Ornée, 2018a). In dit onderzoek worden doewoorden beschreven als woorden die een actie aangeven in de vraag, zoals ‘leg uit’, ‘verklaar’ en ‘beredeneer’, en puntwoorden als (vaak) belangrijke vakbegrippen (Visser & Ornée, 2018a). Daarna analyseren de leerlingen in groepsverband vragen van een oefenblad waarin ze de doewoorden en puntwoorden omcirkelen en bespreken. De leerlingen beantwoorden vervolgens de vraag als afronding van de les.

Het doel van de tweede les is dat leerlingen tussen de verschillende vaktermen het verband gaan zien (Visser & Ornée, 2018b). Hiervoor worden leerlingen ingedeeld in groepjes bestaande uit zowel zwakke als sterke leerlingen. De leerling met het hoogste gemiddelde is de spelleider en geeft aan de groep een kaartje met een vakterm waarop ook staat hoeveel puntwoorden erbij horen. De groep probeert vervolgens een volledige beschrijving van het begrip te geven aan de spelleider die dan de puntwoorden benoemd. Als alle puntwoorden zijn gegeven krijgen de leerlingen het kaartje en de groep met de meeste kaartjes wint. Het idee is dat de leerlingen samen redeneringen maken met meerdere stappen en het de leerlingen helpt erachter te komen waar eventuele kennis ontbreekt.

In de derde les wordt de focus gelegd op signaalwoorden (voegwoorden) en gaan de leerlingen formuleren (Visser & Ornée, 2018c). Eerst wordt er uitleg gegeven over signaalwoorden met zowel voorbeelden van het vak Nederlands en het vak scheikunde. Dan krijgen de leerlingen een opdracht waarbij ze het antwoord formuleren aan de hand van de stappen die de eerdere lessen zijn besproken. Ze moeten hierbij de doewoorden en puntwoorden aangeven en die vervolgens aan elkaar verbinden door middel van signaalwoorden. Dit vullen de leerlingen in op een tablet waardoor de docent alle antwoorden uiteindelijk heeft.

11 Op basis van bovenstaande theorie wordt in dit verslag een redenering als volledig beschouwd als het antwoord gegevens, een verbinding en een conclusie bevat die samengevoegd zijn door het gebruik van voegwoorden (Berland & McNeill, 2010; SLO, 2018; Toulmin, 2003). Een redenatie wordt als valide beschouwd als het antwoord chemisch correct is, waarvoor vakspecifieke kennis is gebruikt, en als het gegevens, verbinding, conclusie en voegwoorden bevat.

4. Keuze voor interventie

Uit mijn observaties is gebleken dat vwo 4 leerlingen onvolledige antwoorden geven op toetsen en sommigen het lastig vinden om vaktaal in het antwoord te verwerken. Uit de oorzaakanalyse en literatuur blijkt dat aandacht voor het redeneren met behulp van een stappenplan houvast kan bieden waarbij geoefend wordt met formuleren. Ik heb gekozen voor een interventie waarin uitleg van nieuwe vakkennis gegeven wordt zoals de leerlingen gewend zijn en daarnaast aandacht wordt besteed aan het beantwoorden van redeneervragen aan de hand van een aangepast SPA+ model. Het zou kunnen dat leerlingen de kennis nog niet eigen gemaakt hebben waardoor ze geen valide redenatie kunnen geven. Toch is de keuze gemaakt om de leerlingen met nieuwe vakkennis te laten redeneren, omdat het studieprogramma doorloopt.

Het SPA+ model zal de leerlingen steun bieden om een volledige redenering te geven, omdat de verschillende onderdelen (gegevens, verbinding en conclusie) eerst apart opschreven worden alvorens dit samengevoegd wordt (SLO, 2018). Dit geeft de leerlingen inzicht in de aanwezigheid van de benodigde onderdelen in hun antwoord. Het SPA+ model is zo aangepast dat de leerlingen eerst de vraag noteren en de doe- en puntwoorden onderstrepen om de leerlingen meer te dwingen om de vraag goed te lezen, zodat ze een antwoord formuleren die aansluit bij de vraag (Visser & Ornée, 2018a). Tevens wordt door het onderstrepen van puntwoorden de focus gelegd op chemische termen, zodat het antwoord door de benodigde vakspecifieke kennis een redenering wordt (SLO, 2018). Ook is gekozen om voorbeelden van voegwoorden bij de verschillende verbanden te zetten, zodat leerlingen eerder de benodigde voegwoorden gebruiken om de verschillende onderdelen samen te voegen (Visser & Ornée, 2018c). Dit kan er eventueel voor zorgen dat leerlingen de aanwezigheid van de onderdelen nogmaals controleren en de vraag herlezen wat kan leiden tot een valide redenering die beter aansluit.

Het aangepaste SPA+ model staat in Bijlage 2, de lesplannen van de interventie in Bijlage 3 en het lesmateriaal, zoals de geselecteerde oefenvragen, de gebruikte PowerPoint en de gebruikte lesstof uit het tekstboek, staan in Bijlage 4.

5. Hypothese

Als ik het probleem dat leerlingen onvolledige redeneringen geven die (soms) niet aansluiten bij de vraag aanpak met een aangepast SPA+ model waarin aandacht wordt besteed aan het analyseren van de vraag dan verwacht ik dat leerlingen valide redenaties zullen geven die volledig en beter gestructureerd zijn.

Onder volledige redenaties wordt een redenering met gegevens, verbinding, conclusie en voegwoorden verstaan, zoals beschreven in de Theoretische verkenning. Als deze redenatie daarnaast ook chemisch correct is, wordt het een valide redenatie genoemd. Onder beter gestructureerde antwoorden wordt de opbouw van de volledige redenatie verstaan.

6. Ontwerpregels

Als een interventie wordt ontworpen voor het verbeteren van de formulering van scheikundige redenaties, dan wordt aanbevolen om de interventie de karakteristieken: uitleg van vakspecifieke kennis (C1), het structureren van antwoorden op redeneervragen door gebruik te maken van een aangepast SPA+ model (C2), verplichting van het zoeken naar en gebruiken van puntwoorden (C3) en verbanden in zowel de redeneervragen als de gegeven antwoorden (C4), samenwerking van leerlingen bij het oefenen van opdrachten (C5), het geven van feedback door leerlingen op elkaars antwoord (C6) te geven

1. Het uitleggen van vakspecifieke kennis (C1) kan via de bekende manier voor de leerlingen gedaan worden, met als verwachte uitkomst dat leerlingen nieuwe chemische kennis opdoen (Y1) die ze nodig hebben om redenaties te formuleren, omdat voor redenaties vakspecifieke kennis nodig is (SLO, 2018).

2. Het structureren van antwoorden op redeneervragen door gebruik te maken van een aangepast SPA+ model (C2) kan worden gedaan door de leerlingen het aangepaste SPA+ model te geven waarin de verschillende onderdelen van een redenering schematisch worden weergegeven en de leerlingen het antwoord moeten nalezen met als verwachte uitkomst dat de leerlingen inzicht krijgen in de structuur en aanwezigheid van de verschillende onderdelen in volledige redenatie (Y2) omdat leerlingen de denkstappen/onderdelen expliciet moeten benoemen en dit visueel zichtbaar maken (Schalk & Paus, 2017).

3. Het verplichten van het zoeken naar en gebruiken van puntwoorden in zowel de vraag als het antwoord (C3) wordt gedaan door leerlingen de puntwoorden in de vraag te laten onderstrepen en deze woorden terug te laten komen in het antwoord waarvan verwacht wordt dat dit leidt tot een antwoord met chemische begrippen (Y3), zodat het een valide redenatie is waarvoor de leerlingen punten kunnen scoren omdat leerlingen nadenken over de chemische aspecten bij de vraag waardoor het antwoord aansluit bij de vraag (SLO, 2018; Visser & Ornée, 2018a).

13 4. Het verplichten van het zoeken naar en gebruiken van verbanden in de vraag en het antwoord (C4) kan worden gedaan door leerlingen in het stappenplan de keuze te laten maken over het gevraagde verband waarbij voorbeelden van verbindingswoorden worden gegeven met als verwachte uitkomst dat leerlingen verbindingswoorden gebruiken om de onderdelen van een redenatie samen te voegen tot een volledige redenatie (Y4) omdat leerling een houvast krijgen over het soort verband dat gevraagd wordt (Visser & Ornée, 2018c).

5. Het laten samenwerken van de leerlingen bij het oefenen van opdrachten (C5) kan worden gedaan door leerlingen in groepsverband één antwoord te laten formuleren op een vraag met als verwachte uitkomst dat leerlingen de vakkennis beter leren door discussie en samen een vollediger antwoord geven (Y5) omdat dat leerlingen leren door dialogen en samen meer kennis hebben om tot een antwoord te komen (Duschl & Osborne, 2002; Visser & Ornée, 2018b).

6. Het geven van feedback door leerlingen op elkaars antwoord kan worden gedaan via een klassikale bespreking op het bord waarbij leerlingen aangeven wat ze vinden van het antwoord met als verwachte uitkomst dat de leerlingen (leren) elkaars werk te beoordelen en kritisch leren denken (Y6) zodat meer inzicht krijgen in een goed antwoord omdat gebleken is dat leerlingen goed in staat zijn elkaars antwoord te beoordelen en ze in groepsverband ook kritisch leren denken (Duschl & Osborne, 2002; Fries & Meestringa, 2017).

7. Onderzoeksplan

Voor het toetsen van de hypothese is gekozen voor een quasi-experimentele methode waarbij gebruik gemaakt wordt van een voor- en nameting in twee vwo 4 klassen. Eén klas dient als interventiegroep (klas A) en de andere klas (klas B) als controlegroep. Klas A bestaat uit 16 leerlingen en klas B uit 29 leerlingen. In beide klassen zitten leerlingen met een natuur en techniek (NT), natuur en gezondheid (NG) of een combinatie (NG/NT) pakket. Beide klassen krijgen twee lesuren scheikunde in de week. In klas B ben ik meer bezig met klassenmanagement en daardoor is klas A gekozen als interventiegroep, omdat er meer aandacht besteed kan worden aan de interventie dan in klas B zou gebeuren.

7.1 Voor- en nameting

Voor de voormeting is een toetsvraag geselecteerd uit een toets die wordt afgenomen in beide klassen in week 13 (25 tot 29 maart). De toetsvraag staat in Bijlage 5. De interventie zal vijf lessen beslaan en worden uitgevoerd in weken 15, 16 en 19. Op de nameting zal een soortgelijke ‘leg uit’-vraag gesteld worden, zodat de antwoorden met elkaar vergeleken kunnen worden. De vraag zal echter over een ander onderwerp gaan, omdat de nameting gekoppeld wordt aan het huidige hoofdstuk over schoonmaken en de voormeting is uitgevoerd in het vorige hoofdstuk dat over zouten ging. De nameting zal plaatsvinden in week 21 (20 tot 24 mei) en de geselecteerde toetsvraag staat in Bijlage 5. De verwachting is dat de leerlingen na de interventie met meer structuur en vollediger redeneren en dat het antwoord beter aansluit bij de vraag. Voor zowel de voor- als nameting is gekozen voor een analyse van een proefwerk en niet voor een formatieve toets, omdat leerlingen waarschijnlijk beter hun best doen omdat het becijferd wordt.

7.2 Effectmetingen

7.2.1 Leerresultaten

Een gekozen kwantitatieve methode van leerresultaten is een inhoudsanalyse van een ‘leg uit’-vraag die is opgenomen in het proefwerk. Deze vraag zal op twee manieren beoordeeld worden, namelijk via het antwoordmodel voor een eindcijfer zoals de leerlingen gewoonlijk ook krijgen en via een checklist voor de inhoudsanalyse. Bij beide groepen zal voor zowel de voor- als nameting een inhoudsanalyse worden uitgevoerd. Het aantal punten dat leerlingen scoren via het antwoordmodel wordt voor beide metingen meegenomen. De punten kunnen namelijk een redelijke indicatie geven over de redenatie doordat voor verschillende aspecten punten behaald kunnen worden, zie Bijlage 5. De checklist voor de inhoudsanalyse wordt gebaseerd op de verschillende onderdelen uit het aangepaste SPA+ model, zie Bijlage 6. De verschillende variabelen worden: de aanwezigheid van data, verbinding, conclusie, verbindingswoorden, de opbouw van de redenering, het aansluiten bij de vraag en de chemische correctheid. De variabelen worden apart gescoord en daarna opgeteld zodat een beeld geschetst kan worden van de volledigheid en structuur van de redenering. Voor de volledige redenatie worden de scores van de volgende variabelen opgeteld: data, verbinding, conclusie en verbindingswoorden. Voor de valide redenatie wordt hier de chemische correctheid van het antwoord aan toegevoegd en voor de opbouw is gekeken of de redenering de opbouw van data-verbinding-conclusie bevat. Dit onderscheid is gemaakt omdat sommige leerlingen wel de afzonderlijke onderdelen in hun antwoord zetten, waarvoor punten worden toegekend als het chemisch correct is,

15

7.2.2 Leergedrag

Na de interventie zal ook de aanpak die leerlingen gebruiken bij het beantwoorden van redeneervragen worden onderzocht. Dit wordt gedaan door enkele leerlingen hardop te laten denken tijdens het maken van een redeneervraag. Dit is gekozen om inzicht te krijgen in het effect van de interventie door te onderzoeken of het aangepaste SPA+ model daadwerkelijk gebruikt wordt. Er wordt verwacht dat de leerlingen stapsgewijs de vraag aanpakken en het uiteindelijk geformuleerde antwoord controleren door de vraag nogmaals te lezen. Bij deze analyse zal de toetsvraag uit de nameting worden voorgelegd aan de leerling, zodat de moeilijkheid en opbouw in beide effectmetingen hetzelfde is. Het hardop denken zal daarom rond week 23 bij enkele leerlingen worden afgenomen, zodat de vraag niet vers in het geheugen zit en de leerlingen waarschijnlijk hun eigen antwoord zijn vergeten. Drie leerlingen zullen geselecteerd worden op basis van het aantal gescoorde punten, volgens het antwoordmodel, voor hun antwoord op het proefwerk. Er wordt één sterke leerling, één zwakke leerling en één leerling daartussenin gekozen om te onderzoeken of de leerling met meer punten de vraag met meer structuur, mogelijk het stappenplan, aanpakt.

8. Beschrijving en onderbouwing ontwerp

Op basis van de ontwerpregels zijn vijf interventielessen gemaakt waarin de leerlingen uitleg krijgen over het aangepaste SPA+ model, zowel in groepsverband als individueel gaan oefenen met het aangepaste SPA+ model en elkaar feedback geven op geformuleerde redeneringen. De lesplannen van de ontworpen lessen staan in Bijlage 3.

In de ontworpen lessen zal nieuwe vakkennis uitgelegd worden op dezelfde manier als in eerdere hoofdstukken is gedaan. Leerlingen kunnen dan nieuwe vakkennis opdoen om om vragen behorend bij het onderwerp te kunnen beantwoorden, omdat voor redeneren vakspecifieke kennis nodig is (1)1 _{(SLO, 2018).}

In de eerste les zal aan de leerlingen verteld worden dat in dit hoofdstuk aandacht besteedt gaat worden aan redeneren. Dan zal een stuk tekst uit het boek worden gelezen en dit zal klassikaal worden onderverdeeld in data, verbinding en conclusie om de leerlingen kennis te laten maken met de verschillende onderdelen van een redenering (2) (Schalk & Paus, 2017; SLO, 2018).

In de tweede les zullen de verschillende onderdelen van een redenatie herhaald worden en zal uitleg gegeven worden over doewoorden, puntwoorden en verbindingswoorden (Visser & Ornée, 2018b, 2018c). Daarna zullen de leerlingen in groepsverband een vraag beantwoorden op een uitgedeeld aangepast SPA+ model waarbij ze de vraag moeten overschrijven, de doe- en puntwoorden onderstrepen en het verband in het antwoord kiezen (3,4). De verwachting is dat leerlingen een redenering formuleren waarin de chemische begrippen terugkomen en de verschillende onderdelen aan elkaar gekoppeld zijn door verbindingswoorden en die aansluit bij de vraag (SLO, 2018; Visser & Ornée, 2018a, 2018c). De leerlingen werken in groepjes, omdat er verwacht wordt dat ze de vakkennis beter leren door discussie en ze samen meer kennis hebben om een vollediger antwoord te geven (5) (Duschl & Osborne, 2002; Visser & Ornée, 2018b). Vervolgens worden de ingevulde SPA+ modellen uitgewisseld met een andere groep zodat de leerlingen elkaars werk beoordelen en eventueel aanvullen om een antwoord te formuleren (6). De geformuleerde antwoorden zullen aan het einde van de les ingeleverd worden om in de volgende les te gebruiken.

In de derde les zullen de geformuleerde antwoorden uit de tweede les klassikaal worden besproken waarbij de leerlingen feedback geven op de antwoorden van andere groepjes (6) (Duschl & Osborne, 2002; Fries & Meestringa, 2017). De docent zal dit aanvullen en de afzonderlijke onderdelen kort benoemen (2), zodat de leerlingen inzicht krijgen in een correcte valide redenering.

In de vierde les zullen de leerlingen aan de hand van de placemat werkvorm een vraag beantwoorden. De leerlingen zullen eerst individueel het stappenplan invullen en een antwoord formuleren die op de placemat geschreven wordt (Visser & Ornée, 2018c). Vervolgens zullen de leerlingen met elkaar te overleggen en elkaars antwoord beoordelen of aanvullen om samen één antwoord formuleren (5,6) (Duschl & Osborne, 2002; Fries & Meestringa, 2017; Visser & Ornée, 2018b). Daarna zal klassikaal afgesloten worden door met z’n allen één goed antwoord te formuleren en controleren.

17 In de vijfde les zullen de leerlingen zelfstandig oefenen met een vraag waarbij ze het aangepaste SPA+ model gebruiken en alle onderdelen samenkomen (2) (Schalk & Paus, 2017; Visser & Ornée, 2018c). Vervolgens worden de antwoorden uitgewisseld en geven de leerlingen elkaar feedback en bespreken ze hun antwoorden en het antwoord dat geformuleerd is door de docent met elkaar (6) (Duschl & Osborne, 2002; Fries & Meestringa, 2017).

9. Beschrijving en analyse van de uitvoering van de ontwerplessen

In de eerste les is afgeweken van de tijdsplanning, omdat een leerling een vraag stelde over lesstof uit de volgende les tijdens het bespreken van redeneren en het onderscheid maken tussen data, verbinding en conclusie. Het practicum is hierdoor sneller besproken, maar de les is verder uitgevoerd zoals beoogd.

In de tweede les is afgeweken van de tijdsplanning, omdat de opdracht langer duurde dan gepland. De groepen hadden meer tijd nodig voor het invullen van het eerste deel van het aangepaste SPA+ model dan gepland. De groepjes hebben een aangepast SPA+ model gekregen om de vraag te beantwoorden waardoor voldaan wordt aan ontwerpregel 2. Alle groepen hebben uiteindelijk een stappenplan met een geformuleerd antwoord ingeleverd, zie Bijlage 7. Tijdens de opdracht is nog aangegeven dat de vraag overgenomen moest worden op het stappenplan om de doe- en puntwoorden te onderstrepen, want het bleek dat leerlingen dit niet gedaan hadden. In de eerste instructie had benadrukt moeten worden dat dit een vereiste was, zie ontwerpregel 3. Wel zag ik bij het rondlopen dat alle groepen een keuze voor het type verband hadden gemaakt wat overeenkomt met ontwerpregel 4. De verbindingswoorden kwamen echter niet altijd terug in het antwoord, zie Bijlage 7. De leerlingen werkten in groepjes, maar zaten op een rij en niet in een groepsopstelling waardoor het mogelijk is dat niet iedereen even actief meedeed. Hierdoor is aan ontwerpregel 5 grotendeels voldaan.

In de derde les is afgeweken van het lesplan door de uitleg over hydrofiel/hydrofoob naar de volgende les te verschuiven, omdat het bespreken van de ingeleverde redeneringen uit de vorige les langer duurde mede door een laag bespreektempo. De les is verder uitgevoerd zoals beoogd op de lesafsluiting na die korter en iets later begon dan gepland. Bij het bespreken bleek dat het voor de leerlingen niet duidelijk was dat in de tweede les het ingevulde stappenplan dat een groep kreeg van een andere groep aangevuld mocht worden. Hierdoor is het beoordelen van elkaars werk in mindere mate uitgevoerd dan gepland. In de derde les is echter klassikaal feedback gegeven op de geformuleerde antwoorden door middel van het opsteken van handen en de onderbouwing van sommige leerlingen waardoor voldaan is aan ontwerpregel 6. De ingevulde stappenplannen zijn ook beoordeeld op het invullen van de verschillende stappen waardoor de onderdelen expliciet benoemd werden en de puntwoorden zijn benoemd in het antwoord. Dit komt overeen met ontwerpregels 2 en 3.

De start van de vierde les begon zoals gepland met de tafels in groepsopstelling. Dit is aangepast na ontwerples twee om de participatie tijdens de opdracht te vergroten. De opdracht begon iets later en de leerlingen hadden meer tijd nodig voor het invullen van de placemat dan verwacht, zowel zelfstandig als in groepsverband. Iedereen leverde een bijdrage aan de placemat, maar bij het formuleren van het groepsantwoord leek het alsof de helft van de groepen het beste antwoord uitkoos en daarna klaar was en de andere helft een antwoord aanvulde of opnieuw formuleerde. Het uitwisselen van de placemats is door gebrek aan tijd niet gedaan. Elke groep heeft in plaats daarvan hun antwoord op het bord geschreven. Deze antwoorden werden klassikaal besproken waarbij de puntwoorden werden onderstreept en aangegeven werd wat eventueel miste. Iedereen had dezelfde vaag beantwoord waardoor de laatste antwoorden sneller werden besproken. Het antwoord werd ook vergeleken met het antwoordenmodel en de les werd op tijd afgesloten. In deze les kregen alle leerlingen kregen voor de placemat een nieuw stappenplan

19 Het geven van feedback is alleen klassikaal gegeven door de docent, doordat voor het uitwisselen van de placemats geen tijd meer was. Dit maakt dat er in de interventie minder tijd besteedt is aan het geven van feedback dan van gepland was waardoor aan ontwerpregel 6 in mindere mate is voldaan.

In de vijfde les is de volgorde van het lesplan verandert door eerst nieuwe theorie uit te leggen en daarna de onderdelen van een redenatie te herhalen aan de hand van de vraag uit de vierde les. De tijdsplanning voor de onderdelen is wel gevolgd en bij de opdracht werd opnieuw een aangepast SPA+ model uitgedeeld. Tijdens het formuleren van een eindantwoord overlegden de leerlingen met hun buren en daarom zijn de antwoorden niet onderling uitgewisseld. Als lesafsluiting werd benadrukt dat leerlingen doe- en puntwoorden moeten onderstrepen en puntwoorden in hun antwoord moeten gebruiken. In alle interventie lessen is de uitleg van de lesstof gekoppeld aan de opdracht. Dit betekent dat een redenering gegeven moet worden waarvoor vakkennis nodig waardoor de interventie voldoet aan ontwerpregel 1. Tijdens het beantwoorden hebben de leerlingen samengewerkt (ontwerpregel 5), maar hebben elkaar geen feedback hoeven geven. Het kan echter wel zo zijn dat ze elkaars antwoord hebben beoordeeld en samen een nieuw antwoord geformuleerd hebben op de vraag. Door het gebruik van puntwoorden te benadrukken is het mogelijk dat leerlingen deze gaan gebruiken in hun redeneringen wat het doel is van ontwerpregel 3.

Om de opbouw van een volledige redeneren kort te herhalen is in de les voor het proefwerk één formatieve vraag gesteld waarin de leerlingen moesten aangeven waaruit een volledige redenering is opgebouwd. Aan de hand hiervan wordt kort aangegeven dat een volledige redenatie bestaat uit data, verbinding en conclusie in die specifieke orde. Ook heb ik aangegeven dat de leerlingen op de toets mogen schrijven en dan eventueel de puntwoorden kunnen onderstrepen. In deze les zijn de onderdelen van het aangepaste SPA+ expliciet genoemd en het belang van punt- en verbindingswoorden benoemd wat overeenkomt met ontwerpregels 2, 3 en 4.

De interventie heeft voldaan aan alle ontwerpregels, maar ontwerpregel 6 is in mindere mate aan bod gekomen dan beoogd.

10. Uitvoering van de effectmetingen

10.1 Beschrijving van de uitvoering

Voor de inhoudsanalyse is de voormeting in de interventiegroep op 26 april afgenomen bij 15 van de 16 leerlingen. De laatste leerling heeft de toets ingehaald op 1 april. Bij alle leerlingen van de interventiegroep is de voormeting afgenomen voordat de interventie gestart is. De voormeting is in de controlegroep afgenomen op 27 april bij alle leerlingen. De toets als nameting is op 21 mei in de interventiegroep en op 22 mei in de controlegroep afgenomen. Eén leerling van de interventiegroep was afwezig tijdens de toets en bij de controlegroep waren dit twee leerlingen. De toetsen zijn op de gebruikelijke manier afgenomen zonder verdere verstoringen. Beide klassen kregen evenveel tijd om de toets te maken. Eén leerling uit de interventiegroep heeft voor de nameting 10 minuten extra tijd gekregen vanwege extra faciliteiten. De inhoudsanalyse van beide metingen zijn uitgevoerd door bij de antwoorden van de leerlingen te scoren aan de hand van een rubrics, zie Bijlage 9.

Voor het hardop denken zijn drie leerlingen geselecteerd op basis van de gescoorde punten volgens het antwoordmodel bij de geselecteerde vraag van de nameting. De leerlingen hadden 1, 2 of 3 punten gescoord op deze drie punt vraag. Aan de leerlingen is verteld dat ze hardop denkend een vraag moesten maken die ze op een blaadje kregen waarop geschreven mocht worden, zie Bijlage 8. Er was geen tijdslimiet gegeven en de leerlingen mochten zelf aangeven wanneer zij vonden dat ze klaar waren. De leerlingen hadden 3min24, 4min32 en 6min24 nodig om de vraag te beantwoorden. De effectmeting is in twee delen uitgevoerd waarbij twee leerlingen op 3-6 de opdracht hebben uitgevoerd in een tussenuur en de andere leerling op 4-6 tijdens de les. Alle drie de leerlingen zaten op dezelfde plek in het scheikundekabinet waar de TOA rondliep tijdens het hardop denken.

10.2 Analyse van de uitvoering

Het inhalen van de toets door één leerling uit de interventiegroep heeft plaatsgevonden voordat de interventie begonnen is. De toets zal daarom wel meegenomen worden in de resultaten van de inhoudsanalyse, omdat de leerling geen indicatie had van de naderende interventie. De invloed van mogelijk overleg tussen beiden groepen over de toets wordt als verwaarloosbaar beschouwd.

De toetsen van de leerling uit de interventiegroep die bij de nameting afwezig was, worden uitgesloten van de resultaten van de inhoudsanalyse. Dit is besloten omdat er meer tijd tussen de interventie en de toets afname zit. Hierdoor is de kans groot dat interventie bij de leerling minder goed/niet meer in het geheugen van de leerling zit waardoor de effectiviteit van de interventie minder betrouwbaar gemeten kan worden. De toetsen van de leerlingen uit de controlegroep die de nameting moesten inhalen worden uitgesloten van de resultaten, zodat extra tijd om te leren en eventueel overleg met klasgenoten geen invloed zal hebben op de resultaten. De voormeting van deze leerlingen zullen ook worden uitgesloten van de resultaten, omdat het verschil tussen de voor- en nameting wordt onderzocht. De toets van de leerling uit de interventiegroep met extra tijd zal wel opgenomen worden in de resultaten, omdat wordt verwacht dat het niveau van redeneren van de leerling niet beïnvloed wordt door de extra tijd. De antwoorden van de leerlingen op de geselecteerde vragen op de toets zijn geanalyseerd op de manier die genoemd is bij Leerresultaten in Onderzoeksplan aan de hand van de rubrics van de voor- en nameting, zie Bijlage 9.

21 Het hardop denken is uitgevoerd terwijl de leerlingen op dat moment werkten in een ander hoofdstuk. De vakkennis die nodig is voor het maken van de vraag is niet herhaald wat betekent dat de leerlingen de kennis hadden moeten onthouden vanaf het proefwerk. De resultaten zullen wel gebruikt worden omdat het hardop denken gericht is op de aanpak van de vraag en het formuleren van een antwoord en minder op het antwoord zelf. Deze keuze is gemaakt, omdat de leerlingen deze vraag al gemaakt hebben voor het proefwerk waar de nadruk meer lag op de chemische kennis. Bij een toets is ook vaak een bepaalde spanning aanwezig of de leerling de toets goed maakt die niet aanwezig is bij hardop denken omdat de leerling niet beoordeeld wordt op het gegeven antwoord. Het tijdselement kan een rol spelen in de aanpak van de vraag, omdat bij het hardop denken geen tijdslimiet is opgegeven en bij de toets de leerlingen 50 minuten de tijd hebben voor tien vragen. Dit kan betekenen dat de leerlingen bij de toets mogelijk minder tijd nemen om de vraag te maken en dus hun aanpak sneller uitvoeren. De tijd die de leerlingen nodig hadden komt ongeveer overeen met een tiende van de tijd. Dat maakt het aannemelijk dat dit redelijk overeenkomt met de tijd die is genomen om de vraag op de toets te beantwoorden. Hierdoor wordt de aanname gemaakt dat de aanpak van het maken van de vraag bij het hardop denken (grotendeels) hetzelfde is als de aanpak op de toets. Ook wordt de aanname gemaakt dat de leerlingen niet onderling overlegd hebben over het hardop denken. Dit komt omdat alle drie de leerlingen bij aanvang van het hardop denken niet wisten wat ze moesten doen.

11. Uitkomsten van de twee effectmetingen

Om de effecten van de interventie te onderzoeken is gebruik gemaakt van een inhoudsanalyse van antwoorden op twee toetsvragen en hebben drie geselecteerde leerlingen hardop denkend een vraag gemaakt.

11.1 Beschrijving

In grafiek 1 en 2 zijn de resultaten van de inhoudsanalyse voor respectievelijk de interventiegroep en controlegroep te zien. Zie voor de resultaten van de aparte gescoorde onderdelen Bijlage 10. De waarden in deze grafieken zijn het gemiddeld aantal gescoorde punten van de gehele klas op de voor- en nameting, om te zien of er op klassikaal niveau een verandering merkbaar is. In grafiek 1 is te zien dat op klasniveau de interventiegroep op de nameting gemiddeld iets meer punten scoort dan op de voormeting. In grafiek 2 is te zien dat de controlegroep op klasniveau gemiddeld iets minder punten scoort op de nameting dan op de voormeting.

0,0 1,0 2,0 3,0 4,0 5,0 6,0

Volledige redenering Volledige redenering met opbouw

Valide redenering Valide redenering met opbouw Aan ta l p u n ten

Interventiegroep

Voormeting interventiegroep Nameting interventiegroep

0,0 1,0 2,0 3,0 4,0 5,0 6,0

Volledige redenering Volledige redenering met opbouw

Valide redenering Valide redenering met opbouw Aan ta l p u n ten

Controlegroep

23 Om een beter beeld te krijgen van de veranderingen is het verschil tussen het gemiddeld aantal punten op de voormeting en nameting bepaald. De veranderingen worden procentueel uitgedrukt, omdat het maximaal te behalen aantal punten voor de twee redenaties en de twee redenaties met structuur verschillend zijn. Door het verschil procentueel uit te drukken kunnen de gegevens met elkaar vergeleken worden. De resultaten zijn voor beide groepen weergegeven in grafiek 3. Om het verschil te berekenen is het absolute verschil in het gemiddeld aantal punten op klasniveau gedeeld door het maximaal te behalen aantal punten bij de verschillende redenaties. Hierbij is het absolute verschil berekend door het gemiddeld aantal gescoorde punten op de voormeting van het gemiddeld aantal gescoorde punten op de nameting af te trekken. Deze keuze is gemaakt, omdat gekeken wordt of de score verbeterd wordt ten opzichte van de voormeting, wat een positieve verandering zou betekenen.

In grafiek 3 is te zien dat op klasniveau kleine verandering worden gemeten. In de interventiegroep is te zien dat leerlingen gemiddeld tussen de 1,7 en 5,1% meer punten scoren bij de verschillende beoordeelde redeneringen. In de controlegroep is te zien dat leerlingen gemiddeld tussen de 1,9 en 6,0% minder punten scoren. Omdat de gemiddelde score op klasniveau kleine effecten laten zien, is naast de gemiddelde verandering is ook gekeken naar de individuele verandering van de leerlingen bij de volledige en valide redenaties met en zonder opbouw. Hiervoor is gekeken naar het individuele puntenverschil tussen de twee metingen, waarbij het antwoord gescoord is aan de hand van de bijbehorende rubrics uit Bijlage 9. Grafieken 4 en 5 laten de individuele veranderingen bij de verschillende redenaties van de leerlingen van respectievelijk de interventiegroep en controlegroep zien. -10,0 -5,0 0,0 5,0 10,0

Volledige redenering Volledige redenering met opbouw

Valide redenering Valide redenering met opbouw Ve rs ch il in ges coo rd e p u n ten (% )

Procentuele vergelijking

In grafiek 4 is te zien dat zeven leerlingen uit de interventiegroep (46,7%) meer punten scoren op zowel de volledige als valide redenering. Als de structuur van de redenering hierbij wordt opgeteld, scoren zes leerlingen hiervan nog extra punten en scoort één leerling geen extra punten. Een andere leerling scoort wel meer punten voor de volledige redenering met opbouw, maar minder voor de valide redenering met opbouw. Daarnaast scoren vijf leerlingen (33,3%) minder punten op zowel de volledige als valide redenering. Vier van deze leerlingen (26,7%) halen daarbij ook minder punten voor de structuur. Bij leerling 1 en 4 is ook een afname in punten voor de structuur van de redenering te zien, maar is er geen verschil in de gescoorde punten voor de volledige en valide redenering.

-3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0 5,0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 Ve rs ch il in ges coo rd e p u n ten Leerling

Resultaten per leerling

Verschil volledige redenering Verschil volledige redenering met opbouw

Verschil valide redenering Verschil valide redenering met opbouw

-4,0 -3,0 -2,0 -1,0 0,0 1,0 2,0 3,0 4,0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 Ve rs ch il in ges coo rd e p u n ten Leerling

Resultaten per leerling

Verschil volledige redenering Verschil volledige redenering met opbouw Verschil valide redenering Verschil valide redenering met opbouw

25 In grafiek 5 is te zien dat zes leerlingen (22,2%) uit de controlegroep meer punten scoren op de volledige redenering en dat acht leerlingen (29,6%) hoger scoren op de valide redenering. Acht leerlingen (29,6%) hebben meer punten gescoord op de volledige redenering met opbouw en tien leerlingen (37,0%) scoorden hoger op de valide redenering met opbouw. Veertien leerlingen (51,9%) hebben minder punten gescoord bij de volledige redenering en elf leerlingen (40,7%) scoorden lager op de valide redenering. Daarnaast hebben twaalf leerlingen (44,4%) minder punten gescoord op de valide redenering met opbouw en scoorden dertien leerlingen (48,1%) lager op de volledige redenering met opbouw. Bij leerlingen 17 en 26 zijn geen verschillen gevonden tussen beide metingen, maar beiden hebben voor de redeneringen op zowel de voor- als nameting nul punten gescoord.

Naast de inhoudsanalyse zijn drie leerlingen uit de interventiegroep geselecteerd om de vraag van de nameting ook hardop denkend te maken om hun probleemaanpak te onderzoeken. Daarbij is voor beide nametingen dezelfde checklist gebruikt. De geselecteerde leerlingen zijn gekozen op basis van de behaalde punten volgens het antwoordmodel van de toets en komen in grafiek 4 overeen met leerling 1 (L1), 8 (L8) en 13 (L13). Op de toets scoorden leerlingen 1, 8 en 13 respectievelijk 1, 3 en 2 punten. Het gecodeerde transcript van het hardop denken van de leerlingen staat in Bijlage 11.

Alle drie de leerlingen begonnen anders aan de vraag, zo begon L1 met het bekijken van de structuurformule, maar omcirkelde de doewoorden en benoemde de puntwoorden. L13 begon met het lezen van de gekregen gegevens en de vraag en L8 begon met het lezen van de vraag en daarna de gekregen gegevens.2 _{L1 herhaalde kort de vraag en ging vervolgens net als L13 verder met de}

structuurformules (gekregen gegevens) en verbond een verbinding en conclusie aan de eerste stof. L8 begon met de conclusie en redeneerde terug naar gegevens van beide stoffen waarna hij de conclusie herhaalde en deze samen met de bedachte gegevens opschreef.

L1 ging verder met bedachte gegevens, verbinding en conclusie voor de tweede stof waarbij de verbinding en conclusie herhaald werden. Hij schreef de gegevens en de verbinding gedeeltelijk op en las nogmaals de vraag. Hij herlas zijn antwoord en vulde dit aan met een conclusie voor de eerste stof waarna hij aangaf dat hij klaar was. L13 gaf na de eerste stof kort bedachte gegevens en de conclusie van de tweede stof. Vervolgens schreef hij van de eerste stof zelfbedachte gegevens en verbinding op waarbij hij twijfelde over de verbinding. Hij zocht vervolgens in de Binas naar gegevens die overeenkwamen met de gekregen informatie om een nieuwe verbinding te maken waar hij mee stopte, omdat hij zijn eerste ingeving goed vond. Hij herhaalde zijn antwoord en maakte dit af door zijn antwoord aan te vullen met een conclusie waarna hij aangaf dat hij klaar was. L8 vulde zijn antwoord aan met een verbinding en trok voor één stof de conclusie. Voor de tweede stof schreef hij de verbinding op waarna hij aangaf dat hij klaar was.

2 _{Gekregen gegevens houdt hier de informatie die bij de vraag stond in en bedachte gegevens is data die de}

11.2 Resultatenanalyse van de effectmetingen

Met behulp van de twee effectmetingen is met de inhoudsanalyse gekeken naar het leerresultaat en met hardop denken naar het leergedrag bij ‘leg-uit’ vragen. Uit de resultaten van de inhoudsanalyse blijkt dat de interventiegroep een kleine procentuele verbetering laat zien in hun redeneringen en de controlegroep een kleine procentuele verslechtering. Dit betekent dat de interventiegroep gemiddeld iets vollediger en meer valide gaan redeneren en de controlegroep iets minder volledig en minder valide. Voor de geselecteerde vragen is getracht de moeilijkheid gelijk te houden, maar het is mogelijk dat de vraag op de nameting lastiger was dan die van de voormeting. Dit kan mogelijk het negatieve procentuele verschil verklaren bij de controlegroep. Daarnaast is het mogelijk dat de leerlingen uit de interventiegroep een grotere verbetering hebben laten zien dan zichtbaar wordt met de procentuele vergelijking. De leerlingen uit de controlegroep redeneren namelijk minder volledig wat mogelijk kan betekenen dat de interventiegroep zonder interventie mogelijk ook een lagere score zou hebben. Hierdoor zou het kunnen dat het werkelijke verschil van de interventiegroep tussen de waarden van de verandering in beide groepen ligt.

Bij beide groepen hebben de antwoorden van de leerlingen wel iets meer structuur gekregen. Dit is terug te zien in grafiek 3 omdat het verschil tussen de volledige redenering en volledige redenering met opbouw bepaald wordt door de structuur. De verbetering van structuur is in beide groepen aanwezig en kan daarom niet specifiek worden toegeschreven aan het gebruik van het aangepaste SPA+ model. In beide lessen is de vraag uit de vierde ontwerples besproken en daarin komen de denkstappen overeen met de structuur van data-verbinding-conclusie. Het zou kunnen dat de leerlingen hierdoor een indicatie hebben gekregen van de structuur in een antwoord en dat daarom in beide klassen meer structuur zichtbaar is. In de ingevulde checklist in Bijlage 10 is echter wel te zien dat in de interventiegroep allen verschil is tussen geen en deels structuur tegenover verschillen tussen wel, deels en geen structuur in de controlegroep. Dit kan betekenen dat leerlingen in de interventiegroep alleen beter zijn geworden in het structureren van een antwoord en in de controlegroep zowel beter als slechter.

Het is ook mogelijk dat het aangepaste SPA+ model niet werkt voor leerlingen, omdat persoonlijke voorkeuren kunnen verschillen. In de interventiegroep is 46,7% vollediger en meer valide gaan redeneren tegenover 33,3% die op deze aspecten minder scoorden. Op basis van grafiek 4 en 5 is besloten geen t-toets te gebruiken omdat daar wordt uitgegaan van een normaalverdeling en het gescoorde aantal punten van de leerlingen is niet normaal verdeelt. Uit de ingevulde checklisten (Bijlage 10) blijkt dat op de nameting negen leerlingen verbindingswoorden gebruiken vergeleken met twee leerlingen op de voormeting wat een mogelijke verklaring voor de verbetering is. Leerling 8 uit de interventiegroep heeft drie punten hoger gescoord waar maximaal vier punten te behalen vielen dus dit laat een grote verbetering zien.3 _{De structuur van zijn antwoord is niet veranderd, want het}

verschil in gescoorde punten blijft gelijk voor de volledige redenering met en zonder opbouw. Bij leerling 10 uit de interventiegroep is zowel een verbetering van twee punten te zien op de volledige redenering, maar tweeënhalve punt verbetering op de volledige redenering met opbouw wat inhoudt dat deze leerling vollediger en gestructureerder is. Tevens geeft deze leerling op de nameting een meer valide antwoord met meer structuur. Dit kan een indicatie zijn dat deze leerling profijt heeft van de interventie.

27 Leerlingen 12 en 13 uit de interventiegroep hebben echter twee punten minder gescoord op de volledige redenering en tweeënhalve punt minder op de valide redenering. De structuur in beide antwoorden zijn niet verandert, want de redenering met en zonder opbouw scoren hetzelfde aantal punten. Beide leerlingen scoren minder punten op de aanwezigheid van een verbinding en conclusie en de chemische correctheid. Bij deze leerlingen lijkt de interventie geen effect te hebben gehad. Leerling 15 uit de interventiegroep scoort meer punten op de volledige redenering met structuur, maar niet op de volledige redenering. Ook is de redenering minder valide en is voor de valide redenering met opbouw geen verschil aanwezig. Dit houdt in dat de structuur in het antwoord verbeterd is, maar dat het antwoord chemisch minder correct is. De interventie heeft dus mogelijk invloed gehad op de structuur van het antwoord, maar de vakspecifieke kennis van de leerling was niet toereikend om ook een valide redenering te geven. Dit laat zien dat het voor redeneren ook van belang is dat de leerling vakspecifieke kennis heeft om de redenering ook valide te maken.

In de controlegroep blijkt dat 22,2% een meer volledige redenering geeft en 29,6% een meer valide redenering. Daarnaast geeft 51,9% van de controlegroep een minder volledige redenering en 40,7% een minder valide redenering. Uit de ingevulde checklist (Bijlage 10) blijkt dat in de controlegroep in de redeneringen minder vaak de verbinding en conclusie voorkwamen, maar wel een toename was in het gebruik van verbindingswoorden. De gegevens laten zien dat in de interventiegroep meer leerlingen meer punten scoren op de volledige en valide redenering met 46,7% tegenover respectievelijk 22,2% en 29,6% in de controlegroep. Ook hebben minder leerlingen in de interventiegroep (33,3%) minder valide redeneringen gegeven vergeleken met de controlegroep (40,7%). Dit kan mogelijk betekenen dat de interventie de volledigheid van een redenering positief beïnvloed. In vergelijking met de interventiegroep hebben leerlingen van de controlegroep meer kleine veranderingen van ± 0,5 punt, waar de interventiegroep eerder ± 1 punt veranderd. Het verschil in deze veranderingen kan mogelijk komen door toevallige veranderingen tegenover verandering door de interventie. Hierdoor wordt het aannemelijker dat de positieve veranderingen in de interventiegroep niet alleen op basis van toeval zijn, maar dat de interventie dit ook beïnvloed.

Om te onderzoeken of het aangepaste SPA+ model werkelijk gebruikt wordt bij het maken van de vraag hebben drie leerlingen uit de interventiegroep de vraag van de nameting ook hardop denkend gemaakt. Hieruit blijkt dat alleen L1 begint met het onderstrepen van doe- en puntwoorden in de vraag en voordat hij zijn antwoord de vraag herleest. Wel kijken alle drie de leerlingen welke gegevens er zijn, maar daarna verschilt de aanpak van L8 met die van L1 en L13. L8 herleest de vraag, schrijft de gegeven conclusie op en vult dit aan met zelf bedachte gegevens. L1 vult zelf bedachte gegevens aan met de gegeven conclusie en vervolgens met een verbinding. L13 schrijft de zelf bedachte gegevens en verbinding op en vult dit aan met een zelf geformuleerde conclusie waarna hij zijn verbinding controleert en zijn antwoord afmaakt. Dit betekent dat L8 de tweede en derde stap in het stappenplan in die volgorde gebruikt waar L1 en L13 schakelen tussen deze stappen.

Alle leerlingen gebruiken verbindingswoorden waarbij twee keer tussen verbinding en conclusie en één keer tussen conclusie en data. Ook blijkt dat L1 en L13 in hun hoofd al een formulering gemaakt hadden, maar dit niet volledig opschrijven waar L8 al denkend zijn antwoord opschrijft. Daarnaast controleren alle drie de leerlingen niet hun antwoord op volledigheid en of dit aansluit wat inhoudt dat de laatste stap in het aangepaste SPA+ model wordt overgeslagen. Opvallend is dat L8 een antwoord formuleert met de namen van de stoffen (gekregen gegevens), hoogstwaarschijnlijk omdat deze in de gegeven conclusie stonden, waar L1 geen namen noemt en L13 één naam.

Op basis van de inhoudsanalyse blijkt dat L8 een grote positieve verandering heeft laten zien op de volledigheid en validiteit van zijn antwoord op de nameting, zie grafiek 4. L1 laat hier geen verandering in volledigheid en validiteit, maar een afname in structuur zien en L13 laat een afname in volledigheid en validiteit zien. Dit zou kunnen betekenen dat door stap 2 en 3 in deze volgorde te gebruiken en te beginnen met het herhalen van de vraag, en daarmee de woordelijke gekregen informatie, dat het antwoord vollediger en meer valide wordt. Daarnaast heeft L8 ook alle stappen één keer doorlopen en leken L1 en L13 meer af te wisselen tussen de verschillende stappen. Het verschil tussen L1 en L13 zit ook in het gebruik van de stofnamen wat waarschijnlijk ook meegespeeld heeft in het aantal punten dat is behaald op de toets dat respectievelijk één en twee punten was.

Het blijft lastig om te bepalen of L8 werkelijk het stappenplan gebruikt heeft, maar op basis van het hardop denken is het mogelijk dat hij een bepaalde structuur gebruikt in het beantwoorden van de vraag. Bij L1 blijkt dat de eerste stap van het stappenplan wel gebruikt wordt, maar dat de andere stappen afwisselend genomen worden en dat stap 6 overgeslagen wordt. Bij L13 is het mogelijk dat de verschillende stappen meer afwisselend zijn gemaakt waarbij stap 1 en 6 zijn overgeslagen. Op basis van deze resultaten wordt het aannemelijker dat het aanbrengen van structuur in de aanpak van de vraag tot een vollediger en meer valide antwoord leidt.