Patterns of formative assessment : an embedded case study into patterns of formative assessment in teaching

(1)

Patterns of formative assessment

An embedded case study into patterns of formative assessment in teaching

Master thesis Educational Science, University of Amsterdam E. van der Zande 10284788

Accompaniment: Prof. Dr. M.L.L. Volman Amsterdam, April, 2014

(2)

(3)

3

Abstract:

This thesis describes a study into patterns of formative assessment. The aim of this study was to describe how the concept ‘formative assessment’ is used in education nowadays. Formative assessment is an iterative process of diagnosing, interpreting and intervening by the teacher and students, with the purpose to align the current level of the learner with the expected level. Patterns of formative assessment occur by 1) different sequences in the process actors go through and 2) diverse methods teachers use in their teaching. The following research question was formulated: Which patterns of formative assessment can be

defined in teaching by teachers? By video and audio recordings sequences and methods

were observed in nine lessons from three different teachers. The researcher first selected fragments where sequences of formative assessment could be observed and then analysed the fragments by using an observation scheme for both the sequences and methods for formative assessment. To aid in interpreting the results, the researcher described the lessons and interviewed the teachers before analysing. The results show that there are patterns in sequences as well as in the methods used for formative assessment. Both the teacher or the student were responsible for diagnosing most of the time, but often only the teacher was responsible for interpreting the diagnoses with the referenced level and

intervening in the learning process of the learner. Also, the fellow students were almost never observed as actors in a sequence. It was concluded that it was teacher depended if the teacher or the student was diagnosing more, due to their teaching preferences. Also, lessons where the student was more responsible for diagnosing the current level, more sequences were scored. Other results showed that different methods for formative assessment were observed, but not in a high amount. Only the method ‘feedback’ was observed a lot of times as an intervention in the learning process. The method ‘questioning’ seemed to be used more often in whole class teaching. The results can help define formative assessment better and how to consciously make the decision to put this to use in daily class situations.

(4)

(5)

5

Patronen van formatief toetsen

Een embedded casestudy naar de patronen van formatief toetsen in het lesgeven van docenten

Masterscriptie Onderwijskunde, Universiteit van Amsterdam E. van der Zande 10284788

Begeleiding: Prof. Dr. M.L.L. Volman Amsterdam, April, 2014

(6)

(7)

7

Abstract:

Deze thesis beschrijft een onderzoek naar patronen van formatief toetsen. Het doel van het onderzoek was een beeld te vormen over hoe ‘formatief toetsen’ gestalte krijgt in het hedendaagse onderwijs. Formatief toetsen is een iteratief proces van diagnosticeren, interpreteren en interveniëren door docenten en leerlingen, met als doel het leren beter aan te laten sluiten bij het huidige niveau van de lerende. Patronen van formatief toetsen zijn te herkennen aan de hand van 1) de verschillende sequenties binnen het proces die actoren doorlopen en 2) diverse methoden die docenten hanteren in hun lesgeven. De volgende onderzoeksvraag is geformuleerd: Welke patronen van formatief toetsen kunnen

onderscheiden worden in het lesgeven van docenten? Door middel van video en audio

opnames zijn tijdens negen lessen van drie docenten de sequenties en diverse methoden waargenomen. Vervolgens selecteerde de onderzoeker fragmenten waarin sequenties van formatief toetsen te herkennen waren. Daarna zijn de fragmenten geanalyseerd aan de hand van een observatie schema voor zowel de sequenties als de methoden. Ten behoeve van het interpreteren van de resultaten heeft de onderzoeker de lessen globaal beschreven en docenten geïnterviewd alvorens te starten met de analyse. De resultaten laten zien dat er patronen zijn te herkennen in zowel de sequenties en de methoden van formatief toetsen. De docent of de leerling waren meestal verantwoordelijk voor het diagnosticeren van het

huidige niveau van de lerende, maar alleen de docent was voornamelijk verantwoordelijk voor het interpreteren van de diagnose aan de hand van het leerdoel en het interveniëren in het leerproces van de lerende. Daarnaast zijn de medeleerlingen bijna niet geobserveerd als actoren in de sequenties. Ook kon geconcludeerd worden dat het docent afhankelijk is wie de diagnose stelt (docent of leerling), doordat de docent een bepaalde lesopzet prefereert. Verder zijn in lessen waarin leerlingen meer verantwoordelijk waren voor het stellen van de diagnose, meer sequenties geobserveerd. Andere resultaten laten zien dat veel

verschillende methoden van formatief toetsen geobserveerd zijn, maar niet in hoge

aantallen. Alleen de methode ‘het geven van feedback’ is vaak geobserveerd als interventie in het leerproces. De methode ‘vragen stellen’ werd vaak gebruikt in klassikale les

momenten. De resultaten van dit onderzoek kunnen bijdragen aan het beter definiëren van formatief toetsen en hoe dit concept op juiste wijze in de onderwijspraktijk bewust toegepast kan worden.

(8)

(9)

9

Inhoudsopgave

1. Inleiding ...11

1.1 Formatief toetsen en diagnostische strategieën ...11

1.2 Modellen van formatief toetsen ...12

1.3 Dimensies van formatief toetsen ...15

1.4 Sequenties van formatief toetsen ...16

1.5 Methoden voor formatief toetsen ...18

2. Probleemstelling en onderzoeksvragen ...21 2.1 Probleemstelling ...21 2.2 Onderzoeksvragen ...22 3. Methode ...23 3.1 Design ...23 3.2 Participanten ...23 3.3 Data-verzameling ...23 3.3.1 Observaties in de klas ...23

3.3.2 Interviews met docenten ...24

3.4 Analyse ...25

4. Resultaten ...29

4.1 Adam ...29

4.1.1 Sequenties van formatief toetsen ...30

4.1.2 Gebruikte methoden ...32

4.2 Brenda ...33

4.3 Casper ...36

(10)

10

4.5 Vergelijking docenten gebruikte methoden...45

5. Conclusie ...49

6. Discussie ...51

7. Literatuurlijst ...57

Appendix I – Observatieschema ...60

Appendix II – Format scoreformulier observatieschema ...62

(11)

11

1. Inleiding

1.1 Formatief toetsen en diagnostische strategieën

Hoewel formatief toetsen een waardevol middel is gebleken om leerprestaties te verbeteren (Black & Wiliam, 2001), lijkt het in de praktijk nog een weinig toegepaste manier van toetsen, in tegenstelling tot summatief toetsen (Black & Wiliam, 1998). Summatief toetsen is een manier van toetsen die wordt toegepast aan het einde van het leerproces om te meten of de leerling genoeg kennis heeft opgedaan, dus of er voldoende geleerd is. Summatieve toetsen worden veelal gebruikt om logistieke beslissingen in het onderwijs te kunnen nemen.

Voorbeelden van zulke toetsen zijn de nationaal gestandaardiseerde eindtoetsen van CITO of eindexamen toetsen (Garrison & Ehringhaus, 2007), maar ook toetsen die een periode afsluiten. Uitkomsten van summatieve toetsen zeggen niets over de invloed van factoren tijdens het proces op het leren, zoals bijvoorbeeld: de invloed van verschillende

pedagogisch-didactische werkvormen die een docent toepast, het effect van verschillende interactiemomenten tussen de docenten en de leerlingen of andere factoren die het leren beïnvloeden.

Black en William (2001) definiëren ‘toetsen’ als: “alle activiteiten, waaraan zowel docenten als leerlingen deelnemen, waarin informatie gegeven wordt die gebruikt wordt als

terugkoppeling in een interventiestrategie om het doceren en leren te verbeteren.” Het doel van formatief toetsen volgens hen is dat de verworven evidentie ook echt gebruikt wordt om het doceren aan te laten sluiten bij de leerbehoeftes van de leerlingen. Het verkrijgen van informatie wordt gedaan door middel van een diagnostische strategie. Aan de hand van deze informatie kan terugkoppeling plaats vinden over het gat dat bestaat tussen het huidige en het gewenste kennisniveau van de leerlingen (Sadler, 1989). Het doel van het geven van informatie is dan het verminderen van het gat van kennis (Ramaprasad, 1983). De

interventiestrategie die ingezet wordt om het gat van kennis te verkleinen is dan, naast de diagnostische strategie, een kernelement van formatief toetsen (Bransford, Brown & Cocking, 2000). Formatief toetsen bestaat dus uit sequenties waarin diagnosticeren, interpreteren en interveniëren centraal staan en komt tot stand in de interactie tussen docenten en leerlingen.

Formatief toetsen maakt deel uit van het onderwijsleerproces. Het kan door de docent bewust of onbewust toegepast worden, bijvoorbeeld door een voortgangstoets of door een vluchtige vraag (“kan je uitleggen hoe je op dat antwoord gekomen bent?”) tijdens het zelfstandig werken van de leerlingen (Furtak, 2006; Sluijsmans, Joosten-ten Brinke & Van der Vleuten, 2013). Naast bewust of onbewust zijn er andere dimensies van formatief toetsen waar rekening gehouden mee dient te worden. Een tweede belangrijke dimensie is

(12)

12 het niveau waarop formatief toetsen plaats vindt. Formatief toetsen kan plaats vinden op individueel, groeps- of klasniveau (Cowie & Bell, 1999). Formatief toetsen in dit onderzoek is dus niet één methodiek, maar bestaat uit diverse sequenties van diagnostische strategieën en interventiestrategieën, die gedefinieerd kunnen worden aan de hand van verschillende dimensies.

Formatief toetsen krijgt in de lespraktijk gestalte door methoden die docenten kiezen binnen werkvormen in hun lesgeven. Voorbeelden van methoden die effectief zijn gebleken zijn: het formuleren van feedback, vragen stellen, het organiseren van toetsdialogen, reflectieve lessen, self-assessments, peer-assessments, het gebruiken van beoordelingsrubrieken of een summatieve toets met een formatief doel (Sluijsmans, Joosten-ten Brinke & Van der Vleuten, 2013). Deze methoden kunnen ingezet worden als diagnostische en/of

interventiestrategie in het proces van formatief toetsen en zijn dus onderdeel van een sequentie van formatief toetsen.

Formatief toetsen kan alleen slagen wanneer de docent een gehele sequentie van formatief toetsen doorloopt, dat wil zeggen dat er een diagnose gesteld wordt, men een interpretatie doet aan de hand het einddoel en een interventie gepleegd wordt in het leerproces van de leerling. Of de docent de gehele sequentie voor formatief toetsen doorloopt, hoe hij of zij deze doorloopt en welke methoden hij of zij kiest resulteert in patronen van formatief toetsen die te herkennen zijn in zijn/haar lesgeven. Doel van dit onderzoek is patronen van formatief toetsen in het lesgeven van docenten te beschrijven, zodat bijgedragen kan worden aan het definiëren van formatief toetsen en het vertalen ervan naar de onderwijspraktijk. Wellicht kan zo formatief toetsen een meer bewuste plek krijgen in het curriculum, zodat leerprestaties verhoogd kunnen worden.

1.2 Modellen van formatief toetsen

Op dit moment is er nog geen eenduidige definitie van formatief toetsen (Bennet, 2011). Daarom is ervoor gekozen verscheidene modellen en dimensies van formatief toetsen te beschrijven om zo de diverse perspectieven duidelijk te maken en helder te stellen wat formatief toetsen in dit onderzoek betekent.

Cowie en Bell (1999) deden kwalitatief onderzoek naar formatief toetsen in het voortgezet onderwijs (middle school en junior high school) onder tien verschillende docenten. Hun onderzoeksverslag beschrijft een model van formatief toetsen waarin onderscheid gemaakt wordt tussen: gepland formatief toetsen en interactief formatief toetsen. Gepland formatief toetsen is een bewust proces waarin een docent als eerste het huidige niveau van de leerling in het leerproces inventariseert, vervolgens deze informatie interpreteert aan de hand van het gestelde doel in het curriculum en als laatste handelt om het gat tussen het huidige

(13)

13 niveau van de leerling en het gewenste niveau te verkleinen (Shepard, 2003; Wilson,

2005). Gepland formatief toetsen wordt dus van te voren voorbereid en gepland. Er is al vroeg bekend wanneer in het leerproces het niveau van de leerlingen gediagnostiseerd wordt. De eerste stap in gepland formatief toetsen is het verkrijgen van informatie over het niveau van de leerlingen tijdens het leerproces. De docent ontwerpt aan de hand van het

doel in het curriculum de diagnostische toets. Dit kan bijvoorbeeld een kennistoets,

groepsdiscussie of klassikale vragenronde zijn. De geïnventariseerde informatie is algemeen en is gerelateerd aan het leerdoel in het curriculum. Afhankelijk van het doel interpreteert de docent de gediagnostiseerde informatie. Vervolgens formuleert de docent terugkoppeling en biedt hij of zij gericht hulp aan de leerlingen op hun niveau, hij handelt (ook wel de

interventiestrategie genoemd). Dit model van inventariseren, interpreteren en handelen is een iteratief proces (Figuur 1).

Figuur 1: model voor formatief toetsen (Cowie & Bell, 1999)

Een zelfde soort model wordt geschetst voor interactief formatief toetsen. Het doel is wederom de leidende factor in het proces van opmerken, herkennen en reageren op de leerlingen. Dit proces ontstaat in de interactie tussen de leerlingen en de docent en is dus niet gepland, zoals bij gepland formatief toetsen, maar ontstaat spontaan. De docent merkt in de interactie met zijn leerlingen dingen op. Dit kan zowel verbale als non-verbale informatie zijn. Deze informatie herkent de docent als nuttig of juist belemmerend voor het leerproces van de individuele leerling of de groep. Aan de hand van deze informatie reageert de docent op de leerlingen. In tegenstelling tot gepland formatief toetsen, waarin getoetst wordt aan de hand van de leerdoelen van het curriculum, is interactief formatief toetsen meer gericht op specifiekere informatie over korte termijn leerdoelen in het leerproces (Cowie & Bell, 1999). Interactief formatief toetsen ontstaat in de interactie tussen docent en leerling en is vluchtig.

(14)

14 Het effect is daardoor ook minder groot, korter houdbaar en beperkter dan bij gepland

formatief toetsen. Een voorbeeld van interactief formatief toetsen is bijvoorbeeld het

herkennen van een lage betrokkenheid bij een leerling. Dit is niet gewenst in een les waarbij juist actief meegedaan moet worden om de leerstof te begrijpen. Het interveniëren van de docent met als doel de leerling bij de les te betrekken maakt het dan tot interactief formatief toetsen.

Furtak (2006) gebruikt een model voor formatief toetsen dat lijkt op dat van Cowie en Bell (1999). Zij maakt onderscheid tussen formeel en informeel formatief toetsen (Shavelson, 2003). Formeel formatief toetsen (Embedded Assessment) is een door de docent gepland proces van toetsen tijdens de leeractiviteiten. Hierin staat het leerdoel binnen het curriculum centraal. Een belangrijk kenmerk is, dat de docent tijdens de opgedragen leeractiviteit een moment ingepland heeft waarop hij of zij uit de leeractiviteit stapt. De docent kan dan kijken wat het niveau van de leerlingen op dat moment is en kan bepalen wat de volgende stap in het leerproces zal zijn. Informeel formatief toetsen (On-the-Fly Formative Assessment) ontstaat in de interactie tussen de docent en de leerlingen en is spontaan en niet gepland. De informatie die vergaard wordt in dit proces kan zowel verbaal als non-verbaal zijn (Bell & Cowie, 2001). Met name wanneer informatie alleen non-verbaal wordt vergaard is de interpretatie van de ontvangen informatie van groot belang. De tijd om te reageren is kort. Om deze reden is informeel formatief toetsen vluchtig en gebonden aan het moment waarop het zich afspeelt.

Furtak (2006) gaat uit van soort gelijke modellen. Zij stelt als uiterst ongeplande interactie;

informeel formatieve toetsen, en als uiterst geplande interactie; formeel formatief toetsen.

Anders dan Cowie en Belle (2001) erkent zij het spanningsveld tussen beide modellen en plaatst deze dan ook op een continuüm van mate van planning voor interactie. De dimensies zijn dus niet dichotoom, maar bewegen zich voortdurend over het continuüm tussen beide uiterste processen (Figuur 2).

Informal Formal

Unplanned Planned

On-the-Fly Planned-for- Embedded

Formative Interaction Assessment

(15)

15

1.3 Dimensies van formatief toetsen

Er zijn verschillende dimensies waar rekening mee gehouden dient te worden om formatief toetsen te kunnen definiëren. Cauley en McMillan (2010) hebben getracht de dimensies schematisch weer te geven. Tabel 1 is een interpretatie naar de vertaling van Sluijsmans, Joosten-ten Brinke en Van der Vleuten (2013) van de dimensies van formatief toetsen beschreven door Cauley en McMillan (2010).

Tabel 1

Dimensies van formatief toetsen (Cauley & McMillan, 2010)

Feedback Toetsen van het leren ↔ Toetsen voor het leren

Verantwoordelijke voor leren Leren door leraar ↔

Bevorderen van leren door leerlingen

Perspectief Instrument (tool) ↔ Proces

Zelfregulerend leren

Zonder leerwaarde

voor de leerling ↔ Met leerwaarde voor de leerling

Structuur

Georganiseerd,

formeel ↔ “On-the-fly', informeel

Vormgeving Bewust ↔ Onbewust

Inbedding in leercyclus Stap-voor-stap ↔ Volledig ingebed

De dimensies zijn karakteristieken van formatief toetsen waarbinnen docenten keuzes maken tussen twee uitersten. De twee uitersten van een dimensie vormen een continuüm waarbinnen formatief toetsen gestalte krijgt in het lesgeven.

De mate van het geven van feedback hangt samen met het doel van toetsen. Men kan de behandelde stof toetsen of toetsen om te bepalen wat er nog geleerd dient te worden. De verantwoordelijkheid voor leren kan volledig gelegd worden bij de leraar (docentgestuurd) of er kan getracht worden de verantwoordelijkheid over te dragen aan de leerling

(leerlinggestuurd) (Huba & Freed, 2000).

Men kan formatief toetsen zien als instrument en methode in zijn of haar lesgeven of als proces waarbij het toetsen in dienst staat van het leren in het leerproces. Voorbeeld van een formatieve toets als instrument is het gebruiken van een opdracht waar leerlingen elkaar uiteindelijk moeten beoordelen. Wanneer formatief toetsen meer als proces gehanteerd wordt is het vaak ingebed in het lesgeven van de docent zelf, bijvoorbeeld vragenderwijs lesgeven.

(16)

16 Een toets met weinig leerwaarde kan de leerling verder helpen, maar heeft geen leerwaarde voor de metacognitieve vaardigheden van de leerling zelf. Het helpt de leerling niet beter zelfregulerend leren. Dit staat tegenover een toets die de leerling wel verder helpt in het leren te leren.

Structuur van het toetsen kan georganiseerd en formeel of vrij en informeel zijn.

De vormgeving van het toetsen kan bewust gebeuren en is dan van te voren bedacht. Ook kan het onbewust gebeuren en dus in het moment ontstaan.

Als laatste kan het proces en de fases van formatief toetsen geheel zijn ingebed in de leercyclus of juist alleen voorkomen in een enkele fase van het proces.

1.4 Sequenties van formatief toetsen

Tot nu toe is alleen ingegaan op de rol van docenten en leerlingen als het gaat om formatief toetsen. Zij delen de verantwoordelijkheid voor leren. Sadler (1989) en Black (2001)

onderstrepen dit. Zij stellen dat om formatief toetsen daadwerkelijk tot beter leren te laten leiden leerlingen een zelf-monitorende en kritische houding aangeleerd dient te worden. Tussen docent en leerlingen kan dan een doordachte en reflectieve dialoog over de leerstof ontstaan. Om deze zelf-monitorende en kritische houding te cultiveren is het nodig dat leerlingen kennis nemen van het te behalen onderwijsdoel, hun huidige kennisniveau kunnen vergelijken met het leerdoel en zelfstandig actie kunnen ondernemen richting het dichten van het gat van kennis naar het leerdoel. Het is de taak van de docent het onderwijs zo in te richten dat leerlingen de mogelijkheid hebben aan deze basisvoorwaarden te voldoen en deel kunnen nemen aan een collaboratieve dialoog over de leerstof. Volgens deze

redenering is niet alleen de docent verantwoordelijk voor het slagen van leren, maar ook de leerlingen zelf.

Naast de interactie tussen de individuele leerling en de docent is ook de interactie van de leerling met zijn medeleerlingen (peers) van groot belang in het leerproces, zo wordt de verantwoordelijkheid voor leren gedeeld met alle actoren in de klas. Black en Wiliam (2009) benadrukken het belang van de interactie tussen de docent, de leerling en zijn peers.

(17)

17 Processen

Actoren

Waar de lerende naar toe gaat

Waar de lerende nu staat

Hoe er te komen

Leraar Verhelderen van leerdoelen en delen

van criteria voor succes.

Het bewerkstelligen van effectieve groepsdiscussies en activiteiten die bewijs

leveren voor leren

Feedback geven gericht op verder

leren

Mede leerling Begrijpen en delen van leerdoelen en criteria voor succes

Het activeren van leerlingen als belangrijke informatiebronnen voor elkaar

Leerling Begrijpen van leerdoelen en criteria voor succes

Het activeren van leerlingen in het stimuleren van eigenaarschap over het

eigen leren

Tabel 2. Aspecten van formatief toetsen (Black & Wiliam, 2009; p. 8)

Verder onderzoek van Black en William (2009) naar de verantwoordelijkheid van actoren voor leren in formatief toetsen brengt hen tot vijf kern strategieën in het lesgeven aan de hand van formatief toetsen in de onderwijspraktijk: 1) Verhelderen, begrijpen en delen van leerdoelen en criteria voor succes, 2) Het bewerkstelligen van effectieve groepsdiscussies en activiteiten die bewijs leveren voor leren, 3) Het activeren van leerlingen als belangrijke informatiebronnen voor elkaar, 4) Het activeren van leerlingen in het stimuleren van

eigenaarschap over het eigen leren, 5) Feedback geven gericht op verder leren (Sluijsmans, Joosten-ten Brinke & van der Vleuten, 2013).

De processen die in de diverse kolommen beschreven worden zijn kernprocessen voor leren en doceren, geformuleerd door Wiliam en Thompson (2006). Door acties te ondernemen beschreven in het model van formatief toetsen door Cowie en Belle (1999) kunnen antwoorden gevonden worden binnen deze kernprocessen. Op deze manier zijn beide modellen voor formatief toetsen vergelijkbaar. Zo lijkt ‘waar de lerende naar toe gaat’ een interpretatie, ‘waar de lerende nu staat’ een diagnose en ‘Hoe er te komen’ een interventie. Deze processen/fasen in combinatie met de actoren geven de sequenties weer die mogelijk zijn in het proces van formatief toetsen. Voorbeeld van een sequentie van formatief toetsen is: leerlingen overhoren elkaar en diagnosticeren wat elkaars niveau is (waar de lerende nu staat?/ diagnose). Vervolgens vertelt de docent wat de leerdoelen en criteria voor de betreffende opdracht is en vergelijken leerlingen dat aan de hand van hun eigen gestelde diagnose (waar de lerende naar toe moet/ interpretatie). Als laatste vragen leerlingen elkaar om hulp om de gemaakte fouten op te lossen en zo de leerstof voor elkaar te verduidelijken

(18)

18 (Hoe er te komen/ handelen). In het voorbeeld zijn de leerling en zijn medeleerlingen actoren in de sequentie. De docent is er wel bij betrokken, maar is niet verantwoordelijk voor de sequentie en dus geen actor. Op deze manier zijn er in het model bij alle drie de fasen drie mogelijkheden. Dit leidt uiteindelijk tot 27 verschillende sequenties.

1.5 Methoden voor formatief toetsen

Binnen de sequenties van formatief toetsen zijn verschillende methoden voor formatief toetsen te onderscheiden. Deze methoden kunnen gebruikt worden als diagnose- en/of als interventiestrategie in het leerproces van de leerling. Sluijsmans, Joosten-ten Brinke en van der Vleuten (2013) beschrijven in hun reviewstudie methoden van formatief toetsen die een bewezen positief effect hebben op het leerproces van de leerlingen.

De eerste methode van formatief toetsen is het geven van feedback. Het model van

feedback - beschreven door Hattie en Timperley (2007) - stelt drie belangrijke vragen in het leerproces van de leerling centraal: waar ga ik naar toe (feed up)? Hoe gaat het (feed back)? Hoe nu verder (feed forward)? Deze kernvragen kunnen gesteld worden door de docent of de leerling zelf. Deze kernvragen kunnen op vier verschillende niveaus gesteld worden: over de taak, het proces dat doorlopen is om de taak te volbrengen, de zelfregulerende houding van de leerling en de prestatie van de leerling. Feedback over de taak geeft informatie over het werk dat de leerling heeft gemaakt. Feedback over het proces behelst de stappen en keuzes die de leerling heeft gemaakt tijdens het volbrengen van de taak. Feedback over de zelfregulerende houding gaat over meta-cognitieve studievaardigheden die de leerling

toegepast heeft. Feedback over de prestatie gaat niet direct over het gemaakte werk op zich, maar over de beoordeling, en dus over de criteria die de beoordelaar op het gemaakte werk legt. Een criterium is vaak niet direct waarneembaar. Een goed voorbeeld is de puntentelling bij gymnastiek. Uiteraard zijn er regels beschreven waar een jury lid zich aan dient te

houden, maar een gedeelte is ook eigen preferentie en gevoel.

Feedback blijkt in de praktijk een zeer complex begrip. Bijvoorbeeld de manier waarop positieve of negatieve feedback wordt gegeven is van groot belang in het leerproces. Als er in de feedback niet aangegeven wordt hoe het probleem een volgende keer aangepakt dient te worden of hoe de leerling nu verder moet, beklijft het behaalde resultaat en de gegeven feedback niet en kan de leerling niet verder in het leerproces. Dit gaat uiteindelijk ten koste van de motivatie van de leerling, zelfs als de gegeven feedback positief bedoeld is.

Feedback kan niet alleen gegeven worden door de docent aan de leerling, maar ook door leerlingen onderling. Om dit succesvol te kunnen doen dient de leerling de vaardigheid te bezitten kritisch naar werk van anderen, maar ook naar zijn eigen werk te kijken. Als laatste voorbeeld is de timing van essentieel belang in het succesvol geven van feedback in het

(19)

19 leerproces. Hoe complexer de taak is, hoe langer er gewacht dient te worden met het geven van feedback op het zelf-niveau, zodat tijd gegeven wordt aan de lerende om op zijn

antwoorden te reflecteren (Schute, 2008). Het model van feedback van Hattie en Timperley (2007) lijkt erg overeen te komen met het model van formatief toetsen door Black en Wiliam (2009). Het verschil is dat Hattie en Timperley (2007) alleen een ordening gemaakt hebben van diverse soorten feedback. In het model van Black en Wiliam (2009) zijn fases

beschreven binnen het proces van formatief toetsen. Om deze reden kan feedback gezien worden als methoden binnen het proces van formatief toetsen.

Een volgende methode van formatief toetsen is het stellen van effectieve vragen. Onderzoek naar formatief toetsen door Torrance en Pryor (2001) laat het belang van het effectief vragen stellen in het onderwijsproces zien. Docenten trachten met vragen het niveau van leerlingen op dat moment te meten, maar veel leerlingen blijken dit als gevaarlijk en/of bedreigend te ervaren. Ze voelen zich op dat moment voor het blok gezet. Een docent in het onderzoek trachtte vragen van diverse typen en met diverse doeleinden te stellen aan haar leerlingen om zo het dreigende karakter van vragen om te vormen. Zo gebruikte zij eerder vragen om de leerling de goede richting op te wijzen dan vragen die iets dienden te meten. Zij merkte op dat haar leerlingen onderscheid begonnen te maken tussen toetsvragen en hulpvragen en er ontstond een grotere wens naar de transparantie van de bedoeling van bepaalde vragen. De methode self-assessment in het proces van formatief toetsen doelt op het zelf evalueren van eigen werk aan de hand van de leerdoelen. Om dit te bewerkstelligen moeten leerlingen dus kennis kunnen nemen van de leerdoelen en de vaardigheid bezitten kritisch naar eigen werk te kunnen kijken. Eerder is al genoemd dat deze vaardigheid door Sadler (1989) en Black (2001) gezien wordt als een van de basisvoorwaarden voor leren in formatief toetsen. Cauley en McMillan (2010) duiden op de mogelijkheid die formatief toetsen biedt voor leerlingen om zichzelf te toetsen. Zij beschrijven in drie stappen het toepassen van

zelftoetsing door leerlingen in formatief toetsen. Leerlingen beoordelen als eerste hun eigen werk (zelf-monitoren), vervolgens vergelijken ze dit aan de hand van het gewenste resultaat (zelf-evalueren) en als laatste formuleren ze doelen en ondernemen ze acties om verder te gaan in het leerproces.

Hetzelfde geldt eigenlijk voor de volgende methode van formatief toetsen. Hierin werkt een leerling niet alleen, maar samen met zijn klasgenoten. Ze kijken naar elkaars werk en formuleren feedback voor elkaar om zo te werken aan het behalen van de leerdoelen.

Peer-assessment maakt het mogelijk dat leerlingen collaboratief leren werken, samen ideeën

uitwisselen en elkaar verbeterpunten leren geven (Birenbaum et al., 2011).

Furtak, et al. (2008) richten zich in hun onderzoek op een volgende methode van formatief toetsen. Zij beschrijven het implementeren van reflectieve lessen. In hun onderzoek maken zij onderscheid tussen lessen waarbij de docent aanstuurt op klassikale momenten om op

(20)

20 het geleerde te reflecteren en momenten waarin kleine groepen elaboratieve discussies kunnen voeren over de leerstof. Klassikale reflectieve momenten tijdens het leren zijn situaties waarin de docent door middel van het stellen van vragen, het bespreken van beschreven werk of het geven van een voorbeeld, een discussie over de leerstof tracht te bewerkstelligen met het doel opvattingen en misconcepteis van leerlingen duidelijk te maken. Elaboratieve kleine-groepsdiscussies stellen leerlingen in staat onderling kennis en

ervaringen uit te wisselen zonder directe beïnvloeding van een docent. Reflectieve lessen kunnen formele of informele momenten zijn, maar zijn bijna altijd van te voren gepland.

Toetsdialogen zijn in tegenstelling tot reflectieve lessen vaak ongeplande momenten in de

les die bijdragen aan het scherp stellen en verhelderen van het leerdoel vooraf (Ruiz-Primo, 2011). Toetsdialogen kunnen ook toegepast worden in de vorm van groepsdiscussies of klassikale gespreksmomenten in de les, maar worden door de docent gebruikt om continu het niveau van de leerlingen te achterhalen, zodat de docent het leren bij kan sturen richting het leerdoel.

Een volgende methode van formatief toetsen is het toepassen van een summatieve toets

met een formatief doel. Lee (2011) richtte zich in zijn onderzoek op summatieve toetsen met

een formatief doel. In het onderzoek koos de geobserveerde docent ervoor om cijfers achter te houden en toetsen alleen te voorzien van selectief commentaar. Daarnaast kregen de studenten meerdere kansen om de toets in te halen en zichzelf aan de hand van de verkregen feedback te verbeteren. Op deze manier ontstond er een cultuur die niet gericht was op het behalen van een cijfer, maar op het verbeteren van het resultaat.

Een laatste effectief gebleken methode van formatief toetsen is het creëren van

beoordelingsrubrieken (rubrics) voor het evalueren en meten van leerlinggedrag en

competenties in het onderwijsleerproces. Gewenste vaardigheden, houdingen en

gedragingen worden in beoordelingsrubrieken op verschillende niveaus beschreven; van beginner tot expert. Zowel de docent, als leerlingen en ouders kunnen zo zien welke

waarneembare vaardigheden verwacht worden van de leerlingen om op een bepaald niveau te handelen. Een beoordelingsrubriek hoeft niet alleen gecreëerd te worden door een

onderzoeker of ervaren docent, maar kan samen met de leerlingen opgesteld worden. Dit vergroot de betrokkenheid in het onderwijs van de leerlingen en de docenten (Skillings & Ferrel, 2000; Wilson, 2008).

(21)

21

2. Probleemstelling en onderzoeksvragen

2.1 Probleemstelling

Formatief toetsen is een effectieve manier om leerprestaties van leerlingen te verhogen (Black & Wiliam, 2001; Hattie, 1999), maar wordt weinig ‘bewust’ toegepast in het onderwijs. Daarnaast is er in de wetenschap nog geen eenduidige definitie van dit concept voor

instructie en leren (Bennet, 2011). Met dit onderzoek trachten we een bijdrage te leveren aan het definiëren van formatief toetsen vanuit een praktijkperspectief. Dit kan bijdragen aan het professionaliseren van docenten en het adequaat toepassen van formatief toetsen in het onderwijs.

In de inleiding is getracht de huidige inzichten uit onderzoek samen te vatten.

Er zijn verschillende modellen voor formatief toetsen. De voornaamste modellen zijn het iteratieve model van Cowie en Bell (1999) en het model voor formatief toetsen door Black en Wiliam (2009). Tezamen beschrijven deze modellen formatief toetsen als een iteratief proces gebaseerd op drie fases (de diagnose, de interpretatie en de interventie). Binnen het proces kunnen per fase andere actoren actief zijn (de leerling, de medeleerlingen of de docent). Het beschrijven van welke actor in welke fase actief is leidt tot een sequentie.

Onderzoek naar methoden voor formatief toetsen is tot nu toe vanuit verschillende

perspectieven gedaan. Sluijsmans, Joosten-ten Brinke en van der Vleuten (2013) hebben in hun recente reviewstudie diverse effectieve methoden van formatief toetsen samengevat uit de ‘al bekende’ literatuur. Deze methoden zijn op zichzelf staande didactische werkvormen die gekozen kunnen worden om formatief toetsen ‘effectief’ toe te passen in de les. Deze methoden kunnen zowel bewust als onbewust ingezet worden door de docent en zowel ingebed zijn in de leercyclus als gehanteerd worden als losstaande instrumenten. In dit onderzoek zien we formatief toetsen niet als iets nieuws, maar als een bestaand element in het lesgeven van docenten. We verwachten dat docenten bepaalde patronen van formatief toetsen hanteren in hun lesgeven. Patronen voor formatief toetsen kunnen

gevonden worden in de sequenties en de methoden die docenten hanteren in hun lesgeven. Het doel van dit onderzoek is deze patronen te beschrijven, zodat een beeld geschetst kan worden van wijzen waarop formatief toetsen in het huidige onderwijs voorkomt.

(22)

22

2.2 Onderzoeksvragen

Vanuit de probleemstelling is de volgende onderzoeksvraag gedestilleerd; Welke patronen

van formatief toetsen kunnen onderscheiden worden in het lesgeven van docenten?

Patronen zijn in dit onderzoek onderverdeeld in twee soorten: 1) soorten sequenties waarin formatief toetsen voorkomt en 2) de diverse methoden van formatief toetsen die docenten gebruiken.

Er zijn deelvragen geformuleerd die tezamen antwoord dienen te geven op de hoofdvraag: 1) A. Welke sequenties van formatief toetsen worden toegepast door de docenten en in

welke mate?

B. Welke verschillen en overeenkomsten zijn er te constateren tussen de geobserveerde docenten in de sequenties van formatief toetsen die ze toepassen en hoe kunnen deze resultaten verklaard worden?

2) A. Welke methoden van formatief toetsen worden gebruikt tijdens het lesgeven van docenten en in welke mate?

B. Welke verschillen en overeenkomsten zijn er te constateren tussen de

geobserveerde docenten in de methoden van formatief toetsen die ze toepassen en hoe kunnen deze resultaten verklaard worden?

(23)

23

3. Methode

3.1 Design

Er is gebruik gemaakt van een embedded casestudy design (Yin, 2003), omdat voor het beantwoorden van de onderzoeksvragen een kwalitatieve en beschrijvende methodiek nodig was. Er zijn observaties in de klas gedaan bij drie docenten om docentgedrag te observeren, daarnaast zijn ‘stimulated recall interviews’ gehouden met de geobserveerde docenten om onduidelijkheden uit de observaties op te helderen en verdiepende vragen te stellen om resultaten te kunnen interpreteren. Als laatste zijn globale beschrijvingen van de lessen en de lesopzet gemaakt om eventueel gevonden verschillen tussen docenten te interpreteren.

3.2 Participanten

De school waar dit onderzoek heeft plaats gevonden komt uit het eigen netwerk van de onderzoeker. De deelnemende school profileert zich als een voorbereidend wetenschappelijk onderwijs instelling met een ‘plus arrangement’ en bestaat sinds 2011. Men wil graag

onderzoek naar praktische en innovatieve onderwijsontwikkelingen. Voor dit onderzoek zijn op vrijwillige basis drie docenten geselecteerd. In samenspraak met de docenten en de directie van de school werden drie klassen uit het 2e_{leerjaar geselecteerd die deelnamen}

aan het onderzoek. De leerlingen in de deelnemende klassen waren tussen de 12 en 14 jaar oud. Aan de drie docenten en aan de leerlingen werd verteld dat er onderzoek gedaan werd naar interactie in de klas tussen de docent en de leerlingen. De leerlingen hebben een brief mee naar huis gekregen, waarin om een passieve toestemming van de ouders voor het deelnemen aan het onderzoek werd gevraagd.

De drie docenten hebben in dit onderzoek een andere naam gekregen om de anonimiteit te waarborgen. De eerste docent heet Adam, is een man, is 51 jaar oud, is 25 jaar werkzaam in het onderwijs en geeft het vak Science (een combinatie van de vakken natuurkunde en scheikunde). De tweede docent heet Brenda, is een vrouw, is 51 jaar oud, is 7 jaar werkzaam in het onderwijs en geeft het vak Frans. De derde docent heet Casper, is een man, is 29 jaar oud, is 5 jaar werkzaam in het onderwijs en geeft het vak ‘grote denkers’ (een combinatie van de vakken filosofie en geschiedenis).

3.3 Data-verzameling

3.3.1 Observaties in de klas

Het doel van de observaties was om docentgedrag te observeren in de interactie met de leerlingen. Vandaar dat er naast beeldmateriaal ook verbale interactie van de docent

(24)

24 opgenomen diende te worden. Om deze reden is de docent uitgerust met een draadloze dasspeld microfoon. Om zo weinig mogelijk verandering in de omgeving aan te brengen is ervoor gekozen om een stationaire camera achter in de klas te plaatsen tijdens de reguliere lessen. Docenten en leerlingen raakten zo minder afgeleid en de onderzoeker hoefde dan niet fysiek bij de les aanwezig te zijn, wat wellicht voor meer afleiding zou zorgen.

Van elke docent zijn vier lessen geobserveerd. Deze lessen zijn random gekozen. Er is vier weken achtereenvolgend bij dezelfde docent, op hetzelfde tijdstip en in dezelfde klas geobserveerd. De eerste observatie werd gedaan om de docent en leerlingen te laten wennen aan de aanwezigheid van een onderzoeker, microfoon en camera en is niet meegenomen in de analyse.

Alle drie de docenten gaven aan dat de aanwezigheid van de camera en de microfoon geen effect had op hun lesgeven, het gedrag van de leerlingen of de sfeer in de klas. Ook gaven ze aan dat de geobserveerde lessen representatief waren voor hoe zij normaal les geven.

3.3.2 Interviews met docenten

Het doel van het interview was om onduidelijkheden uit de observaties op te helderen en verdiepende vragen te stellen om resultaten te kunnen interpreteren. Hier is voor gekozen, zodat gezocht kon worden naar verklaringen voor verschillen tussen docenten.

Er is getracht het interview zo snel mogelijk na de geobserveerde lessen te houden om ervoor te zorgen dat situaties in de lessen nog vers in het geheugen van de docenten zaten. Alle interviews zijn een week na de laatste geobserveerde les gehouden. De interviews zijn gehouden in een ‘vrij’ klaslokaal en opgenomen met de camera.

Om richting te geven aan het interview is vooraf een interviewleidraad (Appendix III) opgesteld en aangevuld met vragen beschreven vanuit diverse fragmenten uit de observaties per docent. Met de aanvullende vragen konden opvallende resultaten uit de observaties worden verduidelijkt. De vragen uit het eerste deel zijn gebaseerd op de eerder beschreven literatuur van Black en William (2009), Hattie en Timperley (2007) en Sluijsmans, Joosten-ten Brinke en van der Vleuten (2013), en betroffen:

(25)

25 1) Toetsen in het algemeen

2) Sequenties van formatief toetsen 2.1) Diagnosticeren

2.2) Interpreteren 2.3) Interveniëren

3) Methoden van formatief toetsen 3.1) effectief vragen stellen

3.2) het organiseren van toetsdialogen 3.3) self-assessments

3.4) peer-assessments

3.5) het formuleren van feedback 3.6) reflectieve lessen

3.7) beoordelingsrubrieken

3.8) summatieve toets met een formatief doel 3.9) andere methoden van formatief toetsen

In appendix III is aangegeven welke vragen gesteld zijn over de verschillende thema’s.

3.4 Analyse

Door de onderzoeker is een observatieschema (Appendix I) ontwikkeld aan de hand van eerder beschreven onderzoek van Black en William (2009), Cowie en Bell (1999), Furtak (2006) en Sluijsmans, Joosten-ten Brinke en van der Vleuten (2013). Het observatieschema komt overeen met de interviewleidraad (Appendix III) en is gebaseerd op dezelfde

categorieën beschreven in hoofdstuk 3.3. Het observatieschema bestaat uit twee delen. Het eerste deel komt voort uit het model van formatief toetsen, beschreven door Cowie en Bell (1999) en het model voor formatief toetsen, beschreven door Black en Wiliam (2009). Dit deel van het observatieschema is bedoeld om de vraag te beantwoorden, Welke sequenties

van formatief toetsen worden toegepast door de docenten en in welke mate?

Het observatieschema is tot stand gekomen door beide modellen voor formatief toetsen samen te voegen. De fases uit het model van Cowie en Bell (1999) (diagnosticeren/ opmerken, interpreteren/ herkennen en interveniëren/ handelen/ reageren) zijn gekoppeld aan de hulpvragen uit het model van Black en Wiliam (2009) (waar staat de leerling nu, waar werkt de leerling naar toe en hoe komt de leerling naar de gewenste situatie). Deze

koppeling is mogelijk doordat de stappen uit het model van Cowie en Bell (1999) acties zijn die direct voortkomen uit de processen gesteld in het model van Black en Wiliam (2009). Zo is de actie binnen het proces ‘waar de lerende naar toe gaat’ een interpretatie, ‘waar de lerende nu staat’ een diagnose en ‘Hoe er te komen’ een interventie.

(26)

26 Aangezien in deze processen verschillende personen acteren (docent, leerling en

medeleerling), heeft elke actor binnen elk proces zijn eigen code gekregen. Zo is een tabel ontstaan van negen codes. Elke code bestaande uit twee letters. De eerste letter betreft de fase uit het model van formatief toetsen (D=diagnose/opmerken, I=interpretatie/herkennen en H= handeling/interventie). De tweede letter betreft de actor (D=docent, L=leerling en M=medeleerling).

Appendix II bevat het format scoreformulier observatieschema. In dit schema werden per fragment (wat een fragment inhoud wordt later behandeld) de geobserveerde stappen genoteerd.

In figuur 3 is een voorbeeld weergegeven hoe de fragmenten zijn gecodeerd.

Figuur 3; voorbeeld ‘ingevuld’ format scoreformulier observatieschema

Tijd (min:sec.) Code Overige methode/ opmerkingen 46.05 – 47.81 DL ID HD 8 Leerling stelt een vraag en de docent

verduidelijkt

Het voorbeeld (figuur 3) geeft aan dat het fragment start op 46 minuten en 5 seconden en dat in dit fragment de leerling zelf de diagnose stelde (DL), de docent deze interpreteerde (ID) en vervolgens ook intervenieerde in het leerproces om de leerling verder te helpen (HD). Het tweede deel van het observatie schema is ontwikkeld aan de hand van de review studie van Sluijsmans, Joosten-ten Brinke en van der Vleuten (2013). Dit tweede deel werd gebruikt om antwoord te geven op de vraag; Welke methoden van formatief toetsen worden gebruikt

tijdens het lesgeven van docenten en in welke mate?

In dit onderzoek zijn methoden van formatief toetsen beschreven. Elke methode heeft een eigen code gekregen (Appendix I). Zo kreeg elke methode een getal van 1 tot en met 8. Code 9 (andere methoden van formatief toetsen) is bijgevoegd om overige geobserveerde methoden te scoren die niet stonden beschreven in de review studie, maar wel een bijdrage leveren aan het proces van formatief toetsen.

Als voorbeeld is in figuur 3 onder de code HD een 8 aangegeven om aan te duiden dat in deze fase van het fragment de methode ‘het formuleren van feedback’ toegepast werd. De laatste kolom (overige methode/ opmerkingen) van het format scoreformulier

observatieschema (Appendix II) is toegevoegd om de situatie te beschrijven, zodat de

‘onbekende’ methode uitgelegd of het fragment nader toegelicht kon worden, zodat men later gemakkelijk diverse situaties met elkaar kon vergelijken. Als voorbeeld staat in figuur 3 in deze kolom ‘Leerling stelt een vraag en docent verduidelijkt’.

(27)

27 Om de antwoorden uit het interview te gebruiken voor analyse zijn eerst de fragmenten gecodeerd naar de categorieën beschreven in hoofdstuk 3.3.2. Antwoorden gegeven door de docenten op de vragen van de onderzoeker zijn getranscribeerd tot een verslag op papier. De bevindingen in dit verslag zijn geïnterpreteerd door de onderzoeker en meegenomen in de beschrijving van de resultaten.

Allereerst zijn de observaties bekeken en zijn de verschillende fragmenten van elkaar onderscheiden. Een fragment is een interactie-moment tussen de docent en de leerling, waarbij in het begin van het fragment een diagnose wordt gesteld door de docent, de leerling of een medeleerling. Een fragment eindigt wanneer er een interventie of handeling werd gepleegd door één van de actoren of wanneer een nieuw fragment werd gestart. Vervolgens zijn binnen de diverse fragmenten fases, actor en gebruikte methode (zie Appendix I)

onderscheiden. Als laatste zijn de codes uit het eerste deel van het observatieschema per docent, per les in Excel gezet, zodat een tabel ontstond waarin gekeken kon worden hoe vaak per docent welke sequenties van codes voorkwamen in de diverse lessen. Analyse van deze data gaf antwoord op vraag 1A; Welke sequenties van formatief toetsen worden

toegepast door de docenten en in welke mate? Vervolgens werden de bevindingen uit het

interview en beschrijving van de lessenper docent meegenomen om resultaten te interpreteren.

Als laatste is alle data uit de observaties samengevoegd in één tabel om een cross-case analyse te kunnen doen naar de verschillen tussen docenten. In de cross-case tabel is er voor gekozen percentages van aantal keren dat een sequenties voorkwam per docent te tonen om zo duidelijker verschillen in aantallen aan te duiden in vergelijking met de lessen van de andere docenten. Fragmenten kunnen namelijk verschillen in tijdsduur, waardoor de mate waar ze voorkwamen alleen een vertekend beeld gaf. Daarnaast is ervoor gekozen standaarddeviaties van één sequentie in verschillende lessen van dezelfde docent te laten zien om zo de coherentie van het gevonden patroon aan te duiden. Als inleidend stuk in de resultaten per docent doet de onderzoeker kort verslag van het verloop van de lessen en de lesaanpak die de docent kiest. Zo komen diverse geobserveerde pedagogisch-didactische keuzes van de docent aan bod die bijdragen aan het interpreteren van gevonden verschillen tussen de docenten. Analyse van deze data gaf antwoord op vraag 1B; Welke verschillen en

overeenkomsten zijn er te constateren tussen de geobserveerde docenten in de sequenties van formatief toetsen die ze toepassen en hoe kunnen deze resultaten verklaard worden?

Daarna zijn de codes uit het tweede deel van het observatieschema per docent per les in Excel gezet, zodat een tabel ontstond waarin gekeken kon worden hoe vaak per docent welke methode van formatief toetsen gebruikt werd in de diverse lessen. Analyse van deze data gaf antwoord op vraag 2A; Welke methoden van formatief toetsen worden gebruikt

(28)

28

tijdens het lesgeven van docenten en in welke mate? Vervolgens werden de bevindingen uit

het interview en beschrijvingen van de lessen per docent meegenomen om resultaten te interpreteren.

Als laatste is een cross-case analyse toegepast om te kunnen zoeken naar verschillen tussen docenten. Door de geobserveerde aantallen van Brenda te vermenigvuldigen met 2 is rekening gehouden met het feit dat de lessen van Brenda (45 minuten) korter duurden dan de lessen van Adam (90 minuten) en Casper (90 minuten). Als inleidend stuk in de resultaten per docent doet de onderzoeker kort verslag van het verloop van de lessen en de lesaanpak die de docent kiest. Zo komen diverse geobserveerde pedagogisch-didactische keuzes van de docent aan bod die bijdragen aan het interpreteren van gevonden verschillen tussen de docenten. Analyse van deze data gaf antwoord op vraag 2B; Welke verschillen en

overeenkomsten zijn er te constateren tussen de geobserveerde docenten in de methoden van formatief toetsen die ze toepassen en hoe kunnen deze resultaten verklaard worden?

Om de inter-beoordelaarsbetrouwbaarheid vast te stellen heeft een tweede beoordelaar eveneens 20% van de observaties gecodeerd. Cohen’s Kappa was 0,72 voor de sequenties en methoden tezamen, wat duidt op een ‘substantiële’ overeenkomst (Vierra & Garret, 2005). Dit is voldoende voor verdere analyse van de data door de onderzoeker zelf.

(29)

29

4. Resultaten

De drie docenten hebben in de lessen op diverse manieren lesgegeven. Daarom is ervoor gekozen in dit hoofdstuk steeds per docent de inhoud van de lessen, de gebruikte

werkvormen en gebeurtenissen in de lessen kort te beschrijven, alvorens de bevindingen te presenteren. Tabel 3 is een legenda waarin de gebruikte codes zijn omschreven die gebruikt zijn in tabellen 3,4,5,7,8,9,11,12 en 13 en komen voort uit het observatieschema (Appendix I). Tabel 3 Legenda observatieschema Code Uitleg DD Diagnose docent DL Diagnose leerling DM Diagnose medeleerling ID Interpretatie diagnose IL Interpretatie leerling IM Interpretatie medeleerling HD Handeling docent HL Handeling leerling HM Handeling medeleerling

In het tweede gedeelte van het hoofdstuk zullen de resultaten van de drie docenten vergeleken worden door middel van een cross-case analyse.

4.1 Adam

Adam gaf het vak science aan een tweede klas. Science is een combinatie van natuurkunde en scheikunde. De lessen vonden plaats op maandagochtend in vier achtereenvolgende weken. De lessen duurden 90 minuten. De docent koos ervoor in alle lessen de leerlingen in groepjes te laten zitten. De eerste les vond plaats op 3 juni 2013. In deze les ging de klas verder met een boekje met leerstof voor de toetsweek die drie weken later zou gaan plaats vinden. De docent startte met het herhalen van de leerstof, vervolgens mochten de

leerlingen zelfstandig in groepen aan het werk met de opdrachten. Deze les liep de docent veel rond en behandelde hij vragen van leerlingen. De tweede les vond plaats op 10 juni 2013. In deze les behandelde de docent samen met de klas het gemaakte huiswerk

klassikaal, alvorens te starten met een practicumopdracht , in groepjes, over hefbomen. De derde les vond plaats op 17 juni 2013 en was de laatste les voor de toetsweek. In deze les behandelde de docent het eerder gemaakte werk om te oefenen voor de toets. Hij werkte

(30)

30 voornamelijk klassikaal. Met name aan het einde van de les liep hij rond en behandelde hij individuele vragen. In alle lessen is de docent veel tijd kwijt aan het corrigeren van leerlingen hun gedrag.

4.1.1 Sequenties van formatief toetsen

Tabellen 4,5 en 6 geven de verschillende waargenomen sequenties weer. Daarnaast is meegenomen hoe vaak deze sequenties zijn geconstateerd.

Tabel 4

Observaties Adam les 1

Codes Aantal DD ID HD 8 DL ID HD 8 DL ID HL 1 ID 1 DD 8 DD IL HD 2 DD ID HM 1 Tabel 5

Codes Aantal DD ID HD 12 DL ID HD 3 DM IM HM 1 DL IL HL 1 Tabel 6

Codes Aantal

DD ID HD 7

DL ID HD 8

DD 2

De tabellen laten zien dat in de drie lessen van Adam in totaal 63 sequenties van formatief toetsen werden gestart en 52 sequenties alle drie de fases van formatief toetsen doorliepen. Van deze sequenties zijn er 41 sequenties waarbij de docent de diagnose stelden (DD), 21 sequenties waarbij de leerlingen de diagnose stelden (DL) en 1 waarbij een medeleerling dit

(31)

31 deed (DM). Bij 49 sequenties interpreteerde de docent (ID), bij 3 sequenties de leerling (IL) en bij 1 sequentie de medeleerling (IM). Bij 48 sequenties handelden de docent (HD), bij 2 sequenties handelden de leerling zelf (HL) en bij 2 sequenties handelden de medeleerling aan het einde van de sequentie (HM).

In de eerste les leidden 9, in de tweede les 0 en in de derde les 2, geïnitieerde sequenties niet tot een interventie in het leerproces van de leerlingen. Dit werd 10 keer geconstateerd aan de hand van de volgende situatie: docent stelt een vraag aan een leerling, maar dit leidt niet tot een goed antwoord wat vervolgens niet kan leiden tot een juiste interventie. In het interview is niet direct aan de docent gevraagd waarom dit in de eerste les zoveel voorkwam. Een vermoedelijk oorzaak is door de onderzoeker op de video beelden geconstateerd. Tijdens de drie geobserveerde lessen zaten de leerlingen de hele tijd in groepjes. Hierdoor konden ze veel overleggen. De docent gaf in het interview aan dat hij hiervoor koos, omdat hij het belangrijk vindt dat leerlingen van elkaar leren. Het nadeel vond hij, dat doordat de leerlingen in groepjes zitten het ook rumoerig is en leerlingen makkelijk afgeleid zijn. Opvallend in les 2 is dat de diagnoses voornamelijk gesteld werden door de docent zelf in plaats van de leerlingen, terwijl in de andere lessen het diagnosticeren door de docent evenveel voorkwam als het diagnosticeren door de leerlingen zelf. De bevinding in les 2 wordt ook bevestigd in het interview. Hierin gaf de docent aan dat hij toetsen hanteert om na te gaan waar leerlingen staan in het leerproces. Hij loopt veel door de klas en stelt vaak de vraag: “zijn er nog vragen?”. In het interview gaf de docent aan dat hij leerlingen wil uitdagen zelf na te denken over de stof, onderling wil laten discussiëren en zelfs elkaar laat

beoordelen, zodat de leerstof vaak herhaald wordt. In de eerste les realiseert hij deze visie vaker dan in de andere lessen; hier werd meer interactie waargenomen waarbij de leerling een actieve actor was in de sequentie.

(32)

32

4.1.2 Gebruikte methoden

Tabel 7

Overzicht Observaties gebruikte methoden Adam

Methoden van formatief toetsen

les 1 les 2 les 3 totaal

effectief vragen stellen 3 2 6 11

het organiseren van toets dialogen 1 4 5

self-assesments 1 1

peer-assesments 3 3

summatieve toets met een formatief doel

reflectieve lessen 1 1

beoordelingsrubrieken

het formuleren van feedback 10 12 13 35 andere methoden van formatief toetsen

In Tabel 7 zijn de methoden die Adam per les gebruikte beschreven en in welke mate hij deze toepaste in de lessen. Opvallend is dat met name in les 1 veel verschillende methoden zijn gebruikt ten opzichte van les 2 en les 3. In het interview gaf de docent aan dat hij naast de waargenomen methoden ook gebruik maakt van beoordelingsrubrieken om in praktische opdrachten onderzoeksvaardigheden te meten. Vooraf ontvangen de leerlingen de rubriek, zodat ze inzage krijgen in wat van hen verwacht wordt. De methoden self-assessent en peer-assessment kwamen alleen in de eerste les terug (1 en 3 in les 1, tegenover 0 en 0 in les 2 en 0 en 0 in les 3. Dit komt niet overeen met de visie die de docent in het interview

verwoordt, waarin de docent aangeeft dat hij voornamelijk in groepjes werkt, omdat

leerlingen zichzelf en anderen zo meer kunnen beoordelen. Wel is het uiteraard mogelijk dat er toch peer- en self-assessment ontstaat zonder dat de docent daar bewust op aanstuurt. In de observaties is peer- en self-assessment namelijk alleen gescoord wanneer de docent daadwerkelijk peer-assessment in de les initieert. In les twee is veel aandacht besteed aan het organiseren van toetsdialogen (4 keer in les 2, tegenover 1 keer in les 1 en 0 keer in les 3). In de derde les is de methode het stellen van effectieve vragen vaker waargenomen dan in de andere lessen (6 keer in les 3, tegenover 3 keer in les 1 en 2 keer in les 2). In elke les is de hoeveelheid gegeven feedback redelijk constant gebleven (10 keer in les 1, 12 keer in les 2 en 13 keer in les 3). Dit komt overeen met bevindingen uit het interview. In het

interview gaf de docent aan dat hij feedback belangrijk vindt. Naast dat hij aan leerlingen vragen stelt, bespreekt hij ook opdrachten die hij belangrijk acht voor de toets of voor het toekomstig leren na. Op deze manier voorziet hij de leerlingen van feedback over het gemaakte werk.

(33)

33

4.2 Brenda

Brenda gaf het vak Frans aan een eerste klas. De geobserveerde lessen duurden 45 minuten en waren een van de twee lessen Frans die de leerlingen in de week kregen. De eerste les op 3 juni 2013 werd gestart met een schriftelijke overhoring. In het tweede

gedeelte van de les gingen de leerlingen zelfstandig aan het werk in hun werkboek en liep de docent langs om opdrachten te verduidelijken. Het laatste gedeelte van de les werden de, door de leerlingen al eerder gemaakte, opdrachten klassikaal nabesproken. De tweede les op 10 juni 2013 begon met het bespreken van de cijfers van de eerder gemaakte schriftelijke overhoring. De leerlingen kregen de mogelijkheid vragen te stellen. Vervolgens werden klassikaal de nieuwe theorie en opdrachten besproken. De derde les was op 17 juni 2013 en was de een na laatste les voor de toetsweek. In deze les werd gestart met het zelfstandig, door de leerlingen, nakijken van het gemaakte werk. Daarna werd de theorie van het

gemaakte werk besproken. Vervolgens werd op het smartboard klassikaal een spel gespeeld waarbij de leerlingen nogmaals de theorie behandelden. Als laatste gingen de leerlingen individueel een deel van een diagnostische toets maken in hun werkboek.

Tabellen 8,9 en 10 geven de waargenomen sequenties weer. Daarnaast is meegenomen hoe vaak deze sequenties zijn geconstateerd.

Tabel 8

Observaties Brenda les 1

Codes Aantal

DD ID HD 5 DL ID HD 1

DD 1 leerlingen kregen een toets

DD 1

Tabel 9

Codes Aantal

DD ID HD 9 DL ID HD 2 DL ID HM 1

DL IL HL 1

Tijdens het vragen beantwoorden dienden leerlingen zichzelf te corrigeren

DD 1

(34)

34 Tabel 10

Codes Aantal

DL ID HL 1

De tabellen laten zien dat in de drie lessen van Brenda in totaal 44 sequenties van formatief toetsen werden gestart en 40 sequenties alle drie de fases van formatief toetsen doorliepen. Van deze sequenties zijn er 28 sequenties waarbij de docent de diagnose stelden (DD), 16 sequenties waarbij de leerlingen de diagnose stelden (DL) en 0 waarbij een medeleerling dit deed (DM). Bij 49 sequenties interpreteerde de docent (ID), bij 3 sequenties de leerling (IL) en bij 1 sequentie de medeleerling (IM). Bij 37 sequenties handelden de docent (HD), bij 2 sequenties handelden de leerling zelf (HL) en bij 1 sequenties handelden de medeleerling aan het einde van de sequentie (HM).

In de resultaten vallen direct een aantal dingen op. Twee belangrijke sequenties komen bij deze docent duidelijk naar voren: de sequenties waarbij de docent (DD) of de leerling (DL) de diagnose stelt, vervolgens de docent de diagnose interpreteert (ID) en de docent ook zorgt voor een vervolgstap in het leerproces (HD). Met name in les 1 en in les 3 zijn weinig andere sequenties geobserveerd. In het interview gaf de docent ook aan dat ze veel

opdrachten en schriftelijke overhoringen klassikaal nabespreekt, met als doel dat leerlingen inzicht krijgen in wat zij fout doen. Daarnaast werken leerling vaak zelfstandig in hun

werkboek. Het veel klassikaal werken van het gemaakte werk verklaart de eenduidigheid van de waargenomen sequenties.

In deze klassikale momenten krijgen de leerlingen ook tijd om vragen te stellen. In het interview gaf de docent wel aan dat deze vragen vaak niet over de leerstof gaan. Aangezien alleen de reactie van de docent opgenomen is kon dit niet bevestigd worden aan de hand van de observaties. Wel geeft het aan dat de docent leerlingen niet capabel acht tot het stellen van goede vragen over de leerstof. Dit is ook terug te zien in de resultaten. Met name in les 1 en 2 koos de docent voor meer docentgestuurd lesgeven en dit nodigden niet uit tot het diagnosticeren vanuit de leerling zelf. In les 1 werd een toets afgenomen en gewerkt in het werkboek. In les 2 behandelde de docent het gemaakte huiswerk klassikaal. In les 3 kregen de leerlingen duidelijk meer de mogelijkheid tot interactie met de docent. In deze les kregen de leerlingen ook meer vrijheid om zichzelf te diagnosticeren (zelfstandig nakijken en een interactief spel).

(35)

35 In de eerste les leidden 2, in de tweede les 2 en in de derde les 0, geïnitieerde sequenties niet tot een interventie in het leerproces van de leerlingen. Dit werd geconstateerd aan de hand van de volgende situatie: docent stelt een vraag aan een leerling, maar dit leidt niet tot een goed antwoord wat vervolgens niet kan leiden tot een juiste interventie. In het interview is niet direct gevraagd aan de docent gevraagd waarom dit in de eerste en tweede les zoveel voorkwam.

In Tabel 11 zijn de methoden van Brenda per les beschreven en genoteerd in welke mate zij deze toepaste in de les.

Tabel 11

Overzicht Observaties gebruikte methoden Brenda

effectief vragen stellen 8 4 12

het organiseren van toets dialogen 1 1 2

self-assesments 1 2 3

peer-assesments 0

summatieve toets met een formatief doel 1

reflectieve lessen 1 1 1 3

het formuleren van feedback 6 12 20 38

andere methoden van formatief toetsen 1

Opvallend is de diversiteit van waargenomen methoden van formatief toetsen per les. Met name in les 3 zijn veel verschillende methoden waargenomen. Ook het formuleren van feedback als methoden van formatief toetsen is in deze les veel vaker waargenomen dan in de andere 2 lessen. Dit is te verklaren door de eerdere constatering dat er in de laatste les beduidend meer interactie tussen de docent en de leerlingen was dan in de eerdere twee lessen. In deze les lag ook een grotere nadruk op self-assessment dan in de eerder beschreven lessen.

In de derde les is een methode van formatief toetsen waargenomen die niet in de literatuur beschreven stond. De docent speelde klassikaal een diagnostisch spel via de beamer. Dit diagnostische spel had tot doel leerlingen bewust te maken van hun kennisniveau en wat ze dus nog wel of niet meer hoefden te leren. Daarnaast wilde de docent ook de leerlingen enthousiasmeren het spel thuis te gebruiken. Het spel heeft namelijk een adaptief karakter, dit betekent dat de moeilijkheid van de vragen zich aanpast aan het niveau van de leerling.

(36)

36 Wanneer een leerling vragen goed maakt zal het spel moeilijkere vragen stellen. Dit wordt ook wel adaptief toetsen genoemd.

In de tweede les is door de docent veel aandacht besteed aan het vragen stellen om de leerlingen te diagnosticeren. Dit werd met name toegepast in het nabespreken van de leerstof. In het interview gaf de docent aan dat ze dit vaak toepast om leerlingen kritisch na te laten denken over hun eigen vraag, want wellicht kunnen ze deze zelf al beantwoorden. Zij ervaart dat veel vragen niet bijdragen aan het leerproces van de leerling, omdat ze makkelijk zelf door de leerling te beantwoorden zijn, of omdat ze niet gaan over de leerstof, maar over organisatorische of beoordelingsaspecten.

In het interview gaf de docent aan dat zij bewust geen peer-assessment gebruikt in de onderbouw, omdat zij ervaart dat leerlingen daar nog niet klaar voor zijn. In de bovenbouw past ze dit wel toe. Dit komt overeen met de observaties.

4.3 Casper

‘Grote denkers’ is een vak dat raakvlakken heeft met filosofie en geschiedenis. Aan de hand van het gedachtengoed van diverse wetenschappers en filosofen is dit vak door diverse docenten op deze school ontwikkeld. Elke les staat een ander persoon (grote denker) en zijn of haar denkwijze centraal.

De lessen duurden allemaal 90 minuten. In het midden van elke les werd een korte pauze gehouden van 5 minuten. De lessen waren niet achtereenvolgend. Tussen elke

geobserveerde les zat dus nog een andere les die verderop in de week werd gegeven. De eerste les op 3 juni 2013 werd gestart met een toets. In het tweede deel van de les mochten leerlingen zelfstandig in groepen van 3 of 4 leerlingen aan een opdracht over Rousseau werken. Leerlingen dienden binnen hun groepje samen te werken en mochten vragen stellen aan de docent. In de tweede les, op 10 juni 2013, gingen de leerlingen in dezelfde groepen als de vorige les met de opdracht over Rousseau verder. Tijdens de les konden wederom vragen gesteld worden aan de docent. De docent heeft tijdens de les een aantal keer klassikaal toelichting gegeven. De derde les, op 17 juni 2013, was de laatste les voor de toetsweek. In deze les werd gestart met een toelichting op de opdracht over Malala (het thema mensenrechten). De opdracht werd individueel uitgevoerd. Leerlingen hadden de keuze uit meerdere opdrachten over het betreffende onderwerp.

Tabellen 12,13 en 14 geven de waargenomen sequenties weer. Daarnaast is meegenomen hoe vaak deze sequenties zijn geconstateerd.

(37)

37 Tabel 12

Observaties Casper les 1

Codes Aantal DD ID HD 7 DL ID HD 13 DL ID HL 1 DD IL HD 2 DL IL HD 1 Tabel 13

Codes Aantal

DD 1

DL IL HL 2

algemene opdracht aan de klas

DM IM HM 1

algemene opdracht aan de klas

Tabel 14

Codes Aantal

DD ID HD 5

DL ID HD 19

DD ID 1

DD ID HM 1

De tabellen laten zien dat in de drie lessen van Casper in totaal 81 sequenties van formatief toetsen werden gestart en 79 sequenties alle drie de fases van formatief toetsen doorliepen. Van deze sequenties zijn er 25 sequenties waarbij de docent de diagnose stelden (DD), 55 sequenties waarbij de leerlingen de diagnose stelden (DL) en 1 waarbij een medeleerling dit deed (DM). Bij 74 sequenties interpreteerde de docent (ID), bij 4 sequenties de leerling (IL) en bij 1 sequentie de medeleerling (IM). Bij 74 sequenties handelden de docent (HD), bij 3 sequenties handelden de leerling zelf (HL) en bij 2 sequenties handelden de medeleerling aan het einde van de sequentie (HM).

In de resultaten vallen direct een aantal dingen op. Allereerst lijken alle lessen sequenties erg op elkaar. In elke les is de meest geobserveerde sequentie diegene waarbij de leerling

(38)

38 de diagnose stelt (DL), de docent vervolgens interpreteert (ID) en ook handelt (HD). Dit werd in de observaties als volgt geconstateerd: De leerlingen diagnosticeerden hun eigen niveau en vervolgens overlegden ze de diagnose met de docent, vaak gebeurden dit middels een vraag. In het interview gaf de docent aan dat hij het heel belangrijk vindt dat leerlingen zelf komen tot het antwoord. Hij schetste de kaders/contouren in de opdracht, maar gaf niet duidelijk aan wat de volgende stap was. De leerlingen dienden zelf te bepalen welk pad zij bewandelden richting het doel. Deze visie nodigt klaarblijkelijk uit tot het stellen van vragen door leerlingen tijdens de les.

Ten tweede zijn er acht verschillende sequenties in de drie lessen waargenomen. De inrichting van het vak Grote Denkers lijkt dit mogelijk te maken. Opdrachten zijn interactief, creatief en divers. Als voorbeeld moesten de leerlingen de wijk in om mensen te interviewen over hun standpunten over diverse filosofische onderwerpen of moesten de leerlingen een strip maken over het leven van een filosoof. De opdrachten werden beoordeeld aan de hand van een beoordelingsmodel. Daarnaast kregen de leerlingen toetsen over de behandelde stof in een periode. Ook bood de docent vaak keuze uit diverse opdrachten, zodat er

rekening kon worden gehouden met de diverse leerstijlen en belangstellingen van leerlingen. De meeste opdrachten voor het vak waren groepsopdrachten. In het interview gaf de docent aan dat hij hiervoor gekozen heeft om het leerrendement te vergroten. Hij gaat ervanuit dat door middel van samenwerken de sterke leerlingen de zwakkere meenemen en door middel van meer interactie en een grote diversiteit aan opdrachten de stof vaker herhaald wordt, waardoor de theorie beter beklijft.

Tabel 15 beschrijft de waargenomen methoden van Casper per les en in welke mate hij deze toepaste.

Tabel 15

Overzicht Observaties gebruikte methoden Casper

effectief vragen stellen 2 2 4

het organiseren van toets dialogen 1 3 2 6

self-assesments 1 2 1 4

peer-assesments 1 1 1 3

summatieve toets met een formatief doel 1 1 1

reflectieve lessen 0

het formuleren van feedback 25 27 23 75