Uitgewerkt voorbeeld: Analyse formatief assessment en feedback in EMMA

(1)

Uitgewerkt voorbeeld: Analyse

formatief assessment en feedback in EMMA

Student gegevens

1. Naam student: xxxxx 2. Email adres student: xxxxx

Complexiteit leeractiviteiten

In het eerste deel van deze analyse benoemt en beschrijft u de leeractiviteiten gebruikt in les 3 op elk van de vier niveaus van Miller.

(1) Weten: De kennis waarover de student moet beschikken.

 Voorbeelden gedragsomschrijving: noemen, herkennen, opsommen, herhalen, aflezen, een definitie geven van, de werkwijze noemen van, bestempelen, onderstrepen

(2) Weten hoe: De student weet hoe hij/zij de kennis moet gebruiken.

 Voorbeelden gedragsomschrijving: verklaren, uitleggen, interpreteren, plannen, in volgorde zetten, selecteren, samenvatten, voorbeeld geven van, tegenstrijdigheden aanwijzen, vergelijking maken tussen, combineren, verschil aangeven tussen

(3) Tonen: De student laat zien hoe hij/zij in een gesimuleerde omgeving kan handelen met gebruikmaking van zijn/haar kennis.

 Voorbeelden gedragsomschrijving: demonstreren, toepassen, gebruiken, verrichten, construeren, ontwerpen, organiseren, een planning maken, uitvinden, vergadering voorzitten, beargumenteren, discussiëren, beoordelen, verdedigen, analyseren

(4) Doen: De student laat zien hoe hij/zij in de praktijk van alle dag kan handelen met gebruikmaking van zijn/haar kennis.

 Gedragsomschrijving hetzelfde als in complexiteitslevel ‘doen’

(2)

3. Wat voor leeractiviteiten moet de student in les 3 op het niveau ‘doen’ uitvoeren?

(meerdere opties zijn mogelijk)

geen leesopdracht video

audio opname

essay en/of ontwerpopdracht en/of blog quiz met open vragen

quiz met gesloten vragen simulatie en/of game groepsopdracht

brainstormopdracht en/of discussie overige, namelijk:

4. Omschrijf de leeractiviteit(en) in het kort:

Behandel in uw antwoord minimaal de volgende punten (1) Wat moet de student in deze leeractiviteit precies doen?

5. Wat voor leeractiviteiten moet de student in les 3 op het niveau ‘tonen’ uitvoeren?

geen

(3)

video

audio opname

De student gaat een toets analyseren die hij/zij als docent gebruikt of als student een keer heeft gemaakt. Voor de analyse wordt een analytisch raamwerk van Cauley en McMillan (2010) toegepast. De analyse houdt in dat de student het raamwerk in een gesimuleerde omgeving toepast.

Analyseren: toepassen

Opmerking [KJ1]:

Onderbouwing Miller niveau:

Deze opdracht valt onder het niveau ‘tonen’

omdat er sprake is van een gesimuleerde omgeving. De student gebruikt een echte toets en gaat eerder opgedane kennis toepassen in een gesimuleerde omgeving.

De opdracht zou onder het niveau ‘doen’

vallen als de student in zijn eigen praktijk als docent de toets zou analyseren en vervolgens de analyse zou onderbouwen met argumenten en ook toe zou passen.

IN: Assignment: Mijn eigen toetsen onder de loep: het analytisch raamwerk toepassen

“Analyseer deze door u beschreven toets met behulp van het analytisch raamwerk van Cauley en McMillan(2010). Maak gebruik van het sjabloon dat u op de voorbeelden heeft toegepast. Het invulsjabloon vindt u bij het Leermateriaal.”

Opmerking [KJ2]: LET OP!

In veel gevallen bestaat een opdracht uit meerdere stappen zoals ook in dit geval: het lezen van studiemateriaal, het analyseren, herkennen, beschrijven..

Bij het bepalen van het Miller niveau is het daarom van belang om niet elk deel van een opdracht apart te gaan zien en te analyseren maar zich meer op het geheel te richten.

In dit geval was de hoofdtaak het analyseren in een gesimuleerde context en het toepassen van het raamwerk.

(4)

7. Wat voor leeractiviteiten moet de student in les 3 op het niveau ‘weten hoe’ uitvoeren?

audio opname

Video bekijken: De student moet een video bekijken en vervolgens over een aantal vragen nadenken/reflecteren. De student moet zijn/haar mening/ervaring uitleggen.

Blogpost schrijven: De student moet een blogpost schrijven en daarin op een aantal vragen reflecteren. De vragen nodigen de student uit om kritisch na te denken over het eerder toegepaste raamwerk van Cauley en McMillan.

Analyseren: De student gaat voorbeeldtoetsen op basis van het raamwerk analyseren. De analyse houdt in dat de student een volgorde bepaald op basis van de meerwaarde van de toets.

Reflecteren aan de hand van een aantal vragen Analyseren: in volgorde zetten en interpreteren

Video en blogpost=

Bij de onderstaande opdrachten moet de student ingaan op bepaalde vraagstukken en een eigen mening geven. De student wordt gevraagd om zijn/haar mening uit te leggen en bepaalde informatie te interpreteren.

Analyse= De analyse van de

voorbeeldtoetsen vindt niet plaats in een gesimuleerde omgeving. De toetsen komen namelijk niet uit de praktijk van de docent.

Ook bij deze opdracht moet de student meerdere taken uitvoeren. De hoofdzakelijke opdracht die hier uitslag gevend is voor dit niveau is het analyseren op basis van in volgorde zetten en interpreteren.

Deze opdracht zou op een hoger niveau komen te zitten als de student argumenten zou leveren voor de rangschikking en de toetsen in een gesimuleerde omgeving gebruikt zouden worden.

In: Dominique Sluijsmans over toetsen met leerwaarde: dilemma’s en

implementatieaanpak

Opdracht

1. Volg de presentatie en beantwoord de bovenstaande vragen voor uzelf op basis van de presentatie.

2. Denk na over de volgende vragen:

- Welke dilemma's genoemd door dr.

Sluijsmans herkent u in eigen praktijk? Hoe wordt ermee omgegaan?

- Stel, u (uw onderwijsinstelling) gaat actiever aan de slag met formatief toetsen.

Welke implementatie vraagstukken vindt u persoonlijk lastig om aan te pakken?

In: Reflectie: Is het raamwerk bruikbaar in de praktijk?

We nodigen u uit om in uw blog op EMMA op de toepassing van dit instrument in de vorige opdracht te reflecteren.

Neem in deze reflectie de volgende vragen mee: Wat kunt u met het analytisch raamwerk van Cauley & McMillan (2010) in je onderwijs? Is het zinvol om de toetsen te evalueren op de meerwaarde voor het leren? Waarom wel of niet?

In: Assignment: Mijn eigen toetsen onder de loep: het analytisch raamwerk toepassen

“Lees enkele voorbeelden van bestaande toetsen uit de praktijk van Nederlandse primair en voortgezet onderwijs. Rangschik de voorbeelden van laag (weinig meerwaarde voor leren) naar hoog (veel meerwaarde voor leren). Gebruik het raamwerk van Cauley en McMillan (2010) ervoor…

(5)

9. Wat voor leeractiviteiten moet de student in les 3 op het niveau ‘weten’ uitvoeren?

audio opname

Teksten lezen: De student moet een tekst over het analytische raamwerk lezen om hiermee bekend te raken. Ook moet de student de aangereikte voorbeeld toetsen lezen.

Video bekijken & vragen beantwoorden: De student moet een instructie video over high- stakes en low-stakes toetsen bekijken. Vervolgens moet de student nagaan of hij/zij de begrippen herkennt.

Schrijven: De student moet bepaalde aspecten uit het raamwerk in de voorbeeldtoetsen herkennen.

Vragen beantwoorden die bij de video horen

Bij het maken van de onderstaande opdrachten is de student vooral bezig met het verkrijgen van kennis. De student moet informatie beschrijven en herkennen.

In: Meerwaarde van een toets voor leren vaststellen: een analytisch raamwerk

Opdracht

Maak kennis met het analytisch raamwerk gebaseerd op Cauley en McMillan (2009). Dit materiaal is opgenomen als Leermateriaal bij deze opdracht. Lees indien u toegang hebt tot een digitale bibliotheek, het volledige artikel. U vindt de referentie onderaan.

Lees enkele voorbeelden van bestaande toetsen uit de praktijk van Nederlandse primair en voortgezet onderwijs.

In: Formatief toetsen: high stakes of low stakes

Opdracht

Bekijk het filmpje van Caspar Groeneveld op en controleer of u deze concepten begrijpt. Beluister anders de uitleg die prof.

dr. Marco Kalz geeft over dit vraagstuk naar aanleiding van vragen in de MOOC over Blended Learning (begin van het interview).

Herkent u deze concepten in uw eigen praktijk? Past u high-stakes formatief toetsen toe? Deel dan uw ervaringen met anderen in de Conversaties op deze pagina.

(6)

Formatief assessment en feedback

11. Bevat de les één of meerdere activiteiten met formatief assessment en feedback?

ja, één ja, meerdere

nee, er wordt alleen summatief assessment en feedback gegeven nee, er wordt geen assessment en feedback gegeven

12. Op welk complexiteitsniveau worden leeractiviteiten met formatief assessment en feedback aangeboden?

(er zijn meerdere opties mogelijk) doen

tonen weten hoe weten

niet van toepassing

U heeft hiervoor de leeractiviteiten op elk van de vier niveaus van Miller aangegeven. In dit tweede onderdeel bekijken we of en hoe assessment en feedback hierop aansluiten.

Tevens analyseren we de manier waarop formatief feedback wordt aangeboden.

Tijdens het volgen van deze MOOC heeft u al kennis kunnen maken met de drie feedback vormen die Hattie en Timperley (2007) onderscheiden:

- feed-up: geeft aan waar de student naar toe gaat (beoordelingscriteria en standaarden worden gegeven)

- feedback: geeft aan hoe de student de activiteit heeft uitgevoerd (vooruitgang wordt besproken)

- feed-forward: geeft aan welke aanpak nodig is om te groeien en de criteria te halen

In deze opdracht gaat u analyseren of en op welke manier formatief assessment en feedback worden toegepast in les 3 van deze EMMA MOOC.

(7)

waarop de student formatief assessment en feedback krijgt.

Behandel in uw antwoord minimaal de volgende punten: (1) Wat is het doel van de leeractiviteit, (2) Wat moeten de studenten doen om de leeractiviteit uit te kunnen voeren.

14. Hoe wordt deze leeractiviteit aangeboden?

(er zijn meerdere opties mogelijk) Via een…

leesopdracht video

audio opname

Het doel van de leeractiviteit is dat de student het raamwerk van Cauley en McMillan begrijpt en vervolgens toepast op een aantal voorbeeld toetsen. De studenten kunnen met het raamwerk oefenen voordat ze hun kennis toe gaan passen (op hun eigen toets).

Tijdens de opdracht moet de student de aangeleverde toetsen aan de hand van een aantal aspecten beschrijven en vervolgens rangschikken van lage naar hoge meerwaarde.

Door de eigen uitwerking met een voorbeelduitwerking te kunnen vergelijken krijgt de student feedback op zijn/haar opdracht.

Analyseopdracht: in volgorde zetten en interpreteren

Let op!

Hoewel deze opdracht niet het hoogste complexiteitsniveau heeft is dit wel de opdracht met het hoogste

complexiteitsniveau waarop de student formatief feedback krijgt!!

De opdracht met hoogste

complexiteitsniveau ligt op het niveau

‘tonen’ hierop krijgt de student echter geen feedback.

IN: Assignment: Meerwaarde van een toets voor leren vaststellen: een analytisch raamwerk

“Lees enkele voorbeelden van bestaande toetsen uit de praktijk van Nederlandse primair en voortgezet onderwijs. Rangschik de voorbeelden van laag (weinig meerwaarde voor leren) naar hoog (veel meerwaarde voor leren). Gebruik het raamwerk van Cauley en McMillan (2010) ervoor. U kunt daarvoor het invulsjabloon gebruiken dat als Leermateriaal is opgenomen. Vergelijk uw eigen uitwerking met de terugkoppeling van de auteur van dit voorbeeld.”

(8)

15. Deze leeractiviteit voldoet aan de volgende aspecten:

(er zijn meerdere opties mogelijk)

De rol van elke student is duidelijk omschreven

De verwachte uitkomst/bijdrage is duidelijk omschreven De student wordt automatisch aan een groep toegewezen De beoordeling van de bijdrage wordt ondersteund met rubrics

De beoordeling van de bijdrage wordt ondersteund met een uitgewerkt voorbeeldantwoord

16. Welke formatief feedback vorm(en) krijgt de student op deze leeractiviteit?

feed-up feedback feed-forward

de student krijgt geen formatief feedback

17. De formatieve feedback geeft aan…

of het antwoord van de student correct of incorrect is wat het correcte antwoord zou zijn

waarom het antwoord correct of incorrect is

wanneer het antwoord incorrect is en geeft de student een tweede kans

18. Wanneer krijgt de student formatief feedback op deze leeractiviteit?

Meerdere opties zijn mogelijk

tijdens het maken van de leeractiviteit na het maken van de leeractiviteit onbekend

(9)

19. Hoe krijgt de student formatief feedback op een leeractiviteit?

(er zijn meerdere opties mogelijk)

indirect direct onbekend

20. Door wie wordt formatief feedback gegeven?

student geeft zichzelf feedback medestudent(en)

docent

geautomatiseerd

21. Op welke manier geeft en/of ontvangt de student formatief feedback?

schriftelijk video

Indirect en direct feedback

Feedback kan zowel indirect alsook direct worden gegeven. Direct feedback houdt in dat de student bewust feedback krijgt door bijvoorbeeld medestudenten of de docent. Direct feedback wordt vaak expliciet gegeven aan de hand van schriftelijk of mondeling commentaar.

Indirect feedback daarentegen wordt niet altijd als dusdanig waargenomen. Een goed voorbeeld hiervan is een simulatie. Binnen een simulatie krijgt de student vaak indirect feedback op zijn/haar gedrag. Door bepaalde variabelen in te voeren of te veranderen reageert de simulatie met indirect feedback.

Indirect en direct feedback kunnen vaak ook allebei worden gegeven. Dit zou bijvoorbeeld het geval zijn als studenten naast het maken van een simulatie (indirect feedback) na afloop ook feedback krijgen van een docent of student (direct feedback).

In dit geval worden de uitwerkingen van studenten uit een mastervak gebruikt als feedback. Er is dus eigenlijk niet echt sprake van feedback door medestudenten.

Toch komt het voorbeeld oorspronkelijk van een student.

De docent bepaalt uiteindelijk welke uitwerking van welke student hij/zij online zet en gebruikt als voorbeeld.

(10)

audio

anders, namelijk:

hih

22. Tot slot, leg uit op welke wijze deze feedback tot stand komt en gegeven wordt.

Behandel in uw antwoord minimaal de volgende punten: (1) Is het gepersonaliseerd feedback of niet? (2) Hoe ontvangt de student de feedback? (3) wat is de bijdrage van de verschillende partijen(student, medestudenten, docent en/of de leeromgeving) (4) Indien de student op verschillende manieren feedback krijgt: wat is de volgorde?

(1) De feedback is niet gepersonaliseerd. Elke student krijgt dezelfde feedback ongeacht wat hij/zij in zijn eigen uitwerking heeft opgeschreven

(2) De feedback staat als een voorbeeldantwoord online in de leeromgeving en kan als pdf worden gedownload. De student kan het voorbeeldantwoord op elk moment bekijken.

Dus niet pas na afloop van het maken. Het voorbeeldantwoord is door studenten van de OU master Onderwijswetenschappen gemaakt en beoordeeld door de docent alvorens te worden gebruikt in deze cursus.