Toetsmatrijs: evenwichtige examens opstellen Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 1 Een toetsmatrijs (syn. specificatietabel, kruistabel) is een overzichtstabel waarin aangegeven wordt in welke verhouding en op welk niveau de leerinhouden bevraagd worden bij de evaluatie. Dit instrument fungeert als hulpmiddel bij de constructie van een kwaliteitsvolle en evenwichtige evaluatie1.
Valide evalueren met een toetsmatrijs
De kwaliteit van een evaluatie wordt onder meer bepaald door de validiteit ervan. Concreet betekent dit dat de kwaliteit van een evaluatie afhankelijk is van de mate waarin de evaluatie bevraagt wat de docent wenste te bevragen (‘meet ik wat ik wil meten?’).
Wat hij/zij wenste te bevragen heeft de docent voor de aanvang van het academiejaar reeds vastgelegd in de leerresultaten van het opleidingsonderdeel. Goed geformuleerde leerresultaten geven aan welke leerinhouden de student dient te verwerven en op welk beheersingsniveau men de verwerving verwacht:
pure reproductie, toepassing,… (zie informatiedocument Leerresultaten voor opleidingsonderdelen formuleren). In de loop van het semester wordt hier door een weloverwogen keuze van werkvormen aan gewerkt.
Op het einde van de rit wordt de evaluatie door de docent zodanig opgesteld dat zij de verwerving van de beoogde leerresultaten evalueert. Daarbij is het belangrijk dat er op verschillende vlakken evenwichtig geëvalueerd wordt:
over verschillende examenperiodes heen (bv. eerste en tweede zit)
tijdens dezelfde examenperiode over verschillende examenvarianten heen (bv. bij een A- en B-versie van een meerkeuze-examen)
Een toetsmatrijs biedt ondersteuning om te komen tot een dergelijke evenwichtige en kwaliteitsvolle evaluatie die de beoogde leerresultaten bevraagt.
1 Zie Visie en beleid rond evalueren aan de Vrije Universiteit Brussel (http://www.vub.ac.be/DOZ/vsieteksten).
T OETSMATRIJS : EVENWICHTIGE EXAMENS OPSTELLEN
Toetsmatrijs: evenwichtige examens opstellen Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 2
Een voorbeeld van een eenvoudige toetsmatrijs
Een toetsmatrijs bevat steeds een overzicht van leerinhouden, beheersingsniveaus en het relatieve belang van beide.
In onderstaande toetsmatrijs koppelt de docent de leerinhouden (= in dit geval de hoofdstukken van de cursus) aan beheersingsniveaus die beoogd worden met het opleidingsonderdeel (= kennis, inzicht en toepassing). Per hoofdstuk en beheersingsniveau bepaalt de docent het relatieve belang door dit uit te drukken in het aantal vragen dat gesteld zal worden. In dit concrete geval gaat het om een toetsmatrijs van een opleidingsonderdeel dat via meerkeuzevragen wordt geëvalueerd (cf. het grote aantal vragen in de uiterst rechtse kolom). Het gebruik van een toetsmatrijs is hier erg handig om verschillende examenvarianten op te stellen die evenwichtig en vergelijkbaar zijn.
Stappenplan voor het opstellen van een toetsmatrijs
Onderstaand stappenplan geeft in enkele stappen weer hoe een toetsmatrijs opgesteld kan worden. Dit wordt geïllustreerd aan de hand van een concreet voorbeeld dat in iedere stap verder wordt uitgewerkt.
STAP 1: Bepaal de leerinhouden
Bepaal welke leerinhouden onderdeel zullen uitmaken van de evaluatie. In principe zijn deze leerinhouden terug te vinden in de leerresultaten van het opleidingsonderdeel. De leerinhouden kunnen op verschillende manieren omschreven worden. Ze kunnen bestaan uit een oplijsting van hoofdstuktitels of delen ervan (zie bovenstaand en onderstaand voorbeeld); of uit een opsomming van meer specifieke kennis, vaardigheden en attitudes. Alle onderdelen die tot de evaluatie behoren, worden opgenomen. Indien studenten bijvoorbeeld een welbepaald hoofdstuk in zelfstudie moeten verwerken en dit bevraagd zal worden, wordt dit dus ook vermeld in de toetsmatrijs.
Voorbeeld:
In onderstaande voorbeeld heeft de docent er voor gekozen de leerinhouden op te nemen in de vorm van hoofdstuktitels. Omwille van het gebruiksgemak zijn deze opgedeeld in de twee grote delen van het opleidingsonderdeel.
Toetsmatrijs: evenwichtige examens opstellen Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 3 STAP 2: Bepaal het relatieve belang van de leerinhouden
Voor iedere leerinhoud of voor grotere clusters van leerinhouden wordt het relatieve belang binnen het geheel van het opleidingsonderdeel aangegeven. Het relatieve belang wordt bepaald door 2 factoren: (1) de hoeveelheid tijd die er aan gespendeerd werd tijdens de lessen; en (2) het belang dat de docent er aan hecht. Dit laatste is normaalgesproken ook af te leiden uit de leerresultaten. In deze stap is het nog niet nodig alles tot in detail uit te schrijven, maar wordt louter aangegeven hoe de grote gehelen binnen het opleidingsonderdeel zich tot elkaar verhouden.
Voorbeeld:
De indeling van de leerinhouden in twee grote delen maakte het voor deze toetsmatrijs makkelijker om het relatieve belang van de grote gehelen te bepalen.
STAP 3: Bepaal op welk niveau de leerinhouden beheerst moeten worden (= beheersingsniveaus)
De zogenaamde beheersingsniveaus zijn normaalgesproken terug te vinden in de leerresultaten. Ze geven aan op welk niveau de student de leerinhouden moet beheersen. Van iedere leerinhoud bepaalt de docent met andere woorden of hij/zij werkt aan de ontwikkeling van kennis, inzicht, toepassing, vaardigheden,
Toetsmatrijs: evenwichtige examens opstellen Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 4 attitudes of een combinatie hiervan (=competenties)2. Enkel de beheersingsniveaus die relevant zijn voor het opleidingsonderdeel in kwestie worden opgenomen in de toetsmatrijs3.
Voorbeeld:
Merk op:
Goed uitgeschreven leerresultaten van een opleidingsonderdeel geven in principe aan op welk niveau de student de leerinhoud moet beheersen. Bijvoorbeeld:
De student kan zelfstandig de behandelde data-analytische methoden uitvoeren op realistische data van psychologisch onderzoek met gebruik van statistische software.
In dit voorbeeld verwacht de docent dat een student in staat is tot het zelfstandig uitvoeren van een analyse. Dit geeft het niveau aan waarop de leerinhoud (= in dit geval de data-analytische methoden) beheerst moet worden.
2 Het beheersingsniveau kennis verwijst hier naar pure reproductie. Wie inzicht toont, is bovendien in staat om de kennis samen te vatten, in eigen woorden weer te geven, te verduidelijken, … Een student die de verworven kennis kan inzetten om een probleem op te lossen (of te analyseren of synthetiseren), bereikt het niveau van toepassing. Vaardigheden en attitudes zijn eerder praktisch dan theoretisch gericht. Het beheersen van een competentie komt steeds neer op het beheersen van meerdere niveaus.
3 Er werd voor gekozen om de beheersingsniveaus op te delen in zes niveaus. Er bestaan echter meerdere classificatiesystemen van beheersingsniveaus. Onder meer de taxonomiën van Bloom en Romiszowski kunnen hierbij inspireren. Ook Vermetten, Daniëls en Ruijs stelden een alternatieve indeling voor. Extra informatie is terug te vinden op http://www.vub.ac.be/kwaliteitszorg/didactische_tips_en_advies.
Geformuleerd vanuit de student
Inhoud
Graad van autonomie Actief werkwoord
Context Concretisering van
de inhoud
Toetsmatrijs: evenwichtige examens opstellen Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 5 Door een welgekozen gebruik van actieve werkwoorden worden de niveaus geëxpliciteerd. Bv. de student kan analyseren, rapporteren, verbinden,… Bijgevolg is het ook mogelijk om de leerresultaten van het opleidingsonderdeel in kwestie in de toetsmatrijs op te nemen als beheersingsniveaus.
STAP 4: Bepaal het relatieve belang van de beheersingsniveaus
Net zoals de leerinhouden komen de beheersingsniveaus in een welbepaalde verhouding aan bod tijdens de lessen of in de cursus. Het is mogelijk dat de beoogde beheersingsniveaus procentueel gezien even belangrijk zijn, maar dit kan even goed sterk verschillen. Indien een opleidingsonderdeel volgens de leerresultaten bijvoorbeeld sterk gericht is op pure kennis en inzicht en de leerinhouden tijdens de lessen eveneens op die manier aan bod komen, is het logisch dat deze beheersingsniveaus ook het grootste aandeel vormen tijdens de evaluatie.
Voorbeeld:
In dit voorbeeld wordt duidelijk dat het kunnen toepassen van de leerinhouden, met andere woorden in staat zijn tot analyseren, synthetiseren, probleemoplossend handelen en creatief omgaan aan de hand van de leerinhouden beduidend zwaarder zullen doorwegen dan het tonen van kennis en inzicht. Een student die wel kennis en inzicht toont, maar niet tot toepassing komt, zal waarschijnlijk niet kunnen slagen.
STAP 5: Vul de tabel verder aan
In een volgende stap wordt de toetsmatrijs vervolledigd door het relatieve belang van de leerinhouden en beheersingsniveaus verder uit te splitsen.
Voorbeeld:
Toetsmatrijs: evenwichtige examens opstellen Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 6 In bovenstaand voorbeeld wordt louter aangegeven wat het relatieve belang van alle leerinhouden en beheersingsniveaus is. Dit is de basisversie van een toetsmatrijs. De lege cellen maken duidelijk dat sommige leerinhouden en/of beheersingsniveaus niet bevraagd worden.
STAP 6: Interpretatie van de matrijs
De interpretatie van de basisversie van een toetsmatrijs kan op meerdere manieren gebeuren. Er kan voor gekozen worden om de toetsmatrijs aan te vullen met een indicatie voor een puntenverdeling of het aantal vragen (voorbeeld 1). Ten slotte is het ook mogelijk om de gegevens uit de toetsmatrijs met elkaar te combineren, bijvoorbeeld om tot een evaluatie met een beperkt aantal vragen te komen (voorbeeld 2).
Voorbeeld 1: Puntenverdeling of aantal vragen
In bovenstaand voorbeeld wordt het relatieve belang van de leerinhouden en beheersingsniveaus verder geïnterpreteerd. De getallen kunnen gelezen worden als (1) het aantal punten dat per onderdeel te verdienen valt; of (2) het aantal vragen dat per onderdeel gesteld zal worden. De vertaling van het relatieve belang in het aantal vragen gebeurt normaalgesproken enkel indien het gaat om een evaluatievorm waarbij een groot aantal vragen gesteld kan worden, zoals een meerkeuze-examen (zie het voorbeeld op p. 2).
Toetsmatrijs: evenwichtige examens opstellen Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 7 Voorbeeld 2: Alternatief gebruik
Bovenstaand voorbeeld is een matrijs die ondersteuning biedt bij het opstellen van gelijkwaardige examens voor verschillende studenten waarbij slechts enkele vragen gesteld kunnen worden (bv. een mondeling examen). Alle studenten zullen een vraag krijgen over leerinhoud 1.1 waarbij kennis en toepassing wordt gecombineerd (vraag 1), en een toepassingsvraag over leerinhoud 2.4 (vraag 3). Bovendien krijgen studenten steeds een kennisvraag over leerinhoud 1.2, 1.3, of 1.4 (bijvraag). Ten slotte wordt een vraag gesteld waarbij inzicht en toepassing worden gecombineerd. Deze vraag kan handelen over leerinhoud 2.1 of 2.2 (vraag 2).
Meer weten?
Neem contact op met de kwaliteitszorgmedewerker van uw opleiding.
Meer informatie en voorbeelden zijn terug te vinden op http://toetsing.sites.uu.nl/modules/toetsmatrijs/
Dit informatiedocument is gebaseerd op volgende bronnen:
Castelijns, J., Segers M., & Struyven, K. (red.) (2001). Evalueren om te leren: toetsen en beoordelen op school. Bussem: Coutinho.
Toetsontwikkeling in de praktijk. Hoe maak ik goede vragen en toetsen? Wilp: Teelen.
Van Berkel, H., Bax, A. & Joosten-ten Brinke, D. (red.) (2014). Toetsen in het hoger onderwijs.
Houten: BSL.
Van Berkel, H. (1999). Zicht op toetsen. Toetsconstructie in het hoger onderwijs. Assen: Van Gorcum.
http://blog.sbo.nl/onderwijs/toetsmatrijzen-voorkomen-beter-dan-genezen/
Met dank aan Joeri Hofmans, Hadewijch Vandenheede en Kim Willems.
09-02-2017
