Rubrics: objectief evalueren van competenties Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 1 In dit document wordt ingegaan op wat rubrics zijn, wanneer ze kunnen worden gebruikt, en hoe ze zo betrouwbaar en valide mogelijk kunnen worden ingezet. Om zelf aan de slag te gaan kan het stappenplan gebruikt worden.
Wat?
Een rubric blijft als beoordelingsmodel niet beperkt tot het oplijsten en wegen van criteria. Hij bestaat vaak uit 2 assen van criteria en scoringsniveaus, gekoppeld aan beschreven indicatoren. Rubrics worden gebruikt voor de beoordeling van authentieke of complexe competenties (Jonsson & Svingby, 2007). Zulke competenties worden bijvoorbeeld geëvalueerd in werkstukken of papers. De indicatoren expliciteren de criteria, die bij dit soort competenties voor interpretatie vatbaar kunnen zijn.
Bovenstaand voorbeeld van een analytische rubric bestaat uit een lijst met criteria in de linkerkolom.
Bovenaan staan de scoringsniveaus aangeduid, in dit geval in cijfers uitgedrukt. De indicatoren beschrijven vervolgens per criterium en niveau wat verwacht wordt van de student om een bepaalde score te krijgen. Criteria kunnen eveneens in de bovenste rij, en niveaus in de linkerkolom staan.
Een typisch voorbeeld van een rubric zijn modellen van het Common European Framework of Reference for Languages, waar taalbeheersingsniveaus (van A1 tot C2) gekoppeld worden aan criteria met betrekking tot vaardigheden (spreken, lezen, luisteren,…) en indicatoren (de beschrijving van wat studenten moeten kunnen om een bepaald niveau te halen voor een bepaald criterium).
Waarom en wanneer rubrics gebruiken?
Een rubric is een bruikbaar instrument om te bepalen hoe ver studenten zijn gevorderd in het beheersen van de leerresultaten van een opleidingsonderdeel. Het geeft de beoordelaar en de student inzicht in de afstand
R UBRICS : OBJECTIEF EVALUEREN VAN COMPETENTIES
Rubrics: objectief evalueren van competenties Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 2 die nog bestaat tussen het gewenste en huidige beheersingsniveau en geeft de student de gelegenheid om gerichte feedback te krijgen, en/of om zelf doelgericht te reflecteren. Door de structuur maken rubrics transparant wat wordt geëvalueerd en welke criteria daarbij horen (Van den Bos, Burghout & Joosten-ten Brinke, 2014).
Summatief
Rubrics kunnen door beoordelaars summatief gebruikt worden als hulpmiddel bij het verbeteren met meerdere beoordelaars, of bij het verbeteren van een brede opdracht die complexe vaardigheden en attitudes test, zoals bijvoorbeeld een masterproef. Sommige docenten geven ook aan dat rubrics een houvast zijn bij het beoordelen van mondelinge presentaties (Malini Reddy & Andrade, 2009). Een goede rubric maken is tijdrovend, maar eens een rubric opgesteld is voor een bepaalde taak, wordt het corrigeren wel versneld.
Rubrics kunnen taakspecifiek worden opgesteld (voor het schrijven van een paper voor een bepaald OO), maar kunnen ook generiek zijn. Zo kan een hele opleiding dezelfde rubric gebruiken voor een bepaald type opdracht. Een mengvorm van beide is natuurlijk mogelijk. Zo kan een opleiding een rubric opstellen met een vast onderdeel (wat vorm betreft) en het inhoudelijk deel overlaten aan de individuele docent. De rubric kan best wel domeinspecifiek worden gehouden (zie betrouwbaarheid en validiteit).
Formatief
Rubrics hebben daarnaast een groot voordeel bij feedback. Docenten kunnen rubrics gebruiken om op transparante wijze te communiceren over prestaties. Studenten vinden dat ze aan de hand van een rubric ook hun eigen prestaties beter inschatten, en beter beseffen wat nog van hen verwacht wordt (Jonsson &
Svingby, 2007). Studenten zien rubrics als belangrijke meerwaarde, tenminste als deze tijdig beschikbaar zijn (dus voor het inleveren van taak/werkstuk, bij voorkeur op het moment dat de instructie bij een taak/opdracht wordt gegeven). Ze vinden dat ze beter weten wat en hoe ze moeten studeren/werken, en voelen zich bijgevolg minder gestresseerd. Ze beoordelen hun docenten ook als eerlijker en zijn tevredener met hun cijfers (Malini Reddy & Andrade, 2009). Studenten kunnen actief betrokken worden bij het ontwikkelen van de rubric. Zo kunnen ze bijvoorbeeld mee nadenken over de te behalen leerresultaten en hoe die vertaald worden in criteria. Ook de cesuur kan met hen bediscussieerd worden: wat moeten ze zeker kunnen om de helft te halen? Wat is een uitmuntende score waard?
Weinig studies vermelden of rubrics self- en peer-assessment positief beïnvloeden. De studies die melding maken van formatief rubricgebruik, tonen wel aan dat ze studenten helpen om op valide en betrouwbare manier aan peer- en self-assessment te doen. Anderen, en zeker jezelf, beoordelen is echter moeilijk en vraagt oefening. Bij het gebruik van rubrics in deze context leren studenten best gericht met de instrumenten omgaan alvorens deze summatief wordt ingezet (Malini Reddy & Andrade, 2009).
De onderdelen van een rubric: criteria, scoringsniveaus en indicatoren
Zowel voor de criteria als de scoringsniveaus kan er gekozen worden voor verschillende manieren van invullen. De keuze hangt samen met het doel van de evaluatie (formatief of summatief), en een voorkeur voor een holistische of analytische aanpak.
Rubrics: objectief evalueren van competenties Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 3 Criteria
▪ Bij analytische rubrics (zie bovenstaande figuur) worden criteria en scores zo veel mogelijk afzonderlijk genoteerd/gescoord, en de oordelen/scores op het einde samengevoegd. Studies tonen aan dat analytische rubrics betrouwbaarder zijn, zeker indien een paper of project door verschillende docenten wordt geëvalueerd en er dus interpretatieverschillen kunnen optreden (Van den Bos et al., 2014). Ook voor studenten zijn analytische modellen transparanter, en handiger voor formatieve feedback (zie informatiedocument). De specifieke sterktes en zwaktes van studenten worden duidelijk in kaart gebracht.
Duidelijk afgebakende criteria vergen weliswaar het nodige opstelwerk en mogen niet resulteren in een afvinklijst. Het is ook niet de bedoeling om een ellenlange lijst van criteria te krijgen, want dan wordt de beoordeling moeilijker (Stellmack et al, 2009:104). Een analytisch model kan zo
holistischer worden opgesteld door kleinere deelcriteria die samenhangen te clusteren. Bij het optellen van scores is het belangrijk na te gaan of de eindscore effectief weerspiegelt wat de student presteerde. Bij analytische rubrics kunnen criteria gewogen worden, waarbij wordt aangegeven welke criteria belangrijker zijn, en dus gekoppeld aan een hoger aantal te verdienen punten. Andere beslisregels kunnen worden toegevoegd indien nodig (bv. dat de student op alle criteria ten minste een bepaald niveau moet halen). Zulke beslisregels zijn ook bij holistische rubrics mogelijk een aandachtspunt.
▪ Criteria kunnen eveneens zodanig worden genoteerd dat eerder op holistische wijze naar de prestatie van een student wordt gekeken. Dit zorgt voor de beoordeling van een geheel en gebeurt op een schaal. De criteria worden in dit geval niet afzonderlijk gescoord.
Bron: deels gebaseerd op een rubric van de opleiding International and European Law.
Rubrics: objectief evalueren van competenties Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 4 Het opstellen van zulke rubrics gaat sneller dan het opstellen van analytische rubrics. Hoe globaler de criteria echter, hoe meer ruimte voor interpretatieverschillen. Ook wanneer het werk van de student op verschillende criteria zeer uiteenlopend scoort, kan het moeilijk zijn de beste beschrijving en bijbehorende score te kiezen.
Het geven van specifieke feedback aan studenten wordt zo beperkter. Bij summatieve evaluatie vermijdt dit model wel dat de docent alle criteria moet quoteren.
Scoringsniveaus
Scoringsniveaus zijn eveneens afhankelijk van de functie van de rubric en ook hier kan gekozen worden voor een ontledende of een meer globale benadering, of voor een formatieve of summatieve aanpak. Om een goed onderscheid te kunnen maken tussen niveaus wordt aangeraden om minder scoringniveaus te hebben met een betekenisvol onderscheid, dan meer scoringniveaus waarbij het moeilijker is om een onderscheid te maken (Stellmack, 2009). Zo worden in het voorbeeld clusters gemaakt: 19-20, 17-18, 15-16,…
Scoringsniveaus kunnen ook worden uitgedrukt in oordelen met betrekking tot kwaliteit (onvoldoende, voldoende, goed, zeer goed), mate van vordering (“beginner”, “gevorderde”,…) of in een nummering van niveaus 1 tot 5. Bij zo’n nummering kan er, in het geval van summatief gebruik, naar een punt worden vertaald.
Indicatoren (beschrijvingen)
Indicatoren worden, net als criteria en niveaus, helder en eenduidig opgesteld en zijn meetbaar (Van den Bos et al., 2014). Ook voor indicatoren geldt dat de functie van het model een grote rol speelt. Als de rubric louter formatief zal worden ingezet, en de student deze ook te zien krijgt, worden de indicatoren best positief geformuleerd (en eventueel in de ik-vorm). Het leerproces wordt zo immers zichtbaar gemaakt, en de student kan hier feedback uit halen. Bij summatief gebruik moet duidelijk zijn hoe tot een bepaald cijfer wordt gekomen, en wordt eveneens best gelet op de manier waarop de beschrijvingen verwoord zijn (Van den Bos
Rubrics: objectief evalueren van competenties Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 5 et al., 2014). Om indicatoren uit te schrijven kan eerder werk van studenten worden gebruikt ter inspiratie (wanneer werd hier een goede of slechte evaluatie aan gekoppeld, en waarom?).
Samengevat moet een rubric de juiste inhoud dekken, duidelijke criteria bevatten, en niveaus hebben die helder gedefinieerd zijn en overeenkomen met het doel.
Kunnen rubrics de betrouwbaarheid en validiteit van beoordelingen verhogen?
In het ideale scenario zou zowel elke andere beoordelaar, als dezelfde beoordelaar die een prestatie voor de tweede keer bekijkt na een tijdsinterval, steeds tot dezelfde beoordeling moeten komen. Deze betrouwbaarheid is niet gemakkelijk te garanderen. Betrouwbaarheid, of “Meet ik goed?”, wordt gemeten aan de gelijkheid tussen de scores. Hoe consistenter de scores tussen beoordelaars (interbeoordelaar) en gespreid in de tijd (intrabeoordelaar), hoe betrouwbaarder de evaluatie (Jonsson & Svingby, 2007). Validiteit gaat over het meten van wat je echt wil meten (voor beide begrippen, zie visie op evalueren). Een rubric leidt immers niet vanzelf tot een valide evaluatie maar stuurt je blik wel. Wederom wordt daarom best veel zorg besteed aan het opstellen van de rubric.
Enkele maatregelen die kunnen worden genomen om de betrouwbaarheid en validiteit te verhogen wanneer een rubric wordt gehanteerd:
▪ De rubric domein- en onderwerpspecifiek houden (en dus niet streven naar een rubric die in verschillende domeinen kan gebruikt worden) (Jonsson 2007). Een groep docenten/een opleiding kan wel een gemeenschappelijke rubric opstellen voor zeer gelijkaardige opdrachten, of voor een deel van een opdracht (bijvoorbeeld het vormelijke aspect). De gemeten prestaties van een student met de rubric moeten steeds effectief de kennis die/het inzicht dat de student heeft, weerspiegelen.
▪ Ervoor zorgen dat alle criteria die belangrijk zijn, gemeten worden. De rubric meet dus exact wat hij moet meten (constructievaliditeit). Hiervoor worden elementen geïdentificeerd die gelinkt zijn aan wat studenten later echt zullen moeten kennen/kunnen (de beoogde leerresultaten). Worden deze weerspiegeld in de criteria (criteriavaliditeit)?
▪ Als het denkproces van de student wordt beoordeeld, moet dat ook opgenomen worden in de rubric (en dus niet alleen het eindresultaat in criteria vatten). Denk aan creativiteit, probleemoplossend denken, zelfvertrouwen, groei,…
▪ Het aantal scoringsniveaus overzichtelijk houden zodat een onderscheid gemakkelijk te maken is
▪ Een duidelijke scoringsprocedure definiëren (wat moeten studenten minstens kunnen om te slagen? Wat betekent een score zeer goed, of een score 19-20?)
▪ Analytisch scoren (maar wel opletten bij optellen op het eind) of idealiter een mengvorm tussen analytisch en holistisch gebruiken. Bij het optellen van scores is het belangrijk na te gaan of de rubric juist meet, en de eindscore effectief weerspiegelt wat de student presteerde.
▪ Voorbeelden toevoegen
▪ Ankers gebruiken (papers/examens die al beoordeeld werden en die als referentie voor de verschillen tussen niveaus kunnen worden gebruikt).
▪ Rekening houden met de studentengroep. Een studentengroep in een bepaalde context (reeds geoefend, kent het soort taak) zal anders scoren in een bepaalde rubric dan een andere groep (Moskal
& Leydens, 2000).
▪ Oefenen en aanpassen indien nodig.
Rubrics: objectief evalueren van competenties Onderwijs- en Studentenbeleid www.vub.ac.be/kwaliteitszorg/ 6
▪ De rubric voorleggen aan alle betrokkenen (docenten, studenten of experten) (Moskal & Leydens, 2000).
Hou er rekening mee dat bij opdrachten zoals een essay schrijven (waarbij het onderwerp niet noodzakelijk hetzelfde is) objectief beoordelen moeilijk blijft, met of zonder rubric (Brennan 1996 in Jonsson & Svingby, 2007). De rubric vormt wel een goede startbasis voor een gesprek met collega’s over wat beoordeeld wordt en hoe dit gebeurt.
Voorbeelden
Een zoekopdracht op het internet naar analytische of holistische rubrics levert meteen veel voorbeelden op.
Voor specifieke rubrics en ideeën voor criteria kan ook worden gezocht op trefwoorden als essay, presentatie, paper,...
Meer weten?
Neem contact op met de kwaliteitszorgmedewerker van uw opleiding.
Dit informatiedocument is gebaseerd op volgende bronnen:
▪ Jonsson, A. & Svingby, G. (2007). ‘The use of scoring rubrics: Reliability, validity and educational consequences’, Educational Research Review, 2, 130-144.
▪ Malini Reddy, Y. & Heidi, A. (2009). ‘A Review of rubric use in higher education’, Assessment &
Evaluation in Higher Education, 35 (4), 435-448.
▪ Moskal, B. M. & Leydens, J.A. (2000). ‘Scoring rubric development: validity and reliability’, Practical Assessment, Research & Evaluation, 7 (10), PAREonline.net.
▪ Stellmack, M.A., Konheim-Kalkstein, Y.L., Manor, J.E., Massey, A.R. & Schmitz, J.A.P. (2009). ‘An Assessment of Reliability and Validity of a Rubric for Grading APA-Style Introductions’, Teaching Psychology, 36, 102-107.
▪ Van Berkel, H., Bax, A. & Joosten-ten Brinke, D. (red.) (2014). Toetsen in het hoger onderwijs.
Houten.
▪ Van den Bos, P., Burghout C. & Joosten-ten Brinke, D. (2014). ‘Toetsen met rubrics’ in Van Berkel, H. et al. (2014). Toetsen in het hoger onderwijs. Houten, 193-202.
05-07-2017
