Evaluation or condemnation?! : the reliability of evaluation of portfolio’s in teacher training institutes of secondary education

Evaluation or condemnation?!

The reliability of evaluation of portfolio’s in teacher training institutes of

secondary education

Masterscriptie Onderwijskunde

Universiteit van Amsterdam

Student: D.E.M. Dogterom

Studentnummer: 10547851

Begeleiding: Prof. dr. R.J. Oostdam

Tweede beoordelaar: Dr. J.A. Schuitema

Amsterdam, augustus 2014

Beoordelen of veroordelen?!

De betrouwbaarheid van beoordelingen van assessmentdossiers binnen

lerarenopleidingen voortgezet onderwijs

Masterscriptie Onderwijskunde

Universiteit van Amsterdam

Student: D.E.M. Dogterom

Studentnummer: 10547851

Begeleiding: Prof. dr. R.J. Oostdam

Tweede beoordelaar: Dr. J.A. Schuitema

Amsterdam, augustus 2014

VOORWOORD

De eerste keer dat ik een voorwoord mag schrijven; het voelt een beetje onwennig. Een voorwoord schrijf je toch alleen voor grote rapporten en interessante boeken? En in veel gevallen heeft een bekend persoon de eer om een voorwoord te schrijven. Nou goed, leest u mijn scriptieonderzoek dan maar alsof het een interessant rapport is van een minder bekend persoon.

Vanaf begin januari 2014 houd ik mij al bezig met assessments. In de eerste twee maanden liep ik stage bij Driestar Educatief, een hogeschool die tweedegraads lerarenopleidingen aanbiedt, evenals de PABO en HBO Pedagogiek. De afdeling waar ik mijn stage liep, was de lerarenopleidingen voortgezet onderwijs (LVO). Mijn opdracht was een adviesrapport te schrijven voor de verbetering van de validiteit van assessment op basis van de beschikbare literatuur. Dit leidde tot aanbevelingen om binnen Driestar Educatief de validiteit van assessments te vergroten.

Het was mijn wens om verder te gaan met dit onderwerp en empirische data te verzamelen. Al snel bleek dat de validiteit van assessments in het geheel lastig te meten valt en ik stuitte vooral op moeilijkheden om de validiteit praktisch te meten. In de literatuur worden als kwaliteitscriteria van het beoordelen de validiteit en betrouwbaarheid van het beoordelen vaak in een adem genoemd. Ik besloot al snel mijn pijlen te richten op het andere kwaliteitscriterium – de betrouwbaarheid en ging van start. Maar gedurende het onderzoek kwam ik erachter dat ik meerdere type portfolio’s had moeten inzetten om daadwerkelijk iets te kunnen zeggen over de huidige stand van zaken rond de betrouwbaarheid van portfoliobeoordelingen binnen Driestar Educatief. Het geselecteerde portfolio was toen al naar de respondenten verstuurd en dus kon ik niet meer terug. Dit praktisch probleem had ook te maken met mijn onervarenheid met het zogenoemde explanatory sequential mixed methods design. Hierdoor leerde ik echter wel beide onderzoeksmethoden onder de knie krijgen, hoewel het soms leek alsof ik mijzelf met extra werk had opgezadeld. Met name van het kwalitatieve deel van onderzoek doen heb ik veel geleerd. Interviews op zo’n grote schaal was voor mij namelijk nog onbekend terrein. Maar ook het uitvoeren van de statische analyses vergden meer tijd dan ik in eerste instantie verwachtte.

Graag wil ik degenen bedanken die mij de mogelijkheid hebben geboden om dit onderzoek uit te voeren. Dat zijn ten eerste assessoren die werkzaam zijn bij Driestar Educatief zelf. De meeste respondenten waren echter werkzaam op de opleidingsscholen die deelname aan dit onderzoek verleenden naast hun drukke dagelijkse bezigheden. Ik zou ze graag met naam en toenaam willen bedanken, maar dan houd ik mijzelf niet aan de belofte om volledige anonimiteit te waarborgen. Vergeef mij mijn vele mailtjes; ik heb alle data gelukkig op tijd binnen gekregen om deze nog te kunnen verwerken.

Daarnaast dank ik Karen Dammers en Piet Murre die mij binnen Driestar Educatief hebben begeleid. Karen als dagelijkse begeleider in met name mijn stageperiode en Piet als manager van de LVO.

Tijdens dit onderzoek heb ik veel gehad aan de uitstekende begeleiding van Ron Oostdam. Hij heeft een zware dobber aan mij gehad, met name in de afrondende fase. Het leek wel of mijn denkradartjes in Amsterdam altijd wat langzamer werkten dan in Utrecht. Heel veel dank voor de beschikbare tijd, energie en feedback.

Tot slot dank ik mijn broer, Nico Dogterom, voor het beantwoorden van allerlei soorten vragen en het meelezen van mijn scriptie in de slotfase.

Dorothea Dogterom Augustus 2014

ABSTRACT

This master thesis focusses on the reliability of evaluation of portfolio’s of students studying at Driestar Educatief. The reliability of an evaluation could function as an indicator of the homogeneity and intern consistency of the assessors (Luken, 2004). Assessors of Driestar Educatief evaluate the signs in a portfolio on five criteria: authenticity, currency, relevant, framing and validity. This study firstly investigates whether the college has formulated these criteria clearly and how assessors have interpreted these criteria by using interviews. Secondly, this study examines whether consensus exists between their evaluations and to what extent the assessor is constant in his score on the five criteria. The qualitative results show that there is a lot of confusion in their conceptual interpretation of the criteria. The appendix of the criteria made by the college leaves much space for individual interpretations and differences. That results in a large degree of variety between assessors and between the evaluations of the same assessor over time. The management of Driestar Educatief is advised to consider their evaluation procedures. This study provides some starting points of increasing the reliability of the portfolio’s evaluation.

ABSTRACT

Deze masterscriptie richt zich op de betrouwbaarheid van beoordelingen van assessmentdossiers van duale studenten binnen Driestar Educatief. De betrouwbaarheid van een beoordeling zegt iets over de homogeniteit en interne consistentie van de beoordelaars (Luken, 2004). Assessoren binnen Driestar Educatief beoordelen bewijzen in een assessmentdossier op de volgende vijf criteria: authentiek, actueel, relevant, gekaderd en gevalideerd. Met behulp van interviews wordt onderzocht of de hogeschool deze beoordelingscriteria helder heeft geformuleerd en op welke wijze assessoren deze criteria interpreteren. Vervolgens wordt onderzocht in welke mate sprake is van overeenstemming in hun beoordelingen en of een beoordelaar consistent is in het geven van een score op de vijf beoordelingscriteria over twee verschillende meetmomenten in de tijd. De kwalitatieve resultaten tonen aan dat er veel verwarring is omtrent de conceptuele invulling van de beoordelingcriteria en dat de toelichting op de criteria vanuit de hogeschool veel ruimte overlaat voor individuele interpretaties en verschillen. Dat leidt logischerwijs tot een mindere mate van overeenstemming van beoordelingen tussen beoordelaars en tussen beoordelingen van eenzelfde beoordelaar. Het management van Driestar Educatief doet er wijs aan hun beoordelingsprocedure tegen het licht te houden. Dit onderzoek geeft punten aan voor het vergroten van de betrouwbaarheid van de beoordelingen van assessmentdossiers.

INHOUDSOPGAVE

1.2.3. Beoordeling bewijzen portfolio ... 12

1.3. Doelstelling en relevantie onderzoek ... 12

1.4. Onderzoeksvragen ... 14

1.5. Design ... 14

1.6. Opbouw onderzoek ... 15

HOOFDSTUK 2 – THEORETISCH KADER ... 16

2.1. Competenties ... 16

2.1.1. Definiëring competenties ... 16

2.1.2. SBL-competenties ... 17

2.2. Assessments ... 20

2.3. Portfolio’s ... 21

2.3.1. Portfolio’s binnen lerarenopleidingen - duaal ... 23

2.3.2. Portfoliobeoordelingen ... 24

2.3.3. De betrouwbaarheid van portfoliobeoordelingen ... 25

2.4. Teachers’ conceptions ... 27

2.5. Tot slot ... 28

HOOFDSTUK 3 – KWALITATIEF ONDERZOEK ... 29

3.1. Methode ... 29

3.1.2. Instrumenten ... 31 3.1.3. Procedure ... 34 3.1.4. Data analyse ... 34 3.2. Resultaten ... 35 3.2.1. Authentiek ... 36 3.2.2. Actueel ... 37 3.2.3. Relevant ... 38 3.2.4. Gekaderd ... 39 3.2.5. Gevalideerd ... 40 3.2.6. Belemmerende factoren ... 41 3.2.7. Stimulerende factoren ... 43 3.2.8. Overige factoren ... 44 3.3. Conclusie ... 47 3.3.1. Beoordelingscriteria ... 47 3.3.2. Belemmerende factoren ... 50 3.3.3. Stimulerende factoren ... 51

HOOFDSTUK 4 – KWANTITATIEF ONDERZOEK ... 53

4.1. Methode ... 53 4.1.1. Respondenten ... 53 4.1.2. Instrumenten ... 54 4.1.3. Procedure ... 55 4.1.4. Data analyse ... 56 4.2. Resultaten ... 57 4.2.1. Intrabeoordelaarsbetrouwbaarheid ... 58 4.2.2. Interbeoordelaarsbetrouwbaarheid ... 60 4.3. Conclusie ... 61

4.3.1. Betrouwbaarheid van beoordelingen binnen beoordelaars ... 61

4.3.2. Betrouwbaarheid van beoordelingen tussen beoordelaars... 63

HOOFDSTUK 5 – ALGEMENE CONCLUSIE EN DISCUSSIE ... 65

5.1. Conclusie ... 65

5.2.1. Aanbevelingen en suggesties voor vervolgonderzoek ... 68

5.2.2. Beperkingen onderzoek ... 70

5.2.3. Suggesties voor vervolgonderzoek ... 72

REFERENTIES ... 73

Bijlage 1 – Formulier 1 Evidentiematris ... 77

Bijlage 2 – Verzameling bewijsstukken ... 79

Bijlage 3 – Uitnodiging 1e _{meting ... 80}

Bijlage 4 - Interviewleidraad ... 81

Bijlage 5 – Uitnodiging 2e meting ... 83

HOOFDSTUK 1 – INLEIDING

1.1

Algemeen

Toetsing in het hoger onderwijs staat sinds de vorige eeuw volop in de belangstelling (Luken, 2004). De Nederlands-Vlaamse Accreditatie Organisatie (NVAO) heeft onlangs uitgesproken dat de manier waarop opleidingen hun toetsingsbeleid invulling geven een speerpunt zal zijn bij het beoordelen of opleidingen aan de accreditatie-eisen voldoen. Deze maatregel moet gezien worden tegen de achtergrond van de aarzelingen van de NVAO over de vraag of de tweedegraads lerarenopleidingen hun studenten wel voldoende voorbereiden op het leraarschap, en dan met name op het leraarschap in het praktijkonderwijs (Onderwijsraad, 2009). Dat impliceert dat opleidingen (nog) meer aandacht moeten besteden aan de manier waarop studenten worden getoetst (Zwaal & Eringa, 2006) en goed moeten kunnen verantwoorden waarom ze voor bepaalde toetsing kiezen.

Toenmalige staatssecretaris van Onderwijs, Marja van Bijsterveldt, maakte in haar conclusie in de Monitor Beleidsagenda Lerarenopleiding 2005-2008 kenbaar dat door het achterblijven van de kwaliteit van toetsing en examinering het hbo-niveau onvoldoende kan worden geborgd (Ministerie van OC&W, 2008a). De Onderwijsraad (2009) kwam tot de conclusie dat verschillende manieren om vaardigheden en competenties te examineren versterking nodig hebben. Hoewel het in het rapport van de overheid Kwaliteitsagenda voor het opleiden van leraren 2008-2011 voornamelijk gaat over het versterken van de kwaliteit van het kennisniveau van lerarenopleidingen (Ministerie van OC&W, 2008b), staan in de Wet op de beroepen in het onderwijs (wet BIO) eisen vermeld die ingaan op het handelen van een docent, de zogenoemde bekwaamheidseisen. Dit zijn competenties waaraan beginnende leerkrachten moeten voldoen en die gedurende hun schoolloopbaan ontwikkeld moeten blijven worden. In totaal moet een docent aan zeven competenties voldoen die zijn opgesteld door Stichting Beroepskwaliteit Leraren (SBL, 2003). De competenties zijn gebaseerd op verschillende rollen die docenten hebben en op verschillende situaties waarmee docenten te maken kunnen krijgen. In 2011 is de SBL opgeheven en daarvoor in de plaats is de Onderwijs Coöperatie gekomen. Deze coöperatie is momenteel bezig met het herijken van de bekwaamheidseisen.

De beoordeling van docentcompetenties door middel van assessments is steeds gebruikelijker geworden (Nijveld et al., 2008), omdat in het hoger onderwijs de laatste jaren een verschuiving heeft plaatsgevonden van het traditioneel toetsen van kennis naar ‘assessments for learning’ (Baartman, 2008; Dochy, Gijbels, & Segers, 2006). Deze nieuwe ‘assessment cultuur’ heeft als doel het toetsen van hogere denkprocessen op een hoger (abstractie)niveau en competenties in authentieke beroepsactiviteiten in plaats van het toetsen van enkel feitenkennis en lagere cognitieve vaardigheden binnen vakdisciplines en schoolvakken (Dochy, Gijbels, & Segers, 2006; Roelofs & Peters, 2011).

performance de kwaliteitsnorm van onderwijsprogramma’s. Met de komst van competentiegericht opleiden is de behoefte toegenomen aan toets- en beoordelingsvormen die daarop aansluiten (Dieric & Dochy, 2001; Baartman, 2008) en is de grootste uitdaging het toetsingsprogramma een meer open karakter te geven waarbij de student zijn performance en competenties in een relevante context kan laten zien (Young, 2009a).

Voor het beoordelen van competenties vragen opleidingen vaak van studenten om een portfolio of een assessmentdossier1 samen te stellen. Het doel van een portfolio is aan de ene kant het leren en reflecteren van de student te bevorderen en aan de andere kant helpt het de student zichzelf en zijn ontwikkeling aan te tonen aan degenen die hem begeleiden (Elshout-Mohr & Van Daalen-Kapteijns, 2003). De komst van het portfolio vraagt om een andere beoordelingsmethode, waarvoor Elshout-Mohr, Oostdam, Dietze, en Snoek (2001) drie mogelijke modellen bespreken die later aan bod zullen komen. De keuze voor een bepaald model hangt af van de situatie en het beoordelingsdoel. Bij het beoordelen van competenties zijn een aantal factoren te noemen die van invloed kunnen zijn op de uiteindelijke beoordeling. Lievens (1998) noemt drie belangrijke punten, namelijk het aantal assessoren, het wel of niet bekend zijn met de student en het wel of geen deelname hebben gehad aan een training. Met name het punt van het wel of niet bekend zijn met de student kan van invloed zijn op de betrouwbaarheid van de beoordeling. Daarnaast kan een training voorzien in het creëren van een gemeenschappelijk referentiekader voor de assessoren die betrokken zijn bij het beoordelen van competenties (Roelofs, 2006).

1.2. Focus

Binnen de Lerarenopleidingen Voortgezet Onderwijs (LVO) van Driestar Hogeschool, onderdeel van Driestar Educatief (DE), zijn sinds enkele jaren de portfolio’s als input voor het Leraren-in-opleiding (LIO)-assessment ingevoerd. Dit assessment biedt de student de mogelijkheid zijn beroepsvaardigheden te laten zien die hij door middel van authentieke beroepsactiviteiten heeft verworven. Dat verschilt met de meer traditionele manier van een lerarenopleiding, waarbij vakdisciplines en schoolvakken de kern van het curriculum vormen (Roelofs & Peters, 2011). Het behalen van dit assessment geeft de student toegang tot de hoofdfase van de opleiding.

1.2.1. Leraren-in-opleiding-assessment

Driestar Hogeschool kent de volgende zes lerarenopleidingen: Duits, economie, Engels, geschiedenis, Nederlands en wiskunde. De lerarenopleidingen vallen uiteen in twee onderdelen, namelijk het vakinhoudelijke deel en het pedagogisch-didactisch deel. De kennis voor het

1_{De term ‘assessmentdossier’ hanteert Driestar Educatief voor wat in de literatuur als ‘portfolio’ wordt aangeduid. Beide begrippen worden} ter afwisseling door elkaar heen gebruikt.

vakinhoudelijke deel wordt doorgaans getoetst met reguliere tentamens. Voor het pedagogisch-didactisch deel van de opleiding leggen studenten aan het eind van het tweede jaar een assessment af om na te gaan of ze bekwaam zijn om aan hun LIO-stage te mogen beginnen, een stage waarvoor de studenten betaald krijgen. Aan het eind van de opleiding, in het vierde jaar, leggen de studenten een eind-assessment af, om na te gaan of ze bekwaam zijn om zelfstandig in het onderwijs te werken. Dit onderzoek richt zich op het assessment in het tweede jaar. Het LIO-assessment geldt namelijk als cruciaal punt binnen de opleiding, omdat de student bij het behalen van dit assessment door mag naar de hoofdfase van de opleiding. Tevens zijn de eisen voor het eindassessment vrijwel identiek aan de eisen voor het LIO-assessment. Driestar Educatief is momenteel bezig met de ontwikkeling van een nieuw beoordelingsformat om de portfolio’s voor het LIO- en eindassessment te beoordelen. Bij het er perse gaan van dit onderzoek was het nieuwe beoordelingsformulier nog niet beschikbaar. Hierdoor was het in de discussie niet mogelijk na te gaan in hoeverre de aanbevelingen eventueel overeenkomen met de nieuwe beoordelingsprocedure. Driestar Educatief zou bij de afronding van een herzien beoordelingsformulier de aanbevelingen van dit onderzoek nog kunnen integreren.

1.2.2. Bewijzen portfolio

De student laat tijdens het assessment op verschillende manieren zien dat hij LIO bekwaam is. Een week voor het eigenlijke assessment levert de student een portfolio in met voor elke competentie twee bewijzen die aan tonen dat hij die competentie beheerst. Straetmans (2004) definieert een bewijs als ‘een prestatie van een persoon die tot stand is gekomen onder door de opleiding vastgestelde voorwaarden en beoordeeld kan worden met een of meer van de beoordelingsaspecten die samen de desbetreffende competentie operationaliseren’. Deze bewijzen dienen opdrachten vanuit de modules, lesvoorbereidingen of reflecties van gegeven lessen te zijn die studenten op de opleidingsscholen hebben uitgevoerd. Tijdens het assessment geeft de student een assessmentles, waarbij de assessoren kunnen beoordelen of hij laat zien wat hij heeft voorbereid en hoe hij op de les terugkijkt. Voorafgaand aan de assessmentles is er daarom een voorgesprek en na afloop is er een reflectiegesprek. Tijdens dit gesprek krijgen de assessoren de gelegenheid om naar aanleiding van het assessmentdossier vragen te stellen. Dit gesprek verloopt volgens de richtlijnen van het Criterium Gericht Interview. Dat betekent dat er sprake is van een vaste structuur tijdens het gesprek met een inleiding, de vaststelling van de competenties die centraal staan, de bespreking van de situatie waarin de competentie beheerst wordt en de afronding. Per competentie worden dezelfde soort vragen gesteld in dezelfde volgorde. Een veel gebruikt model daarvoor is het de zogenoemde STARR-model (Situatie – Taak – Actie – Resultaat – Reflectie).

De assessoren stellen naar aanleiding van dit gesprek een rapportage met toelichting op die beide assessoren en de student ter goedkeuring ondertekenen. Het assessment wordt afgenomen door een assessor van de opleiding en een assessor van de opleidingsschool, zijnde niet de docentopleider die de student begeleid heeft.

Dit onderzoek focust zich op één aspect van het gehele assessment, namelijk het beoordelen van de bewijzen uit het portfolio. Hiervoor is gekozen, omdat de beoordelingscriteria voor deze bewijzen door de hogeschool zijn vastgesteld en de beoordelaar dwingt om aan de hand van standaarden een beoordeling te geven. Deze beoordelingen vormen de input voor de dataverzameling en geven de onderzoeker de mogelijkheid om analyses uit te voeren om de mate van betrouwbaarheid van de beoordelingen vast te stellen. Of dat bij het nieuwe beoordelingsformulier ook het geval is, is nog onbekend.

1.2.3. Beoordeling bewijzen portfolio

De beoordeling van de bewijzen uit het portfolio verloopt via het invullen van een evidentiematrix – formulier 1: ter beoordeling van de bewijzen in het assessmentdossier (bijlage 1). Hierin geven beide assessoren afzonderlijk per bewijsstuk een beoordeling op de punten ‘authentiek’, ‘actueel’, ‘relevant’, ‘gekaderd’ en ‘gevalideerd’. Tot slot moeten ze per bewijs een ‘eindoordeel’ geven over de vraag of het bewijs bruikbaar en deugdelijk is. Het antwoord dient met een ‘ja’ of ‘nee’ aangegeven te worden. Bij de andere criteria gaat het om een zeer goed (++), goed (+), matig (-+) of onvoldoende (-) of zeer slecht (--).

Op basis van deze criteria geven beoordelaars een beoordeling per bewijs. Er wordt nagegaan of beoordelaars op basis van deze criteria tot een betrouwbare beoordeling komen en of ze na een bepaalde periode nog steeds dezelfde beoordeling zouden geven.

Daarnaast wordt door middel van interviews onderzocht wat voor conceptuele invullingen beoordelaars hebben van de losstaande beoordelingscriteria. Deze uitkomsten worden vergeleken met de toelichting bij de criteria zoals de hogeschool die heeft opgesteld (Brochure LIO assessment handleiding student versie, 2013) om te onderzoeken in hoeverre daarin sprake is van overeenstemming.

Tevens worden beoordelaars gevraagd factoren te formuleren die een betrouwbare beoordeling beïnvloeden. Deze beïnvloeding kan zowel in positieve als in negatieve zin plaatsvinden. Hierdoor kan in de conclusie naast de weergave van de resultaten van de mate van overeenstemming worden toegelicht van welke factoren een beoordeling afhankelijk is en kunnen eventuele nuances worden aangebracht bij de harde cijfers. Het aanpassen of het vernieuwen van het assessment en/of de beoordeling van het assessment kan daarvan profiteren.

1.3. Doelstelling en relevantie onderzoek

Dit onderzoek richt zich op de vraag in welke mate de beoordelaars een betrouwbaar oordeel geven wanneer zij de bewijzen van de student uit het assessmentdossier beoordelen. De betrouwbaarheid van een oordeel gaat in op de homogeniteit en de interne consistentie van de beoordeling (Luken, 2004). Daarnaast wordt na gegaan wat de concepten van verschillende

assessoren zijn wat betreft het beoordelen van de bewijzen van het assessmentdossier en in hoeverre die met elkaar verschillen2.

Het doel van dit onderzoek is bij te dragen aan kennis over en inzicht in de manier van beoordelen door assessoren en hun gehanteerde concepten achter de beoordelingscriteria. In de literatuur is al veel geschreven over factoren die van invloed kunnen zijn op de betrouwbaarheid van een beoordeling. Dit onderzoek tracht daarom vanuit deze bestaande kennis na te gaan in hoeverre beoordelaars van Driestar Educatief een betrouwbaar oordeel geven. Echter, er is nog weinig onderzoek gedaan naar de basis waarop deze assessoren tot een dergelijke beoordeling komen en of het beeld dat ze in hun hoofd hebben van de verschillende aspecten daarop van invloed is. Voor zowel Driestar Educatief als de lerarenopleidingen in het algemeen is het raadzaam dit te onderzoeken, om in de toekomst tot betrouwbaardere beoordelingen van studenten te komen, niet alleen voor dit onderdeel van het assessment, maar voor assessments in het geheel.

Zoals in de inleiding al is aangegeven, worden opleidingen steeds strenger beoordeeld op hun toetsings- en beoordelingspraktijken. Dit thema houdt veel hbo-opleidingen bezig als het gaat om het behouden van hun accreditatie. Het is daarom van belang dat assessoren betrouwbaar zijn in hun beoordeling, zodat de ene student niet een hogere beoordeling krijgt dan een andere student die wat kwalitatief betreft hetzelfde assessmentdossier heeft samengesteld. Op deze manier kan de vreemde situatie ontstaan dat studenten een voorkeur krijgen voor een bepaalde assessor, terwijl het juist belangrijk is dat twee onafhankelijke assessoren tot dezelfde beoordeling behoren te komen op basis van de vaststaande beoordelingscriteria.

Tevens is het belangrijk dat opleidingen voorzien in een helder toets- en beoordelingsbeleid met eenduidige criteria en assessoren de mogelijkheid bieden om die criteria zich eigen te maken en op dezelfde manier te duiden als andere assessoren. In de praktijk blijkt dat moeilijk te realiseren, omdat assessoren ieder hun eigen (praktijk)ervaringen meebrengen en dat van invloed kan zijn op hun beeldvorming. Het beoordelen van competenties is nu eenmaal subjectiever dan het nakijken van een kennistoets. Het is daarom van belang om vanuit de literatuur kenmerken aan te reiken die ingaan op het verhogen van het geven van een betrouwbare beoordeling.

Wetenschappelijk is dit onderzoek relevant omdat nieuwe kennis aan de bestaande literatuur over het beoordelen van assessmentdossiers wordt toegevoegd. In de huidige literatuur wordt vooral de nadruk gelegd op de inhoud en vormgeving van portfolio’s zelf (wat de meest gangbare invulling is van een assessmentdossier) en welke factoren een betrouwbare beoordeling beïnvloeden. Dit onderzoek tracht nieuwe inzichten toe te voegen over de wijze waarop beoordelaars tot hun oordeel komen en of deze beoordelingen overeenkomen of juist verschillen met het beeld wat andere assessoren in hun hoofd hebben.

1.4. Onderzoeksvragen

In dit onderzoek wordt nagegaan in hoeverre er sprake is van een betrouwbare beoordeling van een assessmentdossier van tweedejaars studenten van de duale lerarenopleiding met betrekking tot hun pedagogisch-didactische competenties. Daarnaast wordt onderzocht welke conceptuele invulling beoordelaars hanteren van de beoordelingscriteria voor het beoordelen van de bewijzen van het assessmentdossier en welke factoren een betrouwbare beoordeling beïnvloeden.

Dit leidt tot de volgende onderzoeksvraag:

In hoeverre is er sprake van een betrouwbare beoordeling van het assessmentdossier van de tweedejaars studenten van de duale lerarenopleiding met betrekking tot hun pedagogisch-didactische competenties?

Om een antwoord te kunnen formuleren op de onderzoeksvraag zijn vier deelvragen opgesteld. De eerste deelvraag richt zich op de conceptuele invulling van de beoordelingscriteria zoals die door individuele beoordelaars worden toegepast. De tweede deelvraag gaat over de vraag welke factoren een betrouwbare beoordeling van een assessmentdossier volgens de beoordelaars kunnen beïnvloeden. De laatste twee deelvragen gaan in op de mate van overeenstemming tussen verschillende beoordelaars en binnen eenzelfde beoordelaar. Dit resulteert in onderstaande deelvragen:

1) Zijn de beoordelingscriteria voor het assessmentdossier helder geformuleerd en hanteren de assessoren deze criteria conceptueel zoals bedoeld?

2) Wat zijn volgens de assessoren factoren die een betrouwbare beoordeling van het assessmentdossier in positieve dan wel negatieve zin beïnvloeden?

3) In hoeverre is er sprake van overeenstemming tussen de beoordelingen van de assessmentdossiers door twee of meer assessoren?

4) In hoeverre is er sprake van overeenstemming tussen twee of meer beoordelingen van eenzelfde assessor met betrekking tot eenzelfde assessmentdossier?

1.5. Design

De beantwoording van deze deelvragen vraagt om zowel een kwalitatieve als een kwantitatieve manier van data verzamelen wat in overeenstemming is met een explanatory sequential mixed methods design (Creswell, 2012). Dit design bestaat uit het verzamelen van kwantitatieve data. Daarnaast wordt kwalitatieve data verzameld om de kwantitatieve data nader uit te leggen en te

verklaren. De kwantitatieve data helpt bij het beter grip krijgen op de betrouwbaarheid van de beoordelingen. Hierbij kan door middel van het uitvoeren van verschillende analyses worden nagegaan in welke mate beoordelaars dezelfde concepten van de criteria hanteren. Door middel van kwalitatief onderzoek kunnen de resultaten van het kwantitatieve deel van dit onderzoek verklaard, uitgelegd of uitgebreid worden (Creswell, 2012).

Hoewel een explanatory sequential mixed methods design eigenlijk voorschrijft dat allereerst de kwantitatieve data verzameld dient te worden en daarna de kwalitatieve data, hebben vanwege praktische bezwaren deze twee onderzoeksmethoden in de praktijk parallel plaats gevonden. Voordat de interviews werden gehouden, hebben de assessoren voor de eerste keer het portfolio beoordeeld. Een aantal weken na het interview beoordeelden de assessoren het portfolio voor de tweede keer. Tegelijkertijd worden in dit onderzoek wel degelijk de resultaten uit de interviews gebruikt om de kwantitatieve data uit te leggen, zoals dit design voorschrijft.

De beantwoording van de eerste twee deelvragen wordt verkregen door een kwalitatieve onderzoeksmethode, waarbij met verschillende beoordelaars interviews worden gehouden. Voor het beantwoorden van de laatste twee deelvragen wordt een kwantitatieve onderzoeksmethode toegepast, waarbij beoordelaars op twee meetmomenten een assessmentdossier moeten beoordelen op vijf beoordelingscriteria. Voor de leesbaarheid van dit onderzoek worden deze twee verschillende onderzoeksmethoden, en daarbij de beantwoording van de eerste twee en laatste twee deelvragen, apart van elkaar besproken. In de algemene conclusie aan het eind van dit onderzoek worden de resultaten van het kwalitatieve gedeelte wel degelijk ingezet om de resultaten van het kwantitatieve onderzoeksgedeelte uit te leggen en te verklaren.

1.6. Opbouw onderzoek

Na dit inleidende hoofdstuk wordt in het volgende hoofdstuk de theorie besproken omtrent de onderwerpen portfolio’s, portfoliobeoordelingen en de betrouwbaarheid van het beoordelen van dergelijke portfolio’s. Vervolgens is dit onderzoek opgesplitst in twee delen. Allereerst wordt in hoofdstuk 3 de methode, de resultaten en de deelconclusie van het kwalitatieve onderzoeksgedeelte uiteengezet. In hoofdstuk 4 wordt datzelfde gedaan voor het kwantitatieve deel van dit onderzoek. Hoofdstuk 5 bevat een algehele conclusie waarbij de uitkomsten van de interviews in verband worden gebracht met de resultaten van het kwantitatieve deel. Tevens worden de conclusies vergeleken met de informatie uit de theoretische inleiding. Tot slot komt in hoofdstuk 6 de discussie aan bod waarbij verklaringen worden gegeven voor de onderzoeksresultaten en beperkende factoren van dit onderzoek uiteen worden gezet. Het hoofdstuk sluit af met aanbevelingen voor Driestar Educatief om de betrouwbaarheid van portfoliobeoordelingen te vergroten en met aanbevelingen voor vervolgonderzoek.

HOOFDSTUK 2 – THEORETISCH KADER

2.1. Competenties

Competentiegericht onderwijs en het beoordelen van competenties is een trend die sinds enkele decennia zowel nationaal als internationaal op veel belangstelling kan rekenen (Elshout-Mohr, Oostdam, Dietze, & Snoek, 2001). Het is in de loop van de tijd echter nog niet tot een eenduidige definitie van het begrip competentie gekomen. In de volgende paragraaf wordt toch geprobeerd om het begrip competentie helder te omschrijven.

2.1.1. Definiëring competenties

Van Merriënboer, Van der Klink, en Hendriks (2002) geven aan dat competenties lastig zijn te onderscheiden van termen als ‘expertise’ en ‘sleutelkwalificaties’. Evenals Luken (2004) erkennen zij dat het begrip ‘competentie’ geen eenduidige definitie kent en daarom veel discussie oplevert. Toch heeft de Adviescommissie Onderwijs Arbeidsmarkt een poging gewaagd en omschrijft het begrip beroepscompetentie als volgt: ‘Het vermogen van een individu waarmee opgaven van een beroep op een adequate, procesgerichte en productgerichte wijze kunnen worden aangepakt. Competenties zijn multidimensioneel, gestructureerd en onderling samenhangend’ (ACOA, 1997). Hierin komt de gedachte dat competenties bekwaamheden zijn die bepaalde beroepen vereisen (Elshout-Mohr et al., 2001) nadrukkelijk naar voren.

De Bie en Mostert (2000) vinden het begrip competentie een te modieus begrip worden wat er mede voor zorgt dat er veel verwarring over het begrip is ontstaan. De auteurs wijzen twee interpretaties af die met de begripsverwarring zijn ontstaan. Zo vinden zij ten eerste dat een competentie in de zin van ‘vermogen’ en ‘persoonlijke eigenschappen’ het begrip competentie niet goed dekt en teveel ruimte openlaat voor ongegronde verklaringen voor het bezitten van competenties. Ten tweede, het zien van competenties als persoonlijke eigenschappen geeft aan of je die hebt of niet en dat is lastig vast te stellen. De Bie en Mostert (2000) stellen voor om competenties gewoon als (beroeps-)vaardigheden te zien. Die vaardigheden vormen samen dan een ‘bekwaamheid’. Elshout-Mohr et al. (2001) geven eveneens aan dat de relatie tussen het begrip competentie en het begrip vaardigheden sterker is geworden waarbij vaardigheden bekwaamheden zijn voor het professioneel handelen in een maatschappelijke situatie. Omdat bekwaamheden een steeds centralere rol innemen als het om definiëring van competenties gaat, is het begrip ook breder toepasbaarder, zoals in de context van burgerschapscompetentie.

Enkele jaren later hebben Tigelaar, Dolmans, Wolfhagen, en Van der Vleuten (2004) een raamwerk ontwikkeld en gevalideerd voor specifieke docentcompetenties in het hoger onderwijs. Zij hanteren de volgende definitie van competenties: ‘An intergrated set of personal characteristics,

contexts’. Volgens deze definitie zijn docentcompetenties met elkaar geïntegreerd en beschikt de docent over een repertoire van verschillende vaardigheden die in verschillende contexten ingezet kunnen worden.

Luken en Schokker (2005) hebben op basis van de verschillende definities die in de literatuur in omloop waren de volgende definitie van competenties gegeven: een vermogen dat kennis-, houdings- en vaardigheidsaspecten omvat, om in concrete taaksituaties doelen te bereiken. Deze definitie richt zich minder op specifieke beroepskwalificaties, maar meer op algemene vaardigheden voor verschillende taaksituaties. Samenvattend kan gezegd worden dat het competentiebegrip verwijst naar de integratie van kennis, vaardigheden en attituden (Westera, 2001).

De doelstellingen in het curriculum van en lerarenopleiding zijn veelal geformuleerd in termen van beroepscompetenties in authentieke situaties (Zwaal & Eringa, 2006). Praktijksituaties vormen daarom de basis voor een curriculum. Naast toetsvormen als (performance)assessments en peer-assessments zijn ook de meer traditionele toetsvormen (waaronder kennistoetsen met meerkeuzevragen) van belang, maar met een andere toepassing. Kennis is juist een voorwaarde om competenties te kunnen verwerven waarbij het er met name om gaat kennis te gebruiken in een beroepscontext. Dit alles heeft vergaande implicaties voor toetsing, kwaliteitscriteria en beoordeling (Zwaal & Eringa, 2006). Beroepscompetenties kunnen bijvoorbeeld moeilijk met traditionele toetsvormen gemeten worden, omdat de beroepscontext gemist wordt. Hogescholen zullen daarom bij de inzet van competentie gericht onderwijs andere toets- en beoordelingsvormen in moeten zetten en hun beleid daaromtrent moeten herzien.

2.1.2. SBL-competenties

Door de Stichting Beroepskwaliteit Leraren (SBL) is een competentiemodel ontwikkeld dat, vanuit een algemene, brede opvatting over het vak van leraar, vier beroepsrollen heeft gedefinieerd; de interpersoonlijke-, de pedagogische, de vakinhoudelijke & didactische- en organisatorische rol (SBL, 2003). De zeven competenties van de SBL kunnen onder deze vier beroepsrollen verdeeld worden. De beroepsrollen worden door de leraar vervuld in vier verschillende typen situaties die kenmerkend zijn voor het beroep van leraar: het werken met leerlingen, met collega’s, met de omgeving van de school en met zichzelf. Bij dat laatste gaat het om het werken aan de eigen professionele ontwikkeling. De competenties gelden steeds meer als leidraad voor de opbouw van het curriculum én voor de beoordeling van de studenten (SBL, 2003).

In Figuur 1 zijn de nummers van de competenties weergegeven die vanuit deze benadering tot stand zijn gekomen.

Figuur 1. Overzicht competenties SBL (2003)

Alle zeven competenties worden hieronder kort uitgewerkt naar aanleiding van de beschrijving van deze competenties zoals die door Stichting Beroepskwaliteit Leraren zijn verwoord (SBL, 2003).

1) Interpersoonlijk competent

De leraar moet ervoor zorgen dat er in zijn groep een prettig leef- en werkklimaat heerst. Hij geeft op een goede manier leiding, schept een vriendelijke en coöperatieve sfeer en brengt een open communicatie tot stand.

2) Pedagogisch competent

De leraar moet de sociaal-emotionele en morele ontwikkeling van de leerlingen bevorderen en hen helpen een zelfstandig en verantwoordelijk persoon te worden, die onder andere een goed beeld heeft van zijn ambities en mogelijkheden. Hij biedt de leerlingen in een veilige leer- en werkomgeving houvast en structuur bij de keuzes die zij moeten maken en hij bevordert dat zij zich verder kunnen ontwikkelen.

3) Vakinhoudelijk en didactisch competent

De leraar moet de leerlingen helpen bij het zich eigen maken van de culturele bagage die elke deelnemer aan de samenleving nodig heeft om volwaardig te kunnen functioneren en de leerinhouden van een bepaald vak. Hij moet hen helpen vertrouwd te raken met de manier waarop deze in het dagelijks leven en in het werk gebruikt wordt. Ook helpt hij de leerlingen zicht te krijgen op wat zij in de samenleving en in de wereld van het werken kunnen verwachten.

4) Organisatorisch competent

De leraar draagt zorg voor alle aspecten van klassenmanagement en voor organisatorische zaken die samenhangen met zijn onderwijs en het leerproces van de leerlingen in de school en op het leerwerkplek. Hij zorgt ervoor dat de leerlingen een overzichtelijke, ordelijke en taakgerichte omgeving treffen. Waar het leren zich op verschillende plaatsen afspeelt (bijvoorbeeld op verschillende plaatsen in de school, stage, leerbedrijf, buitenschoolse projecten) zorgt de leraar (eventueel in samenspraak met andere begeleiders) voor afstemming tussen die verschillende plaatsen.

5) Competent in het samenwerken met collega’s

De leraar moet ervoor zorgen dat zijn werk en dat van zijn collega’s in de school goed op elkaar zijn afgestemd. Hij moet ook bijdragen aan het goed functioneren van de schoolorganisatie. Hij levert zijn bijdrage aan een goed pedagogisch en didactisch klimaat op zijn school, aan goede onderlinge samenwerking en aan een goede schoolorganisatie.

6) Competent in het samenwerken met de omgeving

De leraar moet contacten onderhouden met de ouders of verzorgers van de leerlingen en met collega’s van instellingen en (leer)bedrijven waar zijn school voor het onderwijs en de leerlingenzorg mee samenwerkt. Hij moet er ook voor zorgen dat zijn professionele handelen en dat van anderen buiten de school goed op elkaar zijn afgestemd. Bovendien moet hij eraan meewerken dat de samenwerking van zijn school met die bedrijven en instellingen goed verloopt. Zo’n leraar zorgt voor een goede communicatie en afstemming met ouders of verzorgers van de leerlingen. Hij maakt doeltreffend gebruik van het professionele netwerk van de school als het gaat om de opleiding van de leerling of de zorg van de leerling.

7) Competent in reflectie en ontwikkeling

De leraar moet zich voortdurend verder ontwikkelen en professionaliseren. Hij denkt regelmatig na over zijn beroepsopvattingen en zijn professionele bekwaamheid. Zo’n leraar streeft ernaar zijn beroepsuitoefening bij de tijd te houden en te verbeteren.

Zoals in Figuur 1 te zien is, richten met name competenties 1, 2, 3 en 4 zich op de verhouding met leerlingen. Competentie 7 richt zich op de student zelf en behelst zowel de interpersoonlijke en pedagogische als de vakinhoudelijke/didactische en organisatorische rol.

Admiraal, Hoeksma, Van de Kamp, en Van Duin (2011) geven in hun onderzoek aan dat de eerste vier competenties gezien kunnen worden als de basisbekwaamheden van een docent. De vijfde en zesde competenties (competent in het samenwerken met collega’s en met de omgeving – zoals ouders/verzorgers en instellingen) zijn wel belangrijk, maar niet direct van invloed op het primaire

proces van lesgeven. De auteurs stellen dat studenten gedurende de eerste jaren van hun opleiding maar weinig ervaring op kunnen doen met deze competenties, omdat ze zich allereerst moeten richten op het lesgeven. In de praktijk worden studenten echter niet tegengehouden om toch al activiteiten te ondernemen om deze competenties te ontwikkelen. Maar ze worden bij de beoordeling nog niet meegerekend. In het eind assessment worden deze competenties daarentegen wel mee beoordeeld. De zevende competentie (competent in reflectie en ontwikkeling) is gedurende de hele (school)loopbaan belangrijk voor de persoonlijke en professionele ontwikkeling van een docent.

In aanvulling op de SBL-competenties geven enkele auteurs nog andere docentcompetenties weer die bij kunnen dragen aan effectief lesgeven. Ramsden (1992) geeft een aanzet voor de sleutelprincipes voor effectief lesgeven. Die sleutelprincipes kunnen ook als competenties beschouwd worden. Hij noemt onder andere interesse, het kunnen uitleggen, het kunnen meeleven en respect hebben voor leerlingen en hun manier van leren, feedback kunnen geven en ontvangen, onafhankelijkheid en een actieve houding. Er zijn echter ook veel tegengeluiden als het gaat om het in schema’s vast willen leggen van alle competenties van aankomende docenten. Korthagen (2001) vindt deze schema’s vaak veel te gedetailleerd en te voorschrijvend. Hij vindt dat een goede docent niet is te beschrijven in termen van geïsoleerde bekwaamheden of een lange lijst met definities van docentcompetenties. Daarnaast wijst hij erop dat de invulling van bijvoorbeeld de SBL competenties geen aandacht besteedt aan het feit dat persoonlijke eigenschappen van een docent een belangrijke rol spelen in het goed lesgeven en deel uitmaken van de identiteit van een docent. Het persoonlijke karakter van een docent is volgens Korthagen (2001) belangrijk voor het vermogen om om te kunnen gaan met frustraties en ongeduld of draagt juist bij aan zijn empathie.

2.2. Assessments

De term assessments werd oorspronkelijk gebruikt in met name zogenoemde assessment centers met als doel na te gaan of een persoon geschikt is voor een bepaalde taak of functie (Elshout-Mohr et al., 2001). Tegelijkertijd wees het naar een verscheidenheid aan beoordelingsvormen, zoals interviews, beoordeling van een portfolio en praktijkopdrachten (Klarus, 1998). In het onderwijs wordt tegenwoordig de term assessment gehanteerd wanneer het vermogen van studenten wordt beoordeeld om in een specifieke maatschappelijke context te kunnen handelen. Elshout-Mohr et al. (2001) omschrijven assessment op de volgende manier: ‘Assessment is het multidimensionaal beoordelen van de geschiktheid van een persoon voor een maatschappelijke taak of functie’. Multidimensionaal wil in dit verband zeggen dat er meerdere instrumenten worden gebruikt en dat er vanuit verschillende perspectieven wordt beoordeeld. Een voorbeeld hiervan is het beoordelen door beoordelaars die de persoon van nabij hebben meegemaakt in een relevante opleidingssituatie en door beoordelaars die die persoon in de nieuwe taak of functie zullen meemaken.

De invloed van assessments op het onderwijs is groot. Een dergelijke manier van beoordelen is belangrijk als stimulans voor het leerproces van de student (Baartman, Prins, Kirschner, & Van der Vleuten, 2007). Assessments bepalen in grote mate wat en hoe studenten leren. Zij laten zich bij de voorbereiding op het assessment leiden door de criteria die aan het assessments worden gesteld (Baartman et al., 2007; Straetmans, 2004). Omdat de uitslag van een assessment vaak als ‘toegangspoort’ fungeert naar een volgend jaar en uiteindelijk naar een diploma, is het niet verwonderlijk dat bij accreditaties van hogescholen de laatste jaren extra nadruk is komen te liggen op het toetsen en beoordelen van de kennis en competenties van studenten (Ghrayeb, Damodaran, & Vohra, 2011). In lerarenopleidingen worden voortdurend assessments afgenomen om de competenties van studenten te meten en na te gaan of studenten vooruitgang boeken (Tillema, Dirkse-Hulscher, & Van den Hurk, 2002; Straetmans, Roelofs, & Peters, 2011).

2.3. Portfolio’s

Het portfolio is de laatste decennia een steeds belangrijker meetinstrument geworden voor het beoordelen van competenties van studenten in het hoger onderwijs (Van der Schaaf, Baartman, & Prins, 2012) en specifiek voor het beroep van een docent (Meeus, Van Petegem, & Engels, 2009). Er is daarom al veel bekend over portfolio’s zelf (Lievens & Sackett, 2006), hoewel de meningen verschillen over de vraag wat een portfolio nu precies is (Meeus et al., 2009). Volgens de auteurs komt dat door het feit dat er eigenlijk niet één type portfolio is; elk portfolio heeft zijn eigen format.

Volgens Van der Schaaf et al. (2012) is het doel van een portfolio de huidige competenties van studenten in kaart te brengen evenals de competenties die studenten nog kunnen aanleren. Meeus et al. (2009) geven aan dat het primaire doel van het portfolio is om studenten in verschillende contexten op een authentieke manier te laten leren. In een portfolio verzamelt de student gegevens, producten, evaluaties en reflecties, gericht op een bepaald omschreven domein van nuttige activiteiten en gedragingen over een bepaalde tijd (Stokking, 2010; Tigelaar et al., 2005; Driessen, Beijaard, Van Tartwijk & Van der Vleuten, 2002). Elshout-Mohr en Van Daalen-Kapteijns (2003) wijzen evenals Driessen et al. (2002) op twee type portfolio’s: het ontwikkelportfolio en het prestatieportfolio. Beide portfolio’s hebben dezelfde functies, namelijk het bevorderen van het leren en reflecteren van de student en aan de andere kant het laten zien van zijn ontwikkeling aan personen die hem begeleiden.

Ontwikkelportfolio

In een ontwikkelingsportfolio beschrijft de student hoe de ontwikkeling van zijn competenties verloopt. Dit portfolio bevat ook een beschrijving van de sterke en zwakke punten in de competentieontwikkeling en een Persoonlijk Ontwikkel Plan (POP) waarin de student de voortgang van zijn ontwikkeling schetst dat resulteert in een specifieke begeleidingsvraag. Bij het assessment wat hierop volgt, een formatief assessment, houdt de assessor niet alleen rekening met de toename in

competenties, maar ook met de informatie die de student weergeeft in zijn sterke en zwakte analyse, het POP en zijn begeleidingsvraag. Aan het oordeel op dit assessment is geen bindend studieadvies verbonden. Het is aan de student om eventueel zelf met de studie te stoppen.

Prestatieporfolio

Het prestatieportfolio daarentegen is een portfolio waarin de student aangeeft over welke competenties hij beschikt en in welke mate. Het specifieke doel van dit portfolio is aan te tonen dat de student geschikt is om naar een nieuwe fase in de studie te gaan of bekwaam is om als startende docent werkzaam te zijn. Een onderdeel van dit portfolio is een visiebeschrijving van welke competenties de student relevant acht. Daarnaast geeft de student aan in welke mate hij die relevante competentie beheerst en toont hij dat aan met verschillende soorten bewijsmateriaal. Als derde onderdeel noemen Elshout-Mohr en Van Daalen-Kapteijns (2003) de doorgroeiparagraaf waarin de student een analyse geeft van de mogelijkheid tot verdere competentieontwikkeling. Het resultaat van een bijbehorende summatief assessment wijst uit of de student toegang heeft tot de volgende fase van de opleiding of functie. Opleiders zien het portfolio voornamelijk als een leerervaring voor de student zelf. Studenten zien het portfolio veel meer als een manier om hun bekwaamheden aan hun begeleider te laten zien. Volgens Elshout-Mohr en Van Daalen-Kapteijns (2003) zou het portfoliogebruik vergroot kunnen worden als de meningen hieromtrent meer naar elkaar toegroeien. In dit onderzoek gaat het om een prestatieportfolio waarin de student met bewijzen aantoont in welke mate hij de competenties beheerst die de hogeschool voorschrijft in plaats van welke hij relevant acht voor zijn ontwikkeling.

De laatste jaren is er steeds meer nadruk komen te liggen op het summatieve karakter van het portfolio (Weijzen & Van der Hurk, 2006). Binnen de LVO van Driestar Educatief is dat ook het geval. Pits, Coles, en Thomas (2001) concluderen echter in hun onderzoek dat portfolio’s voornamelijk waardevol zijn voor formatieve toetsing en dat het summatief toetsen problematisch kan zijn. Om die reden dient met name te worden gekeken naar de psychometrische kwaliteiten van portfoliobeoordelingen, zoals de validiteit en betrouwbaarheid (Driessen et al., 2005).

Een portfolio zou niet alleen moeten laten zien dat de student de theorie begrepen heeft, maar ook dat de student kan handelen overeenkomstig de theorie en ontdekt wat de discrepanties zijn tussen wat is aangeleerd in de theorie en wat in de praktijk gebeurt (Admiraal et al., 2011).

De validiteit is kort gezegd de mate waarin een test meet wat je wilt meten. Een voorwaarde voor een valide toetsing bij een portfoliobeoordeling is dat het bewijsmateriaal van de student een adequaat beeld geeft van zijn mogelijkheden. Om dat te bewerkstelligen moeten volgens Driessen et al. (2002) de volgende eisen aan het bewijsmateriaal worden gesteld: authenticiteit (heeft de student bewijsmateriaal opgenomen dat geschikt is om een uitspraak te doen over zijn competentieniveau?),

actualiteit (weerspiegelt het bewijsmateriaal het huidige competentieniveau?) en relevantie (in hoeverre dekt het bewijsmateriaal de belangrijkste elementen van de te beoordelen competenties?).

Deze drie beoordelingseisen zijn ook de eerste drie beoordelingscriteria waarop beoordelaars het portfolio van een student van de LVO dienen te beoordelen. Deze criteria worden aangevuld met de eisen gekaderd, gevalideerd en bruikbaar/deugdelijk. Wanneer het bewijsmateriaal voldoet aan de eisen van authenticiteit, actualiteit en relevantie, is volgens Driessen et al (2002) de bewijslast valide en mag de beoordelaar van Driestar Educatief een positieve beoordeling geven op de criteria ‘gevalideerd’. In hoofdstuk 3 wordt uitgebreider ingegaan op deze beoordelingscriteria.

2.3.1. Portfolio’s binnen lerarenopleidingen - duaal

Duaal betekent dat de student het leren en werken combineert en is een voltijds opleiding. Dat vindt plaats bij Driestar Hogeschool en op de opleidingslocatie. De opleidingslocatie is een school voor voortgezet onderwijs waarmee de hogeschool samenwerkt. Op die school wordt de student begeleid door een schoolopleider en een vakcoach (www.driestar-educatief.nl, geraadpleegd op 19 januari 2014). Studenten kunnen de lerarenopleiding ook in deeltijd volgen. Deelname van deze opleidingsvariant levert hetzelfde diploma op en heeft dezelfde studielast als de duale variant. Er zijn echter minder contacturen, waardoor het mogelijk is om de studie naast het werk te doen (www.driestar-educatief.nl, geraadpleegd op 19 januari 2014). Deze variant wordt verder in dit onderzoek buiten beschouwing gelaten.

Gedurende de vier jaar van een duale lerarenopleiding wordt bij de student twee keer een assessment afgenomen. De eerste vindt plaats aan het eind van jaar 2 en moet uitsluitsel geven of een student bekwaam is om aan zijn tweejarige stage te beginnen. Dit assessment heet het LIO-assessment. Daarin geeft de student zelfstandig les en voert hij een onderzoek uit in het kader van zijn minor. Een minor is een onderwerp dat de student interesseert en waarin hij zich specialiseert. De minor bestaat uit theoretische onderdelen en praktijkonderzoek (Driestar Educatief, 2013).

Halverwege jaar 2 is er een proefassessment als ‘voorbereiding’ op het LIO-assessment. Dit is bedoeld om na te gaan in hoeverre de student voldoet aan de competenties die noodzakelijk zijn voor het klassikaal lesgeven en door te mogen gaan naar de hoofdfase van de opleiding. Aan het eind van jaar 4 wordt het ‘eindassessment’ afgenomen dat moet bepalen of de student bekwaam is om na zijn opleiding zelfstandig voor de klas te staan.

Voor zowel het LIO- als het eindassessment leveren de studenten van tevoren bij hun twee assessoren een assessmentportfolio in met daarin per competentie interne en externe bewijzen. Onder interne bewijzen vallen de verslagleggingen van de eigen activiteiten. Externe bewijzen kunnen bijvoorbeeld het werk van leerlingen zijn of beoordelingen van collega’s en teamleiders. De assessments vinden plaats op de opleidingsscholen. In de duale (voltijds) variant van de lerarenopleiding worden in het eerste en tweede jaar alleen de competenties 1-4 en 7 beoordeeld. In het derde en vierde jaar wordt van de studenten verwacht dat ze alle competenties gaan (leren)

verwerven. Het LIO-assessment heeft in de eerste plaats een summatief karakter, namelijk het beoordelen of de student bekwaam is om door te gaan naar de volgende fase. Daarnaast krijgt de student ook ontwikkeladviezen mee om doelgericht te gaan werken aan de verdere ontwikkeling richting het eind-assessment waarin de student aan toont of hij startbekwaam is om zelfstandig in het onderwijs te werken (Driestar Educatief, 2013).

2.3.2. Portfoliobeoordelingen

Tigelaar et al. (2005) stellen dat het lastig is om portfolio’s te beoordelen vanwege de steeds wisselende context en het unieke, levensechte karakter van het portfolio. Studenten mogen namelijk zelf hun bewijzen selecteren om aan te tonen dat ze de competenties beheersen. Sluijsmans (2002) laat in zijn onderzoek zien dat het aan te bevelen is om studenten onderling elkaars portfolio kritisch te lezen door middel van zogenoemde peer-assessment. Hierdoor ervaren studenten dat een goed portfolio gebaat is bij een duidelijke structuur en bewijzen die van belang zijn om aan te tonen dat de student een bepaalde competentie beheerst.

Van der Schaaf en Stokking (2008) beschrijven het proces van het beoordelen van assessmentportfolio’s aan de hand van vier ‘modellen’ die met elkaar dienen te interacteren. Het eerste model is een model waarin staat welke competenties er precies worden beoordeeld (teacher model). Als tweede noemen de auteurs de volledigheid aan bewijzen in het portfolio om aan te kunnen tonen dat de student de competenties beheerst (task model). Ten derde wordt het scoring model genoemd om de getoonde competenties van een beoordeling te kunnen voorzien. Tot slot zijn er de inhoud- en prestatie standaarden om de score te kunnen interpreteren (interpretation model). Deze modellen tonen aan dat voor een totale portfoliobeoordeling de modellen in verband met elkaar moeten staan. Zo kan in dit model een assessor een competentie niet beoordelen als de bewijzen niet volledig zijn of aangeeft bij welke competentie een bewijsstuk behoort. Tevens vraagt het beoordelen van de bewijzen om experts die de beoordeling aan de hand van standaarden om kunnen zetten in een cijfer. Hiervoor zou gedacht kunnen worden aan een rubric3.

Straetmans (2004) geeft met zijn Protocol Portfolio Scoring (PPS) een aanzet voor het standaardiseren van portfoliobeoordelingen. PPS is namelijk een procedure om prestaties (bewijzen) op een gestandaardiseerde manier te beoordelen en een bewijs zo op te bouwen dat de student laat zien dat hij de desbetreffende competentie verworven heeft. Hierbij gelden drie eisen om een bewijsstuk op te kunnen nemen in een prestatieportfolio:

3

Rubrieken, of rubrics, zijn beoordelingsschema’s voor met name de beoordeling van vaardigheden. In de rubrieken staat hoe het gedrag van een student beoordeeld kan worden (SLO, 2006) en wat de student kan verwachten als hij een assessment doet. Daarnaast biedt een rubric de mogelijkheid om per criteria de norm te bepalen (Panadero & Jonsson, 2013).

1) Het bewijs moet met zekerheid toegeschreven kunnen worden aan de eigenaar van het portfolio

2) Het bewijs is geleverd onder assessmentcriteria die door de opleiding zijn vastgesteld 3) Het bewijs moet in verband kunnen worden gebracht met de desbetreffende competentie

De punten 1 en 3 spreken voor zichzelf. Punt 2 gaat in op de eis voor de aanwezigheid van getrainde assessoren die het gedrag observeren en scoren, de hoeveelheid tijd die een student krijgt om een taak uit te voeren, de hulpbronnen die geraadpleegd mogen worden, etcetera. In de discussie zal worden ingegaan hoe deze standaarden zich verhouden ten opzichte van de beoordelingsprocedure van Driestar Educatief. Standaardisatie van portfolio-onderdelen, score procedure, assessment criteria en het inzetten van getrainde assessoren zouden de consistentie en objectiviteit van portfoliobeoordelingen dus kunnen verbeteren. Dochy, Schelfhout, en Janssens (2003) beweren dat de levensechtheid van een portfolio toeneemt wanneer de student zelf kan beslissen wat wordt opgenomen en waarin deze keuze expliciet wordt toegelicht en verantwoord.

2.3.3. De betrouwbaarheid van portfoliobeoordelingen

Meeus et al. (2009) stellen dat een betrouwbare beoordeling van een portfolio vraagt om een nauwkeurige meting, hoewel dat in de praktijk moeilijk te realiseren blijkt. In vergelijking met bijvoorbeeld een gestandaardiseerde meerkeuze toets, waar weinig ruimte wordt overgelaten voor de interpretatie van de beoordelaar, zijn de beoordelingscriteria voor een portfolio veelal minder eenduidig en hangt veel af van de interpretatie van de beoordelaar, wat de beoordeling subjectiever maakt. Aan de andere kant zeggen dezelfde auteurs dat het meer standaardiseren van zowel de portfoliocriteria als de beoordelingscriteria van het portfolio een verarming is van het portfolio zelf (Meeus et al., 2009).

Een betrouwbare beoordeling van een portfolio kan volgens het onderzoek van Uhlenbeck (2002) versterkt worden doordat het portfolio bewijsstukken of getuigschriften bevat van meerdere personen die de student hebben zien lesgeven en dat het portfolio gebruikt wordt in combinatie met andere instrumenten, zoals een Criterium Gericht Interview (zie voor uitleg CGI paragraaf 1.2.2.). Hierdoor is het mogelijk datgene wat de student beweert te toetsen aan andere bronnen. Daarnaast vindt er door het raadplegen en analyseren van verschillende data-bronnen een vorm van triangulatie plaats. Ghrayeb et al. (2011) beschrijven het proces van triangulatie als volgt: ‘Een strategie die gebruikt wordt met de bedoeling de validiteit van onderzoeksresultaten te beoordelen en te vergroten’. Het houdt in dat verschillende methodetechnieken ingezet worden. Voorbeelden daarvan zijn: observaties, mondelinge presentaties of een schriftelijke toets. Deze uitkomsten worden vervolgens geëvalueerd om na te gaan of de onafhankelijke metingen elkaar steunen of juist met elkaar in strijd zijn. Hoewel Ghrayeb et al. (2011) hier expliciet het vergroten van de validiteit van assessments bedoelen, heeft dit concept ook iets te zeggen over de betrouwbaarheid van de portfoliobeoordelingen.

Het hoofddoel van triangulatie is immers om overeenstemming en samenhang te vinden tussen de uitkomsten van verschillende onderzoeksmethoden en onderzoeksbronnen (Miles & Huberman, 1994; Ghrayeb et al., 2011). Wanneer de beoordeling van het portfolio ernstig afwijkt van de andere vormen van data-verzameling over de ontwikkeling van de student, kunnen vraagtekens geplaatst worden bij deze beoordeling.

De zogenoemde interbeoordelaarsbetrouwbaarheid is een concept dat lastig is te definiëren. Het is daarvoor nodig dat het beoordelen van een portfolio altijd plaatsvindt door meerdere assessoren die daarvoor een specifieke training hebben gevolgd (Meeus et al., 2009). Daarnaast geven ze vijf punten die de betrouwbaarheid en validiteit van verschillende assessmentonderdelen kunnen vergroten, namelijk:

- Het gebruik van een gemeenschappelijk protocol voor het afnemen van assessment - Het gebruik van een gemeenschappelijke checklist van assessmentcriteria

- Een holistische beoordeling van het assessment (totaal beoordeling van alle assessmentonderdelen)

- Een adequate training voor assessoren - De inzet van verschillende ‘type’ assessoren

Deze punten komen voor een groot deel overeen met de standaarden die Straeatmans (2004) noemt en in de vorige paragraaf zijn beschreven. Hij benadrukt het belang van een protocol voor het beoordelen van portfolio’s. Meeus et al. (2009) stellen in hun eerste twee punten dat het gebruik van een gemeenschappelijk protocol en checklist de betrouwbaarheid van verschillende beoordelingen kan vergroten. Het derde punt slaat op een totale beoordeling van verschillende assessmentonderdelen. Een portfolio is echter een van de onderdelen van een assessment en zou als zodanig op een analytische manier beoordeeld moeten worden. Toch kan bij zo’n beoordeling ook sprake zijn van een holistische benadering. De beoordelaars beoordelen elk bewijs afzonderlijk, op een analytische manier. Dat is nodig, want geen enkel bewijs is identiek. Wanneer alle bewijzen apart beoordeeld zijn, dient de beoordelaar wel een totaal beoordeling te geven. Anders kan niet worden vastgesteld of het portfolio in zijn geheel voldoende of onvoldoende is en daarom wel of niet de competenties beheerst. Volgens Bekker-Holtland et al. (2010) is de competentiebeoordeling, waar het portfolio dus een onderdeel van is, een totaalbeoordeling over het product en het proces.

Bij de betrouwbaarheid van de beoordeling van portfolio’s gaat het vooral om de vraag in welke mate de beslissing ‘of iemand wel of niet competent is’ betrouwbaar is (Van Zutven, Polderdijk, & De Volder, 2004). Enerzijds gaat het om de mate van bekwaamheid van de student voor elke competentie vast te stellen; anderzijds gaat het om de vraag in hoeverre deze beoordeling iets zegt over de kwaliteit van functioneren in de latere beroepspraktijk. Met andere woorden, is een student die een 9 had voor zijn portfolio later een betere docent dan iemand die een 7 had voor zijn

portfoliobeoordeling? Het aspect van betrouwbaarheid komt met name aan de orde bij de objectiviteit of intersubjectiviteit bij de beoordeling en het formuleren van de beoordelingscriteria en de beoordelingsmethode (Van Zutven et al., 2004). Deze twee aspecten zijn eisen die ingaan op het procedurele karakter van de beoordeling. Elshout-Mohr, Oostdam, Dietze, en Snoek (2001) dragen aanbevelingen aan om de betrouwbaarheid van portfoliobeoordelingen op dit punt te verhogen: een zorgvuldig geplande en gecontroleerde beoordelingsprocedure die voor iedereen identiek is. Straetmans, Sluijsmans, Bolhuis en Van Merrienboer (2003) en Weijzen en Van der Hurk (2006) sluiten zich hierbij aan door te vermelden dat het bij betrouwbaarheid van portfoliobeoordelingen voornamelijk gaat om een gedetailleerde beoordelingsprocedure met meerdere getrainde beoordelaars.

2.4. Teachers’ conceptions

Voorafgaand aan de introductie van de term ‘conceptie’ door Thompsom (1992) bestond er een variëteit aan begrippen die refereerden naar de overtuiging van docenten – teachers’ belief – zoals: kennis, opvatting en overtuiging. Thompson (1992) probeert deze begrippen te clusteren en er één term aan te verbinden, namelijk de concepties van docenten. Hiermee bedoelde hij: ‘Een meer algemene, mentale structuur die de overtuiging, betekenissen, begrippen, regels en geestelijke inbeelding omvat’. Pratt (1992) voegt daaraan toe dat concepten verschillende categorieën en ideeën vertegenwoordigen van docenten die schuilgaan achter hun beschrijvingen van hoe zij onderwijskundige zaken ervaren. Concepties treden dus op als een raamwerk waardoor docenten kijken, interpreteren en interacteren met hun onderwijzende omgeving (Marton, 1981). Volgens Pajares (1992) ligt de oorsprong van concepties die docenten hebben van bepaalde begrippen of concepten in hun eigen ervaring met dat fenomeen. Wanneer die ervaring negatief is, acht de auteur het wenselijk dat de docent een training volgt, zodat de concepten op een objectieve manier aangeleerd kunnen worden.

Hoewel het in de literatuur vaak gaat over de concepten van docentopleiders ten aanzien van assessments in het geheel, zijn de resultaten ook interessant wanneer gekeken wordt naar de conceptuele invulling van bepaalde begrippen. Zo laat onderzoek zien dat de concepties en de praktische uitvoering van een beoordelaar van een assessment vaak wel met elkaar overeenkomen. Tegelijkertijd blijkt uit die onderzoeken dat de concepties van de meeste beoordelaars juist niet overeenkomen met de hedendaagse algemene ideeën over assessments (Brown, 2004; Brown, Kennedy, Fok, Chan, & Yu, 2009; Segers & Tillema, 2011).

In dit onderzoek wordt de term ‘conceptie’ gehanteerd voor het raamwerk waaruit een individu reageert en interacteert met een bepaald fenomeen (Brown, 2004), in dit geval een beoordelaar die aan de hand van bepaalde begrippen een portfolio beoordeelt.

2.5. Tot slot

In dit hoofdstuk zijn enkele begrippen uitgewerkt die de basis vormen voor dit onderzoek waarin de vraag centraal staat in hoeverre beoordelaars een betrouwbare beoordeling van een portfolio geven. Het was daarom noodzakelijk een context te schetsen waarin het belang en de functie van een portfolio tot uitdrukking komen. Het prestatieportfolio vormt een van de onderdelen van een assessment waarin de student ziet welke competentie hij beheerst en in welke mate. Daarnaast zijn punten genoemd die helpen bij het standaardiseren van de beoordelingsprocedure en zo de betrouwbaarheid van portfoliobeoordelingen tussen en binnen beoordelaars kunnen vergroten.

In dit onderzoek wordt voor Driestar Educatief na gegaan in welke mate hun assessoren een betrouwbare beoordeling geven. Deze beoordelingen geven assessoren vanuit hun eigen concepties van de beoordelingscriteria en beïnvloeden mogelijk hun beoordelingen. Daarom wordt onderzocht wat de concepties van assessoren zijn en wordt geprobeerd deze uitkomsten in verband te brengen met de beoordelingen voor het portfolio. In de discussie zal naar dit hoofdstuk terug worden verwezen wanneer aanbevelingen worden gedaan omtrent het vergroten van het geven van betrouwbare beoordelingen.

HOOFDSTUK 3 – KWALITATIEF ONDERZOEK

Zoals aan het eind van het hoofdstuk 1 al is benoemd, bestaat dit onderzoek uit een kwalitatieve en een kwantitatieve manier van data verzamelen. In dit hoofdstuk komt allereerst het kwalitatieve deel aan bod, waarbij in paragraaf 3.1 ingegaan wordt op de methode met daarbij de subparagrafen over de respondenten, de onderzoeksinstrumenten, de procedure en de analyse. Vervolgens wordt in paragraaf 3.2 besproken wat de resultaten van dit deelonderzoek zijn. Paragraaf 3.3 gaat tot slot in op de conclusie. Met dit hoofdstuk wordt getracht een antwoord te geven op de eerste en tweede deelvraag:

1) Zijn de beoordelingscriteria voor het assessmentdossier helder geformuleerd en hanteren de assessoren deze criteria conceptueel zoals bedoeld?

2) Wat zijn volgens de assessoren factoren die een betrouwbare beoordeling van het assessmentdossier in positieve dan wel negatieve zin beïnvloeden?

3.1. Methode

Voor het kwalitatieve deel van dit onderzoek hebben semigestructureerde interviews plaatsgevonden met acht assessoren die werkzaam zijn bij Driestar Educatief of op de opleidingsscholen. In het gesprek ging het voornamelijk over de invulling van de concepten zoals assessoren die individueel hanteren. Ook konden assessoren hun mening geven over factoren die een betrouwbare beoordeling beïnvloeden. De interviews zijn uitgewerkt en gelabeld aan de hand van een codeboom.

De invulling van deze methodeparagraaf is als volgt: allereerst wordt in subparagraaf 3.1.1. de selectie van de respondenten uitgewerkt. De volgende subparagraaf gaat in op de onderzoeksinstrumenten. In de laatste twee subparagrafen worden de procedure (3.1.3.) en de manier van data analyse (3.1.4.) beschreven. Een enkele keer loopt een deel van het kwantitatieve onderzoeksgedeelte door dit hoofdstuk heen omdat beide onderzoeksmethoden niet na elkaar, maar tegelijkertijd hebben plaatsgevonden.

3.1.1. Respondenten

Voor dit deel van het onderzoek hebben verschillende beoordelaars zich beschikbaar gesteld om geïnterviewd te worden. Dit betrof aan de ene kant respondenten die werkzaam zijn binnen Driestar Educatief. Zij zijn instituutsdocenten binnen het pedagogisch didactisch programma en hebben elk een registratietraject gevolgd bij de Vereniging Lerarenopleiders Nederland (VELON). Dit traject hebben zij kortere of langere tijd geleden succesvol afgerond waardoor ze zich officieel