Informeren van docenten

Zoals beschreven in paragraaf 4.3.1 is er een reader samengesteld over het

competentiegericht opleiden en beoordelen (zie ook de inhoudsopgave in bijlage 6). Deze reader is ongeveer twee weken voorafgaand aan de informatiebijeenkomst gestuurd naar de docenten. De informatiebijeenkomst is geweest op zondag 15 juni 2014. Aan het begin van deze informatiebijeenkomst is de toets (zie ook paragraaf 5.4.1) afgenomen om een indicatie te hebben over het kennisniveau van de docenten voorafgaand aan het interventietraject. Deze zelfde toets is vervolgens weer afgenomen onder de docenten aan het begin van de eerste trainingsbijeenkomst op vrijdag 4 juli 2014, 27 dagen na het eerste meetmoment. De resultaten van deze toets zijn opgenomen in tabel 6.1. De toets bestond uit vijf meerkeuze-vragen. Voor elke vraag die goed was beantwoord, kon een docent twee punten scoren. Tabel 6.1: Gemiddeld toetscijfer docenten kennisniveau.

Gemiddeld cijfer meetmoment 1 Gemiddeld cijfer meetmoment 2

4,4 6,2

Uit tabel 6.1 blijkt dat het gemiddeld toetsresultaat tijdens het eerste meetmoment 4,4 is geweest. Twee toetsvragen (zie bijlage 7) zijn door alle respondenten fout beantwoord, namelijk de vraag over de competentiegerichte assessmentpiramide en de vraag over hetgeen noodzakelijk is als een student een ontwikkelingsportfolio maakt. Bij de vraag over de assessmentpiramide hebben de docenten dus niet kunnen herkennen dat bij assessment van competenties assessment tijdens het leren (“assessment as learning”) de basis vormt, gevolgd door assessment voor het leren (“assessment for learning”) en tenslotte assessment van het

Masterthesis 46 leren (“assessment of learning”). Bij de vraag over het ontwikkelingsportfolio hebben de docenten niet kunnen herkennen dat een student niet maar één informatiebron als bewijs kan gebruiken.

Het gemiddeld toetsresultaat is tijdens het tweede meetmoment 6,2 geweest. Uit de analyse van deze toetsresultaten is, in tegenstelling tot het eerste meetmoment, niet gebleken dat er specifieke onderdelen zijn waarbij de docenten een informatiegap hebben. De fouten variëren namelijk per docent.

Uitgaande van het gemiddeld cijfer van de twee verschillende meetmomenten, respectievelijk 4,4 en 6,2, kan gesteld worden dat de reader over het competentiegericht opleiden en

beoordelen en de informatiebijeenkomst een positief effect hebben gehad op het kennisniveau van de docenten over het competentiegericht opleiden en beoordelen.

6.1.2 Assessorentraining

De doelen van de assessorentraining zijn geweest om de docenten: a. te trainen in de competenties van een assessor;

b. met elkaar te laten oefenen bij het aanleren van de gedragsindicatoren van een getrainde assessor;

In schema 5.1 zijn de indicatoren die bij de competenties van een assessor van belang zijn, weergegeven. Voor de overzichtelijkheid worden die weer hier opgenomen:

1. Portfolio beoordelen, waarbij de docent:

 let op de variatie, relevantie, authenticiteit, actualiteit en kwantiteit van de bewijzen (tijdens het onderzoek afgekort vraak-criteria).

 let op de relatie tussen de bewijzen, de gepleegde handelingen in beroepssituaties en de competenties (tijdens het onderzoek genoemd beoordelingsdriehoek).

2. Criteriumgericht interview afnemen, waarbij de docent:

 actief luistert, doorvraagt, samenvat (LSD).

 de kandidaat vraagt naar de situatie waaruit een bewijs is voortgekomen, wat de taak precies was in die situatie, welke actie concreet is ondernomen, wat het resultaat van die actie was en wat een volgend keer anders gedaan zou kunnen worden (START).

 turbo vragen hanteert.

 feedbackregels toepast.

 de feedback op concrete voorbeelden uit het portfolio of het criteriumgericht interview baseert.

Zoals eerder beschreven (zie ook paragraaf 4.3.2 en 5.4.2), zijn er bij de assessorentraining twee meetmomenten geweest, waarbij het eerste meetmoment is geweest tijdens de eerste twee trainingsbijeenkomsten en het tweede meetmoment tijdens de derde trainingsbijeen-komst, ongeveer één maand na het eerste meetmoment. Gedurende deze twee meetmomenten hebben de docenten onderling geoefend.

Masterthesis 47 Om het geheel overzichtelijk te houden, worden de resultaten bij dit onderdeel weergegeven voor de twee hierboven genoemde aspecten (beoordelen portfolio en criteriumgericht interview afnemen).

Beoordelen van het portfolio

Bij het beoordelen van het portfolio hebben de docenten tijdens het eerste meetmoment, vrijdag 11 juli 2014, in vier groepen gewerkt, waarbij studentenportfolio’s beoordeeld

moesten worden. Bij het beoordelen van de studentenportfolio’s hebben de docenten gelet op de variatie, relevantie, authenticiteit, actualiteit en kwantiteit van de bewijzen (vraak-criteria) en de relatie tussen de bewijzen, de gepleegde handelingen in beroepssituaties en de

competenties (beoordelingsdriehoek). Het resultaat van dit groepswerk is onderling door de groepen zelf beoordeeld. Het tweede meetmoment heeft plaatsgehad op vrijdag 8 augustus 2014. Hierbij waren er acht van de negen docenten aanwezig, waarbij twee docenten een gezamenlijk portfolio hebben ingeleverd. Ook hier hebben de docenten onderling de beoordeling gedaan.

Vraak-criteria

In schema 6.1 zijn de resultaten van de twee meetmomenten weergegeven met betrekking tot de vraak-criteria. Tijdens het eerste meetmoment zijn er van vier groepen resultaten en tijdens het tweede meetmoment zijn er van zes individuele docenten en één duo-groep resultaten. Tussen het eerste en het tweede meetmoment zijn er 29 dagen.

Schema 6.1: Portfoliobeoordeling vraak-criteria

Meetmoment 1 Meetmoment 2

1. Poging om de variatie te brengen, terwijl de andere criteria niet zijn meegenomen. 2. Alleen de variatie en de

relevantie zijn toegelicht. 3. De actualiteitswaarde is niet

genoemd, de overige criteria in onvoldoende mate. 4. De variatie is onvoldoende

uitgewerkt, de kwantiteit is niet aan de orde gekomen. De overige criteria zijn wel genoemd.

1. De bewijsstukken zijn echt en actueel (27 juli, 28 juli en 2 augustus). Er zijn maar van twee indicatoren bewijzen, waarvan maar van één er meerdere bewijzen zijn.

2. Er zijn geen bewijzen als zodanig in het portfolio opgenomen.

3. Alle indicatoren zijn aan de hand van één feedbackrapport bewezen.

4. De beoordeling is gedaan aan de hand van een casus en niet van de indicatoren van een assessor.

5. De vraak-criteria zijn voldoende toegepast. 6. De vraak-criteria zijn onvoldoende toegepast.

7. Uit de beschrijving van de werkwijze en de opsomming van de bevindingen blijkt de variatie, relevantie en de actualiteit. De authenticiteit en de kwantiteit zijn niet gebleken.

Zoals in het begin van deze paragraaf aangegeven, dient een assessor bij het beoordelen van een portfolio uit te gaan van de vraak-criteria. Uit schema 6.1 blijkt dat de docenten bij het beoordelen van het portfolio zowel bij het eerste meetmoment als bij het tweede meetmoment uit zijn gegaan van de vraak-criteria.

Tussen de twee meetmomenten hebben de docenten onderling geoefend in het hanteren van de vraak-criteria bij het beoordelen van een portfolio. Tijdens het oefenen hebben de

Masterthesis 48 docenten middels een leerrapport twee keer gereflecteerd op de mate waarop zij conform de vraak-criteria een portfolio beoordelen, waarbij de sterke punten en de verbeterpunten hiervan genoteerd zijn. De resultaten van alle docenten zijn weergegeven in schema 6.2.

Schema 6.2: Oefenresultaten vraak-criteria

Leerrapport 1 Leerrapport 2

Sterke punten

Alle onderdelen toegepast (3) Alle onderdelen toegepast

Variatie, Authenticiteit, Actualiteitswaarde Variatie, Authenticiteit, Actualiteitswaarde

Ervaring kunnen opdoen met de techniek Het beoordelen van de bewijsstukken met de vraak-techniek (2)

Verbeterpunten

Actualiteit kon beter Actualiteit kon beter

Kwantiteit Kwantiteit

Relevantie (2) Relevantie

Juiste afbakening maken Juiste afbakening maken

Uit schema 6.2 blijkt dat, net als bij het eerste en het tweede meetmoment, de docenten bij het oefenen bij de portfoliobeoordeling ook rekening gehouden hebben met de vraak-criteria. Uit schema 6.2 blijkt ook dat het maken van een juiste afbakening tussen de criteria als een verbeterpunt is aangemerkt.

Uitgaande van hetgeen hierboven gesteld is, kan worden aangegeven dat de docenten vanaf het eerste meetmoment de vraak-criteria hebben gehanteerd bij het beoordelen van

portfolio’s.

Beoordelingsdriehoek

In schema 6.3 zijn de resultaten van de twee meetmomenten weergegeven van de beoordelingsdriehoek. Voor het beoordelen van een portfolio op basis van de

beoordelingsdriehoek, dient de docent na te gaan als de bewijzen, beroepshandelingen en beoordelingscriteria aan elkaar zijn gerelateerd.

Schema 6.3: Portfoliobeoordeling beoordelingsdriehoek

Meetmoment 1 Meetmoment 2

1. Er zijn zowel bewijzen als beroepshandelingen.

2. De bewijzen zijn wel beoordeeld, maar de beroepshandelingen en de beoordelingscriteria zijn niet meegenomen.

3. Er is per competentie beoordeeld, maar de beoordelingsdriehoek is niet gebleken.

4. De prestatie-indicatoren en het bewijsmateriaal zijn wel gebruikt, maar de beroepshandelingen (de context) niet.

Bij geen enkele indicator is er een relatie gelegd met het bewijs en de beroepscontext. (7)

Uit schema 6.1 blijkt dat de docenten bij het eerste meetmoment zich met name gefocust hebben op de onderdelen (bewijzen, beroepshandelingen en beoordelingscriteria) van de beoordelingsdriehoek en niet zozeer op de relatie daartussen. Bij het tweede meetmoment is

Masterthesis 49 deze relatie wel meegenomen. In welke mate het onderling oefenen tussen de twee

meetmomenten hiertoe heeft bijgedragen, is weergegeven in schema 6.4. Schema 6.4: Oefenresultaten beoordelingsdriehoek

Leerrapport 1 Leerrapport 2

Sterke punten

Bewijzen Bewijzen

Gebruik van de competenties Gebruik van de competenties Ervaring kunnen opdoen met beoordelingsdriehoek

Verbeterpunten

Bewust toepassen Bewust toepassen

Toepassen Toepassen (2)

Uit schema 6.4 blijkt dat het uitgaan van de bewijzen en de competenties en het opdoen van ervaring met de beoordelingsdriehoek een bijdrage hebben geleverd dat tijdens het tweede meetmoment wel op de relatie tussen de bewijzen, beroepshandelingen en beoordelingscri-teria is gelet. Ook heeft het (bewust) toepassen van de beoordelingsdriehoek hieraan bijgedragen.

Criteriumgericht interview

Bij het criteriumgericht interview is de focus geweest op de START (situatie, taak, actie, resultaat en transfer), LSD (luisteren, samenvatten en doorvragen) en turbo-vragen en het geven van feedback. Tijdens het eerste meetmoment zijn drie duo-groepen gevormd en één groep van drie docenten. In totaal dus vier groepen. Van deze vier groepen hebben twee het criteriumgericht interview voorbereid vanuit de rol van de student en twee vanuit de rol als assessor, waardoor uit het eerste meetmoment van twee criteriumgerichte interviews resul-taten zijn verzameld. Tijdens het tweede meetmoment zijn, net als bij de portfoliobeoorde-ling, van zeven interviews resultaten verzameld. De vragen die bij de START- en de TURBO technieken gesteld konden worden en de feedbackregels zijn opgenomen in bijlage 13. START

In schema 6.5 zijn de resultaten van de START-techniek (situatie, taak, actie, resultaat en transfer) opgenomen voor de twee meetmomenten.

Schema 6.5: Criteriumgericht interview: START

Meetmoment 1 Meetmoment 2

De docent gaat in op de S-fase (situatie): - De spanningen zijn er nog.

- Wat gebeurde er precies?

- Wie waren er allemaal bij betrokken? - Wat was het daadwerkelijk probleem? (2) - Wat heb je precies gesignaleerd?

De docent gaat in op de S-fase (situatie): - Goed (2).

- Praat/stelt vragen over de samenstelling van het portfolio.

- Behandelt de cases die de kandidaten hebben opgenomen in hun portfolio.

- Ja, gevraagd over de situaties als assessor. - Gevraagd over de situatie van het portfolio. - Voldoende.

Masterthesis 50

Meetmoment 1 Meetmoment 2

De docent gaat in op de T-fase (taak): De docent gaat in op de T-fase (taak): - Niet (2).

- Goed.

- Praat over de taak die is uitgevoerd tijdens het afnemen van het assessment.

- Ja, heeft vragen gesteld over taak als assessor. - Heeft weinig vragen daarover gesteld, de

kandidaat is zelf erop ingegaan. - Voldoende.

De docent gaat in op de A-fase (actie): - Wat heb je precies gedaan?

- Ik begrijp dat een van de acties is geweest…. - Heb je naar eigen inzicht de actie ondernomen?

De docent gaat in op de A-fase (actie): - Niet (2).

- Vraagt wat precies is gedaan, hoe het assessment is gevoerd.

- Gevraagd naar het gevoel in de rollen. - Voldoende.

De docent gaat in op de R-fase (resultaat):

- Welk deel is nog niet opgelost en welk deel wel?

- Er is niet vermeld dat de oplossing is gekomen. - Waren de medewerkers er mee eens dat de

oplossing is gekomen?

- Ik heb niet het idee dat er een oplossing is gekomen.

- Hoe heb je het verder opgelost? - Is het resultaat wel aanwezig?

- Hoe ben je eigenlijk aan die oplossing gekomen?

- Ben je tevreden over het resultaat?

De docent gaat in op de R-fase (resultaat): - Goed (2).

- Het resultaat is het portfolio en stelt daar vragen over. Vraagt ook hoe ze het hebben ervaren.

- Onvoldoende (2). - Matig.

- Niet.

De docent gaat in op de T-fase (transfer):

- Stel dat het probleem zich weer voordoet.

- Ga je een ander keer dezelfde oplossingen gebruiken?

- Is die situatie al een keer voorgekomen en hoe ben je toen ermee omgegaan?

De docent gaat in op de T-fase (transfer): - Goed (2).

- Vraagt als de opdracht op dezelfde manier of anders zou worden gedaan als het opnieuw zou moeten worden uitgevoerd.

- Onvoldoende (2). - Voldoende. - Wel.

Bij het hanteren van de gesprekstechniek START dient aan de kandidaat gevraagd te worden naar de situatie waaruit een bewijs is voortgekomen, wat de taak precies was in die situatie, welke actie concreet is ondernomen, wat het resultaat van die actie was en wat een volgend keer anders gedaan zou kunnen worden. Uitgaande van hetgeen is weergegeven in schema 6.5, kan ten aanzien van de START worden afgeleid dat er ten opzichte van het eerste meetmoment, waarbij de taak-fase niet was voorgekomen, er een toename in het

ontwikkelingsniveau van de START techniek is waar te nemen. Bij het tweede meetmoment zijn namelijk alle vijf fasen van de START-techniek voorgekomen.

De mate waarin het onderling oefenen van de docenten tussen de tweemeetmomenten een bijdrage aan deze toename in het ontwikkelingsniveau heeft geleverd is opgenomen in schema 6.6. Ook hier worden de resultaten voor de twee leerrapporten opgenomen waarbij een onderscheid wordt gemaakt in de sterke punten en de verbeterpunten.

Masterthesis 51 Schema 6.6: Oefenresultaten START

Leerrapport 1 Leerrapport 2

Sterke punten

Alle onderdelen redelijk toegepast (4) Alle onderdelen redelijk toegepast (2) Situatie, Taak, Actie en resultaat kwamen aan

bod

Situatie, Taak, Actie en resultaat kwamen aan bod Situatie, Taak en Actie kwamen aan bod Situatie, Taak en Actie kwamen aan bod

Ervaring kunnen opdoen met Start Verbeterpunten

Alle elementen van de Start procedure aan de orde laten komen

Alle elementen van de Start procedure aan de orde laten komen

Oefenen met R-T Oefenen met R-T

Slechts één situatie besproken Slechts één situatie besproken Meer focussen op transfer

Beter onderscheid tussen Transfer en Turbo

Uit schema 6.6 blijkt dat tijdens het oefenen alle fasen van de START aan de orde zijn geweest, waardoor het oefenen tussen de twee meetmomenten een positief effect heeft gehad op de ontwikkeling van de START-techniek bij de docenten.

LSD

In schema 6.7 zijn de resultaten van de LSD-techniek (luisteren, samenvatten en doorvragen) opgenomen voor het eerste en het tweede meetmoment.

Schema 6.7: Criteriumgericht interview LSD

Meetmoment 1 Meetmoment 2

De docent luistert actief: - Bevestigend knikken (2). - Bevestigende antwoorden (2). - Oogcontact (2).

De docent luistert actief:

- Ja, en kan daardoor ook doorvragen.

- Zeer actief en brengt het gesprek terug naar het begin.

- Ja, stelt tussendoor vragen.

- Speelt in op hetgeen de kandidaat zegt en kan verdere vragen stellen.

- Redelijk (2).

- Luistert aandachtig en kan daardoor ook ingaan op hetgeen de kandidaat zegt.

- Weinig geluisterd. Meer gepraat en gevraagd. De docent vraagt door:

- Er is ergens toch nog iets dat moet gebeuren. - Wat was het daadwerkelijk probleem?

- Wat kan er dan voor die persoon nog gebeuren?

- Waarin uitte deze spanning zich? - Wat vindt u zelf?

De docent vraagt door: - Goed.

- Goed, waardoor onduidelijkheden konden worden weggenomen.

- Af en toe.

- Door middel van doorvragen probeert ze meerdere antwoorden, de juiste informatie, te krijgen

- Onvoldoende (2).

- Doorvragen, bijvoorbeeld bij het gedeelte over de vaststelling van de actualiteiten.

Masterthesis 52

Meetmoment 1 Meetmoment 2

De docent vat samen:

- Je hebt dus gesignaleerd dat….. - Dus eigenlijk heb je…

De docent vat samen: - Goed.

- Goed, aan het eind een heldere samenvatting. - Ja, vat het traject van de totstandkoming van het

portfolio en de belemmeringen (tekort aan tijd) samen.

- Kort samengevat wat ze hebben gedaan bij het eerste gesprek en gaat van daaruit verder met het gesprek. Vat ook samen op verschillende manieren en vraagt dan verder.

- Niet tijdens de vragenronde, wel aan het eind. - Redelijk goed.

- Ja. Bijvoorbeeld na het antwoord van de kandidaat over kwantiteit.

- Heeft wel samengevat.

Bij het toepassen van de LSD-techniek gaat het erom dat de docent actief luistert, doorvraagt en samenvat. Uit schema 6.7 blijkt dat zowel bij het eerste als bij het tweede meetmoment alle drie aspecten zijn voortgekomen. Hoewel niet zichtbaar in het schema, is het wel zo dat de resultaten van het eerste meetmoment bij het onderdeel samenvatten van één van de twee interviews afkomstig zijn. Bij één groep is er tijdens het eerste meetmoment niet samengevat. Uitgaande hiervan kan dan gesteld worden dat bij het tweede meetmoment er een positief effect heeft plaatsgehad, aangezien alle docenten daar samengevat hebben. De mate waarin het oefenen van de docenten hieraan heeft bijgedragen is weergegeven in schema 6.8. Schema 6.8: Oefenresultaten LSD

Leerrapport 1 Leerrapport 2

Sterke punten

Luisteren en doorvragen (3) Luisteren en doorvragen (3)

Luisteren, doorvragen en samenvatten (2) Luisteren, doorvragen en samenvatten Luisteren

Verbeterpunten

Samenvatten (3) Samenvatten (2)

Student heeft met de antwoorden de richting van het gesprek bepaald

Student heeft met de antwoorden de richting van het gesprek bepaald

Met LSD naar andere situaties/acties overstappen

Met LSD naar andere situaties/acties overstappen Student meer ruimte geven uit te praten

Zoals blijkt uit schema 6.8, zijn ook tijdens het oefenen met name het luisteren en doorvragen van de LSD-techniek gedemonstreerd. Uit beide leerrapporten blijkt dat het samenvatten als een verbeterpunt was aangegeven. De resultaten van het tweede meetmoment in schema 6.7, geven wel aan dat alle docenten hebben samengevat tijdens het interview.

Turbovragen

Bij het gebruik van de turbovragen gaat het erom dat de docenten die vragen (zie bijlage 13) dienen te stellen tijdens het interview. Ten aanzien van de turbovragen, kan gesteld worden dat er tijdens het eerste meetmoment één turbovraag is gesteld, namelijk ‘Stel dat het

pro-Masterthesis 53 bleem zich weer voordoet’ (in schema 6.5 is deze vraag in het rood aangegeven). Tijdens het tweede meetmoment is dit onderdeel niet in het observatieformulier opgenomen, waardoor er geen onderzoeksresultaten ten aanzien hiervan zijn voor dit tweede meetmoment. Tijdens het oefenen hebben de docenten wel hierop gefocust. De resultaten hiervan zijn in schema 6.9 weergegeven.

Schema 6.9: Oefenresultaten turbovragen

Leerrapport 1 Leerrapport 2

Sterke punten

‘Stel dat’ situatie (3) Inderdaad de student gebracht naar een ‘stel dat’ situatie.

Het formuleren van de vragen tijdens het gesprek.

Alle vier vormen van Turbo gebruikt

Kwam in combinatie met de transfer aan de orde Verbeterpunten

Naast “stel dat situatie’ ook andere vormen van turbo toepassen (2)

Naast “stel dat situatie’ ook andere vormen van turbo toepassen.

Tenminste één turbovraag stellen om het gesprek een andere wending te geven

Tenminste één turbovraag stellen om het gesprek een andere wending te geven

Turbo beter kunnen onderscheiden van transfer Het formuleren van de vragen tijdens het gesprek. Ten aanzien van de turbovragen blijkt uit schema 6.9 dat van de verschillende soorten

turbovragen die er zijn, de ‘stel dat’ het meest gebruikt wordt door de docenten bij deze gesprekstechniek. Ook tijdens het eerste meetmoment was dit het geval. Zoals blijkt uit het resultaat van het tweede leerrapport hierboven is er wel één observatie van alle vier vormen van de turbo genoteerd hetgeen ten opzichte van het eerste meetmoment een verbetering is. Feedback geven

Naast de START-techniek, LSD en turbovragen, is het geven van feedback ook onderdeel van het criteriumgericht interview. Bij het geven van feedback dienen de docenten

feedbackregels (zie bijlage 13) te hanteren en de feedback te richten op concrete voorbeelden uit het portfolio of het criteriumgericht interview. Tijdens het eerste meetmoment hebben de docenten geen feedback gegeven, maar met name vragen gesteld, (actief) geluisterd en, hoewel in ietwat mindere mate zoals eerder beschreven, samengevat. De resultaten van het feedback geven zijn voor het oefenen weergegeven in schema 6.10.

Schema 6.10: Oefenresultaten voor het geven van feedback

Leerrapport 1 Leerrapport 2

Sterke punten

Eerst de positieve punten aangegeven Eerst de positieve punten aangegeven

Zoveel mogelijk in de ik-vorm feedback gegeven Zoveel mogelijk in de ik-vorm feedback gegeven.

In document Assessment van competenties (pagina 46-55)