Anton de Kom Universiteit van Suriname
Faculty of Graduate Studies I.O.
Assessment van competenties
Een aanzet tot het competentiegericht opleiden en beoordelen bij de Certificaatopleiding Economie van de Stichting Opleidingen en
Onderzoek in Suriname (SOOS)
Thesis ter verkrijging van de graad van Master in Education ‘Innoveren en implementeren’
Querlyn L. Hidalgo Juli 2015
Opleiding: Educatieve Master Innoveren en implementeren Begeleiders: Dr. W. Miedema en Dr. U. de Jong
Anton de Kom Universiteit van Suriname
Faculty of Graduate Studies I.O.
Assessment van competenties
Een aanzet tot het competentiegericht opleiden en beoordelen bij de Certificaatopleiding Economie van de Stichting Opleidingen en
Onderzoek in Suriname (SOOS)
Thesis ter verkrijging van de graad van Master in Education ‘Innoveren en implementeren’
Querlyn L. Hidalgo Juli 2015
Opleiding: Educatieve Master Innoveren en implementeren Begeleiders: Dr. W. Miedema en Dr. U. de Jong
Masterthesis 2
Voorwoord
Een hart voor onderwijs. Dat is de wijze waarop ik mezelf zie. In 1999 begon ik als
deeltijddocent op het Instituut voor de Opleiding van Leraren (IOL) en gedurende 2002 tot en met 2011 heb ik daar als voltijd docent gewerkt. Voor mijn voltijdse betrekking bij het IOL, was ik staffunctionaris bij de Centrale Bank van Suriname. Mijn stap naar het onderwijs, was toen een heel bewuste keuze geweest en het nu mogen afronden van een masterstudie in education zie ik dan ook als een beloning voor mijn jarenlange bijdrage aan het onderwijs.
In 2002 heb ik de Stichting Opleidingen en Onderzoek (SOOS) opgericht. Naast mijn voltijd- se betrekking op het IOL, was de SOOS de plek waar ik kon experimenteren met onderwijs- gerelateerde zaken. Veel trainingen die ik verzorgd heb, een aantal onderwijsondersteunende projecten die ik mede uitgevoerd heb en twee hbo-opleidingen die ik mede heb mogen ontwikkelen en implementeren zijn enkele resultaten die geboekt zijn bij de SOOS. Het afronden van de educatiemaster ‘innoveren en implementeren’ met een SOOS-onderwerp is dan ook een bewuste keuze geweest. Als voorzitter van het bestuur, zal ik mij dan ook inzetten dat de onderzoeksvoorstellen uit deze thesis geïmplementeerd worden bij de SOOS Deze thesis zou niet mogelijk zijn geweest zonder de optimale ondersteuning van de SOOS familie. Ik bedank dan ook het bestuur die mij alle ruimte heeft gegeven om deze thesis af te ronden. Ook de toenmalige algemeen directeur, J. Johns-Christopher, de opleidingsmanager van de COE, I. Ramdin, de kwaliteitsmedewerker, V. Rambharos, en alle docenten die hun bijdrage hieraan hebben geleverd, bedank ik van harte. Ook een bijzonder woord van dank aan mijn hoofdbegeleider dr. W. Miedema en mijn co-begeleider dr. U. de Jong. Ook bedank ik I. Oudkerk-Pool die mij het materiaal voor de assessorentraining ter beschikking heeft gesteld. Tenslotte bedank ik mijn echtgenoot en mijn kinderen voor hun ondersteuning en hun begrip tijdens mijn gehele studie, in het bijzonder tijdens deze laatste fase van afronding.
Een grote drijfsfeer om deze thesis af te ronden in de beschikbare tijd is de inspiratie geweest die ik van de Here heb mogen ontvangen. Ik draag deze thesis dan ook volledig aan Hem op.
10 juli 2015
Querlyn L. Hidalgo
Masterthesis 3
Inhoud
Samenvatting ... 5
1. Inleiding ... 6
2 Korte weergave analyseonderzoek ... 9
2.1 Onderzoeksvraag en -opzet ... 9
2.1.1 Analyse bestaand materiaal... 9
2.2.2 Interviews ... 10
2.2 Korte weergave onderzoeksresultaten ... 11
2.2.1 Bestaand materiaal ... 11
2.2.2 Interviews opleidingsmanager en algemeen directeur ... 15
2.2.3 Onderzoeksresultaten interviews COE docenten ... 16
2.3 Conclusies analyse onderzoek ... 18
2.4 Verantwoording interventie voorstel ... 19
3 Theoretisch kader met conceptueel model ... 20
3.1 Het begrip competentie ... 20
3.2 Assessment ... 21
3.2.1 Doeleinden van assessment... 21
3.2.2 Beoordelingsmomenten ... 22
3.2.3 Kwaliteitscriteria voor assessments ... 23
3.3 Het portfolio ... 25
3.4 Assessment beoordeling ... 28
3.5 De assessor ... 29
3.5.1 Gedragsindicatoren van een assessor ... 29
3.5.2 Methodieken ... 30
3.6 Conceptueel model en interventieonderzoeksvoorstel ... 31
3.6.1 Verantwoording conceptueel model ... 31
3.6.2 Interventieonderzoeksvoorstel ... 32
4 Interventie ... 33
4.1 Globaal ontwerp ... 33
4.2 Blokjeschema ... 33
4.3 Gedetailleerd ontwerp ... 34
4.3.1 Het informeren van docenten ... 34
4.3.2 Assessorentraining ... 34
Masterthesis 4
4.3.3 Gerichte oefening van de docenten onderling ... 36
4.3.4 Brainstormen van docenten ... 37
4.4 Programma van eisen ... 37
5 Onderzoeksopzet ... 38
5.1 Centrale vraag en deelvragen ... 38
5.2 Onderzoekstype ... 39
5.2.1 Actieonderzoek ... 39
5.2.2 Effectonderzoek ... 40
5.3 Populatie ... 41
5.4 Dataverzameling en onderzoeksinstrumenten ... 41
5.4.1 Toename kennisniveau docenten ... 41
5.4.2 Toename ontwikkelingsniveau competenties assessor bij docenten ... 41
5.4.3 Criteria ten behoeve van tussen- en eindassessments ... 42
5.5 Validiteit en betrouwbaarheid ... 43
5.5.1 Validiteit ... 43
5.5.2 Betrouwbaarheid ... 44
6 Resultaten van het onderzoek ... 45
6.1 Het effect van het product ... 45
6.1.1 Informeren van docenten ... 45
6.1.2 Assessorentraining ... 46
6.1.3 Aangepast competentieprofiel ... 54
6.2 Het effect van het proces ... 58
7 Conclusies, aanbevelingen en discussie ... 59
7.1 Conclusies ... 59
7.2 Aanbevelingen ... 61
7.3 Discussie... 62
8 Implementatie plan... 64
8.1 Implementatietheorie ... 64
8.2 Stakeholders ... 65
8.3 Sociaal kapitaal en capacity building ... 65
8.4 Stappenplan ... 66
Lijst van geraadpleegde bronnen ... 67
Bijlagenoverzicht ... 71
Masterthesis 5
Samenvatting
De Stichting Opleidingen en Onderzoek in Suriname (SOOS), heeft twee hbo-opleidingen, namelijk de marketing en managementopleiding (MeM) en de Certificaatopleiding Economie (COE). In tegenstelling tot de COE, komen bij de MeM wel praktijkopdrachten, simulaties en stages voor. Dit is de directe aanleiding geweest om tijdens een analyseonderzoek na te gaan in welke mate de toetsvormen bij de COE aansluiten bij het competentiegerichte karakter van de opleiding. De conclusie uit dit onderzoek is geweest dat de toetsvormen geen competenties toetsen, maar geïsoleerde kennis en vaardigheden. Uitgaande hiervan is een interventieon- derzoek gedaan met als centrale probleemstelling ‘kunnen gerichte training en oefening bijdragen aan de competenties als assessor bij de docenten van de SOOS?’.
Uit het literatuuronderzoek is naar voren gekomen dat een assessor een portfolio dient te beoordelen uitgaande van de variatie, relevantie, authenticiteit, actualiteit en kwantiteit van de bewijzen en de relatie tussen de bewijzen, beroepshandelingen en beoordelingscriteria.
Ook dient een assessor een criteriumgericht interview af te nemen waarbij de START- techniek, LSD-techniek en turbo-vragen gehanteerd worden. Middels een actieonderzoek is nagegaan als het mogelijk is om een toename in het ontwikkelingsniveau van de
competenties van de docent als assessor te weeg te brengen. Het meten van de toename, is gekwalificeerd als een effectonderzoek.
Bij de docenten is er een toename geweest in het kennisniveau over het competentiegericht opleiden en beoordelen waarbij het gemiddeld toetscijfer bij het tweede meetmoment is ge- stegen van 4,4 naar 6,2. Zowel tijdens het eerste als het tweede meetmoment zijn er turbo- vragen gesteld, zijn de vraak-criteria gehanteerd en is de LSD-techniek gedemonstreerd.
Verder is er tijdens het eerste moment niet gelet op de relatie tussen de bewijzen, beroeps- handelingen en beoordelingscriteria, terwijl dat wel het geval is geweest bij het tweede meetmoment. Ook is geconstateerd dat bij het eerste meetmoment de taakfase van de START-techniek niet aan de orde is geweest, terwijl bij het tweede meetmoment alle fasen van deze techniek aan de orde zijn geweest. Verder is tijdens het eerste meetmoment geen feedback gegeven, terwijl dat wel gedaan is tijdens het tweede meetmoment met het in acht nemen van de feedbackregels en de focus op de inhoud van het portfolio. Uitgaande van deze resultaten kan als conclusie van het interventieonderzoek worden gesteld dat gerichte training en oefening een bijdrage kunnen leveren aan de competenties als assessor van de docenten.
Als aanbevelingen worden gedaan het verder informeren van de docenten over het implemen- tatieplan, het organiseren van vervolgworkshops, het instellen van een focusgroep en het doen van analyseonderzoek voor het verder in kaart brengen van de te ontwikkelen compe- tenties bij de studenten en het instellen van een community of learners. De verbeterpunten die tijdens de discussie naar voren zijn gekomen hebben betrekking op de ecologische validiteit, de vergelijkbaarheid van de resultaten van de voor- en nameting, de controle van de ontwik- kelde instrumenten en de afstemming met de observatoren tijdens het interventieonderzoek.
Masterthesis 6
1. Inleiding
De Stichting Opleidingen en Onderzoek in Suriname (SOOS), is opgericht op 25 april 2002 en is in april 2003 begonnen met haar bedrijfsactiviteiten. De visie van de SOOS is om het innovatieve instituut te zijn, dat met nationaal en internationaal geaccepteerde kwalitatief goede onderwijsproducten en een betrokken team de Surinaamse markt waarin opleidingen worden aangeboden, overneemt. De SOOS heeft als missie om een Surinaams kwaliteits- waarborgend instituut te zijn dat burgers vormt om optimaal te functioneren in de
maatschappij door marktgericht en klantgericht op maat ontwikkelde onderwijsproducten aan te bieden, waarbij gebruik wordt gemaakt van proactieve, innovatieve en integere
medewerkers (Stichting Opleidingen en Onderzoek in Suriname [SOOS], 2013a).
Uit het bedrijfsprofiel van de SOOS (2013a), is af te leiden dat de diensten van de SOOS worden onderscheiden in enerzijds projecten die met name bestaan uit het ontwikkelen en het verzorgen van trainingen in opdracht van bedrijven, organisaties en de overheid en anderzijds opleidingen. In het kader van dit onderzoek staan de opleidingen centraal, waarop hieronder kort wordt ingegaan.
In 2008 is de wet voor het instellen van een Nationaal Orgaan Voor Accreditatie (NOVA) in werking getreden, waarna in 2009 het kwartierteam Interim NOVA is ingesteld. Dit kwartier- team is ertoe overgegaan om opleidingen vallende onder het hoger onderwijs een erkenning van bestaan te verlenen, mits deze voldeden aan de daartoe gestelde eisen. De SOOS heeft in juli 2010 de erkenning van bestaan verkregen voor de Marketing en Managementopleiding (MeM) en in oktober 2010 voor de Certificaatopleiding Economie (COE). In oktober 2010 is de SOOS gestart met de MeM die opleidt tot (assistent) marketingmanager en in maart 2011 met de COE die opleidt tot financieel analist.
In juni 2011 is de Accreditatieraad ingesteld onder wiens toezicht de accreditatiekaders, in samenspraak met de hoger onderwijsinstituten, zijn samengesteld. De publicatie heeft plaats- gevonden in het staatsblad van de Republiek Suriname op 26 maart en 2 april 2013. Met deze publicatie, is de weg opengesteld voor de hoger onderwijsinstituten om de accreditatie aan te vragen. In de accreditatiekaders van NOVA (Nationaal Orgaan voor Accreditatie [NOVA], 2012) is aangegeven dat de opleiding dient aan te tonen dat er een systeem van beoordeling en toetsing is, waarmee wordt nagegaan of de individuele student ook inderdaad over de beoogde eindkwalificaties beschikt. In tabel 1.1 zijn de toetsvormen die bij de verschillende modules van de SOOS worden gehanteerd voor de MeM opleiding en de COE weergegeven.
Tabel 1.1: Overzicht van het aantal modules per toetsvorm bij de MeM en de COE
Toetsvorm MeM COE
Schriftelijk tentamen 17 16
Schriftelijke (groeps)opdracht 16 18
(Groeps)presentatie 3 3
Mondelinge toets 5 1
Rollenspel 2
Masterthesis 7
Toetsvorm MeM COE
Onderlinge beoordeling 2 1
Praktijkopdracht 4
Poster 1
Brief/notulen 2
Discussie/debat 2
Portfolio 11 6
Project 4 5
Reflectie 10
Simulatie 2
Stage 1
Werkverslag 1
Persoonlijk beroepsmatig handelen 2 1
Scriptie 1 1
Totaal 85 53
(SOOS, 2013b, 2013c)
Uit tabel 1.1 blijkt dat er bij de MeM een veel grotere variatie aan toetsvormen verspreid over de verschillende modules is dan bij de COE. Daarnaast zijn er bij de MeM, in tegenstelling tot de COE, ook toetsvormen als praktijkopdrachten, simulatie en stage opgenomen die de relatie met de beroepspraktijk betreffen. Aangezien door NOVA (2012) duidelijk wordt ge- steld dat hbo-opleidingen dienen aan te tonen dat de studenten daadwerkelijk kunnen functio- neren in het beroep waarvoor zij worden opgeleid, is het gemis van deze toetsvormen bij de COE dan ook de aanleiding geweest voor een analyseonderzoek waarbij is nagegaan of en hoe de toetsvormen bij de COE mogelijkerwijs dan wel aansluiten op de beoogde
eindkwalificaties.
De beoogde eindkwalificaties zijn bij de SOOS weergegeven in het competentieprofiel van de opleiding. De competenties van de opleidingen van de SOOS worden verdeeld in alge- mene competenties en de beroepsgerichte competenties. De algemene competenties gelden voor alle hbo-opleidingen van de SOOS, terwijl de beroepsgerichte competenties afgestemd zijn op het beroep waarvoor een hbo-opleiding opleidt. De algemene competenties zijn onderverdeeld in vier categorieën en de beroepsgerichte competenties in twee categorieën. In schema 1.1 zijn de zes categorieën van de competenties van de COE weergegeven.
Schema 1.1: Algemene en beroepsgerichte competenties van de COE.
Algemene competenties
1. Interpersoonlijke competentie
Een financieel analist die interpersoonlijk competent is, schept een coöperatieve en open sfeer, is een rolmodel en brengt een open communicatie tot stand.
2. Organisatorische competentie
Een financieel analist die organisatorisch competent is, zorgt voor een ordelijke en doelmatige werkplek en stemt de werkzaamheden op elkaar af.
4 Competentie in het reflecteren
Een financieel analist die competent is in het reflecteren neemt initiatief om op de hoogte te blijven van ontwikkelingen in het beroep en werkt samen met collegae om zijn handelen
Masterthesis 8 systematisch te kunnen verbeteren.
Beroepsgerichte competenties 5. Vakspecifieke competentie
Een financieel analist die vakcompetent is, verzamelt, verwerkt en analyseert financiële, administratieve en economische gegevens aan de hand waarvan het management wordt geadviseerd.
6. Beroepsspecifieke competentie
Een financieel analist die beroepscompetent is, kan volwaardig en zelfstandig functioneren.
(Overgenomen van SOOS, 2013d).
Uitgaande van hetgeen hierboven is beschreven, heeft tijdens het analyseonderzoek de volgende probleemstelling centraal gestaan: in welke mate sluiten de toetsvormen van de COE aan op het competentiegerichte karakter van de opleiding?
Het analyseonderzoek heeft als doel gehad om in kaart te brengen hoe de beoogde
competenties van de COE getoetst worden, om op basis hiervan een interventie te doen die moet bijdrage dat bij de COE inderdaad een systeem van toetsen wordt ingevoerd waarmee de beoogde eindkwalificaties bij de studenten wordt gerealiseerd.
Dit onderzoek is in twee delen uitgevoerd. Het eerste deel betreft een analyseonderzoek, waarin de bovenstaande centrale vraag is onderzocht. De resultaten van dit analyseonderzoek zijn beschreven in hoofdstuk 2. Uitgaande van de conclusies van het analyseonderzoek, heeft vervolgens een interventieonderzoek plaatsgehad. Het theoretisch kader van dit
interventieonderzoek is opgenomen in hoofdstuk 3, terwijl de beschrijving van de interventie met het bijbehorende programma van eisen in hoofdstuk 4 is opgenomen. De centrale
vraagstelling van het interventieonderzoek en de wijze waarop het interventieonderzoek is uitgevoerd, zijn beschreven in hoofdstuk 5, gevolgd door de onderzoeksresultaten in hoofdstuk 6. De conclusies naar de effectiviteit van de gepleegde interventie, de daaraan gekoppelde aanbevelingen en de discussie met betrekking tot het verloop van de interventie en het onderzoek zijn opgenomen in hoofdstuk 7. Deze thesis wordt tenslotte afgesloten met het implementatieplan in hoofdstuk 8.
Masterthesis 9
2 Korte weergave analyseonderzoek
In dit hoofdstuk wordt er een korte weergave gegeven van het analyseonderzoek. In 2.1 wordt ingegaan op de vraagstelling en onderzoeksopzet, in 2.2 worden de resultaten van het
analyseonderzoek kort beschreven, in 2.3 worden de conclusies van het onderzoek beschreven en in 2.4 wordt de keuze voor de interventie verantwoord.
2.1 Onderzoeksvraag en -opzet
De onderzoeksvraag van het analyseonderzoek luidt als volgt: “In welke mate sluiten de toetsvormen van de COE aan op het competentiegerichte karakter van de opleiding?”. In het kader van dit onderzoek is een competentie gedefinieerd als een samenhangend geheel van kennis, vaardigheden, houdingen en eigenschappen dat zich, met het oog op de toekomstige uit te voeren beroepstaken, door middel van concrete handelingen in de beroepscontext gedurende een bepaalde periode in relatie tot andere competenties ontwikkelt. In het
theoretisch kader in hoofdstuk 3, wordt hier verder op ingegaan. Om de onderzoeksvraag te beantwoorden is er kwalitatief explorerend onderzoek gedaan waarbij bestaand materiaal is geanalyseerd en interviews zijn afgenomen, verwerkt en geanalyseerd. De algemeen directeur, de opleidingsmanager en dertien COE docenten zijn hierbij geïnterviewd.
2.1.1 Analyse bestaand materiaal
In november - december 2013 zijn de studiegids en het lesmateriaal van de zevenendertig modules van de COE geanalyseerd. Hierbij is er een inhoudsanalyse gedaan waarbij de leerdoelen en de toetsvormen per module zijn verzameld. In bijlage 2 is het
onderzoeksinstrument opgenomen dat gebruikt is om de benodigde informatie uit de studiegids en het lesmateriaal te verzamelen.
Om de geldigheid van de onderzoeksresultaten te kunnen garanderen, zijn de
onderzoeksresultaten via email verstuurd naar de docenten zodat zij aanvullingen op en/of correcties konden plegen aan de geïdentificeerde toetsvormen. Deze controle was
noodzakelijk omdat de toetsvormen die aan de hand van de studiegids waren geïdentificeerd bij een vijftal modules verschilden van de toetsvormen die aan de hand van het bestaand materiaal waren geïdentificeerd. De resultaten die zijn geanalyseerd, zijn die na de controle van de resultaten door de docenten.
Bij de data-analyse zijn de prestatie-indicatoren uit het competentieprofiel als labels gebruikt.
Hierbij is aan de hand van de leerstofaanduiding in het leerdoel nagegaan welk leerdoel overeenkomt met welke prestatie-indicator. Drie van de 154 leerdoelen konden aan de hand van de leerstofaanduiding niet geplaatst worden bij een prestatie-indicator. Deze drie leerdoelen zijn buiten beschouwing gelaten bij de verdere analyse. Naast het leerdoel, is de module waarop het leerdoel betrekking heeft ook gelijk opgenomen in dit overzicht. Het resultaat van deze fase is een overzicht geweest, waaruit aan de hand van de leerdoelen is af
Masterthesis 10 te leiden, welke competenties, in casu prestatie-indicatoren, in welke modules getoetst
worden.
In de tweede fase van de analyse zijn in hetzelfde overzicht als hierboven genoemd, de toetsvormen naast een leerdoel ingevuld. Bij deze fase bleek, dat in drie gevallen aan de hand van de omschrijving van de toetsvorm niet af te leiden was, als de prestatie-indicator
daadwerkelijk getoetst werd. Hierbij was het noodzakelijk om weer aanvullende data te verzamelen uit het lesmateriaal, waarbij met name de opdrachten en de beoordelingstabellen de benodigd aanvullende data hebben opgeleverd. Uit deze analysefase zijn uiteindelijk zes overzichten, voor elke competentiecategorie (interpersoonlijk, organisatorisch, samenwerken, reflecteren, vakspecifiek en beroepsspecifiek) één, voortgekomen waarin per prestatie-
indicator de leerdoelen met bijbehorende toetsvorm en de betreffende module zijn
opgenomen. Deze overzichten zijn voor de verkorte weergave samengevat in paragraaf 2.2.1, schema 2.1, waarin per competentiecategorie de toetsvormen zijn weergegeven.
2.2.2 Interviews
In december 2013 zijn er interviews gehouden met de relevante actoren, namelijk de opleidingsmanager COE, de algemeen directeur en dertien COE docenten.
Het interview met de opleidingsmanager en de algemeen directeur heeft vooral gefocust op hun visie op het totaal overzicht aan toetsvormen, zoals verkregen uit de analyse van het bestaand materiaal. Met de interviews met de docenten is beoogd om inzicht te krijgen over hoe de docenten denken over het competentiegericht opleiden en toetsen bij de COE. De gehanteerde interviewvragenlijsten zijn opgenomen in bijlage 3 (algemeen directeur en opleidingsmanager) en bijlage 4 (docenten).
Interview opleidingsmanager en algemeen directeur
De interviews met de opleidingsmanager en de algemeen directeur zijn schriftelijk
afgenomen, waarbij de geïnterviewden hun antwoorden in een speciaal daarvoor bestemd antwoordenblad hebben ingevuld (zie bijlage 3). Schriftelijke interviews hebben als voordeel dat de respondenten het kunnen invullen op een tijdstip dat hen het beste uitkomt en dat die daarbij kunnen nadenken over de antwoorden (Baarda, De Goede & Teunissen, 2009). Dit voordeel was in dit geval doorslaggevend voor de keuze om het interview schriftelijk af te nemen, aangezien het competentieprofiel van de COE uit zes hoofdcompetenties bestaat die verdeeld zijn in 23 sub-competenties met in totaal 81 prestatie-indicatoren.
De eerste stap bij de data-analyse is het labelen geweest. Hierbij is eerst het interview van de opleidingsmanager gelabeld, waarbij er negentien labels zijn gevormd, waarvan enkele zowel in positieve als in negatieve zin voorkomen. Bij het labelen is vooral naar de inhoud van de antwoorden gekeken. Het doel van het interview was vooral om een beeld te krijgen van de visie van de opleidingsmanager en de algemeen directeur op de mate waarin de toetsvormen aansluiten op de competenties, hetgeen centraal heeft gestaan in dit analyseonderzoek. De labels zijn zodanig gekozen dat de redenen waarom de functionarissen van mening zijn dat een bepaalde prestatie-indicator al dan niet getoetst wordt in de verschillende modules van de
Masterthesis 11 opleiding, tot uiting komen. De bij het interview van de opleidingsmanager geïdentificeerde labels zijn ook te gebruiken geweest bij de data van de algemeen directeur.
De labels zijn opgenomen in bijlage 5. Bij het labelen is er voor gekozen om de fragmenten die betrekking hadden op de mening van de opleidingsmanager en de algemeen directeur over de huidige wijze waarop er getoetst wordt bij de COE duidelijk te onderscheiden van de verbetervoorstellen die deze functionarissen hebben aangedragen over de toetsing. Hiervoor is gekozen zodat bij het definiëren van de uiteindelijke thema’s mee kan worden genomen of een bepaalde label niet alleen iets zegt over de wijze van toetsing, maar ook over de wijze van verbetering. Uiteindelijk zijn de twee groepen van labels wel samengevoegd en vervol- gens geordend waarbij de labels met een gemeenschappelijk kenmerk bij elkaar zijn geplaatst onder een bepaald thema. Uiteindelijk zijn er hieruit zeven thema’s als resultaat
voortgekomen waarop verder in paragraaf 2.2.2, onderzoeksresultaten, wordt ingegaan.
Interviews docenten
De interviews met de docenten zijn mondeling afgenomen, waarbij gebruik is gemaakt van een taperecorder en een logboek. Aan alle COE docenten is gevraagd om een interview van af te nemen, waarbij één docent niet heeft kunnen deelnemen aan het onderzoek. In totaal zijn er dertien docenten geïnterviewd. De dataverwerking is begonnen met het uitschrijven van de interviews, vervolgens zijn deze uitgeschreven teksten verdeeld in relevante tekstfragmenten, waarbij elk fragment gelabeld is. Vervolgens zijn de dertien gelabelde overzichten van tekstfragmenten horizontaal geanalyseerd. Hiermee wordt bedoeld dat uit elke tekst naar kernbegrippen is gezocht die inzicht geven over:
1. De omschrijving die een docent geeft over het competentiebegrip;
2. De wijze waarop een docent aandacht heeft voor de competentieontwikkeling van de student;
3. De wijze waarop een docent meent een bepaalde competentie te toetsen;
4. De mogelijke ondersteuning die een docent kan geven aan een meer competentiegerichte toetsing bij de COE.
Het resultaat van de hierboven beschreven analyse is verkort weergegeven in schema 2.4 en schema 2.5.
2.2 Korte weergave onderzoeksresultaten
De onderzoeksresultaten worden weergegeven voor het bestaand materiaal en de afgenomen interviews.
2.2.1 Bestaand materiaal
In schema 2.1 wordt een overzicht gegeven van de wijze hoe momenteel de toetsing van de algemene competenties bij de COE plaatsvindt. De algemene competenties zijn de interper- soonlijke competenties, organisatorische competenties, competenties in het samenwerken en de competenties in het reflecteren. In onderstaand schema zijn de toetsvormen die in de
Masterthesis 12 praktijksituaties plaatsvinden in het rood aangegeven en de toetsvormen die een simulatie van de praktijksituatie zijn, in het blauw.
Schema 2.1: Huidige toetsing algemene competenties COE
1. Interpersoonlijke competenties
2. Organisatorische competenties
3. Competenties in het samenwerken
4. Competenties in het reflecteren
1.1 De student gaat op een rechtvaardige manier om met mensen:
Reflectieverslag
Portfolio
2.1 De student gaat methodisch te werk:
Afstudeerplan
Onderzoeksplan
Projectplan
Afstudeerscriptie
Onderzoeksrapport
Schriftelijk tentamen
Projectverslag
Reflectieverslag
Portfolio
Word verslag
Powerpoint- presentatie
Internettoets
Computerboek- houdentoets
SPSS codeboek
3.1 De student
functioneert als vol- waardig groepslid:
Reflectieverslag
Portfolio
Onderlinge beoor- deling groepsleden
Vergaderingen
4.1 De student reflecteert op het persoonlijk functioneren:
Persoonlijk ontwikkelingsplan
Reflectieverslag
Portfolio
1.2 De student communi- ceert schriftelijk, mondeling en non- verbaal:
Brieven en notulen
Rapportagetechnie ken
Reflectieverslag
Portfolio
Presentatie
Gesprekken
Vergaderingen
Vragenronde
2.2 De student brengt structuur aan in het werk:
Presentatie
Individuele tijds- verantwoording
Afstudeerplan
Persoonlijk be- roepsmatig han- delen (afstuderen)
Procesverslag
Reflectieverslag
Portfolio
Schriftelijk tentamen
Projectplan
Projectverslag
Afstudeerplan
Onderzoeksrapport
3.2 De student onder- houdt contacten na- mens de organisatie op een verantwoor- delijke en zorgvul- dige wijze:
Reflectieverslag
Portfolio
4.2 De student reflecteert op de eigen kennis- ontwikkeling:
Reflectieverslag
Portfolio
Afstudeerscriptie
Presentatie
1.3 De student gebruikt relevante informatie:
Onderzoeksrapport
Afstudeerscriptie
Reflectieverslag
Portfolio
SPSS codeboek
2.3 De student contro- leert activiteiten op voortgang:
Procesverslag
Reflectieverslag
Portfolio
Schriftelijk tentamen
Projectplan
Projectverslag
4.3 De student reflecteert op het persoonlijk handelen in de beroepscontext:
Reflectieverslag
Portfolio
Masterthesis 13
1. Interpersoonlijke competenties
2. Organisatorische competenties
3. Competenties in het samenwerken
4. Competenties in het reflecteren
1.4 De student werkt voor een probleem- situatie bruikbare oplossingen uit:
Afstudeerplan
Onderzoeksplan
Afstudeerscriptie
Onderzoeksrapport
Reflectieverslag
Portfolio 1.5 De student demon-
streert verantwoorde gedragspatronen.
Reflectieverslag
Portfolio
Uit schema 2.1 blijkt dat elke algemene competentie bij de COE middels een reflectieverslag en portfolio getoetst wordt. Deze toetsing is (pas) in de afstudeerfase van de opleiding, waarbij de studenten tijdens het afstudeeronderzoek (in bovenstaand schema aangeduid als afstudeerscriptie) bewijzen verzamelen die hun competentieniveau dienen aan te tonen. Deze bewijzen worden geplaatst in een portfolio terwijl de beschrijving in het reflectieverslag geschiedt. Tijdens de afstudeerscriptie vindt er dus een daadwerkelijke toetsing in de prak- tijksituatie plaats, aangezien er een praktijkonderzoek wordt gedaan. De afstudeerscriptie, het reflectieverslag en het portfolio zijn in bovenstaand schema in het rood opgenomen.
Verder blijkt uit schema 2.1 ook dat alleen bij de competenties 1.2 en 3.1 er een simulatieop- dracht is als toetsvorm. Deze simulatieopdrachten zijn in het blauw aangegeven. Bij de overi- ge toetsvormen vindt er toetsing plaats van kennis en vaardigheden en niet van competenties.
In schema 2.2 wordt een overzicht gegeven van de wijze hoe momenteel de toetsing bij de COE plaatsvindt van de beroepsgerichte competenties. De beroepsgerichte competenties omvatten de vakspecifieke en de beroepsspecifieke competenties. Naast de in schema 2.2 opgenomen toetsvormen, kan de toetsing van de vakspecifieke competenties ook
plaatsvinden indien de student een afstudeeronderwerp heeft die op een bepaalde competentie betrekking heeft. De toetsvormen zijn dan afstudeerscriptie, reflectieverslag en portfolio. Ook is het mogelijk dat de toetsing van deze vakcompetenties middels een verslag van de
uitgevoerde werkzaamheden plaatsvindt als blijkt dat de student werkzaamheden uitoefent waarbij een bepaalde competentie gedemonstreerd kan worden.
Schema 2.2: Huidige toetsing beroepsgerichte competenties COE
5. Vakspecifieke competenties 6. Beroepsspecifieke competenties 5.1 De student levert administratieve informatie ten
behoeve van de bedrijfsvoering:
Cases
Praktijkopdracht
Reflectieverslag
Computerboekhouden opdracht simulatie
Schriftelijk tentamen
6.1 De student kan consistent en effectief omgaan met detailinformatie:
Reflectieverslag
Portfolio
Masterthesis 14
5. Vakspecifieke competenties 6. Beroepsspecifieke competenties 5.2 De student richt een organisatie in en bestuurt
deze:
Marketingplan
Schriftelijk tentamen
Beleidsnota
Verslag
Reflectieverslag
Presentatie
6.2 De student houdt zich aan de normen, waarden en omgangsregels die gelden voor de functie en voor de cultuur waarin men werkt:
Reflectieverslag
Portfolio
5.3 De student verwerkt en analyseert economische gegevens:
Schriftelijk tentamen
Beleidsnota
Verslag
Reflectieverslag
6.3 De student hanteert hoge kwaliteitsnormen en streeft naar voortdurende verbeteringen en borging van kwaliteit:
Reflectieverslag
Portfolio
5.4 De student brengt de financiële problematiek in kaart:
Schriftelijk tentamen
Projectverslag
Cases
Verslag
Reflectieverslag
6.4 De student bepaalt doelen en prioriteiten en geeft benodigde acties, tijd en middelen aan om deze doelen te verwezenlijken:
Reflectieverslag
Portfolio
6.5 De student bewaakt de voortgang van processen, taken of activiteiten van medewerkers en bewaakt de eigen werkzaam- en verantwoordelijkheden:
Reflectieverslag
Portfolio
6.6 De student doet onderzoek:
Schriftelijk tentamen
Onderzoeksplan
Onderzoeksrapport
Afstudeerplan
Afstudeerscriptie
SPSS codeboek
Reflectieverslag
Portfolio
Uit schema 2.2 blijkt dat elke vakcompetentie middels een reflectieverslag getoetst wordt. Dit reflectieverslag is in de hoofdfase van de opleiding en wordt geschreven aan de hand van de praktijksituatie. Op alle beroepsspecifieke competenties wordt twee keer gereflecteerd, de eerste keer bij het verslag dat geschreven wordt op de uitgevoerde werkzaamheden in de praktijk en de tweede keer bij de afstudeerscriptie. Deze reflecties vinden (pas) plaats in de afstudeerfase van de opleiding. De portfolio, die ook bij elke beroepsspecifieke competentie is genoemd, heeft, net als bij de algemene competenties, ook betrekking op de afstudeerfase.
Bij de overige toetsvormen vindt er toetsing plaats van kennis en vaardigheden en niet van competenties.
Samenvattend kan worden aangegeven dat met uitzondering van de afstudeerscriptie (en het daarbij behorend reflectieverslag en portfolio) en het werkverslag, er geen toetsing van de competenties in de beroepspraktijk plaatsvindt bij de COE. De meeste toetsvormen zijn gericht op de toetsing van afzonderlijke vaardigheden en niet van competenties.
Masterthesis 15 2.2.2 Interviews opleidingsmanager en algemeen directeur
Zoals aangegeven in paragraaf 2.2.1, hebben de opleidingsmanager en de algemeen directeur hun zienswijze gegeven op de wijze waarop de toetsing van de competenties momenteel plaatsvinden bij de COE. Na analyse van deze interviews is gebleken dat deze twee func- tionarissen opmerkingen hebben gemaakt over de moduleopzet en het competentieprofiel.
Hierop wordt hieronder nader ingegaan.
Moduleopzet
De opleidingsmanager en de algemeen directeur vinden ten aanzien van de moduleopzet het belangrijk dat:
een competentie op verschillende niveaus getoetst wordt. Dit is met name het geval bij de vakspecifieke competenties, waarbij het als positief wordt ervaren dat de toetsing
verspreid is over de verschillende niveaus van weten, weten hoe, tonen en doen.
een competentie in verschillende modules getoetst wordt. Indien een competentie in meerdere modules wordt getoetst, is dat als positief aangeduid en indien het in weinig modules voorkomt, is dat als een verbeterpunt aangegeven.
de toetswijze geschikt moet zijn om een competentie(niveau) te toetsen. Met name reflectie als toetsvorm is hierbij als zeer positief ervaren.
de soort module ook de toetsing van de competentieontwikkeling mogelijk maakt. In het verlengde van het bovenstaande zijn ook hier de reflectiemodules als positief ervaren.
de toetsing niet alleen aan het eind van een module of van de opleiding, maar ook eerder plaatsvindt. Dit geldt met name voor de beroepsspecifieke competenties die met name in de modules in de afstudeerfase getoetst worden.
concrete onderwijsactiviteiten dienen te worden vastgesteld. Hoewel dit aspect maar bij twee fragmenten is voorgekomen, is het wel belangrijk om het mee te nemen. De onderwijsactiviteiten vormen namelijk de brug tussen de toetsvormen en de leerdoelen.
Het competentieprofiel
De opleidingsmanager en de algemeen directeur zijn van mening dat de wijze waarop het niveau van de competentieontwikkeling wordt getoetst, ook beïnvloedt wordt door het competentieprofiel en met name door de formulering van de competentie en/of de prestatie- indicatoren. De competentie die hierbij is genoemd is 3.2 ‘de student onderhoudt contacten namens de organisatie op een verantwoordelijke en zorgvuldige wijze’, die in het
competentieprofiel is opgenomen onder de categorie samenwerken. Gemeend wordt dat deze competentie niet zo zeer hoort bij samenwerken, maar meer bij netwerken.
Op basis van het bovenstaande zijn er ten aanzien van de moduleopzet en het competentie- profiel zeven thema’s afgeleid die zijn weergegeven in schema 2.3. Hierbij geven de cijfers tussenhaakjes aan hoe vaak een bepaald fragment is voorgekomen en een + of – geeft aan als dit fragment de toetsing ondersteunt of niet.
Masterthesis 16 Schema 2.3: Kernthema’s interview opleidingsmanager en algemeen directeur.
Moduleopzet Competentieprofiel
Competentieniveau (26 + / 1 –) Competentie (1 + / 2 –) Aantal modules (17 + /11 –) Prestatie-indicatoren (5 –) Toetswijze (20 + / 11 –)
Modulesoort (8 + / 2 –) Toetsmoment (3 + / 8 –)
Samenvattend kan worden aangegeven dat de opleidingsmanager en de algemeen directeur het goed zouden vinden als de competenties op verschillende niveaus (weten, weten hoe, tonen, doen) getoetst worden. Ook blijkt dat de toetsing bij de COE module gebonden gericht is, hetgeen blijkt uit het aantal modules dat genoemd is waarin de competenties al dan niet getoetst worden. Verder blijkt dat de interviews, de conclusie uit de analyse van het bestaand materiaal (zie paragraaf 2.2.1), namelijk dat de toetsing van de competenties niet verspreid over de gehele opleiding plaatsvindt, maar vooral aan het eind van de opleiding onder- bouwen. Ook is in de interviews aangegeven dat de formulering van de competenties en de prestatie-indicatoren de toetsing van de competentie ook kan bemoeilijken.
2.2.3 Onderzoeksresultaten interviews COE docenten
De docenten legden in de interviews de nadruk op de wijze waarop zij bijdragen tot het competentiegericht opleiden en toetsen. In deze verkorte weergave van de resultaten uit het analyseonderzoek wordt ingegaan op de manier hoe de docenten:
1. het competentiebegrip omschrijven;
2. de studenten ondersteunen in het ontwikkelen van hun competenties;
3. bijdragen aan het competentiegericht toetsen bij de COE.
In schema 2.4 is opgenomen hoe de COE docenten het competentiebegrip omschrijven. Het getal tussen haakjes geeft aan hoeveel docenten een bepaalde omschrijving hebben gegeven van het begrip competentie.
Schema 2.4: Omschrijving competentiebegrip door COE docenten.
Een competentie is
een combinatie van vier aspecten. Een persoon is competent als die kennis heeft, vaardigheden daarin ontwikkeld, gemotiveerd is om die vaardigheden te demonstreren en ook over een aantal kenmerken beschikt die ondersteunend zijn naar die vaardigheden. En als de persoon deze vier aspecten
gecombineerd kan toepassen, is hij competent. (1)
een vaardigheid om het geleerde zelfstandig in de praktijk uit te kunnen voeren (1) kennis en vaardigheden (1)
kennis, kunde en mogelijkheden (1) een vaardigheid (6)
kennis kunnen gebruiken in de praktijk (1)
een vaardigheid waarvan je kennis hebt en die je kan gebruiken op het moment dat je het nodig hebt.
Deze aangeleerde vaardigheid in combinatie met persoonlijkheid vormt dan een competentie. (1) een vaardigheid, kennis en het gedrag van de persoon (1)
Masterthesis 17 Uit schema 2.4 blijkt dat de COE docenten allemaal het begrip vaardigheid relateren aan een competentie. Hierbij wordt een vaardigheid als synoniem gezien voor een competentie, of gecombineerd met begrippen als kennis, mogelijkheden en/of persoonskenmerken waarbij de rol van de praktijk door twee docenten expliciet is genoemd.
Tijdens de interviews hebben de docenten eerst aangegeven op welke wijze ze eraan bijdragen dat de studenten hun competenties ontwikkelen. Hierbij is het competentieprofiel dat is opgenomen in bijlage 1, het uitgangspunt geweest waarbij elke competentie apart is besproken. Vervolgens is het competentieprofiel weer per competentie besproken, waarbij de docenten nu konden aangeven of zij inderdaad deze competentie toetsen en zo ja, hoe zij dat doen. Het resultaat hiervan is samengevat weergegeven in schema 2.5. De cijfers
tussenhaakjes geven aan hoe vaak een bepaald aspect is genoemd.
Schema 2.5: bijdrage COE docenten aan de ontwikkeling en de toetsing van de competenties.
Ondersteuning competentieontwikkeling Toetsing van competenties Schriftelijke opdrachten (133) Schriftelijke opdrachten (111) Schriftelijk tentamen (1) Zelfevaluatie (8)
Tijdens colleges (19) Peerevaluatie (6)
Mondelinge opdrachten (5) Schriftelijk tentamen (20) Voorgeschreven instructies (8) Mondelinge opdrachten (19)
Houding student (16) Feedback (9)
Module-inhoud (2) Portfolio (2)
Geen toetsing (43)
Uit schema 2.5 blijkt dat de docenten met name door middel van opdrachten een bijdrage leveren aan de ontwikkeling van alle zes categorieën van competenties (interpersoonlijk, organisatorisch, samenwerken, reflecteren, vakspecifiek en beroepsspecifiek). Hierbij wordt er een onderscheid gemaakt in schriftelijke (verslagen, brieven, scripties, opdrachten, en dergelijke) en mondelinge (presentaties, vragenrondes en gesprekken) opdrachten. Het groepswerk is vooral genoemd bij de competenties in het samenwerken. De interactie tijdens de colleges zoals het geven van praktijkvoorbeelden en het bespreken van praktijksituaties zien de docenten ook als een manier om met name de competenties in het reflecteren en de beroepsspecifieke competenties van de studenten te ontwikkelen. Met de houding van de student worden aspecten bedoeld als prioriteiten stellen en het houden aan afspraken. De module-inhoud is genoemd bij de modules competent leidinggeven (in relatie tot de interpersoonlijke competenties) en bestuurlijke informatievoorziening (in relatie tot de organisatorische competenties aangezien de bestuurlijke processen op voortgang gecontroleerd dienen te worden).
De docenten toetsen voornamelijk middels schriftelijke opdrachten de competenties. Het schriftelijk tentamen wordt met name gezien als toetsvorm voor de vakspecifieke
competenties. Zelfevaluatie is met name bij de interpersoonlijke en de reflectiecompetenties genoemd, terwijl peerevaluatie vooral bij de competenties in het samenwerken is genoemd.
Het geven van feedback tijdens de colleges worden bij alle zes competentiecategorieën genoemd als toetsmoment van de competenties. Tenslotte kan ook worden gesteld dat bij alle
Masterthesis 18 zes competentiecategorieën docenten hebben opgemerkt dat ze wel een bijdrage leveren aan de ontwikkeling van de competenties van de studenten, maar die niet toetsen.
Samenvattend kan worden gesteld dat de docenten met name geïsoleerde kennis en
vaardigheden toetsen. Dit blijkt vooral uit de toetsvormen die zij hanteren, waarbij met name de schriftelijke vaardigheden getoetst worden. Ook blijkt dat de docenten zich tijdens de interviews wel bewust van zijn geworden dat er geen competenties getoetst worden.
2.3 Conclusies analyse onderzoek
Uit het analyseonderzoek, met als onderzoeksvraag “In welke mate sluiten de toetsvormen van de COE aan op het competentiegerichte karakter van de opleiding?”, kan geconcludeerd worden dat de toetsvormen van de COE opleiding niet aansluiten op het competentiegerichte karakter van de opleiding.
Ter onderbouwing van deze conclusie kan gesteld worden dat:
1. De term assessment centraal staat bij een competentiegerichte opleiding, waarmee de toetsomgeving waarin de aankomende beroepsbeoefenaar laat zien dat hij competent is en waarin zijn competenties beoordeeld worden, bedoeld wordt (Wouda & Snoek, 2003).
Tijdens het analyseonderzoek is de term assessment noch bij de analyse van het bestaand materiaal, noch bij de interviews met de algemeen directeur, de opleidingsmanager en de docenten genoemd. Daarnaast is een met assessment bedoelde praktijk ook niet in andere bewoordingen genoemd.
2. In het verlengde van het bovenstaande kan gesteld worden dat bij de toetsing van competenties de beroepspraktijk centraal staat. Bij de COE wordt alleen bij het verslag over de werkzaamheden op de werkplek, de afstudeerscriptie en de reflectiemodules een relatie gelegd met de beroepsomgeving.
3. Met uitzondering van het portfolio, alle toetsvormen die bij de COE gebruikt worden (zie ook schema 2.1) gericht zijn op het toetsen van de mate waarin de student geleerd heeft.
Bij een competentiegerichte opleiding gaat het echter om assessment tijdens het leren (“assessment for learning”) en niet om assessment van het leren (“assessement of
learning”) (Lorna, 2003). Het portfolio wordt alleen bij de reflectiemodules gebruikt in de opleiding.
4. Uit de analyse van het lesmateriaal is gebleken dat de toetsvormen zijn afgestemd op de leerdoelen van een specifieke module en niet op de competenties die zijn opgenomen in het competentieprofiel. Roelofs en Visser (2011) geven aan de toetsing binnen
afzonderlijke vakgebieden een indicatie is voor het toetsen van losse elementen (zoals opgedeelde kennis, vaardigheden, attitudes) en dat het toetsen van competenties plaats vindt in specifieke praktijksituaties (bij specifieke competenties) of gevarieerde taaksituaties (bij algemene competenties).
Masterthesis 19 5. Uit de interviews met de algemeen directeur en de opleidingsmanager is naar voren
gekomen dat de modules van de opleiding zodanig zijn opgezet dat daarmee kennis en vaardigheden worden aangeleerd en geen competenties worden ontwikkeld. Met
uitzondering van de afstudeerscriptie en de reflectiemodules richten alle modules zich op weten en kunnen. Een competentie is echter een integratie van kennis, vaardigheden, houdingen en eigenschappen (Smeijsters & Sporken, 2004; Spencer &Spencer, zoals geciteerd in Zwaal & Eringa, 2006; Taylor, 2003; Wouda & Snoek, 2003).
6. Het competentiebegrip, als integratief geheel van kennis, vaardigheden, houdingen en eigenschappen, is niet bekend onder de COE docenten. Ook de rol van de beroepspraktijk die een voorwaarde is voor het ontwikkelen van competenties (Van Merriënboer, Van Der Klink & Hendriks, 2002; Roelofs & Visser, 2011) is niet als indicator gebruikt bij de COE docenten bij het aangeven van de mate waarin ze een bijdrage leveren aan het ontwikkelen van de competenties van de studenten.
2.4 Verantwoording interventie voorstel
Uitgaande van de conclusies uit het analyseonderzoek is besloten om de interventie te doen onder de COE docenten (inclusief de algemeen directeur en de opleidingsmanager) waarbij gerealiseerd moet worden dat de docenten bekend raken met:
1. assessment binnen een competentiegerichte opleiding;
2. het portfolio als instrument bij assessment;
3. de wijze waarop competenties als integratief geheel van kennis, vaardigheden, houding en eigenschappen binnen de beroepspraktijk ontwikkeld dienen te worden.
Op basis hiervan is besloten om als interventieonderzoek na te gaan of oefening en training kunnen bijdragen aan de competenties als assessor van de COE docenten. Tijdens dit interventietraject zullen de docenten dan zelf een portfolio bijhouden waarin zij bewijzen competent te zijn als assessor op basis van de acht gedragsindicatoren van een getrainde assessor (Oudkerk-Pool, 2013a). Ook zullen de docenten als assessor optreden waarbij ze elkaars portfolio’s beoordelen en op basis daarvan een assessmentgesprek voeren.
Voor de SOOS betekent dit interventietraject niet alleen dat de docenten bewust zijn
geworden van competentiegericht opleiden en beoordelen, maar dat ook zelf ervaren hebben.
Daarnaast kan de SOOS deze docenten ook inzetten als assessor bij zowel de COE als de MeM opleiding.
Masterthesis 20
3 Theoretisch kader met conceptueel model
In deze thesis staat het competentiegericht opleiden en beoordelen centraal. Het theoretisch kader vangt dan ook aan met een beschouwing van het competentiebegrip in 3.1. Bij het competentiegericht opleiden en beoordelen staat assessment van de studenten centraal, hetgeen besproken wordt in 3.2. Vervolgens wordt in 3.3 ingegaan op de rol van het portfolio bij het competentiegericht opleiden en beoordelen. In paragraaf 3.4 wordt ingegaan op de rol van de assessor. Het theoretisch kader wordt afgesloten met het conceptueel model en het globaal interventieonderzoeksvoorstel in 3.5.
3.1 Het begrip competentie
Er zijn verschillende omschrijvingen van het begrip competentie. Een competentie wordt beschreven als bekwaam handelen dat zichtbaar wordt in gedrag of resultaten van dat gedrag in beroepsituaties op een bepaald niveau (Geerding & Jongepier in Smeijsters & Sporken, 2004). Wouda en Snoek (2003) zien een competentie als het vermogen om op basis van aanwezige kennis, vaardigheden en houdingen adequaat te handelen in complexe
beroepssituaties en het vermogen om keuzes en beslissingen die tijdens dat handelen gemaakt worden te kunnen verantwoorden en er op te kunnen reflecteren. Spencer en Spencer (in Zwaal & Eringa, 2006) zien een competentie als een onderliggend kenmerk van een individu dat oorzakelijk gekoppeld is aan welomlijnde werkprestaties. Uitgaande van deze
verschillende omschrijvingen, kan worden afgeleid dat het definiëren van het begrip competenties niet eenvoudig is, hetgeen ook gesteld wordt door Korthagen (2004), Luken (2006), Straetmans en Sanders (2001) en Zwaal en Eringa (2006).
Van Merriënboer, Van Der Klink en Hendriks (2002) hebben elf definities van het begrip competentie met elkaar vergeleken en hebben vervolgens op basis van die vergelijking de volgende zes gemeenschappelijke kenmerken geïdentificeerd:
1. Competenties zijn contextgebonden;
2. Competenties zijn een integratie van vaardigheden, kennis, attituden, eigenschappen en inzichten;
3. Competenties zijn veranderlijk in de tijd;
4. Competenties zijn verbonden met taken en activiteiten;
5. Leer- en ontwikkelingsprocessen zijn voorwaardelijk voor competentieverwerving;
6. Competenties staan in een bepaalde relatie tot elkaar.
Uitgaande van bovenstaande kenmerken hebben Van Merriënboer et al. (2002) drie dimen- sies afgeleid die gezamenlijk in de definitie van een competentie dienen te zijn opgenomen en drie dimensies die niet noodzakelijk geacht worden, maar wel relevant zijn voor de
onderwijsdoelen. Deze dimensies zijn in schema 3.1 weergegeven.
Masterthesis 21 Schema 3.1: Noodzakelijke en relevante dimensies van het competentiebegrip.
# Noodzakelijke dimensies # Relevante dimensies 1 Specificiteit 4 Handelingsgerichtheid
Het verwerven, toepassen en verder ontwikkelen van competenties vindt plaats in contexten.
Voor de ontwikkeling en toetsing van een compe- tentie is probleemoplossend handelen voorwaardelijk, waarbij er sprake dient te zijn van situaties die het mogelijk maken de competentie te ontwikkelen en deze competentieontwikkeling te demonstreren.
2 Integrativiteit 5 Leerbaarheid
Een competentie is een samenhan- gend geheel van kennis, vaardig- heden, houdingen en eigenschappen.
Een competentie is niet in één keer overdraagbaar, maar vergt inspanning en tijd om het te ontwikkelen.
3 Duurzaamheid 6 Onderlinge afhankelijkheid Er is sprake van een zekere
duurzaamheid, waarbij de
onderwijsdoelen tamelijk constant blijven (de invulling daarvan in leerdoelen verandert wel steeds).
Competenties staan in een bepaalde relatie tot elkaar.
Deze relatie kan voorwaardelijk zijn, zoals leer- competenties voorwaardelijk zijn voor andere com- petenties, of relevant zijn voor onderwijsdoeleinden.
Op basis van de dimensies Van Merriënboer et al. (2002) kan in het kader van dit onderzoek de volgende omschrijving gegeven worden van het begrip competentie. Een competentie is een samenhangend geheel van kennis, vaardigheden, houdingen en eigenschappen dat zich, met het oog op de toekomstige uit te voeren beroepstaken, door middel van concrete
handelingen in de beroepscontext gedurende een bepaalde periode in relatie tot andere competenties ontwikkelt.
Uit deze paragraaf is gebleken dat de beroepscontext bij het ontwikkelen van de competentie een belangrijke rol heeft. Ook is gebleken dat bij het ontwikkelen van competenties sprake dient te zijn van integratie van kennis, vaardigheden, houdingen en eigenschappen die gedurende een bepaalde periode en in relatie tot elkaar aangeleerd dienen te worden. Om dit te kunnen realiseren is er een bepaalde manier van toetsen nodig. Zowel Shepard et al.
(2005), Wouda en Snoek (2003) als Alexander (2006) noemen in dit kader assessment als een manier om competenties bij studenten te beoordelen. Hierop wordt in de volgende paragraaf ingegaan.
3.2 Assessment
Bij het competentiegericht opleiden en beoordelen staat assessment centraal. In deze paragraaf wordt eerst ingegaan op de doeleinden van assessment (3.2.1), vervolgens wordt ingegaan op de momenten waarop een assessment wordt afgenomen (3.2.2), gevolgd door de kwaliteitscriteria waaraan een assessment dient te voldoen (3.2.3).
3.2.1 Doeleinden van assessment
Lorna (2003) maakt een onderscheid in assessment van (“of”) het leren, voor (“for”) het leren en tijdens (“as”) het leren. Bij assessment van het leren, wordt getoetst in welke mate de student heeft geleerd. Tentamens, examens, repetities en dergelijke zijn voorbeelden van deze
Masterthesis 22 wijze van assessment. Bij assessment voor het leren, wordt tussentijds nagegaan in welke mate de student de leerdoelen heeft bereikt met als doel alsnog bij te stellen indien nodig. Bij assessment tijdens het leren, staat de student centraal. De rol van de student is niet alleen vanwege de bijdrage die geleverd wordt aan het assessment en het leerproces, maar meer nog als de link tussen het assessment en het leerproces. De student kan namelijk, uitgaande van zijn eigen beginsituatie, zijn eigen leerproces monitoren.
Op basis van de mate waarin de drie vormen van assessment plaatsvinden, kan dan een onderscheid gemaakt worden in een meer traditionele toetssituatie en de competentiegerichte.
Bij de meer traditionele toetssituatie, staat assessment van het leren centraal (zie linker pira- mide in figuur 3.1), terwijl de focus bij competentiegericht opleiden zou moeten schuiven naar assessment tijdens het leren (zie rechter piramide in figuur 3.1).
Figuur 3.1: Traditionele assessment piramide vs. competentiegerichte assessmentpiramide (aangepast van Lorna, 2003).
Shepard et al. (2005), maken een onderscheid in formatieve en summatieve assessment, waarbij formatieve assessment plaatsvindt tijdens het leerproces met als doel om het
onderwijzen of het leren te verbeteren en summatieve assessment plaatsvindt aan het eind van het leerproces met als doel om de mate waarin de student geleerd heeft, te beoordelen.
Soortgelijke indeling in formatief en summatief wordt ook gemaakt door Alexander (2006), waarbij formatief als doel heeft om het leerproces te monitoren zodat er eventueel bijstelling kan plaatsvinden en summatief als doel heeft het beoordelen van het geleerde. Deze indeling in formatieve en summatieve assessment is vergelijkbaar met de eerder beschreven vormen van assessment van Lorna (2003), waarbij formatieve assessment overeenkomt met
assessment voor en tijdens het leren en summatieve assessment met assessment van het leren.
3.2.2 Beoordelingsmomenten
De toetsomgeving waarin de aankomende beroepsbeoefenaar laat zien dat hij competent is en waarin zijn competenties beoordeeld worden, wordt assessment genoemd (Wouda & Snoek, 2003). Assessments kunnen op verschillende momenten in de opleiding plaatsvinden. Een intake-assessment bepaalt of de student voldoet aan de bekwaamheid die nodig is om toegelaten te worden tot een bepaalde opleiding. In een eindassessment wordt bepaald of de student voldoet aan de startbekwaamheidseisen. Naast de intake- en eindassessment, zijn er ook tussenassessments mogelijk om te bepalen of een student door kan gaan naar een volgende fase van de opleiding. Voor de hand liggende momenten voor tussenassessments zijn de overgang van jaar 1 naar jaar 2, de afsluiting van de propedeusefase, en de overgang van jaar 3 naar jaar 4, naar de afstudeerfase. (Wouda & Snoek, 2003)
Masterthesis 23 3.2.3 Kwaliteitscriteria voor assessments
Van Petegem en Vanhoof (2002) onderscheiden de kwaliteitscriteria bij assessments in doelmatigheids- en billijkheidseisen. Een assessment is doelmatig als het geschikt is voor het doel waarvoor het is gemaakt en het is billijk als elke deelnemer aan het assessment dezelfde behandeling krijgt.
1. Doelmatigheid
Een doelmatig assessment voldoet volgens Van Petegem en Vanhoof (2002) aan de volgende eisen:
a. Validiteit
Een assessment is valide als het inderdaad datgene meet dat het zou moeten meten. Dit kan bereikt worden door het assessment in een zo authentiek mogelijke context te laten plaatsvinden, waarbij de verschillende doelen in het assessment verwerkt dienen te zijn.
b. Betrouwbaarheid
Een assessment is betrouwbaar als bij herhaling onder dezelfde condities dezelfde resultaten weer worden gevonden. Dit kan bereikt worden door de opdracht eenduidig te formuleren en voldoende aspecten in de opdracht te verwerken dat het een goede
afspiegeling is van de leerinhoud. Ook is het belangrijk dat verschillende beoordelaars op een objectieve manier het assessment beoordelen.
c. Efficiëntie
Bij efficiëntie gaat het om een aantal praktische zaken zoals tijds- en kosteninvestering.
2. Billijkheid
Een billijk assessment voldoet volgens Van Petegem en Vanhoof (2002) aan de volgende eisen:
a. Objectiviteit
Een assessment is objectief als elke student een gelijke kans heeft om hun prestaties te demonstreren zonder dat niet relevante individuele kenmerken van zullen zijn op de beoordeling. Elke student krijgt dus dezelfde kans.
b. Doorzichtigheid
Een assessment is doorzichtig als elke student alle informatie krijgt die nodig is om te zorgen voor een optimale voorbereiding en adequate uitvoering van de opdracht.
c. Normering
De eis van normering benadrukt dat men de beslissingen die genomen worden op basis van het assessment inhoudelijk moet kunnen rechtvaardigen. Hiertoe dragen vooral beoordelingscriteria bij.
Ook Wouda en Snoek (2003) geven aan dat een assessment valide en betrouwbaar moet zijn, dat de opzet en uitslag door de betrokkenen geaccepteerd moeten worden en dat het
assessment uitvoerbaar zijn. Op deze vier kwaliteitscriteria wordt hieronder ingegaan:
1. Validiteit
Een valide assessment meet daadwerkelijk datgene dat gemeten moet worden. Bij competentiegerichte beoordeling gaat het dus om het ‘meten’ van competentie: effectief
Masterthesis 24 gedrag kunnen tonen in (complexe) beroepssituaties. Omdat het om verschillende
competenties gaat, zal een valide assessment ook bestaan uit een mix van
assessmentonderdelen, waarbij alle te beoordelen competenties bij voorkeur bij twee instrumenten aan de orde komen.
2. Betrouwbaarheid
Een betrouwbaar assessment geeft de zekerheid dat iemand die door het assessment heen komt inderdaad competent is. De uitslag van het assessment is niet afhankelijk van toevallige factoren, zoals de persoon van de assessor. Betrouwbaarheid is het beste te realiseren aan de hand van heldere en eenduidige beoordelingscriteria. Bij een assessment gaat het echter om de vraag of de student in onverwachte complexe situaties effectief kan handelen, waardoor het werken met eenduidige criteria wordt bemoeilijkt. Het gaat immers om een interpretatie van de context en van de betekenis die in die context gegeven wordt aan ‘effectief handelen’. De betrouwbaarheid kan bij een assessment worden gerealiseerd door met meerdere (getrainde) assessoren te werken. Hierdoor ontstaat een zekere mate van intersubjectiviteit, waardoor het oordeel niet alleen is gebaseerd op een individuele mening. Ook kunnen hierdoor verschillende perspectieven in het beoordelingsproces worden meegenomen, aangezien de verschillende assessoren elk hun eigen expertisegebied kunnen hebben.
3. Acceptatie
Een acceptabel assessment houdt in dat alle betrokkenen het assessment waardevol en rechtvaardig vinden. Voor de student is het van belang dat die het juiste beeld van zichzelf kan laten zien door zelf te kunnen bepalen welke producten en bewijsmaterialen tijdens het assessment worden ingebracht.
4. Uitvoerbaarheid
Een assessment moet uitvoerbaar zijn, waarbij de vraag hoe de relatie van het assessment is met andere beoordelingsmomenten en –instrumenten belangrijk is. Bij het introduceren van assessments dient nagegaan te worden op welke wijze en in welke mate assessments de traditionele vormen van toetsing kunnen vervangen of daarmee kunnen worden geïntegreerd. Het traditionele curriculum is opgebouwd uit een groot aantal modulen die afzonderlijk afgerond worden met tentamens, opdrachten en dergelijke.
Uit de kwaliteitseisen zoals beschreven door Van Petegem en Vanhoof (2002) enerzijds en Wouda en Snoek (2003) anderzijds, kan afgeleid worden dat het assessment:
1. doelgericht dient te zijn en plaats dient te vinden in authentieke situaties, hetgeen voor de validiteit belangrijk is.
2. beoordeelt dient te worden door meerdere beoordelaars, hetgeen vooral bijdraagt aan de betrouwbaarheid.
3. beoordeelt dient te worden aan de hand van beoordelingscriteria, hetgeen vooral bijdraagt aan de betrouwbaarheid, doorzichtigheid en normering.
4. de student de gelegenheid dient te geven om het juiste beeld van zichzelf te laten zien, hetgeen bijdraagt aan de acceptatie/objectiviteit.
Masterthesis 25 Een portfolio is bij uitstek geschikt om het assessment doelgericht te laten plaatsvinden en in authentieke situaties te beoordelen. Ook krijgt de student middels een portfolio de
gelegenheid om het juiste beeld van zichzelf te laten zien. Hetgeen hier gesteld is, wordt onderbouwd in de volgende paragraaf (3.3). Ook zal in de volgende paragraaf worden ingegaan op de beoordeling van het portfolio aan de hand van beoordelingscriteria.
Ten aanzien van de kwaliteitseis met betrekking tot de efficiëntie, geeft Alexander (2005) aan dat het gebruik van portfolio’s tijdconsumerend is. Dit kan worden opvangen door zo
georganiseerd mogelijk te werken. Dit geldt zowel voor de leraar als de student. Daarnaast kunnen het vooraf aan de studenten geven van de beoordelingscriteria en voorbeelden van goede portfolio’s er ook toe bijdragen dat er tijd bespaard kan worden.
3.3 Het portfolio
Het begrip portfolio is afkomstig uit de wereld van kunst en architectuur waar men afbeel- dingen, recensies, krantenknipsels en dergelijke over het eigen werk in mappen (portfolio’s) verzamelt (Driessen & Van Tartwijk, 2006). Een portfolio wordt in het onderwijs gezien als een doelgerichte verzameling van geleverd werk door een student op basis waarvan bepaalde kennis, vaardigheden en ‘abilities’ aangetoond worden (Arter & Spandel; Baker & O’Neil, zoals geciteerd in Alexander, 2005). Het expliciet noemen van de combinatie kennis, vaardigheden en mogelijkheden geeft aan dat het portfolio bij uitstek geschikt is voor een competentiegerichte opleiding. Alexander (2005) noemt in dit kader ook een groeiportfolio waaruit de ontwikkeling van de studenten gedurende een bepaalde periode blijkt.
Ook Van Petegem en Vanhoof (2002) geven aan dat het gebruik van een portfolio inhoudt dat de student in een verzamelmap informatie over zijn persoonlijke prestaties en ervaringen aanlegt die een beeld schept over zijn mogelijkheden en groei. Verder stellen zij dat het belangrijk is dat de student zelf een selectie maakt uit de producten die hij in een bepaalde periode gecreëerd heeft en die selectie verantwoord. Uit het portfolio dient de student ook een systematische reflectie te laten zien op het eigen leerproces.
Waar Van Petegem en Vanhoof (2003) stellen dat de student zelf een selectie dient te maken uit de producten, geeft Alexander (2005) ook de rol van hun leraar hierbij aan. Volgens Alexander zijn de studenten wel vrij om hun producten die ze in hun portfolio doen, zelf uit te kiezen, maar zij zullen samen met hun leraar nagaan als die producten overeenkomen met de doelstellingen van het assessment.
Naast de producten en zelfreflecties die Van Petegem en Vanhoof (2003) noemen, geven Wouda en Snoek (2003) ook video-opnames van concrete situaties waarmee de student zijn gedrag in kenmerkende beroepssituaties toont, voorbeelden van vakinhoudelijke deskun- digheid, oordelen van anderen (bijvoorbeeld in de vorm van 360º feedback van begeleiders op de werkplek of de opleiding, opdrachtgevers, collega’s en medestudenten) als mogelijke
