HOOFDSTUK 3 – KWALITATIEF ONDERZOEK
3.1. Methode
3.1.2. Instrumenten
Beoordelingscriteria
Om te beoordelen of de beoordelingscriteria voor het assessmentdossier helder geformuleerd waren, zijn de toelichtingen op de criteria geraadpleegd zoals die verwoord staan in de informatiebrochure van de hogeschool Brochure LIO assessment handleiding student versie (2013). Hieronder volgt per criteria de voorgeschreven toelichting.
1) Authentiek
Producten moeten van jezelf zijn. Gaat het om een groepsproduct, geef dan aan wat jouw bijdrage is geweest en waarom dit dus als bewijs voor jouw competentiebeheersing wordt opgevoerd. Gaat het om een beschrijvend bewijs, dan moet het gaan over eigen ervaringen.
2) Actueel
Bewijzen mogen niet ouder zijn dan 2 jaar. Het gaat om het tonen van bewijzen die je in recente stages hebt opgebouwd.
3) Relevant
Ze vormen een duidelijk bewijs voor de aangegeven competentie. Je geeft dus altijd aan welke competentie of onderdeel van een competentie je met het bewijs aantoont.
4) Gekaderd
Je plaatst een bewijs altijd in een context. Dat wil zeggen dat je het bewijs plaatst in de situatie waarin je het hebt toegepast/gebruikt, hoe je het hebt toegepast/gebruik en je beschrijft wat je ervan geleerd hebt. Bij tenminste een bewijs per competentie maak je een koppeling met opgedane theoretische kennis. Je geeft bij dat bewijs aan welke theoretische kennis je hebt opgedaan, hoe je die gebruikt hebt en wat je dat heeft opgeleverd.
5) Gevalideerd
Gebruik je bewijzen van derden, dan wordt dat bewijs altijd ondertekend en van een datum voorzien voor degene die dit bewijs over je hebt geschreven. Ook vermeld je de functie van diegene.
Om vervolgens te onderzoeken of de conceptuele invulling van deze criteria van de assessoren overeenkomen met deze toelichting zijn de assessoren gevraagd of ze hun percepties van de criteria zo helder mogelijk wilden verwoorden.
Interview
Voor het daadwerkelijke interview werd een interviewleidraad opgesteld, die bijgevoegd is in bijlage 4. Voorafgaand aan het interview werd met de geïnterviewde het verloop van het interview globaal besproken en aangegeven op welke manier de anonimiteit van de respondent gewaarborgd zou worden. Vervolgens werd de geïnterviewde bevraagd naar zijn algemene indruk van het portfolio. Tevens is gevraagd of hij een definitie kon geven van elke afzonderlijke beoordelingscriteria zoals hij die heeft gehanteerd tijdens de beoordeling. Daarnaast werd ingegaan op eventuele factoren die hem konden beïnvloeden om een betrouwbare beoordeling te geven. Tot slot vroeg de onderzoeker naar zijn mening over de mate van standaardisering van zowel het portfolio zelf als de beoordeling van het portfolio. De transcripties van de acht interviews zijn opgenomen in de bijlage 6.
Portfolio
Ter voorbereiding op het interview ontvingen de assessoren een anoniem assessmentdossier dat ze van te voren moesten beoordelen. Het portfolio is een middel waarmee de student zijn ontwikkeling, prestaties en competenties kan laten beoordelen. Op de hogeschool worden de scripties in een archief opgeslagen, waardoor het niet mogelijk was om als onderzoeker zelf een passend portfolio te selecteren. Om toch in het bezit te komen van een portfolio is contact gezocht met N.N. met de vraag of (…) een portfolio van relatief goede kwaliteit en een portfolio van twijfelachtige kwaliteit wilde selecteren. Op die manier had de onderzoeker enig zicht op twee kwalitatief verschillende assessmentdossiers en was er de mogelijkheid om er een te selecteren. Vervolgens heeft de onderzoeker op basis van gesprekken met N.N. besloten om het kwalitatief minder goede portfolio in te zetten om door de assessoren beoordeeld te laten worden. De argumentatie was dat de kans groter zou zijn dat verschillende assessoren algemene overeenstemming zouden hebben bij het beoordelen van een goed portfolio dan bij een portfolio dat op de rand van een onvoldoende en voldoende verkeerd. Bij zo’n beoordeling zou al snel de kwaliteit van een beoordeling verder uiteen lopen, wat interessanter is voor dit type onderzoek. Welk cijfer het portfolio uiteindelijk heeft gekregen, is om privacy redenen niet bekend gemaakt. Wel konden assessoren ervan uitgaan dat het cijfer minimaal een voldoende was, omdat de desbetreffende student toentertijd zijn assessment wel heeft gehaald.
Het portfolio was afkomstig van een mannelijke student die de duale opleidingsvariant tot docent wiskunde doorloopt. De inhoud bestond uit een algemene inleiding, persoonlijke gegevens, een overzicht met de behaalde studiepunten en een zelfbeoordeling per competentie. Vervolgens had de student per competentie twee bewijzen toegevoegd die aantoonden dat hij deze competentie beheerste. Zoals eerder aangegeven, worden in het LIO-assessment alleen de competenties 1, 2, 3, 4 en 7 beoordeeld, namelijk inter-persoonlijk, pedagogisch, vakinhoudelijk/didactisch, organisatorisch competent en competent in reflectie en ontwikkeling. In de hoofdfase wordt meer de nadruk gelegd op de competenties 5 en 6 en deze worden mede beoordeeld in het eindassessment.
De aard van de bewijzen varieerde sterk en zijn voornamelijk beschrijvend van karakter. In Tabel 2 is per competentie een omschrijving van de bijbehorende bewijzen gegeven.
Tabel 2
Beschrijving van de aard van de bewijzen
Competentie & Bewijs Aard van het bewijs
1) Projectweek (II) Beschrijving van een les: in de projectweek moeten de leerlingen gezamenlijk een krant maken. Een leerling neemt de taak van hoofdredacteur waar en heeft daardoor veel verantwoordelijkheid. De student heeft er vanaf gezien om zelf die rol op te nemen en legt de verantwoordelijkheid bij de leerling.
1) Roos van Leary De student naar aanleiding van zijn leerkrachtgedrag dat uit de Roos van Leary blijkt een leervraag geformuleerd: wat kan ik doen om tijdens mijn les in het samen-boven kwadrant te blijven werken? In dit bewijs gaat hij zelf op zoek naar antwoorden (zonder literatuurverwijzingen).
2) Opdracht 4 van ‘Relatie en Gezag 2’
De student heeft een klein onderzoekje opgezet onder personeelsleden, door hen naar hun mening te vragen over de volgende stelling: voor een goed pedagogisch klimaat stelt de leerkracht zich op als gelijke. In het bewijs geeft hij eerst zijn eigen mening, vervolgens die van een aantal collega’s waar hij ten slotte zijn mening op aanpast.
2) Leervraag over leeromgeving
De student vraagt zich af hoe hij een veilige leeromgeving tot stand kan brengen. Hij geef in dit bewijs een uiteenzetting wat veilig is en hoe je als docent een krachtige leeromgeving kan creëren (zonder literatuurverwijzingen).
3) School Video
Interactie Begeleiding
In dit bewijs geeft de student antwoord op de leervraag: hoe kan ik controleren of de leerlingen het doel van het huiswerk begrepen hebben? Door middel van Video Interactie begeleiding formuleert hij daarop een antwoord met bijbehorende leermomenten.
3) Kijklijnen laten zien In dit bewijsstuk beschrijft de student een lesopzet over het uitleggen van ‘kijklijnen’. Hij beschrijft de voorbereiding, uitvoering en reflecteert op zijn gegeven les.
4) Projectweek (I) De student moest zelf een opdracht verzinnen voor in de projectweek – met elkaar een krant maken over vrijheid. Hij beschrijft de voorbereiding en uitvoering, maar reflecteert minimaal.
4) M.C. Escher opdracht Dit bewijsstuk is een beschrijving van een opdracht die de student leerlingen laat maken die niet deelnemen aan de buitenlandexcursie. Ze moeten in groepjes een presentatie geven over Escher. De student beschrijft zijn voorbereidingen, de uitvoering en blikt terug op zijn gemaakte opdracht.
6) School Video
Interactie Begeleiding
Door middel van quotes uit het Video Interactie Begeleidingstraject geeft de student antwoord op zijn leerdoelen.
7) Feedback van N.N. Een beoordeling van N.N. over een reflectie die de student heeft geschreven op een opdracht uit een moduleboek.
3.1.3. Procedure
Voordat het interview plaatsvond, moesten de beoordelaars het assessmentdossier beoordelen op de eerder genoemde criteria en weer naar de onderzoeker terugsturen. De onderzoeker kon dan vooraf de beoordeling bestuderen en eventueel verhelderingsvragen formuleren. Tijdens het interview konden de beoordelaars hun beoordeling mondeling toelichten.
De interviews met acht assessoren vonden plaats in week 19 en 20. De interviews werden gehouden op de scholen waar de assessoren werkzaam zijn, te weten (…). Het kortste interview duurde 24 minuten; het langste interview 51 minuten. Het verschil in tijd werd voornamelijk veroorzaakt door het feit of assessoren hun conceptuele beelden bij de criteria helder konden verwoorden of niet. Aan het eind van het interview werd de assessor uitgenodigd om deel te nemen aan de tweede meting (zie het kwantitatieve gedeelte hierna). Alle assessoren stemden hiermee in.
3.1.4. Data analyse
De semigestructureerde interviews werden opgenomen op de voice-recorder op een smartphone. Hierdoor was het mogelijk de gesprekken woordelijk te transcriberen. Dit heeft geleid tot 57 pagina’s met transcripties. De transcripties zijn aan de beoordelaars voorgelegd en door hen gevalideerd. Omdat dit onderzoek na beoordeling breed toegankelijk en openbaar wordt, zijn de transcripties daarna volledig geanonimiseerd. Dit hield in dat de beginvragen verwijderd zijn en in de overige tekst persoonlijke zaken zijn weggelaten en is aangegeven met het teken (…). De volledige transcripties blijven echter op aanvraag wel beschikbaar. Vervolgens zijn de vele pagina’s met transcripties van de interviews gelabeld. Tabel 3 geeft de codeboom weer die gehanteerd is bij het labelen. Deze codeboom is voornamelijk gebaseerd op de samenstelling van de deelvragen, zodat de uitkomsten van de interviews gemakkelijk per vraag gecategoriseerd konden worden.
Tabel 3
Codeboom van interviews met beoordelaars Betrouwbaarheid van de portfoliobeoordeling Conceptuele invulling beoordelingscriteria Authentiek Actueel Relevant Gekaderd Gevalideerd Belemmerende factoren
Stimulerende factoren Denkkader & intervisie Aantal assessoren
Wel of niet bekend zijn met de student
Gesprek
Uitspraken van de assessoren die ingaan op bovengenoemde aspecten zijn per aspect onder elkaar in een tabel gezet. Dit vergemakkelijkt de vergelijking tussen van de conceptuele invulling van de beoordelingscriteria van verschillende assessoren. Tevens helpt het bij het vergelijken van de conceptuele invulling van de assessoren met de toelichting die de hogeschool hanteert. Daarnaast zijn andere belangrijke uitspraken die niet direct onder een aspect zijn te categoriseren in de lopende tekst opgenomen.
3.2. Resultaten
In deze paragraaf worden de resultaten van het onderzoek besproken die vanuit de interviews naar voren zijn gekomen om zodoende een antwoord te kunnen geven op de eerste en tweede deelvraag zoals die in de vorige paragraaf zijn vermeld. Daarnaast kunnen deze resultaten de resultaten uit het kwantitatieve onderzoek nader uitleggen en verklaren. Dat zal voornamelijk in de algemene conclusie aan bod komen.
Uit de analyse van de interviews door middel van het toekennen van coderingen, valt op dat alle acht respondenten ingaan op de beoordelingscriteria zoals zij die hebben gehanteerd. Deze vijf criteria dienen dan ook als de eerste vijf coderingen. De beoordelingscriteria zijn: authentiek, actueel, relevant, gekaderd en gevalideerd. Veel beoordelaars vonden het lastig om hardop te beschrijven welke invulling zij gaven aan deze begrippen. Sommigen van hen gaven aan dat als ze meer tijd hadden en wisten dat ze hierop bevraagd werden, ze zich beter zou hebben voorbereid. ‘ Ja, ik had mij eigenlijk beter moeten voorbereiden en al die begrippen nog eens door moeten lezen’ (beoordelaar 6).
Aan de andere kant heeft dit wel voorkomen dat respondenten (sociaal) wenselijke antwoorden gaven. Beoordelaar 2 gaf aan dat hij bij het beoordelen wel de toelichting ernaast heeft gehouden en aan de hand daarvan een beoordeling heeft gegeven.
De paragrafen 3.1 tot en met 3.5 gaan over elk van de afzonderlijke beoordelingscriteria. In elke paragraaf zullen de beschrijvingen van de criteria door de respondenten onder elkaar weergegeven. In deze resultatensectie worden alleen de conceptuele invulling van de respondenten weergegeven. In de conclusie zal worden nagegaan in hoeverre deze invullingen overeen komen met de invulling zoals Driestar Educatief die in de toelichting heeft geformuleerd.
3.2.1. Authentiek
De conceptuele invulling van de beoordelaars van het beoordelingscriteria authentiek kwamen van alle criteria het meeste overeen. Alle respondenten (n=8) gaven hierbij aan dat zij onder authentiek verstaan of een bewijsstuk echt van de student zelf is, of het bij de student past.
Tabel 4
Conceptuele invulling van beoordelaars van het beoordelingscriteria ‘authentiek’ Beoordelaar Conceptuele invulling
1 Authentiek is echt iets van jezelf, wat bij jou past. Is het origineel? 2 Authentiek is, zo staat hier, dat je kunt zien dat het van de persoon zelf is.
3 Als ik naar authentiek kijk, dan kijk ik echt naar wat bij een docent, bij een bepaalde lessituatie hoort. Wat bij een competentie hoort, bij een bepaalde ontwikkeling van de student hoort, waarbij de student heel nadrukkelijk zegt van ‘kijk, dat is echt van mij’. 4 Authentiek is voor mij als ik het vermoeden heb dat ze het zelf gedaan hebben. Dan
mogen en moeten er best wel wat verwijzingen naar de literatuur zijn, maar je moet kunnen zien dat het verwerkt is.
5 Waar het een bewijsstuk was, was het naar mijn idee authentiek.
6 Bij authentiek denk ik aan of het bewijs wel iets over de kandidaat zelf zegt.
7 Ja, of het echt op die plaats gebeurd kan zijn (…) en of ik gewoon een indruk bij krijg dat het van hem is.
8 (…) Dat is met het voorwoord ook. Ja ik bedoel, dat is zo algemeen, dat vind ik dus niet authentiek.
Een van de respondenten geeft aan dat een bewijs dat door iemand anders over de desbetreffende student is aangeleverd wat hem betreft geen meerwaarde heeft. Hij kan dan niet nagaan hoe de student op dat moment in het proces staat, terwijl hij dat wel een belangrijke indicator van authentiek vindt.
Een andere assessor legt, naast dat het bewijsstuk op de student van toepassing moet zijn, ook de nadruk op het feit dat de ontwikkeling bij de juiste competentie moet aansluiten. Dat is natuurlijk wel erg belangrijk en geldt als randvoorwaarde om het bewijs als voldoende te kunnen beoordelen.
3.2.2. Actueel
In tabel 5 staat per beoordelaar de definitie weergegeven die zij voor zichzelf hanteren van het begrip ‘actueel’. Wat opvalt, is dat de beoordelaar 2 en 5 niet echt een duidelijk definitie geven. Dit komt omdat zij de toelichting uit de brochure van de hogeschool erbij hebben gehouden en die hebben gehanteerd. Als zij dieper op hun percepties werden bevraagd, zouden zij enkel deze toelichting geven. Daarom is besloten hen daarop niet verder te bevragen.
Tabel 5
Conceptuele invulling van beoordelaars van het beoordelingscriteria ‘actueel’
Beoordelaar Conceptuele invulling
1 (…) maar dan zou ik toch wel graag in een paar worden erbij gezet willen hebben dat dat mag gaan over de hele periode van twee jaar. Dat vind ik best verdedigbaar, alleen dat is dan niet het eerste waar ik aan denk bij actueel.
2 (…) gezien de datum was het meestal wel actueel, soms stond er een jaartal niet bij. 3 Officieel moet het geloof ik binnen twee jaar zijn. Dat vind ik nog vrij ruim. Want bij
de eindgesprekken van jaar vier mag het maar van de laatste drie maanden zijn. (…) als je echt iets wilt neerzetten, dan moet het in ieder geval binnen die twee jaar zitten, liever eigenlijk anderhalf jaar.
4 Het moet sowieso een verslag zijn van de laatste twee jaar, maar ook van de theorie erachter. De huidige ontwikkelingen in de didactiek bijvoorbeeld moeten in dit dossier verwerkt zijn.
5 (…) ooit was er sprake dat het niet ouder dan een jaar mocht zijn (…) dan denk ik dat als je uit jaar één een mooi bewijsstuk kan vinden dat dat prima is om van twee jaar te doen.
6 Bij actueel denk ik of het echt een weerslag is van de laatste paar maanden en dat het geen bewijsstuk is van twee jaar geleden of toen de student nog in een andere fase van zijn ontwikkeling zit (…) Dus eigenlijk vind ik dat de meeste bewijsstukken uit een periode moet dateren dat redelijk in de buurt van het assessment ligt.
7 En actueel, of het nu kan gebeuren (…) als ik nu dit jaar op die stageschool is en in dit stadium van zijn ontwikkeling, dan vind ik dat wel iets goeds (…) want die bewijzen zijn meestal van het laatste half jaar, omdat ze dan natuurlijk het beste bewijs kunnen leveren en er dan pas gericht aan kunnen werken.
8 (…) Je kunt bepaalde dingen in hun tijd plaatsen, bijvoorbeeld de ontwikkeling door de jaren over zelfstandig werken in het onderwijs (…) dus in die zin moet je wel weten van waar zijn we hier mee bezig en wat zijn de ontwikkelingen. En daarnaast, probeer ook de moderne media te volgen, dat vind ik ook actueel.
Twee assessoren wijzen niet alleen op de tijdsperiode waaruit een bewijsstuk mag komen, maar ook dat de huidige ontwikkelingen van de didactiek uit de literatuur erin verwerkt moeten zijn.
Deze opmerking gaat niet over een bepaald type bewijsstuk, maar noemen zij in het algemeen. Een noemt als voorbeeld de ontwikkeling door de jaren heen over het zelfstandig werken in het onderwijs. Tevens noemt hij dat de student in die twee jaar ook de ontwikkeling in de moderne media moet volgen. Deze invulling van het begrip ‘actueel’ verschilt wat dat betreft met de overige 6 respondenten.
3.2.3. Relevant
In onderstaande tabel staan de percepties vermeld van alle assessoren van het beoordelingscriteria ‘relevant’.
Tabel 6
Conceptuele invulling van beoordelaars van het beoordelingscriteria ‘relevant’
Beoordelaar Conceptuele invulling
1 Mijn indruk was een beetje dat als het relevant is dan past het als bewijs bij die beschrijving van de competentie en dan is het dus bruikbaar.
2 Dat hij verwijst om welke competentie het gaat (…)
3 Relevant is in dit geval dat het aantoonbaar moet zijn dat jij wilt laten zien dat je een ontwikkeling hebt doorgemaakt.
4 Het gaat hierbij over de bewijsstukken afzonderlijk. Ik vind dat je niet zomaar kunt volstaan met slechts een les waaruit je je bewijzen haalt. Je moet echt wel de dingen zeggen die er toe doen en niet in vaagheden verzanden.
5 Wanneer een bewijsstuk relevant is staat er: ze vormen een duidelijk bewijs voor de aangegeven competenties (…) relevant is eigenlijk de enige categorie die inhoudelijk op het bewijsstuk ingaat.
6 Of het echt iets zegt over die bepaalde competentie. En of de student echt iets heeft moeten doen wat daarmee te maken heeft.
7 Of het ook echt een stukje is wat je door moet maken als je in ontwikkeling bent. 8 Ja, het moet dus echt bij die situatie passen en ook relevant zijn voor je
ontwikkeling. Een student in jaar 2 heeft andere zaken waar ik mij druk om maak dan een student in jaar 4.
Dat een bewijsstuk bij de juiste competentie moet aansluiten, is volgens alle assessoren evident. Maar beoordelaar 2 specificeert dat nog meer als hij van zijn studenten vraagt om expliciet aan te geven om welk onderdeel van de competentie het gaat. Elke competentie heeft namelijk regels met wat er precies onder die competentie verstaan wordt.
Beoordelaar 5 geeft dus weer dat hij het criteria ‘relevant’ eigenlijk het enige criteria vindt dat inhoudelijk op het bewijsstuk ingaat. Daarop heeft hij wel een aanvulling: ‘En ja, dan zou je kunnen denken, er moet nog een categorie bij, bijvoorbeeld relevant voor je ontwikkeling en een categorie of het bewijs inhoudelijk voldoet aan de gestelde eisen’. Hij licht toe dat hij op grond van deze definitie verschillende keren nee heeft ingevuld bij dit beoordelingscriteria, ‘omdat ik het geen goed bewijs
vond, terwijl de beschreven situatie op zich best wel relevant kan zijn voor iemands ontwikkeling.