Reikwijdte van het onderzoek

9.3.1 Verhouding tussen het IPS-model en de Scoringsrubriek voor

Informatievaardigheden

Met de Scoringsrubriek voor Informatievaardigheden wordt beoordeeld met welk resultaat een student het Information Problem Solving-proces heeft uitgevoerd. Tabel 9.1 geeft aan hoe de afzon- derlijke criteria van de scoringsrubriek corresponderen met de verschillende fasen uit het concep- tueel kader, het Information Problem Solving-model uit figuur 2.6.

Tabel 9.1

Stappen uit het IPS-model met corresponderende criteria uit de Scoringsrubriek voor Informatievaardigheden

IPS-model Scoringsrubriek voor informatievaardigheden 1 Onderkennen en verwoorden van de

informatiebehoefte

1 Oriëntatie op het onderwerp

2 Zoeken naar informatie 6

7

Zoektermen

Gebruik van diverse secundaire informatiebronnen 3 Selecteren en beoordelen van informatie 3 Kwaliteit van de gebruikte primaire

informatiebronnen

4 Verwerken van informatie 5 Verwerking van relevante informatie tot nieuwe kennis en/of inzichten

5 Vervaardigen en verspreiden van nieuwe informatie 2 4

Bronnenoverzicht/literatuurlijst Bronverwijzingen in de tekst

Uit tabel 9.1 blijkt dat de afzonderlijke criteria uit de scoringsrubriek inhoudelijk corresponderen met de verschillende fasen van het Information Problem Solving-model uit figuur 2.6. Wel blijft de beoordeling van stap 5 uit het IPS-model (“Vervaardigen en verspreiden van nieuwe informatie”) in de scoringsrubriek beperkt tot het beoordelen van de literatuurlijst (criterium 2 van de scorings- rubriek) en de bronverwijzingen in de tekst (criterium 4). Het beoordelen van schrijfvaardigheid is in de Scoringsrubriek voor Informatievaardigheden niet meegenomen. In hoofdstuk 8 bleek dat dat door minstens één van de geïnterviewde docenten als een tekortkoming was ervaren en dat

zij de scoringsrubriek daarvoor had aangevuld met extra beoordelingscriteria voor schriftelijke taalvaardigheid. Het IPS-model uit figuur 2.6 kent nog een zesde stap in de regulatiebalk. Ook deze zesde stap wordt met de scoringsrubriek niet expliciet beoordeeld.

Dat de criteria uit de scoringsrubriek de stappen van het IPS-model niet één op één volgen komt onder andere door het feit dat de meeste van de criteria die in hoofdstuk 4 voor de scoringsrubriek werden vastgesteld betrekking hebben op de uitkomsten van het Information Problem Solving-proces, de kwaliteiten van het product dat studenten maken. Alleen de laatste twee criteria gaan over de uitvoering van afzonderlijke activiteiten en dan specifiek die bij stap 2 van het IPS-model, zoeken naar informatie ofwel het proces van ‘information seeking’ (Wilson, 2000). In de scoringsrubriek gaat het om de kwaliteit van de gebruikte zoektermen (criterium 6) en de secundaire informatiebronnen die zijn gebruikt zoals databases, sites of naslagwerken (criterium 7). Dat proces van informatie zoeken is echter alleen te beoordelen als de studenten daarover ook rapporteren. Daarbij is dan sprake van een vorm van indirecte waarneming door de beoordelaar aan de hand van proces- of reflectieverslagen. In lang niet alle gevallen is het bijhouden van zo’n proces- of reflectieverslag echter onderdeel van de studieopdracht. In zulke situaties zal het vaak zo zijn dat de beoordelingscriteria met betrekking tot het zoekproces niet gebruikt kunnen worden.

9.3.2 Beoordeling van het proces van ‘information seeking’

In paragraaf 3.2.3 zijn diverse andere methodes besproken om het proces van ‘information seeking’ vast te leggen. Die waren allemaal gebaseerd op directe observatie en liepen uiteen van screen-cap- tures en eye-tracking tot ‘hardop denken-protocols’. Voor al deze onderzoeken gold echter dat ze als doel hadden om vast te leggen wat er daadwerkelijk gebeurde zonder dat er voor de deelnemen- de studenten consequenties aan waren verbonden in de vorm van een beoordeling. Er zijn geen voorbeelden gevonden van dergelijke directe observatiemethodes die succesvol werden toegepast in een authentieke onderwijssituatie.

In de casussen die gebruikt werden in hoofdstuk 5 bleek echter dat ook als de studenten wel gevraagd werd een verantwoording van het zoekproces op te stellen, juist deze criteria 6 (Zoektermen) en 7 (Gebruikt van diverse secundaire bronnen) aanleiding gaven tot misverstan- den en verschillende interpretaties. Bij de casus van de Nederlandse Defensie Academie was het gebruik van bepaalde (met naam genoemde) wetenschappelijke databases onderdeel van de instructie bij de opdracht. Dat leidde er toe dat een van de beoordelaars steeds betrekkelijk hoge scores toekende voor het betreffende criterium terwijl de andere beoordelaar zijn aandacht bij dit criterium juist had gericht op de vraag of de student ook andere wetenschappelijk bronnen had gebruikt dan díe welke in de opdracht als verplicht te gebruiken vermeld hadden gestaan. Bij de vergelijking van de beoordelingen die in het kader van de casus van de Open Universiteit waren opgemaakt, bleek een vergelijkbaar probleem te spelen: daar was het gebruik van één specifieke bibliografische database verplicht gesteld en bleek criterium 7 niet goed bruikbaar. Op grond van deze ervaringen is tijdens de trainingssessies in het kader van het laatste kwantitatieve onderzoek, dat bij de opleiding Mediastudies van de UvA, juist aan de interpretatie van dit cri- terium extra aandacht besteed.

9

Geconcludeerd kan worden dat een beoordeling van het zoekproces pas mogelijk is als de criteria

die daarvoor gebruikt worden, goed zijn afgestemd op de instructie die bij de opdracht hoort. De criteria die met betrekking tot het zoekproces in de scoringsrubriek zijn geformuleerd, zijn alge- meen van aard. Juist voor die criteria zal in veel gevallen gelden dat ze moeten worden aangepast aan de inhoud van de opdracht die met betrekking tot het zoekproces wordt gehanteerd. Hoe ze dan precies geformuleerd zouden moeten worden, is in zijn algemeenheid niet te zeggen. In het ene geval zal gelden dat de student in ieder geval de sleutelpublicaties moet noemen van waaruit citatie- of sneeuwbalonderzoek is gestart, in een ander geval zal worden gevraagd om een inhoude- lijk gegroepeerde lijst van zoektermen of een lijst van zoekmachines / bibliografische databases die zijn gebruikt. Te verwachten is dat de exacte formulering van deze criteria ook per vakgebied zal verschillen. In paragraaf 9.4.2 wordt daarop teruggekomen.

9.3.3 De Scoringsrubriek voor Informatievaardigheden en het

Persoonlijk Kennissysteem

Het oplossen van informatieproblemen is in het hoger onderwijs meestal niet een doel op zich zelf. Het proces heeft ook tot doel dat studenten hun kennis vermeerderen, zowel die op het eigen vakgebied als metacognitieve kennis met betrekking tot leren in het algemeen. Met de scorings- rubriek wordt echter niet beoordeeld of er ook daadwerkelijk sprake is van kennisvermeerdering. Om ook dat laatste te beoordelen zou een assessmentmethode nodig zijn die over een langere termijn inzetbaar is en meer de nadruk legt op persoonlijke ontwikkeling van een student. Daarbij valt met name te denken aan een ontwikkelingsgericht portfolio met aandacht voor reflectieactivi- teiten door de student. Voor de beoordeling zou dan ook een ander instrument nodig zijn dan de scoringsrubriek voor informatievaardigheden die in dit onderzoek is ontwikkeld. Dat instrument zou zich meer dan de scoringsrubriek dienen te richten op het leervermogen van de student en zou thuis horen in een onderwijskundige context.

De scoringsrubriek zelf zou wel over een langere periode ingezet kunnen worden voor het moni- toren van progressie in het Information Problem Solving-proces. In het focusgroepsgesprek dat onderwerp was van hoofdstuk 7, gaven de studenten aan dat zij zelf meenden dat dat niet zo zinvol was (“Je weet van jezelf dat je ergens zwak in bent. Wat is de meerwaarde om dat expliciet te maken?”) maar naar aanleiding van die discussie kwam de onderzoeker tot de conclusie dat de Scoringsrubriek voor Informatievaardigheden, in ieder geval in de opleiding idm waarin hij zelf werkzaam is, veel vroeger in het curriculum aan de orde gesteld zou moeten worden. Aandacht ervoor tijdens verschillende fases van de studie zou de meerwaarde bieden dat studenten dan gewend raken om hun eigen progressie op het gebied van informatiegebruik te monitoren en hun leerproces indien noodzakelijk bij te sturen.

In document Beoordelen van informatievaardigheden in het hoger onderwijs (pagina 183-185)