Verkenning

Om de juiste beoordelingscriteria op het spoor te komen en zowel het professionele gedrag als het inadequate gedrag te operationaliseren, zijn drie onderzoeksmethodes gebruikt:

• Om te beginnen zijn de ACRL-standaarden (2000) en de daar geformuleerde gedragsindi- catoren bestudeerd.

• Gedurende twee periodes van 10 weken waarin de onderzoeker ook een training Deskresearch verzorgde voor een groep studenten van verschillende opleidingen van De Haagse Hogeschool, is het zoekgedrag van de studenten gemonitord en zijn er aantekeningen gemaakt van veel voorkomende fouten.

• Concept versies van de criteria en de gedragsbeschrijvingen zijn in drie afzonderlijke review bijeenkomsten besproken met collega’s van de opleiding informatiedienstverlening en -management én met collega’s van andere opleidingen (hoger europees beroeps onderwijs, bedrijfseconomie en hbo verpleegkunde).

Bij de bestudering van de ACRL-standaarden en de bijbehorende gedragsindicatoren is gebruik gemaakt van Neely (2006). Gebruik van dat boek had voordelen boven het gebruik van de tekst van de standaarden zelf omdat Neely behalve de letterlijke tekst van de standaarden, de gedrags- indicatoren en de leeruitkomsten tevens verschillende voorbeelden geeft van ‘good practices’ uit het onderwijs zelf. Haar boek was dan ook een goede bron bij het formuleren van de verschillende criteria en het ‘professionele’ gedrag daarbij. Een tweede bron die in deze fase van het onderzoek veel ideeën heeft opgeleverd is die van Scharf, Elliot, Huey, Briller en Joshi (2007). Van het ACRL Framework for Information Literacy for Higher Education waarvan de eerste concept versies in 2014 verschenen, is ook in een later stadium geen gebruik gemaakt omdat de daar beschreven ‘frames’, anders dan de standaarden uit 2000, onvoldoende houvast boden in de vorm van duidelijk omschreven leeruitkomsten (zie ook paragraaf 2.1.3).

De eerste fase leverde de volgende beoordelingscriteria op: 1. Oriëntatie op het onderwerp

2. Gebruik van deskresearch als onderzoeksmethode

3. Aanwezigheid van een literatuurlijst en de kwaliteit van de beschrijvingen

4. Kwaliteit van de gebruikte primaire informatiebronnen (boeken, artikelen, websites) 5. Bronverwijzingen in de tekst

6. Verwerking van relevante informatie tot nieuwe kennis 7. Gebruik van zoektermen

8. Gebruik van diverse secundaire informatiebronnen.

De eerste zes beoordelingscriteria kunnen worden toegepast op het kennisproduct dat de student oplevert (het essay, verslag, de presentatie), de laatste twee kunnen alleen worden gebruikt als van de student ook wordt gevraagd dat deze een zoekstrategie inlevert. Bij de keuze voor de te gebrui- ken beoordelingscriteria lag de nadruk dus op eigenschappen van het eindproduct. De motivatie daarvoor is dat Information Problem Solving kan worden beschouwd als een betrekkelijk generie- ke vaardigheid waarbij het redelijk is om studenten de gelegenheid te bieden om, binnen zekere

4

grenzen, zelf te kiezen hoe ze de opdracht aanpakken. Een voorbeeld is het opsporen van informa-

tie door het ‘volgen’ van hyperlinks naast het gebruik van keyword searches. Sommige studenten zullen zo’n methode van meanderen ervaren als een efficiënte manier om snel relevante informatie te vinden, anderen raken daarbij al snel het spoor bijster. Het lijkt weinig zin te hebben om studen- ten te verplichten om (ook) op die manier te zoeken of hen dat juist te verbieden. Aan de hand van de kwaliteiten van het eindproduct kan echter wel worden vastgesteld hoe goed de informatie was die de gevolgde methode heeft opgeleverd.

Nadat de beoordelingscriteria waren vastgesteld, werden de beschrijvingen van professioneel en inadequaat gedrag opgesteld. Beschrijvingen van inadequaat gedrag werden aanvankelijk vooral ontleend aan voorbeelden die de onderzoeker zelf tegenkwam tijdens de begeleiding van practica ‘retrieval’ in het kader van het 10 weken durend onderwijsblok Deskresearch dat door de oplei- ding idm van De Haagse Hogeschool wordt verzorgd. Tijdens de cursus leggen de studenten een zoekstrategie vast die ze iedere week tijdens het practicum met de begeleidend docent bespreken. Vooraf krijgen de studenten toegelicht dat het bij het onderdeel ‘zoekstrategie’ niet zozeer gaat om een beschrijving van alle stappen die zijn gezet maar wel om de stappen waarvan ze zelf ervaren hebben dat ze het meest hebben opgeleverd. De zoekstrategie kan dus wekelijks worden aangepast en de uiteindelijke zoekstrategie is als het goed is een beschrijving van de bronnen, zoektermen en zoekmethodes waarmee het onderzoek herhaald kan worden.

Het monitoren van deze zoekstrategieën gedurende twee cursussen in het schooljaar 2007-2008 leverde tal van voorbeelden op van veel voorkomende fouten en misverstanden. Deze werden in de scoringsrubriek verwerkt in de beschrijvingen van het inadequate gedrag.

Het overzicht van beoordelingscriteria met zowel beschrijvingen op professioneel niveau als die op inadequaat niveau is besproken in drie review sessies, één bijeenkomst met collega’s van de opleiding idm en twee bijeenkomsten met collega’s van andere opleidingen. De feedback op het concept van de scoringsrubriek tijdens deze ‘collegiale toetsing’ heeft een belangrijke rol gespeeld bij de uiteindelijke formulering van de criteria. De organisatie van deze sessies met collega’s had vooral als doel om te komen tot omschrijvingen van beoordelingscriteria die worden herkend in de onderwijspraktijk van ervaren docenten en beoordelaars, de ‘inhoudsvaliditeit’ van de te gebruiken beoordelingscriteria (Cronbach & Meehl, 1955; Tigelaar, Dolmans, Wolfhagen & Van der Vleuten, 2005, p. 597).

De gebruikte onderzoeksmethodes (analyse van de literatuur / ACRL standaarden, het moni- toren van de zoekstrategieën en de collegiale toetsing) zijn hierboven weliswaar in een lineaire volgorde gepresenteerd maar zijn feitelijk niet in die strikte volgorde uitgevoerd. De ontwerpac- tiviteiten startten met de analyse van de ACRL-standaarden maar het volledige proces is drie maal volledig doorlopen. Deze iteratie van het ontwerpproces heeft er voor gezorgd dat het con- cept van de scoringsrubriek steeds kon worden verbeterd. Zo leidden de reviews met de collega’s niet alleen tot scherpere formuleringen van de beoordelingscriteria en het ‘professionele’ gedrag maar ook tot duidelijker voorbeelden van zwakke zoekstrategieën en betere beschrijvingen van ‘inadequaat’ gedrag. Het iteratieve karakter van het ontwerpproces in deze verkennende fase wordt uitgedrukt in figuur 4.3.

Verbeterde criteria, professioneel gedrag en inadequaat gedrag

Inadequaat gedrag + verbeterde criteria en professioneel gedrag

Criteria + professioneel gedrag Analyse ACRL- standaarden Collegiale toetsing onderzoeksmethode resultaat Monitoring zoek- strategieën Figuur 4.3

Vaststellen van de beoordelingscriteria en de beschrijving van profes sioneel en inadequaat gedrag tijdens de verken- nende fase van het ontwerp van de scoringsrubriek

In document Beoordelen van informatievaardigheden in het hoger onderwijs (pagina 80-82)