Op zoek naar de bron
Kwaliteit van de gebruikte bronnen in
afstudeerwerken van studenten in het
economisch hoger beroepsonderwijs
Tineke van der Meer
Universiteit van Amsterdam MasterscriptieCulturele Informatiewetenschap Studentnummer: 10262245 tineke.vandermeer@hu.nl
Begeleider: prof. dr. F.J.M. Huysmans Tweede lezer: mr. dr. T.A. Schiphof Juli 2018
Tenzij anders vermeld is alles in dit werk gelicenceerd onder een Creative Commons Naamsvermelding 4.0-licentie. Wanneer je gebruik wilt maken van dit werk, hanteer dan de volgende methode van naamsvermelding:
Tineke van der Meer, Op zoek naar de bron: Kwaliteit van de gebruikte bronnen in afstudeerwerken van studenten in het economisch hoger beroepsonderwijs (2018), CC-BY 4.0 gelicenseerd. De volledige licentie-tekst is te lezen op: https://creativecommons.org/licenses/by/4.0/
Bronvermelding
Onze eerstejaarsstudenten moeten een betoog schrijven. Daarvoor moeten ze ook bronnen gebruiken. De gratis krant Metro is een geliefde bron. Als ik een van mijn studenten vraag naar een preciezere vermelding dan Metro, kijkt hij me wazig aan. “Wanneer heb je dat dan gelezen?” vraag ik. “Nee, meester, niet gelezen, ik heb het gehoord in metro 53 richting Gaasperplas.”1
1Overgenomen uit “Bronvermelding” door M. Bijl, 19 februari 2016, NRC. Geraadpleegd van
https://www.nrc.nl/nieuws/2016/02/19/bronvermelding-1590566-a742077 Copyright 2016, NRC. Toestemming voor hergebruik van NRC per mail op 23 juni 2017.
SAMENVATTING
In 2014 werd bij de economische opleidingen van Hogeschool Utrecht een nieuw beoordelingsmodel voor afstudeerwerken ingevoerd met daarin veel aandacht voor het literatuurgebruik van studenten. In dit onderzoek wordt onderzocht of de kwaliteit van de, in de literatuurlijst opgenomen, bronnen in afstudeerwerken hierdoor is toegenomen.
Een bestaand meetinstrument voor het evalueren van de kwaliteit van de door studenten gebruikte bronnen van Reinsfelder is zo aangepast dat het de door de opleidingen gestelde eisen meet: het niveau, de actualiteit en de relevantie van de bron. Van de opleidingen Business Management, Facility Management en Small Business & Retailmanagement is van vijftig
afstudeerwerken uit de jaren 2013 en 2016, voor en na de invoering van het beoordelingsmodel, de kwaliteit van de gebruikte bronnen gemeten.
De gemiddelde kwaliteit van de gebruikte bronnen blijkt niet verbeterd te zijn. Er worden gemiddeld wel meer bronnen per afstudeerwerk gebruikt maar de gemiddelde kwaliteit daarvan is lager dan van de bronnen waarnaar in 2013 werd verwezen. Er blijkt ook geen samenhang tussen de gemiddelde kwaliteit van de gebruikte bronnen en het eindcijfer van het afstudeerwerk. Als wordt gekeken naar de verschillen tussen de opleidingen blijkt dat SBRM gemiddeld de laagste kwaliteit aan bronnen laat zien maar dat het verband tussen de beoordeling van het afstudeerwerk als geheel en de kwaliteit van de gebruikte bronnen in 2016 wel is toegenomen in vergelijking met 2013.
VOORWOORD
Met deze scriptie sluit ik een inspirerende en intensieve periode af: mijn studietijd aan de Universiteit van Amsterdam. Bij aanvang had ik geen idee wat te verwachten. Wat hield
wetenschappelijk onderwijs eigenlijk in? Hoe zou het zijn om te studeren tussen studenten van een jongere generatie? En zou het lukken deze studie te combineren met werk en gezin?
De opleiding Culturele Informatiewetenschap bleek te draaien om lezen, nadenken,
discussiëren, onderzoeken en schrijven over de plaats van informatie in onze samenleving en de rol van bibliotheken, archieven en musea daarbij. Deze inhoud sloot uitstekend aan op mijn werk als informatiespecialist bij Hogeschool Utrecht waar één van mijn taken het bevorderen van informatie- en onderzoeksvaardigheden van studenten en docenten is.
Mijn bacheloropleiding begon ik met een literatuuronderzoek naar de invloed van een
effectieve beoordeling op de informatievaardigheid van studenten in het hoger beroepsonderwijs. De cirkel is rond nu ik mijn masteropleiding afsluit met deze scriptie over de kwaliteit van de gebruikte bronnen in afstudeerwerken van de studenten van de opleidingen waarvoor ik de afgelopen twaalf jaar heb gewerkt.
Dit was niet gelukt zonder het vertrouwen dat mijn leidinggevenden bij Hogeschool Utrecht in mij hadden en de medewerking van veel van mijn collega’s. Het was ook niet gelukt zonder de inspirerende voorbeelden waarmee mijn docenten bij de Universiteit van Amsterdam mij kennis lieten maken. In het bijzonder wil ik mijn scriptiebegeleider Frank Huysmans bedanken voor zijn hulp bij dit onderzoek en zijn vertrouwen in een goede afloop. Ook wil ik mijn medestudenten, of ze nu wel of niet van een andere generatie waren, bedanken voor de kennis en inzichten die ze met me deelden. Maar bovenal was het mogelijk door het geduld en vertrouwen van Dietmar, Meint en Famke, mijn lieve man en kinderen. Tot slot wil ik Minke van der Meer-Wieringa en Gaatse Wieringa noemen, mijn moeder en haar jongste broer, die beiden tijdens mijn masteropleiding plotseling overleden. De kans om te studeren die jullie niet kregen was mijn inspiratie het wel te doen.
INHOUDSOPGAVE
1. INLEIDING 1
2. LITERATUURVERKENNING 7
2.1 BASISBEGRIPPEN: INFORMATIE, DOCUMENT, BRON 8
2.2 INFORMATIEGEDRAG 9
2.3 INFORMATIEVAARDIGHEID 13
2.4 CITAATANALYSE 15
3. EISEN AAN BRONNENGEBRUIK 21
3.1 PERSPECTIEF INFORMATIEVAARDIGHEID 21
3.2 PERSPECTIEF BEOORDELING, VOOR EN NA 2014 24
4. EEN MEETINSTRUMENT VOOR DE KWALITEIT VAN DE GEBRUIKTE BRONNEN 28
4.1 BESCHRIJVING EN VERANTWOORDING VAN DE CONSTRUCTIE VAN HET MEETINSTRUMENT 28
4.2 DATAVERZAMELING 32
5. RESULTATEN 35
5.1 FREQUENTIEANALYSE VAN ALLE REFERENTIES 35
5.2 SCHAALCONSTRUCTIE 38
5.3 ANALYSE KWALITEIT VAN DE GEBRUIKTE BRONNEN 42
5.4 SAMENVATTING RESULTATEN 47
6. CONCLUSIE 49
LITERATUUR 53
BIJLAGEN 60
IMEETINSTRUMENT VOOR DE KWALITEIT VAN DE GEBRUIKTE BRONNEN IN AFSTUDEERWERKEN 60
IICODESCHEMA 62
IIITABEL FREQUENTIEVERDELING REFERENTIES PER OPLEIDING EN JAAR 63
IVTABEL CORRELATIES 64
1
1. INLEIDING
“Maar hoe weet ik nu wat een goede bron is?” vroeg een derdejaars bachelorstudent tijdens een werkcollege waarin ze literatuur zocht om zich te oriënteren op haar project. Een belangrijke vraag waarop het antwoord meestal bestaat uit het wijzen op verschillende aandachtspunten voor de betrouwbaarheid van een bron. Maar deze heeft de student al vaker gehoord en toch blijft het beoordelen van de kwaliteit van bronnen moeilijk. En dit terwijl de noodzaak hiertoe alleen maar groter wordt. Aan de ene kant zijn nepnieuws en clickbait aan de orde van de dag en aan de andere kant is de beoordeling van het bronnengebruik van studenten in het hoger beroepsonderwijs (hbo) de afgelopen jaren verscherpt.
Dit laatste is een gevolg van de discussie over de kwaliteit van hbo-diploma’s die ontstond nadat in 2010 berichten in de media verschenen over het “weggeven” van diploma’s in alternatieve afstudeertrajecten, de “diplomafraude” bij Hogeschool Inholland (Sahadat, 2010a; Sahadat, 2010b). Alhoewel de Onderwijsraad nog datzelfde jaar in een advies aan de Tweede Kamer concludeert geen aanwijzingen te hebben “dat diploma’s in het hoger onderwijs van onvoldoende (objectieve) kwaliteit zijn” (2010, p. 59) resulteert de zorg over het eindniveau van hbo-opleidingen in 2014 in de Wet versterking kwaliteitswaarborgen hoger onderwijs2 met als doel: “het versterken van de kwaliteitswaarborgen zodat de samenleving en studenten ervan kunnen uitgaan dat de kwaliteit van een opleiding aan de daaraan gestelde eisen voldoet” (Kamerstukken, 2013, p. 2). Ook de sector zelf onderneemt actie. Een van de aanbevelingen van de door de Vereniging Hogescholen3 ingestelde commissie van
deskundigen (Commissie Bruijn) is het ontwikkelen van een gezamenlijk protocol bij eindwerken (HBO-raad, 2012, p. 61). Als voorbeeld wordt bij dit advies het protocol4
van de NVAO commissie die de alternatieve studietrajecten had beoordeeld
opgenomen waarin de aanwezigheid van bronnenonderzoek een criterium is (p. 72). De Expertgroep Protocol, die vervolgens onderzoekt of een dergelijk protocol voor het beoordelen van eindwerken wenselijk is, concludeert dat dit niet het geval is omdat de opleidingen onderwijsinhoudelijk teveel van elkaar verschillen (2014, p. 13; p. 16) maar geeft wel handreikingen voor het ontwikkelen van beoordelingsmodellen
2 Zowel de aanleiding als de besluitvorming rondom deze wet is te vinden via
https://zoek.officielebekendmakingen.nl/dossier/33472
3 Toen nog HBO-raad
2
en het verhogen van de betrouwbaarheid van de beoordeling van eindwerkstukken (pp. 46-52).
Bij de Faculteit Economie & Management (FEM) van Hogeschool Utrecht leidt dit in 2014 tot een beoordelingsmodel voor
eindwerkstukken voor al haar dertien opleidingen. In een artikel in het Tijdschrift voor Hoger Onderwijs staat beschreven hoe het
beoordelingsmodel tot stand is gekomen. Op basis van de
eindkwalificaties van de opleidingen zijn beoordelingsdimensies bepaald voor de eindopdracht, een advies aan een opdrachtgever of een
businessplan voor een eigen onderneming. De eindkwalificaties van de opleidingen verschillen behoorlijk waardoor het
beoordelingsmodel zich in eerste instantie richt op de wel
overeenkomende eindkwalificaties
voor onderzoekend vermogen en schriftelijke communicatie. Voor het bepalen van de beoordelingsdimensies is gebruik gemaakt van een bestaande rubric die op haar beurt gebaseerd is op de kwaliteitscriteria voor onderzoek van Heinze Oost. Voor het beschrijven van de prestatiecriteria zijn daarnaast kwaliteitscriteria van onderzoek gebruikt van Daan Andriessen en Tom van Weert. De zo geformuleerde
prestatiecriteria zijn per subdimensie, die standaard wordt genoemd, beschreven in een rubric met verschillende niveaus van beheersing: onvoldoende, ontwikkelend, geaccepteerd en best practice. Omdat de prestatiecriteria gebaseerd zijn op
kwaliteitscriteria van onderzoek is literatuurgebruik een belangrijk criterium. Dit is
Wat is een afstudeerwerk? In de afstudeerfase van een
hbo-opleiding toont de student aan over de eindkwalificaties van de opleiding te beschikken. Waarmee dit kan worden aangetoond is de afgelopen jaren onderwerp van discussie geweest. Was in 2012 sprake van “individuele eindscripties” en “ qua niveau en importantie vergelijkbare eindwerkstukken” (HBO-raad, p.10), in 2014 ging het om “eindwerkstukken” en
“kernwerkstuk” (Expertgroep Protocol, p. 39), waarvan de term “eindwerkstukken” in 2017 nog steeds wordt aangehaald (Andriessen, Sluijsmans, Snel, & Jacobs, 2017a, p. 5; p. 50). In de tussentijd is een visie op afstuderen ontwikkeld waarbij de student in een afstudeerprogramma, door het maken van
beroepsproducten en verantwoordingsverslagen, zijn of haar beroepsbekwaamheid aantoont (Andriessen, Sluijsmans, Snel, & Jacobs, 2017b). Omdat in het beoordelingsmodel wordt gesproken over een
“afstudeerwerk” en deze term alle bedoelde prestaties dekt wordt in dit onderzoek deze term gehanteerd.
3
ook een van de kritiekpunten op het beoordelingsmodel: de eisen zouden te hoog liggen voor de bachelor (Andriessen & Van der Marel, 2015, p. 30).
Een ander kritiekpunt is de nadruk op onderzoekend vermogen. Dit is een term die in 2009 door de HBO-raad is geïntroduceerd in een nieuwe standaard van de professionele bachelor waarin staat: “in onze moderne samenleving is het cruciaal dat hbo-bachelors over een onderzoekend vermogen beschikken dat leidt tot reflectie, tot evidence based practice, en tot innovatie” (HBO-raad, 2009, p. 17). In Beoordelen is mensenwerk is een visie op dit begrip uitgewerkt die benadrukt dat onderzoekend vermogen ondersteunend moet zijn aan het beroepsproduct. Het bestaat uit drie onderdelen: het hebben van een onderzoekende houding, gebruik kunnen maken van kennis van anderen en zelf onderzoek kunnen uitvoeren (Expertgroep Protocol, 2014, p. 29). Beroepsproducten kunnen echter verschillend van aard zijn en vragen om verschillende vormen van onderzoekend vermogen (Losse, 2016, p. 61).
Het beoordelingsmodel voor de economische opleidingen (Hogeschool Utrecht, 2015) komt tegemoet aan dit laatste probleem door de toevoeging van de opleidingsspecifieke standaard: “beroepsproduct en analyse”. De nadruk op het gebruik van bronnen van een hoog
niveau blijft echter groot. Het onderbouwen met referenties is een criterium bij de eerste standaard: “verkennen kwestie” en bij de derde: “methodologie”. Bij de eerste staat vermeld dat “als richtlijn voor literatuurgebruik kan worden
gehanteerd dat aangehaalde publicaties voorzien dienen te zijn van
bronvermeldingen” (p. 2). Daarnaast wordt bij de tweede standaard het literatuurverslag en theoretisch kader op zichzelf beoordeeld. Hierbij wordt
vermeld dat de student gebruik dient te maken “van vakliteratuur en
wetenschappelijke literatuur waarbij de student niet uitsluitend de basisliteratuur uit
Wat is een bron? “Noem het werk van een ieder
wiens ideeën, theorieën of onderzoek jouw werk rechtstreeks beïnvloedt” staat in de Publication Manual of the American Psychological Association (2010, p. 169). Al het werk van anderen dat door de student gebruikt wordt is dus een bron. Deze bronnen worden in de vorm van een literatuurlijst met referenties opgenomen in het afstudeerwerk. Het gaat hierbij niet alleen om literatuur in de vorm van boeken en artikelen maar ook om audiovisueel en digitaal materiaal zoals online videobestanden. Ook webpagina’s en uitingen op sociale media zijn voorbeelden van bronnen. Zie ook paragraaf 2.1.
4
de eigen opleiding gebruikt” (p. 4). Ook hierbij wordt genoemd “dat aangehaalde publicaties voorzien dienen te zijn van bronvermeldingen” (p. 4).
Dit beoordelingsmodel is ingevoerd om de eindkwalificaties van de opleidingen te toetsen. Maar zou de aandacht voor het literatuurgebruik in het beoordelingsmodel ook invloed hebben op de kwaliteit van de door studenten gebruikte bronnen voor hun afstudeerwerk? In dit onderzoek wordt de kwaliteit van de door studenten gebruikte bronnen voor en na de invoering van het
beoordelingsmodel gemeten waardoor onderzocht wordt of de beoordeling van het literatuurgebruik van invloed is op de kwaliteit van de door studenten gebruikte bronnen.
Om dit te onderzoeken moet een meetinstrument gebruikt worden waarmee de kwaliteit van de door de studenten gebruikte bronnen kan worden bepaald. Zo’n meetinstrument zou dan ook antwoord kunnen geven op de vraag van de student waarmee deze inleiding begon, immers als je de kwaliteit van een bron kunt meten weet je ook aan welke eisen een goede bron voldoet. Hiermee zou het een hulpmiddel voor studenten en docenten kunnen zijn om te beoordelen of de gebruikte bronnen van voldoende kwaliteit zijn wat op haar beurt weer de kwaliteit van het
bronnengebruik in het hoger onderwijs zou kunnen bevorderen.
Zo draagt dit onderzoek dus bij aan een beter inzicht in het bronnengebruik van studenten in het hoger onderwijs waardoor de praktijk van de begeleiding van studenten bij het zoeken naar relevante informatie verbeterd kan worden. Om dit te bereiken wordt het onderzoek beperkt tot de volgende onderzoeksvraag:
Is de kwaliteit van de gebruikte bronnen in afstudeerwerken van studenten van de opleidingen Business Management, Facility Management en Small Business & Retailmanagement aan Hogeschool Utrecht toegenomen sinds de invoering van het beoordelingsmodel in 2014?
Om deze vraag gestructureerd te kunnen beantwoorden wordt een antwoord gezocht op de volgende deelvragen:
Wat zijn de eisen aan het bronnengebruik voor afstudeerwerken bij Hogeschool Utrecht voor en na 2014?
5
Zijn er verschillen in de kwaliteit van de gebruikte bronnen tussen de verschillende opleidingen?
Zijn er verschillen in de kwaliteit van de gebruikte bronnen tussen 2013 en 2016?
Naast het geven van een antwoord op de onderzoeksvraag is interessant of het gebruik van kwalitatief goede bronnen resulteert in een goede beoordeling van het
afstudeerwerk. Dit zou immers de relevantie van het gebruik van kwalitatief goede bronnen kunnen aantonen. Om deze reden is de volgende deelvraag aan het onderzoek toegevoegd:
Is er een positieve relatie tussen de kwaliteit van de gebruikte bronnen en de beoordeling van het afstudeerwerk?
Uit de onderzoeksvraag wordt al duidelijk dat drie van de economische opleidingen van Hogeschool Utrecht bij dit onderzoek betrokken zijn. Het gaat om de opleidingen Business Management (BM), Facility Management (FM) en Small Business & Retail Management (SBRM). Deze opleidingen zijn gevestigd aan De Nieuwe Poort te Amersfoort. BM en SBRM zijn relatief jonge opleidingen. SBRM startte in 2003 in Amersfoort en BM startte in 2008 in Utrecht en in 2010 in Amersfoort. FM heeft een langere traditie en komt voort uit de in 1971 gestarte opleiding Toegepaste
huishoudwetenschappen aan de Akademie Diedenoort te Wageningen (Veenman, 2005, p. 110). De belangrijkste reden voor de keuze van deze opleidingen is mijn bekendheid met het vakgebied en de docenten. Als informatiespecialist van deze opleidingen hoopte ik op de medewerking van het onderwijs bij mijn onderzoek. Vrijwel alle afstudeerwerken zijn niet gepubliceerd omdat ze vertrouwelijke gegevens bevatten of omdat de student hier geen toestemming voor heeft gegeven. Voor
toegang tot de afstudeerwerken was de medewerking van de opleidingen dus noodzakelijk net als voor het kunnen beschikken over de behaalde cijfers.
Het ontwerp van dit exploratieve onderzoek is quasi-experimenteel. Van drie opleidingen worden uit dezelfde jaren, 2013 en 2016, per opleiding alle referenties, uit een steekproef van afstudeerwerken, gescoord op aspecten van de kwaliteit van bronnen. Hiervoor wordt in hoofdstuk 2 eerst een literatuurverkenning gedaan naar informatiegedrag, informatievaardigheid en citaatanalyse, de onderwerpen uit de informatiewetenschap die raken aan het meten van het bronnengebruik van studenten.
6
Vervolgens worden in hoofdstuk 3 de eisen aan bronnengebruik vanuit het perspectief van informatievaardigheid en vanuit het perspectief van het onderwijs uitgewerkt. In hoofdstuk 4 wordt een meetinstrument voorgesteld waarna de dataverzameling wordt beschreven. Door het uitvoeren van statistische analyses van de metingen zal in hoofdstuk 5 de betrouwbaarheid en validiteit van het meetinstrument beoordeeld worden en volgen de resultaten van de metingen. Tot slot worden in het laatste hoofdstuk conclusies geformuleerd en aanbevelingen gedaan voor het onderwijs.
7
2. LITERATUURVERKENNING
Het vakgebied informatiewetenschap heeft twee subdisciplines die aan de basis staan van het uitgevoerde onderzoek naar het bronnengebruik van studenten. Als eerste is dat het onderzoek naar informatiegedrag dat in de volgende paragraaf aan de orde komt. De gebruikte onderzoeksmethode, citaatanalyse, is afkomstig uit de tweede subdiscipline van informatiewetenschap, de bibliometrie. De manier waarop deze wordt toegepast is echter gebruikelijk in het onderzoek naar informatievaardigheid (zie paragraaf 2.3) binnen de bibliotheekwetenschap. Deze benaming voor de manier waarop iemand zoekt naar informatie kan worden gezien als een onderdeel van informatiegedrag. Alhoewel in Nederland de benaming bibliotheekwetenschap niet gebruikelijk is, is het dit in bijvoorbeeld Scandinavië, het Verenigd Koninkrijk en de Verenigde Staten wel. In de Engelse taal wordt het vakgebied dan ook Library and Information Science genoemd, waarmee een onderscheid wordt gemaakt met de benadering van informatiewetenschap vanuit de natuurwetenschappen. Bovenstaand theoretisch kader van het onderzoek wordt weergegeven in Figuur 1.
Vakgebied Onderzoeksmethode
Informatiewetenschap Bibliotheekwetenschap
Informatiegedrag Informatievaardigheid Bibliometrie
Bronnengebruik Citaatanalyse
Figuur 1. Theoretisch kader
Om erachter te komen hoe de kwaliteit van de bronnen die studenten opnemen in hun afstudeerwerk kan worden gemeten is een literatuuronderzoek uitgevoerd in het bibliotheeksysteem Catalogue Plus van de Universiteit van Amsterdam, Google Scholar, de vakspecifieke bibliografieën Library and Information Science Abstracts
8
(LISA) en Library, Information Science & Technology Abstracts (LISTA), ERIC en de Encyclopedia of Library and Information Sciences. De resultaten van dit
literatuuronderzoek worden, voor zover relevant, besproken in de laatste paragraaf van dit hoofdstuk. Dit hoofdstuk begint echter met een definiëring van de
basisbegrippen: informatie, document en bron.
2.1 Basisbegrippen: informatie, document, bron
Studenten in het hoger beroepsonderwijs maken bij het schrijven van afstudeerwerken gebruik van informatie. Nu is dit een zeer ruim begrip, het hele universum zou
bestaan uit informatie (Van Hal, 2017), waarover zoveel opvattingen bestaan dat Furner voorstelt het begrip binnen de informatiewetenschap maar niet meer te gebruiken. Dit omdat voor elke betekenis al een ander woord bestaat (2004, p. 428). In de context van dit onderzoek gaat het om informatie die mensen in staat stelt te leren en te weten, informatie als een ding5. Een bestaand woord hiervoor is document
(Buckland, 2012, p. 2; 2017, p. 21). Maar ook dit woord kent verschillende
betekenissen. Oorspronkelijk verwijst zowel het Latijnse documentum als het Franse document niet alleen naar iets wat kan worden vastgehouden of een bewijs maar in eerste instantie naar iets dat dient om van te leren. En deze betekenis is niet
noodzakelijkerwijs verbonden aan tekst (Lund & Skare, 2010, p. 1632; Buckland, 2017, p. 23; 25). Ook recente definities benadrukken dat een document niet uit tekst hoeft te bestaan. Zo is aan de definitie in de Nederlandse norm “Informatie en documentatie - Grondbeginselen en woordenlijst”, waarin gesproken wordt over “recorded information or material object which can be treated as a unit in a documentation process” de opmerking toegevoegd dat deze definitie niet alleen verwijst naar geschreven en gedrukt materiaal maar ook naar niet-gedrukte media zoals internet- en intranetbronnen, films, geluidsopnames, mensen en organisaties als bron van kennis, gebouwen en opgeslagen software (Normcommissie 380046, 2017, p. 6). Een nauwere definitie van het begrip document, die door de auteurs overigens ruim wordt genoemd, is: “vastgelegde en reproduceerbare tekst, geluid of beeld in
5 Buckland onderscheidt drie verschijningsvormen van informatie: “information as process,
9
analoge of digitale vorm (Van Aalten, Becker, Van der Linden, & Sieverts, 2017, p. 318).
De term document is echter niet gebruikelijk in het onderwijs. Vaak spreekt men van literatuur, in de betekenis van alles wat over een onderwerp is geschreven, maar nog vaker wordt het begrip bron gebruikt. Rogers (2003, p. 204) maakt, zoals gebruikelijk in de communicatiewetenschap, onderscheid tussen de bron van een bericht en het kanaal dat de boodschap draagt. De bron is in deze visie dus de maker van de informatie, een persoon of organisatie, maar het woord wordt in onderzoek naar hoe mensen informatie zoeken veel gebruikt voor documenten (Case & Given, p. 375). Zowel in de praktijk van dit onderzoek, het onderwijs, en in het
onderzoeksdomein, informatiewetenschap, wordt het begrip bron dus gebruikt om documenten aan te duiden. Om deze reden is ervoor gekozen dit ook in dit onderzoek te doen. Nu maken studenten voor hun afstudeerwerk ook gebruik van mondelinge bronnen en mogelijk ook van observaties en objecten als informatiebron. Omdat het niet gebruikelijk is deze op te nemen in een literatuurlijst vallen deze in dit onderzoek buiten het begrip bron.
De informatie die studenten gebruiken voor hun afstudeerwerk staat dus in bronnen die zowel uit tekst, geluid of beeld kunnen bestaan en vastgelegd zijn in analoge of digitale vorm. Hoe studenten deze bronnen gebruiken is onderdeel van hun informatiegedrag. Omdat dit bepalend kan zijn voor de bronnen die worden
opgenomen in afstudeerwerken is dit onderwerp van de volgende paragraaf.
2.2 Informatiegedrag
Informatiegedrag is het begrip waarmee de manier waarop mensen met informatie omgaan, hoe mensen informatie zoeken en gebruiken, wordt aangegeven. Het begrip wordt ook gebruikt voor de subdiscipline van informatiewetenschap waarin
geprobeerd wordt de relatie van mensen tot informatie te begrijpen. (Bates, 2010, p. 2381).
Binnen dit onderzoeksterrein is een groot aantal modellen ontwikkeld waarmee het proces van het zoeken naar informatie in kaart gebracht is. Case & Given (2016, pp. 145-146) bespreken er twaalf waaronder het, in het onderwijs veelgebruikte, Information Search Process (ISP) van Kuhlthau en de modellen van
10
Wilson, die decennia voortbouwde op zijn eigen modellen en die van anderen. Hun keuze is gebaseerd op de mate van ontwikkeling en gebruik maar vooral op het criterium dat het model het gedrag beschrijft door te verwijzen naar relevante variabelen.
Grofweg kunnen de modellen voor zoekgedrag worden verdeeld in modellen waarin enkel de stappen worden doorlopen van het ontstaan van een
informatiebehoefte tot het gebruik van de informatie en modellen die proberen zoveel mogelijk factoren die het zoekgedrag kunnen beïnvloeden te omvatten. Het
uitgebreide model van Wilson (zie Figuur 2) is een voorbeeld van het laatste. Het beschrijft de informatiegebruiker als een “person in context” die informatie zoekt in een “context of information need”. Daarbij staat hij onder invloed van “activating mechanisms”, die verklaard worden door gebruik van theorieën uit andere
vakgebieden, en “intervening variables”. Het zoekgedrag kan zowel “passive” (zonder op zoek te zijn naar de gevonden informatie), “active” (bewust op zoek naar relevante informatie) en “ongoing” (het bijhouden van kennis) zijn. De gevonden informatie wordt verwerkt en, als het relevant is, gebruikt, waarna dit proces doorgaat tot in de informatiebehoefte is voorzien (Case & Given, 2016, pp. 162-164; Robson & Robinson, 2013, p.179; Wilson, 1999, pp. 256-257).
Figuur 2. Wilson’s model van informatiegedrag uit 1996. Overgenomen uit “Models in information behaviour
11
Vertaald naar het informatiegebruik van studenten bij hun afstudeerwerk is de noodzaak een prestatie te leveren om af te studeren een activerende factor voor het actief zoeken naar bruikbare informatie waarbij ook de beloning, het diploma, activerend werkt. Hierbij zouden eerdere ervaringen tijdens de opleiding de student het zelfvertrouwen moeten geven deze informatie te kunnen achterhalen. Het resultaat kan door allerlei zaken worden beïnvloed zoals bijvoorbeeld persoonlijke en
psychologische factoren, beschikbare tijd, de leeftijd en de vooropleiding van de studenten. Maar ook kenmerken van de bron zoals de toegankelijkheid en de betrouwbaarheid spelen een rol. Zo blijkt uit een groot Amerikaans onderzoek naar zoekgedrag van studenten dat zij slechts gebruik maken van een beperkt aantal gebruiksvriendelijke zoeksystemen waarmee ze goede ervaringen hebben (Head, Eisenberg, 2009, p. 15). Veel studenten beginnen standaard bij Google (Head, 2013, p. 476) en zijn snel tevreden met de gevonden resultaten (Julien, 2010, pp. 5060-5061). Bates (2005, p.4) noemt dit “principle of least effort”, het meest solide resultaat in het onderzoek naar zoekgedrag. Mensen maken liever gebruik van eenvoudig te gebruiken toegankelijke bronnen dan van bronnen waarvan bekend is dat de kwaliteit hoger is maar die minder eenvoudig en/of minder toegankelijk zijn.
Kritiek op het model van Wilson is dat het een logisch proces beschrijft met stappen die elkaar opvolgen terwijl informatiegedrag een iteratief proces is: in het zoekproces herhalen de verschillende zoekstadia zich net zo lang tot de
informatiebehoefte bevredigd is. Wilson zelf zegt ook dat zijn model een
vereenvoudiging is van de werkelijkheid en dat er interactie tussen de verschillende stappen kan zijn (Robson & Robinson, 2013, pp. 180-181).
Het ISP-model van Kuhlthau (Figuur 3) is een eenvoudig stappenmodel maar valt op omdat de zeven fasen op drie niveaus worden beschreven: “feelings”,
“thoughts” en “actions”. In de eerste fase, de voorbereiding, ontstaat een
informatiebehoefte met bijbehorend gevoel van onzekerheid. In de selectiefase wordt optimistisch gezocht naar relevante informatie. Dat gaat gepaard met gevoelens van verwarring, frustratie en twijfel als de zoekvraag vertaald wordt naar
informatiesystemen of andere mensen. Sommige mensen haken op dit punt af maar in het volgende stadium kan het doel worden bereikt. Het vertrouwen neemt toe en er wordt gerichter gezocht. Tijdens het verzamelen van de meest relevante informatie over het onderwerp verdwijnt de onzekerheid naarmate de interesse en betrokkenheid
12
groter wordt. Het zoeken is klaar als de gevonden informatie gebruikt kan worden om de vraag te beantwoorden of de taak uit te voeren. De laatste fase is het beoordelen van wat bereikt is en dat leidt tot voldoening en toegenomen zelfvertrouwen (Case & Given, 2016, pp. 152-153).
Gevoelens van onzekerheid horen er dus bij en gedurende het zoekproces wordt duidelijker wat precies wordt gezocht. Tegelijkertijd hangt wat er gedaan wordt, de acties, af van de zoekfase. Het zoekproces begint door te praten met anderen over het onderwerp en oriënterend te zoeken, de relevante informatie wordt gelezen, er worden aantekeningen gemaakt en de bibliografische gegevens worden opgeslagen. De aantekeningen worden bekeken om te beslissen welke richting wordt gekozen. Daarna wordt gezocht in zoekmachines en bibliotheeksystemen en met de resultaten worden gedetailleerde aantekeningen gemaakt met bronvermelding. De bronnen worden opnieuw bekeken om te controleren of er niets over het hoofd gezien is en of de informatie klopt. Tot slot worden de bronvermeldingen in orde gemaakt (Kuhlthau, 2004, pp. 44-50). Informatie zoeken is volgens Kuhlthau een proces van betekenis zoeken, niet alleen van het vinden en hergebruiken van informatie
(Kuhlthau, 2005, p. 232). Op het niveau van de acties besteed Kuhlthau hierbij relatief veel aandacht aan de verslaglegging van de informatie die gevonden is en de daarbij horende bronvermeldingen.
Figuur 3. Kuhlthau’s model van het informatiezoekproces. Overgenomen uit Looking for information: A survey of research on information seeking, needs, and behavior (p. 153) door D. Case en L. Given, 2016, Medford:
13
2.3 Informatievaardigheid
Kuhlthau’s werk wordt ook vaak aangehaald als het over informatievaardigheid gaat. Dit begrip kan worden beschouwd als een onderdeel van informatiegedrag, al wordt hier verschillend over gedacht (Case & Given, 2016, p. 99). Het gaat bij
informatievaardigheid om “iemands bekwaamheid in het gebruik van informatie” (Van Helvoort, 2016, p. 6). Dit wordt gezien als een noodzakelijk vaardigheid om te kunnen functioneren in de informatiemaatschappij.
Van Helvoort onderscheidt drie onderzoeksbenaderingen bij het onderzoek naar informatievaardigheid in het hoger onderwijs. De uitkomstgerichte
gedragsbenadering waarin informatievaardigheid wordt gezien als de vaardigheden die waarneembaar zijn en dus objectief kunnen worden vastgesteld bij een student. De in 2016 door de Association of College and Research Libraries (ACRL) ingetrokken Information Literacy Competency Standards for Higher Education (ILCSHE), de ACRL-standaarden die in Nederland nog veel worden gebruikt, zijn hiervan het belangrijkste voorbeeld. De tweede benadering is de procesgerichte
constructivistische benadering. Hierbij gaat het om het proces dat een student
doorloopt bij het oplossen van een informatieprobleem. Het ISP-model van Kuhlthau dat eerder in deze paragraaf is besproken is hier een voorbeeld van. Ook bij deze benadering wordt gestreefd naar het stellen van een norm voor een informatievaardig persoon. Als laatste noemt hij nog de relationele benadering die ervan uit gaat dat informatievaardigheid op verschillende manieren kan worden ervaren. Hoe iemand het ervaart hangt af van zijn of haar contextafhankelijke relatie ermee. Daarom onderzoekt deze stroming wat studenten werkelijk doen. Het Framework for Information Literacy for Higher Education is op deze benadering gebaseerd (2016, pp. 25-29).
De scoringsrubriek voor het meten van de informatievaardigheid van studenten die Van Helvoort zelf ontwikkelde is gebaseerd op de uitkomstgerichte gedragsbenadering omdat hierbij het informatievaardig gedrag het best kon worden geoperationaliseerd. Het bevat ook procesgerichte-constructivistische elementen omdat het gaat om het beoordelen van informatieproces als geheel en omdat het instrument ook in het onderwijs gebruikt kan worden om van te leren (p. 45).
Een dergelijke “rubric” is een van de manieren waarmee de
14
onderzocht het gebruik van de beoordelingsinstrumenten en vond dat in 34,1% van de onderzoeken tot 2008, die hij achterhaalde, gebruik werd gemaakt van een multiple choice vragenlijst. De analyse van studentbibliografieën stond op de tweede plaats met 18,7%. Verder vond hij nog toetsen (geen multiple choice), zelfbeoordelingen en het beoordelen van portfolio’s en observaties, die lager scoorden.
Shilling & Applegate (2012, pp. 263-265) onderzochten de periode 2007-2012 en noemen als meest gebruikte methodes het maken van een literatuurverslag,
praktische oefeningen, een schriftelijke toets, zelfbeoordelingen, bewijzen van zoekacties als portfolio’s, producten, dagboeken en logs, citaatanalyse, vragenlijsten en bibliotheekgebruik. Over citaatanalyse zeggen ze dat het een van de meest
gebruikte instrumenten is voor het evalueren van de leeropbrengsten via het eindproduct. Als voordeel geven zij aan dat het om authentieke producten gaat. Anders dan bij vragenlijsten, waarbij de student aangeeft wat hij denkt te hebben gedaan, wordt met citaatanalyse gemeten wat de student daadwerkelijk heeft gedaan. Nadeel is dat enkel het eindresultaat gemeten wordt, niet het zoekproces zelf.
Erlinger (2018) onderzocht publicaties in de periode 2006-2016 en vond dat in 49% van de onderzoeken gebruik werd gemaakt van vragenlijsten en in 41% van beoordelingen van authentieke opdrachten, waaronder citaatanalyse van
studentbibliografieën, alsmede portfolio’s en werkstukken die met rubrics beoordeeld kunnen worden. Omdat zij in bijna de helft van de onderzoeken meerdere
beoordelingsinstrumenten vindt en voor een andere indeling heeft gekozen zijn de resultaten van haar onderzoek moeilijk vergelijkbaar met de eerdere onderzoeken. Wel bepreekt zij een trendverschuiving van het gebruik van vragenlijsten, die volgens haar niet geschikt zijn voor het meten van wat studenten geleerd hebben (maar meer voor wat wel of niet beviel aan de les en of de studenten denken iets geleerd te hebben), naar meer authentieke beoordelingstechnieken. Ze signaleert dat het erop lijkt dat het gebruik van de laatste toeneemt terwijl het gebruik van vragenlijsten gelijk blijft (pp. 459-460). Long en Shrikhande (2010, p. 5) noemen citaatanalyse een van de beste manieren om te begrijpen hoe studenten informatie vinden, welke typen bronnen ze gebruiken en of lessen in informatievaardigheid hun
onderzoeksstrategieën hebben verbeterd.
Citaatanalyse van studentbibliografieën is een onderzoeksmethode die kan worden ingezet voor het meten van het resultaat van de informatievaardigheid van
15
studenten, van het bronnengebruik, met als voordeel dat het gaat om de beoordeling ervan in een authentieke situatie. Wat citaatanalyse precies is en hoe hiermee het bronnengebruik van studenten kan worden gemeten is onderwerp van de volgende paragraaf.
2.4 Citaatanalyse
Citaatanalyse richt zich op bronvermeldingen in publicaties. Het is een kwantitatieve methode uit de bibliometrie, die net als informatiegedrag, een subdiscipline is van de informatiewetenschap (Davis & Shaw, 2011, p. 162; White, 2010, p. 1012). Er is een onderscheid te maken tussen de bronvermeldingen in de tekst van de publicatie (citaties) en bronvermeldingen aan het eind van de publicatie (referenties). De citaties verwijzen naar de referenties. Op deze manier is voor de lezer na te gaan welke bronnen gebruikt zijn voor de publicatie.
Het meest bekend is citaatanalyse als bibliometrische methode voor het meten van de impact van tijdschriften waarin publicaties verschijnen, de Journal Impact Factor. Deze methode werd in 1955 ontwikkeld door Eugene Garfield en wordt inmiddels toegepast om de impact van publicaties, onderzoekers, tijdschriften, instellingen en landen te bepalen (Garfield, 1955; White, 2010, p. 1012). In de
bibliotheekwetenschap wordt citaatanalyse, in de vorm van de analyse van referenties, als onderzoeksmethode ingezet voor evaluatie van de bibliotheekcollectie en het meten van de impact van bibliotheekinstructies en lessen informatievaardigheid (Long & Shrikhande, 2010, p. 6). In het eerste geval gaat het om de vraag of de bibliotheek beschikt over de literatuur die door de gebruikers in publicaties wordt opgevoerd, in het tweede geval wordt onderzocht of de doelgroep een kwalitatief beter
bronnengebruik laat zien na een instructies of les(sen) van medewerkers van de bibliotheek.
Voor dit onderzoek worden de door studenten in een literatuur- of bronnenlijst opgenomen referenties onderzocht om te bepalen of de invoering van het
beoordelingsformulier, waarin eisen aan de opgenomen bronnen worden gesteld, resulteert in referenties die verwijzen naar bronnen van een hogere kwaliteit. Hiervoor moet een instrument gezocht worden waarmee de referenties kunnen worden
16
Volgens Leeder, Markey en Yakel (2012, p. 118) vormen vroege studies van Kirk, Dykeman en King, Gratch, Kohl en Wilson en Young en Ackerson de basis voor de evaluatie van bibliotheekinstructie door het beoordelen van literatuurlijsten. Zij gebruiken een beoordelingsformulier met beoordelingscriteria waarvoor punten gegeven worden. De beoordelingscriteria kunnen worden verdeeld in criteria voor de vorm van de bronvermelding en criteria voor de kwaliteit van de bronnen. Voor het laatste worden verschillende aspecten beoordeeld zoals het aantal bronnen, de actualiteit, de autoriteit, het niveau en de diversiteit van de bronnen en de relevantie voor het onderwerp. Deze worden steeds voor het werkstuk als geheel beoordeeld6
(Dykeman & King, 1983; Gratch, 1985; Kohl & Wilson, 1986; Young & Ackerson, 1995). Onder de noemer geschiktheid of kwaliteit van de bron worden echter verschillende criteria genoemd en de omschrijvingen van de criteria zelf verschillen ook (Leeder, Markey, & Yakel, 2012, p. 117). Recentere voorbeelden van het beoordelen per werkstuk zijn de beoordelingsschaal voor informatievaardigheid van Long en Shrikhande (2010) en de Scoringsrubriek voor Informatievaardigheden van Van Helvoort (2009)7. Op de laatste wordt al eerder in dit hoofdstuk ingegaan (zie
ook paragraaf 3.1). Long en Shrikhande (2010) beoordelen de kwaliteit en de
diversiteit van de bronnen, de vorm van de referentie en het gebruik van de bronnen, waarmee ze plagiaat en een correct gebruik van parafrases en citaten bedoelen. Deze vier aspecten worden beoordeeld op een schaal van 0-5, waarbij 0 het laagst is en 5 het hoogst. Bronnen hebben een hoge kwaliteit als ze geschikt zijn voor het
onderwerp van het werkstuk en gerespecteerd worden binnen het vakgebied. De score werd opgeteld met een weging van 40% voor kwaliteit, 20% voor diversiteit, 10% voor de vorm van de referentie en 30 % voor het brongebruik (pp. 13-14).
Bij meetinstrumenten waarbij van elke referentie de kwaliteit wordt bepaald wordt deze soms opgeteld en vervolgens gedeeld door het aantal referenties (zie bijvoorbeeld Middleton, 2005) maar vaak wordt enkel het aandeel referenties dat voldoet aan een bepaald criterium gegeven. Zo wordt geteld hoeveel referenties van een bepaald type zijn, hoeveel online of juist gedrukt, en hoeveel wetenschappelijk of juist niet wetenschappelijk zijn (zie bijvoorbeeld Davis, 2003; Knight-Davis & Sung,
6 Young en Ackerson beoordelen elke referentie wel op zichzelf maar doen geen verslag van een
verband hiervan met de beoordeling van de gehele literatuurlijst.
7 In zijn proefschrift publiceerde Van Helvoort (2016, pp.182-183) een aangepaste versie 2.0 waarin
17
2008; Kohn & Gordon, 2014; Robinson & Schlegl, 2004). Soms betreft het het totaal aantal referenties soms ook het gemiddelde per literatuurlijst (zie bijvoorbeeld
Robinson & Schlegl, 2004). Het aantal referenties per literatuurlijst blijft populair (zie bijvoorbeeld Davis, 2003; Knight-Davis & Sung, 2008; Middleton, 2005) en de gemiddelde “leeftijd” van de bronnen (zie bijvoorbeeld Kohn & Gordon, 2014).
Een andere benadering is die van Sokoloff en Simmons (2015). Zij maakten een eigen indeling gebaseerd op een bestaande rubric en richtten zich op het
beoordelingscriterium of de benodigde informatie daadwerkelijk is gevonden. Elke bron van de literatuurlijst ontvangt van hen een tot vier punten die horen bij bronnen van een bepaald niveau. Eén punt voor informatie van een lage relevantie en kwaliteit zoals persoonlijke meningen en webnieuws, twee punten voor eenvoudig vindbare bronnen zoals studieboeken, algemeen nieuws en artikelen uit publieksbladen, drie punten voor relevantere informatie gericht op het betreffende vakgebied zoals vakgerelateerde websites en nieuws op het vakgebied, en vier punten voor de meest geschikte informatie beschikbaar via de bibliotheek, overheidsrapporten en
statistische informatie en websites van onderzoeksorganisaties. Vervolgens werd het aandeel bronnen met vier punten geteld (pp. 165-167).
Kwaliteit is vaak een maat voor het gebruik van wetenschappelijke bronnen. Zo ontwikkelde Middleton (2005) een index om het aandeel wetenschappelijke bronnen in de literatuurlijst te bepalen (p. 13). Het is echter niet eenvoudig om online bronnen op basis van het type bron als wel of niet wetenschappelijk te beoordelen. Een blog of een webpagina, bijvoorbeeld, past niet goed in de traditionele indeling van bronnen waarbij duidelijk is welk type bron wetenschappelijk is. In deze gevallen zegt het type weinig over de kwaliteit van de bron, die wordt bepaald door de inhoud. Een onderscheid tussen fysieke en online bronnen heeft ook geen zin omdat de
verschijningsvorm geen invloed heeft op de kwaliteit van de bron (Leeder, Markey, & Yakel, 2012, p. 120). Ook Young en Ackerson (1995) waren al verrast door het grote aantal typen bronnen dat in de literatuurlijsten werd aangetroffen (p. 85). Door de grote verscheidenheid in het type bronnen en de constatering dat het type niet bepalend is voor de kwaliteit van de bron, kan het type bron dus geen criterium zijn. Hierdoor zijn veel eerder ontwikkelde meetinstrumenten niet voor het doel van dit onderzoek in te zetten.
18
Reinsfelder (2012) gebruikt voor de evaluatie van de kwaliteit en de geschiktheid van de door studenten gebruikte bronnen een beoordelingsinstrument dat niet uitgaat van het type publicatie. Geïnspireerd door de benadering van Young en Ackerson kent hij aan elke referentie een score toe die samenhangt met relevantie, autoriteit en
actualiteit (zie Figuur 4). Ook hij wil geen onderscheid maken in kwaliteit tussen online en fysieke publicaties. Bij het criterium autoriteit wordt het type bron, alhoewel niet direct, toch meegewogen. Wetenschappelijke tijdschriften en overheidsdocumenten bijvoorbeeld krijgen een hogere score op autoriteit dan artikelen uit publiekstijdschriften en persoonlijke websites. Na het beoordelen van een aantal werkstukken werd het niveau van de gebruikte informatie nog als
beoordelingscriterium toegevoegd. Het laatste krijgt wel een lagere weging door een score van 1-3 waar de andere criteria een score van 1-4 kunnen krijgen. De maximale score per referentie is 15 punten. De score per werkstuk wordt verkregen door de punten van alle referenties op te tellen en het totaal te delen door het maximaal aantal haalbare punten. Een voor dit onderzoek interessant resultaat van de analyse van Reinsfelder is dat er geen positieve relatie werd gevonden tussen de kwaliteit van de gebruikte bronnen en het door de studenten ontvangen cijfer voor het werkstuk (pp. 268-271).
19
Figuur 4. Reinsfelder’s beoordelingsinstrument. Overgenomen uit “Citation analysis as a tool to measure the
impact of individual research consultations” door T. L. Reinsfelder, 2012, College & Research Libraries, 73, p. 269. CC BY-NC-SA 3.0 gelicenseerd, zie http://creativecommons.org/licenses/by-nc-sa/3.0 2012, T. L. Reinsfelder.
Op basis van de literatuur kan worden geconcludeerd dat het type bron niet langer een criterium kan zijn omdat kwalitatief goede informatie, bijvoorbeeld van deskundigen en onderzoekers niet meer alleen in boeken, wetenschappelijke- en vaktijdschriften verschijnt maar ook online te vinden is, bijvoorbeeld in blogs. Hierdoor vallen veel eerder gebruikte meetinstrumenten af. Ook de door Leeder, Markey en Yakel ontwikkelde taxonomie maakt gebruik van de indeling van typen bronnen. Verder is het niet de bedoeling enkel het percentage kwalitatief goede bronnen te meten. Hierdoor zijn de instrumenten van Middleton en van Sokoloff en Simmons niet bruikbaar. Het instrument van Reinsfelder lijkt wel te voldoen aan de verwachtingen
20
van een meetinstrument voor de kwaliteit van de gebruikte bronnen. In de volgende paragraaf wordt onderzocht welke eisen er gesteld worden aan de kwaliteit van de gebruikte bronnen in het hoger onderwijs in Nederland en door de opleidingen. Zo kan worden nagegaan of deze overeenkomen met de beoordelingscriteria die Reinsfelder opstelde.
21
3. EISEN AAN BRONNENGEBRUIK
Waaraan de bronnen die studenten gebruiken voor hun afstudeerwerk moeten voldoen kan vanuit twee gezichtspunten worden bekeken. De eerste is vanuit een algemeen geldende norm voor informatievaardigheid waarvoor in dit hoofdstuk de
Scoringsrubriek voor Informatievaardigheden van Van Helvoort wordt gebruikt, samen met een voorzichtig uitstapje naar het Framework for Information Literacy for Higher Education. Het andere gezichtspunt zijn de eisen die door de opleidingen zelf worden gesteld. Hiervoor is gekeken naar de eisen voor bronnengebruik in 2013, voor de invoering van het beoordelingsformulier, en naar het beoordelingsformulier zelf waarin de eisen staan die in 2016 werden gehanteerd.
3.1 Perspectief informatievaardigheid
Van Helvoort (2016) stelt in zijn proefschrift “Beoordelen van
informatievaardigheden in het hoger onderwijs” een model voor het proces van het oplossen van informatieproblemen8 voor waarin de beoordeling van de kwaliteit van
bronnen door studenten onder het selecteren en beoordelen van informatie valt. Hierbij wordt onderscheid gemaakt tussen de beoordeling van de inhoudelijke
relevantie en de beoordeling van de kwaliteit van de informatie. Het laatste gebeurt op basis van kwaliteitscriteria als betrouwbaarheid, actualiteit en volledigheid (pp. 40-41). Het bronnengebruik van studenten van de FEM-opleidingen is te beschouwen als een maat voor de leeruitkomsten voor informatievaardigheid die, volgens Van
Helvoort, niet kunnen worden gemist gedurende de studie van studenten en onderwezen dient te worden omdat studenten deze vaardigheid niet uit zichzelf verwerven (2016, p.13).
Voor het formuleren van de beoordelingscriteria en gedragsindicatoren baseert Van Helvoort zich op de ACRL-standaarden, de bijbehorende gedragsindicatoren, vakliteratuur op het gebied van informatievaardigheid, observatie van studenten en
8 De basis van dit model is het stappenmodel voor het oplossen van informatieproblemen van
Brand-Gruwel, Wopereis en Vermetten (2005) die zich op hun beurt baseren op het Big6-model van Eisenberg en Berkowitz (1990). Van Helvoort breidt het model uit door onder meer de inzichten van Kuhlthau te verwerken.
22
collegiale toetsing door docenten in het hoger beroepsonderwijs. De uiteindelijke scoringsrubriek waarvan de validiteit en de betrouwbaarheid werd vastgesteld9 bestaat
uit zeven criteria waarvan de eerste vijf betrekking hebben op het studentenproduct en de laatste twee op het procesverslag van de zoekstrategie:
1. Oriëntatie op het onderwerp 2. Bronverwijzingen in de tekst 3. Bronnenoverzicht / literatuurlijst
4. Kwaliteit van de gebruikte primaire informatiebronnen (boeken, artikelen, websites etc.)
5. Verwerking van relevante informatie tot nieuwe kennis en/of inzichten 6. Zoektermen
7. Gebruik van diverse secundaire informatiebronnen
Alhoewel alle criteria dus de mate van informatievaardigheid van studenten meten zeggen ze niet allemaal iets over de kwaliteit van de gebruikte bronnen, wat slechts een van de criteria voor informatievaardigheid is. Figuur 5 toont dit vierde criterium uit de scoringsrubriek: de kwaliteit van de gebruikte primaire10 informatiebronnen.
Criterium Professioneel gedrag Inadequaat gedrag
4 Kwaliteit van de gebruikte primaire informa-tiebronnen (boeken, artikelen, websites etc.)
Uit het bronnenoverzicht dat bij het product behoort, blijkt dat de student gebruik heeft gemaakt van relevante, betrouwbare (bij voorkeur zo authentiek mogelijke) en actuele informatiebronnen die het onderwerp bovendien vanuit verschillende gezichtspunten behandelen.
De gebruikte externe bronnen zijn te licht, verouderd of onvoldoende relevant. Een voorbeeld van ‘te licht’ is als de student alleen internetsites als informatiebron heeft gebruikt.
En / óf …
De gebruikte literatuur is eenzijdig. Er is bijvoorbeeld alleen gebruik gemaakt van overheidsinformatie (.gov-sites) of van publicaties van één bepaalde auteur.
Score 1-10=
Beoordeling: uitstekend – zeer goed – goed – ruim voldoende – voldoende zwak – onvoldoende – ruim onvoldoende – slecht – zeer slecht
Figuur 5. Criterium 4 van Versie 2.0 van de Scoringsrubriek voor Informatievaardigheden. Aangepast
overgenomen uit Beoordelen van informatievaardigheden in het hoger onderwijs (p. 182) door A. A. J. van Helvoort. CC BY-NC-SA gelicenseerd, zie https://creativecommons.org/licenses/by-nc-sa/4.0/deed.nl 2016, A. A. J. Van Helvoort.
9 Van Helvoort maakt wel het voorbehoud dat gebruik van slechts één van de criteria wordt afgeraden
voor summatieve beoordelingen omdat dit ten koste gaat van de interbeoordelaarsbetrouwbaarheid (2016, p.160)
10 Van Helvoort maakt een onderscheid tussen primaire en secundaire bronnen waarbij de laatste een
overzicht bieden van primaire bronnen: bronnen met nieuwe informatie. Secundaire bronnen zijn dus verwijzende bronnen zoals zoeksystemen.
23
De eisen die gesteld worden aan de gebruikte bronnen zijn dus dat deze relevant moeten zijn, betrouwbaar en actueel en dat het onderwerp vanuit verschillende gezichtspunten wordt behandeld. Bij betrouwbaarheid wordt aangegeven dat het om zo authentiek mogelijke bronnen gaat. Het betreft dus niet een nieuwsbericht over een onderzoek, dat als bron wordt opgenomen, maar het onderzoek zelf. De behandeling vanuit verschillende gezichtspunten zou kunnen worden weergegeven met het woord diversiteit. Met de scoringsrubriek wordt het werkstuk als geheel beoordeeld. Daarom worden bij inadequaat gedrag voorbeelden gegeven van te lichte bronnen: de student heeft alleen internetsites gebruikt, en van eenzijdige bronnen: de student heeft alleen overheidsinformatie gebruikt of publicaties van dezelfde auteur.
Van Helvoort (2016) maakte voor de scoringsrubriek geen gebruik van het Framework for Information Literacy for Higher Education van de ACRL, dat in 2015 de ACRL-standaarden opvolgde, omdat hierin geen duidelijk omschreven
leeruitkomsten worden vermeld (p. 68). Dit Framework gaat uit van zes “thresholds”, concepten van informatie, die niet eenvoudig te interpreteren zijn (Burkhardt, 2016, p. xiv). Het betreft: autoriteit in context, het productieproces van informatie, informatie heeft waarde, onderzoek als proces van het stellen van vragen, wetenschap als gesprek en informatie zoeken als kritische verkenning11 (American Library
Association, 2015). Het idee van “thresholds” sluit aan bij het concept van een zone van interventie dat Kuhlthau weer afleidde van Vygotsky’s zone van naaste
ontwikkeling. Hulp bij het zoeken naar informatie moet zo bij de student aansluiten dat wordt bereikt wat hij of zij alleen slechts heel moeilijk kan (Kuhlthau, 2004, p. 129).
Burkhardt (2016) schreef een praktisch boek waarin ze leeruitkomsten, gekoppeld aan opdrachten, wel verbindt met concepten uit het Framework van de ACRL. Een opdracht voor het evalueren van bronnen valt bijvoorbeeld onder het concept wetenschap als gesprek. Hierbij worden de leerdoelen – de student kan online gevonden informatie evalueren en de waarde ervan bepalen – vertaald naar de
opdracht twee websites over hetzelfde onderwerp te bekijken. Van beide websites beantwoorden de studenten de volgende vragen: Wie is de auteur? Heeft de auteur een
11 Dit betreft een persoonlijke vertaling waarbij zo goed mogelijk geprobeerd is recht te doen aan de
bedoelde begrippen: authority is contructed and contextual, information creation as a proces, information has value, research as inquiry, scholarship as conversation en searching as strategic exploration.
24
bepaalde expertise? Gaat de informatie daar ook over? Welke organisatie zorgt voor de verspreiding van de informatie? Wat is het webdomein? Klopt de informatie en hoe weet je dat? Is de informatie actueel en hoe weet je dat? Waar komt de informatie vandaan? Is er een bibliografie? Is de informatie vooringenomen of misleidend? Is het een feit of een opinie? Is de website recent geüpdatet? Vervolgens worden de
antwoorden voor beide websites vergeleken en is het de vraag welke het meest geschikt is om een antwoord op een onderzoeksvraag te geven en waarom dat zo is (pp. 23-24).
Zowel uit de scoringsrubriek van Van Helvoort als uit de praktische opdracht voor het beoordelen van informatie van een website kunnen criteria voor het meten van de kwaliteit van bronnen worden afgeleid. Van Helvoort gebruikt relevantie, betrouwbaarheid, actualiteit en diversiteit. Burkhardt noemt onder meer de autoriteit van de auteur en de organisatie die de informatie verspreidt, de actualiteit en de aanwezigheid van een bibliografie.
3.2 Perspectief beoordeling, voor en na 2014
De hier onderzochte opleidingen van Hogeschool Utrecht hebben zelf ook criteria opgesteld voor het beoordelen van het bronnengebruik. In deze paragraaf wordt gekeken welke criteria in de beoordelingsformulieren genoemd worden voor de kwaliteit van de gebruikte bronnen.
Voor de invoering van het nieuwe beoordelingsmodel in 2014 is in de beoordelingscriteria weinig terug te vinden over de kwaliteit van de gebruikte
bronnen. De studiehandleiding voor het afstudeerproject 2012-2013 van FM noemt in een bijlage de algemene criteria voor de beoordeling van het eindproduct. In een lijst van twaalf punten is het derde punt de literatuurverkenning: “de gekozen literatuur is in relatie tot de afstudeeropdracht voldoende breed, diep, actueel, de bestudeerde literatuur wordt correct en bondig weergegeven, er wordt kritisch gebruik gemaakt van de gekozen literatuur en de bronvermelding is correct (citaat, parafrase)” (Hogeschool Utrecht, persoonlijke communicatie, 16 juli 2017). In het document Beoordeling Afstudeerdocumentatie, versie december 2012, en in de bijlage met dezelfde naam in de Hoofdfasemap 2013-2014, van SBRM is een van de vijf punten die becijferd worden het onderdeel onderzoek. Hiervan is een van de eveneens vijf
25
onderdelen “relevante bronnen/informatie”. Onder het punt schriftelijke vaardigheden staat als een van de vijf onderdelen “bron- en literatuurvermelding” (Hogeschool Utrecht, persoonlijke communicatie, 16 juli 2017). Het literatuurgebruik maakt dus een klein onderdeel uit van de beoordeling. Bij FM dient de literatuur voldoende breed, diep en actueel te zijn, bij SBRM relevant. De andere genoemde punten gaan bij FM over de verwerking van de literatuur en bij SBRM en FM over een correcte bronvermelding.
In 2016 wordt bij alle drie de opleidingen het beoordelingsformulier voor eindwerken gebruikt dat inmiddels enigszins is aangepast ten opzichte van de in 2015 gepubliceerde versie. Nu bestaat het model uit vijf standaarden, 1) verkennen kwestie, 2) literatuurgebruik en theoretisch kader, 3) methodologie, 4) beroepsproduct en analyse en 5) rapportagetechniek en taalgebruik die worden beoordeeld als onvoldoende, ontwikkelend, voldoende of goed waarbij de prestatie als geheel beoordeeld wordt. Dit betekent dat een onvoldoende op een van de criteria voor een standaard niet tot een onvoldoende beoordeling van de standaard hoeft te leiden. Het afstudeerwerk is voldoende als het oordeel op het niveau van alle standaarden een score voldoende of goed heeft. Als minimaal één standaard een score ontwikkelend heeft is het een bespreekgeval waarbij de examinatoren in overleg besluiten of dit leidt tot een voldoende of onvoldoende eindbeoordeling. Een onvoldoende score op één van de standaarden leidt tot een onvoldoende beoordeling.
Bronvermelding volgens APA-stijl is vereist. Het onderbouwen met
referenties is een criterium bij de eerste standaard: verkennen kwestie. Dit komt terug bij de derde standaard, methodologie, in de zin dat conclusies in relatie tot het
onderzoek en de bestudeerde referenties dienen te staan. Daarnaast is standaard 2 specifiek gericht op het literatuurgebruik (zie Figuur 6). Bij criterium 2.1 wordt aangegeven dat de gegevens uit de deskresearch een verband dienen te hebben met de onderzoeksvraag of het conceptueel model. Dit betekent dat de gebruikte literatuur relevant moet zijn voor het onderwerp. Bij criterium 2.2 wordt aangegeven dat de literatuur aan het vakgebied gerelateerd dient te zijn. Dit betekent dat de literatuur relevant moet zijn voor het vakgebied. Bij criterium 2.3 wordt aangegeven dat de gekozen literatuur van voldoende niveau en actueel dient te zijn. De voetnoot bij voldoende niveau luidt: “de student dient gebruik te maken van vakliteratuur en wetenschappelijke literatuur waarbij de student niet uitsluitend de basisliteratuur uit
26
de eigen opleiding gebruikt”. Bij de eerste standaard wordt in een voetnoot vermeld dat het bij de onderbouwing met referenties gaat om wetenschappelijke en
vakliteratuur maar ook om bronnen, data en interne documenten van de opdrachtgever waaronder de afstemming met de opdrachtgever over de doelstelling van het
onderzoek in relatie tot de doelstelling van de opdrachtgever. Bij BM en SBRM wordt hierbij verder nog vermeld dat “als richtlijn voor literatuurgebruik kan worden
gehanteerd dat aangehaalde publicaties voorzien dienen te zijn van
bronvermeldingen”. Deze zin ontbreekt in het beoordelingsformulier van FM. (Hogeschool Utrecht, persoonlijke communicatie, 16 juli 2017).
3 De student dient gebruik te maken van vakliteratuur en wetenschappelijke literatuur waarbij de student niet uitsluitend de
basisliteratuur uit de eigen opleiding gebruikt.
Figuur 6. Standaard 2 Literatuurgebruik en theoretisch kader uit het beoordelingsformulier. Copyright 2016,
Hogeschool Utrecht.
In deze paragraaf is onderzocht welke eisen er bij Hogeschool Utrecht, voor en na 2014, gesteld worden aan het bronnengebruik voor afstudeerwerken. De aandacht voor de kwaliteit van de gebruikte bronnen blijkt in 2016 aanmerkelijk groter dan in 2013. Het gaat hierbij om criteria over het niveau, de actualiteit en de relevantie met het vakgebied en het onderwerp. Verder wordt bij twee van de drie opleidingen de aanwezigheid van bronvermeldingen aangegeven als richtlijn voor literatuurgebruik. Criteria die betrekking hebben op de vorm van de bronvermelding blijven in dit
27
onderzoek verder buiten beschouwing omdat ze niet iets zeggen over de kwaliteit van de bron.
28
4. EEN MEETINSTRUMENT VOOR DE KWALITEIT VAN DE GEBRUIKTE BRONNEN
In het vorige hoofdstuk werd duidelijk dat de kwaliteit van de gebruikte bronnen in het hoger onderwijs in Nederland beoordeeld worden op: relevantie,
betrouwbaarheid, actualiteit en diversiteit (Van Helvoort, p. 182). Het
beoordelingsmodel van Andriessen & Van der Marel12, in de versie die in 2016 bij de
opleidingen BM, FM en SBRM is gebruikt, beoordeelt het literatuurgebruik op niveau en actualiteit en op relevantie voor de onderzoeksvraag en het vakgebied. In de eerste paragraaf van dit hoofdstuk wordt onderzocht of en hoe deze criteria passen in het meetinstrument dat Reinsfelder ontwikkelde en wordt een eigen variant voorgesteld. De tweede paragraaf beschrijft het onderzoeksontwerp en de materiaalverzameling. De beslissingen die in het ontwerp en bij de verzameling van het materiaal zijn genomen komen hierbij ook aan bod.
4.1 Beschrijving en verantwoording van de constructie van het meetinstrument
Van Helvoort en Andriessen en Van der Marel noemen beide actualiteit en relevantie als kenmerken waarop de door studenten gebruikte bronnen kunnen worden
beoordeeld. Andriessen en Van der Marel noemen daarnaast ook het niveau van de bronnen en Van Helvoort noemt betrouwbaarheid, waarbij het gaat om zo authentiek mogelijke bronnen, en diversiteit. Beide beoordelen deze aspecten van kwaliteit van het bronnengebruik op het niveau van het werkstuk als geheel. In dit onderzoek wordt de kwaliteit van de gebruikte bronnen beoordeeld op het niveau van de bron. Van elke referentie in de literatuurlijst wordt de kwaliteit van de bron waarnaar de referentie verwijst bepaald. Uit de literatuurverkenning kwam het meetinstrument van
Reinsfelder als meest geschikt naar voren. Reinsfelder beoordeelt de bronnen op relevantie, autoriteit, actualiteit en niveau. In hoofdstuk 3 werd al geconstateerd dat Van Helvoort bij inadequaat gedrag van het criterium over de kwaliteit van de
12 Het beoordelingsformulier werd gemaakt door een ontwikkelgroep waarin alle opleidingen
vertegenwoordigd waren, een projectleider en twee adviseurs van het lectoraat Methodologie van Praktijkgericht Onderzoek van Hogeschool Utrecht (Andriessen & Van der Marel, 2015, p. 5). In dit hoofdstuk worden deze laatste onderzoekers beschouwd als auteurs van het beoordelingsmodel omdat zij de publieke versie hebben gepubliceerd.
29
primaire bron noemt dat bronnen te licht kunnen zijn. Dit gaat eigenlijk over het niveau van de bron. De autoriteit die Reinsfelder noemt is verbonden aan de auteur of aan de doelgroep van de publicatie. Ook dit heeft eigenlijk betrekking op het niveau van de publicatie. Daarnaast verbindt Reinsfelder het niveau nog aan het onderwerp als wordt gevraag of het niveau van de publicatie passend is voor het onderwerp. Dit overlapt echter met wat bij relevantie wordt beoordeeld.
Tabel 1 geeft de kwaliteitsaspecten die door de drie onderzoekers zijn opgenomen in hun beoordelingsinstrument.
Tabel 1
Kwaliteitsaspecten per onderzoeker
Kwaliteitsaspect / onderzoeker
Van Helvoort Andriessen & Van der Marel
Reinsfelder Actualiteit x x x Relevantie x x x Niveau (x) x x Betrouwbaarheid x Bronvermelding aanwezig x Diversiteit x Autoriteit x
Alle drie gebruiken dus actualiteit, relevantie en niveau, al noemt Van Helvoort het niveau enkel bij de omschrijving van inadequaat gedrag. Omdat het in ieder geval wenselijk was de kwaliteitsaspecten uit het beoordelingsformulier zelf op te nemen werden in een eerste poging deze drie aspecten uit het instrument van Reinsfelder vertaald als: Criteria Niveau 0 Te basaal of commercieel 1 Algemeen 2 Vakinformatie
30
3 Wetenschappelijk (met bibliografie) Actueel
0 Gedateerd 1 Zonder datum 2 5-10 jaar oud
3 0-5 jaar oud of authentieke bron van gebruikt concept of model Relevantie
0 Niet relevant voor vak en onderwerp 1 Deels relevant voor vak of onderwerp 2 Grotendeels relevant voor vak of onderwerp 3 Geheel relevant voor vak en onderwerp
In dit voorstel ontbrak echter een aspect uit het beoordelingsformulier, de
aanwezigheid van bronvermeldingen als richtlijn voor het literatuurgebruik. Ook werd de vraag gesteld of betrouwbaarheid nu voldoende werd weergegeven met het niveau van de publicatie en of dit in de praktijk wel altijd vast te stellen was. Hoe zou moeten worden beoordeeld of bijvoorbeeld een blog algemeen of wetenschappelijk was of bestond uit vakinformatie? Dit zou in veel gevallen een subjectieve keuze zijn. Als vereiste werd gesteld dat er zo weinig mogelijk sprake zou moeten zijn van
subjectieve keuzes terwijl tegelijkertijd het instrument zo eenvoudig mogelijk zou moeten zijn. Op basis van deze criteria, hierbij teruggrijpend op de bestudeerde literatuur, werden de aanwezigheid van bronvermeldingen en aspecten van de
autoriteit van de auteur en de publicatie als volgt opgenomen onder het aspect niveau:
Niveau
Beschikt de bron over bronvermeldingen? Is de auteur bekend?
Is de bron betrouwbaar?
o Nee, het is onduidelijk wat de achtergrond van de auteur is of de auteur is niet bekend
o Mogelijk, de auteur is een journalist, heeft of is een bedrijf of een non-profitorganisatie
o Ja, de auteur is een wetenschapper of deskundige o Ja, het is een wetenschappelijke bron (met peerreview)
Bij actualiteit zou het het eenvoudigst zijn het jaartal van publicatie te noteren. Zou dit echter wel een aspect van kwaliteit zijn? Immers publicaties met autoriteit zijn vaak van een wat eerdere datum terwijl het van recente publicaties nog de vraag is hoe ze worden beoordeeld. Omdat het aspect autoriteit al werd beoordeeld bij het
31
niveau werd besloten actualiteit alleen op het jaar van publicatie te baseren. Wel zou eerst moeten worden aangegeven of het jaar van publicatie bekend was omdat dit een indicator van kwaliteit zou kunnen zijn. Actualiteit werd als volgt
geoperationaliseerd:
Actualiteit
Is het jaar van publicatie bekend?
Het verschil tussen het jaar van publicatie tussen het afstudeerwerk en de bron is:
o Meer dan 15 jaar o 11-15 jaar o 6-10 jaar o 2-5 jaar
o Minder dan 2 jaar
Relevantie bleek niet te operationaliseren tot objectieve criteria. Omdat verondersteld wordt dat beoordelaars op de hoogte zijn van het vakgebied en kunnen beoordelen welke publicaties relevant zijn voor het onderwerp werd besloten dit aspect niet verder te operationaliseren. Ook voor dit onderzoek zou dit geen problemen opleveren omdat de onderzoeker als informatiespecialist betrokken bij deze opleidingen het aspect relevantie kon scoren. Relevantie werd dus als volgt beoordeeld:
Relevantie
Is de bron relevant voor het vakgebied?
Is de bron relevant voor de onderzoeksvraag of –methode? o Niet relevant
o Weinig relevant o Redelijk relevant o Behoorlijk relevant o Zeer relevant
Bovenstaande operationalisering van de aspecten van kwaliteit kwam in de praktijk ook tot stand door eerdere versies van het meetinstrument uit te proberen, door literatuurlijsten ermee te beoordelen, waarbij gaandeweg verbeteringen konden worden aangebracht. Ook werden de onderliggende ideeën besproken met verschillende informatiespecialisten, docenten en onderzoekers van Hogeschool Utrecht hetgeen ook tot aanpassingen leidde.
32
4.2 Dataverzameling
De keuze voor de opleidingen werd bepaald door de verwachte toegang tot de
afstudeerwerken en de beoordelingen ervan. Het ging om drie van de elf economische opleidingen bij Hogeschool Utrecht, alle drie gevestigd in Amersfoort. Hiervan werden de afstudeerwerken die met een voldoende waren beoordeeld betrokken in het onderzoek. Afstudeerwerken die met een onvoldoende werden beoordeeld bleven buiten beschouwing omdat er geen cijfer gegeven was. De aantallen afstudeerwerken verschillen per opleiding. Dit hangt samen met de grootte van de opleiding en het aantal jaren dat de opleiding bestaat. Zo bleken in 2013 voor BM nog geen
afstudeerwerken beoordeeld omdat de opleiding pas in 2010 in Amersfoort startte. De keuze voor de onderzochte jaren werd bepaald door het jaar van invoering van het beoordelingsmodel: 2014. Om invloeden van de invoering en het wennen aan het werken met het nieuwe beoordelingsmodel zoveel mogelijk uit te sluiten werd gekozen voor het jaar 2016. Hierbij zijn niet de studiejaren gebruikt maar de
kalenderjaren. Dit omdat de opleidingen niet dezelfde tijdstippen voor afstuderen en herkansen bleken te hanteren waardoor moeilijk te bepalen was welke studenten uit welk afstudeerjaar afkomstig waren. Tabel 2 geeft de aantallen voldoende
beoordeelde afstudeerwerken binnen het onderzoeksontwerp.
Tabel 2
Aantal afstudeerwerken met een voldoende beoordeling per opleiding per jaar
Opleiding/jaar 2013 2016
BM 0 15
FM 50 36
SBRM 17 29
Uit deze afstudeerwerken is als volgt een beredeneerde steekproef van tien afstudeerwerken per opleiding per jaar getrokken. Omdat een verband tussen de kwaliteit van de gebruikte bronnen en het behaalde eindcijfer werd verondersteld is nagegaan hoeveel afstudeerwerken welk eindcijfer ontvingen. De steekproef van tien
