“Ik vertrouw het niet, omdat deze site
geen plaatjes gebruikt”
Hoe beoordelen leerlingen de betrouwbaarheid van internetbronnen en
welke rol spelen taakwaardering en epistemologische opvattingen hierbij?
Masterscriptie Onderwijswetenschappen Universiteit van Amsterdam,
Marlieke Smelt (11986662) Begeleiding: prof. dr. C.A.M. van Boxtel Tweede beoordelaar: dr. J.P. van Drie Amsterdam, (10 augustus, 2019)
“Ik vertrouw het niet, omdat deze site
geen plaatjes gebruikt”
Hoe beoordelen leerlingen de betrouwbaarheid van internetbronnen en
welke rol spelen taakwaardering en epistemologische opvattingen hierbij?
Masterscriptie Onderwijswetenschappen Universiteit van Amsterdam,
Marlieke Smelt (11986662) Begeleiding: prof. dr. C.A.M. van Boxtel Tweede beoordelaar: dr. J.P. van Drie Amsterdam, (10 augustus, 2019)
Inhoudsopgave
Abstract 4
Inleiding 5
Theoretisch kader 7
Kenmerken van internetbronnen die belangrijk zijn voor het beoordelen van de
betrouwbaarheid 7
Hoe leerlingen internetbronnen beoordelen 11
De rol van epistemologische opvattingen 12
Invloed van taakwaardering 14
Onderzoeksvragen 15 Methode 16 Design 16 Deelnemers 16 Materialen 17 Taken 17 Controlevragen 18 Taakwaarderingvragenlijst 19 Epistemologische vragenlijst 19 Procedure 20 Data-analyse 21 Resultaten 25 Deelnemers 25
Kennis en mening over vaccineren 25
Taakscore 27
Taakwaardering en epistemologische opvattingen 29
Correlatie tussen taakscore, taakwaardering en epistemologische opvattingen 31 Gebruikte kenmerken bij het beoordelen van de betrouwbaarheid 32
Verschillen tussen scholen 34
Verschillen tussen jongens en meisjes 37
Conclusie 38 Discussie 41 Literatuurlijst 48 Bijlagen 54 Bijlage 1. Bronnenboek 54 Bijlage 2. Antwoordenboek 67
Bijlage 3. MSLQ vragenlijst 79
Bijlage 4. Epistemic Beliefs Questionnaire 81
Bijlage 5. Overzicht Taken en Mate van Prompting en Guidance 83
Abstract
The internet is used more and more to learn new things or to form an opinion. People have to determine themselves whether the website is trustworthy or fake news. Only a few criteria can, when used correctly, accurately determine the trustworthiness of a website. These so called A criteria are: credibility, accuracy, reasonableness and support. Students have to know how to use these A criteria instead of less reliable B criteria. This skill is not the only factor that decides how well students evaluate a website, task value and epistemic beliefs can affect this. Students with high task values tend to achieve higher scores on tasks and are more persistent and students with more nuanced epistemic beliefs are better at evaluating the trustworthiness of websites. The goal of this research is to discover which criteria students use, how well they determine the trustworthiness of internet sources and to find out if task value and epistemic beliefs are related to students' performance on tasks where they evaluate the websites. This leads to the main question: “How do students
determine the trustworthiness of websites and how does their task value and epistemic beliefs affect their ability to do so?”. In this study 153 students aged 14 - 16 years old from 6
different schools in and around Amsterdam participated. To measure the task value and epistemic beliefs two questionnaires were used. A task based on History Assessments of Thinking” was developed to discover which criteria students use and how well they
determine the trustworthiness of websites about vaccines. The results of this study show that there is room for improvement in the way students determine the trustworthiness of websites. Only half of the time they used the right criteria and arguments. Students did use more A than B criteria and they used more criteria than they said they know. The most used A criteria are support and accuracy, content and face value are the most used B criteria. Students with higher task values had higher scores on the task as well as students with more nuanced epistemic beliefs. Teachers could use these results to focus on what goes wrong and how to fix this. For example, students must learn to check other criteria besides content, and should learn that when they check if there is support, not every source is trustworthy.
Inleiding
‘Fake News’ is een term die steeds vaker voor komt. Omdat iedereen in staat is een website te maken en ideeën te verspreiden, zijn er veel onbetrouwbare bronnen. Niet op elke website wordt de inhoud gecontroleerd of gefilterd, dit betekent dat de beoordeling van betrouwbaarheid bij de gebruiker komt. Het beoordelen van internetbronnen kan aan de hand van verschillende kenmerken, met betrekking tot zowel de bron zelf (Meriam Library, 2010) als de context van de bron (Meola, 2004; Harris, 2018). Binnen de bron zelf kan bijvoorbeeld gekeken worden naar wie de auteur is. Als de bron beoordeeld wordt aan de hand van de context, wordt de inhoud van de bron vergeleken met andere bronnen. Hoe meer juiste kenmerken een leerling onderzoekt, hoe vaardiger hij is in het beoordelen van bronnen. Leerlingen kunnen beoordelingskenmerken vaak wel benoemen, maar in de praktijk passen ze deze weinig toe (Pickard, Shenton, & Johnson, 2012). Het is echter niet alleen voor de leerling zelf, maar ook van maatschappelijk belang dat ze dit wel doen. Het ontwikkelteam digitale geletterdheid van Curriculum.nu (2018) legt namelijk een verband tussen burgerschapsvorming en digitale geletterdheid. Burgerschapsvorming is een kerndoel van het Nederlandse onderwijs. Hier leren leerlingen hoe ze actief betrokken kunnen zijn bij de gemeenschap (Munniksma Dijkstra, Van der Veen, Ledoux, Van de Werfhorst, & Ten Dam, 2017). Het team stelt dat het van belang is dat leerlingen het internet kunnen benutten om een oordeel te vormen over verschillende kwesties (Curriculum.nu, 2018). Hierbij moeten zij zich echter wel bewust zijn van eventuele manipulatie van informatie. Verkeerd ingelichte burgers leiden tot een verzwakte democratische samenleving volgens het ontwikkelteam. Daarom moeten leerlingen leren een actieve houding aan te nemen bij het zoeken naar informatie en hun beoordelingsvaardigheden ontwikkelen. De vraag hoe we leerlingen kunnen leren om kritisch om te gaan met informatiebronnen is dus maatschappelijk relevant.
Om deze vraag te beantwoorden moeten we kijken naar de wetenschappelijke literatuur over deze vaardigheid. In de literatuur worden verschillende factoren genoemd die invloed hebben op hoe leerlingen bronnen beoordelen en op de ontwikkeling van de
beoordelingsvaardigheden. Zo hebben de emoties die een leerling heeft ten opzichte van een bepaald onderwerp invloed op hoe bronnen beoordeeld worden (Jacobsen, Halvorsen, Frasier, Schmitt, Crocco, & Segall, 2018), de epistemologische opvattingen van de leerling
(Bråten, Britt, Strømsø, & Rouet, 2011) en de taakwaardering (Chiu & Wang, 2008). In dit onderzoek zullen de laatste twee factoren meegenomen worden: de epistemologische opvattingen en de taakwaardering.
Epistemologische opvattingen hebben betrekking op de gedachten over wat kennis is, hoe kennis ontstaat en hoe mensen leren (Hofer & Pintrich, 1997). Door te onderzoeken welke epistemologische opvattingen leerlingen hebben, kan doelgericht gewerkt worden aan het nuanceren van deze opvattingen wanneer deze naïef blijken te zijn. Meer genuanceerde epistemologische opvattingen kunnen leiden tot een betere beoordeling van betrouwbaarheid van informatie (e.g. Bråten, Britt, Strømsø, & Rouet, 2011). De tweede factor,
taakwaardering, heeft betrekking op in hoeverre leerlingen het gevoel hebben een taak aan te kunnen en deze leuk of nuttig vinden (Chiu & Wang, 2008). Bij een lage taakwaardering zal een leerling ook minder zijn best doen en dus bronnen minder zorgvuldig beoordelen. (Muis, Chevrier, & Singh, 2018). Als blijkt dat leerlingen het beoordelen van bronnen simpelweg niet belangrijk genoeg vinden, kan hen geleerd worden waarom dit juist wel van belang is.
Het onderzoek is om verschillende redenen wetenschappelijk relevant. Allereerst omdat in bestaande studies nog niet eerder taakwaardering meegenomen is. Dit kan een waardevolle toevoeging zijn in een onderzoek naar de beoordeling van de betrouwbaarheid van
internetbronnen. Ten tweede omdat het kunnen beoordelen van internetbronnen en de relatie met epistemologische opvattingen internationaal al meerdere malen onderzocht is bij
leerlingen van verschillende leeftijden (e.g. Jacobsen et al., 2018; McGrew, Ortega, Breakstone, & Wineburg, 2017), maar nog niet eerder bij Nederlandse leerlingen uit drie havo. Tot slot is de data die verzameld worden in dit onderzoek van wetenschappelijk belang. Dit onderzoek maakt namelijk deel uit van een groter onderzoeksproject. Hier wordt
onderzocht in hoeverre prestaties op beoordelingstaken met historische bronnen
samenhangen met prestaties op beoordelingstaken met internetbronnen. Het onderzoek naar deze relatie valt buiten deze studie. De data van deze studie zullen echter gebruikt worden in de studie door Van der Eem (2018-2022).
Het eerste doel van dit onderzoek is te ontdekken hoe leerlingen in het voortgezet onderwijs internetbronnen beoordelen en welke kenmerken zij hierbij gebruiken. Aan de hand hiervan kan bepaald worden wat leerlingen nog moeten leren. Het tweede doel is
mate van beoordeling van betrouwbaarheid. Wanneer dit verband wordt aangetoond kan gerichter gewerkt worden aan het verhogen van de taakwaardering en de epistemologische opvattingen, zodat leerlingen zorgvuldiger bronnen beoordelen op betrouwbaarheid.
Theoretisch kader
Kenmerken van internetbronnen die belangrijk zijn voor het beoordelen van de betrouwbaarheid
In de literatuur zijn er verschillende aspecten te vinden die van belang zijn bij het beoordelen van de betrouwbaarheid van (internet)bronnen. Om te beginnen zijn er vijf
betrouwbaarheidskenmerken genoemd in het CRAAP evaluatieformulier, ontwikkeld door de California State University (Meriam Library, 2010). Het doel van dit formulier is studenten te ondersteunen bij het beoordelen van internetbronnen op betrouwbaarheid. CRAAP staat voor: currency (actualiteit), relevance (relevantie), authority (autoriteit), accuracy
(nauwkeurigheid), en purpose (doel). Bij deze vijf onderwerpen worden vijf vragen gesteld, hoe meer van deze vragen beantwoord kunnen worden, met een gewenst antwoord, hoe betrouwbaarder de bron is.
Zo moet er bij currency onderzocht worden wanneer deze site voor het laatst bijgewerkt is, bij voorkeur zo recent mogelijk zijn. Dit kan ook onderzocht worden door te controleren of de links naar een website nog werken. Één van de vragen die hier gesteld worden is bijvoorbeeld: “wanneer is dit gepubliceerd?”. De informatie over enkele onderwerpen ontwikkelt zich razendsnel, dan is het van belang een zo actueel mogelijk bericht te vinden. Bij relevance moet de student oordelen of de gegeven informatie antwoord geeft op zijn onderzoeksvraag. Daarnaast moet deze de doelgroep kunnen achterhalen en beoordelen of de schrijfstijl op gewenst niveau is. Zo mogen er geen spellingsfouten in zitten en moet het formeel geschreven zijn. Een professionele auteur zal dit namelijk altijd controleren. Een voorbeeldvraag is: “wie is het beoogde publiek?”. Een tekst met leken als beoogd publiek zal veel minder verdiepende informatie geven dan een tekst met experts als beoogd publiek. Verder gaat authority vooral over de schrijver. Op de site moet duidelijk staan wie het stuk geschreven heeft, of hij een expert is op dit gebied en er moeten contactgegevens te vinden zijn. Een voorbeeldvraag is hier: “Welke kwalificaties heeft de schrijver?”. Zoals eerder
vermeld kan iedereen informatie verspreiden via websites. Door te te achterhalen wie de schrijver is kan worden ingeschat of deze auteur echt iets van het onderwerp afweet. Een onderzoeker of jeugdarts zal eerder betrouwbare informatie verschaffen over vaccineren dan een financieel adviseur met een interesse in vaccineren. Vervolgens wordt bij accuracy onderzocht waar de auteur zijn informatie vandaan heeft, of de tekst onderbouwd is met bronnen en of de inhoud door iemand anders bevestigd wordt. Een goed onderbouwde, gecontroleerde site is betrouwbaarder. Een voorbeeldvraag bij nauwkeurigheid is: “is de toon van de tekst vrij van emotie?”. Wanneer een tekst met een neutrale toon geschreven is, is het aannemelijker dat de inhoud betrouwbaar is. Tot slot wordt bij purpose onderzocht wat het doel van de tekst is. Wanneer het doel is de lezer te informeren is de kans op betrouwbare informatie groter dan wanneer het doel is om iets te verkopen, of de lezer te overtuigen van een standpunt. Bij een betrouwbare bron moet de auteur zijn intenties duidelijk maken en een neutraal standpunt hebben bij dit onderwerp. Een voorbeeldvraag hier is: “Is het standpunt van de schrijver objectief en onpartijdig?”.
Echter, de toepasbaarheid van het bovenstaande model wordt in meerdere artikelen in twijfel getrokken (Breakstone, McGrew, Smith, Ortega, & Wineburg, 2018; Caulfield, 2016; Meola, 2004). Volgens hen leiden niet alle vragen tot een betere betrouwbaarheid. Ter
illustratie: een auteur kan een vals e-mailadres geplaatst hebben waardoor hij bereikbaar lijkt, maar dat in feite niet is. Daarnaast wordt de lijst als te lang, maar tegelijkertijd als onvolledig beschouwd. Meola (2004) pleit dan ook voor een contextuele benadering, waarbij niet de website zelf beoordeeld wordt, maar de informatie daar omheen. Hij stelt dat door het vergelijken en bevestigen van bronnen de mate van betrouwbaarheid beter bepaald kan worden. Door meerdere websites te vergelijken kan een waardeoordeel gevormd worden en wordt ontdekt welke informatie ontbreekt. Daarnaast moet bevestigd worden of de informatie klopt. Wanneer meerdere bronnen dezelfde informatie geven, is de kans groter dat de
informatie klopt. Toch moeten ook hier de auteur en intentie van de tekst onderzocht worden. Meerdere bronnen kunnen namelijk dezelfde, valse informatie geven (Walraven,
Brand-Gruwel, & Boshuizen, 2009). De beste beoordeling komt dus van kenmerken binnen de internetbron en in context met andere internetbronnen.
Deze combinatie van kenmerken binnen de bron en in context met andere bronnen heeft schrijver en onderwijzer Robert Harris (2018) verwerkt in zijn CARS checklist. Met behulp
van deze uitgebreide checklist kunnen bronnen kritisch beoordeeld worden op
betrouwbaarheid. Harris (2018) benadrukt dat bij het beoordelen van internetbronnen de bron niet meteen als definitief betrouwbaar of onbetrouwbaar bestempeld moet worden. Iets mag ook twijfelachtig zijn en verder onderzocht worden. Daarnaast stelt Harris dat er maar weinig bronnen zijn die aan alle kenmerken van een betrouwbare bron voldoen, maar dat met behulp van deze kenmerken de kans groot is dat de lezer bron kiest van hoge kwaliteit.
CARS staat voor credibility (geloofwaardigheid), accuracy (nauwkeurigheid), reasonableness (redelijkheid) en support (ondersteuning). Bij elk onderwerp wordt in het schema van Harris (2018) een uitgebreide uitleg gegeven over welke kenmerken hier
allemaal bij horen. Enkele kenmerken komen ook terug in het CRAAP formulier, daarom zal hieronder de focus vooral liggen op wat het CARS schema aan kenmerken toevoegt.
Onder credibility komen dezelfde kenmerken terug als bij authority van het CRAAP formulier. Een kenmerk dat hieraan toegevoegd wordt is dat een bron van een gerespecteerde organisatie, zoals de overheid of een non-profit organisatie, vaak betrouwbaar is. Verder wordt hier het begrip metainformation geïntroduceerd, wat informatie over informatie is. Het kan de lezer helpen reviews of samenvattingen op te zoeken over de gegeven informatie en te onderzoeken wat andere lezers van de inhoud vonden. Goede reviews duiden op een grote kans van goede informatie, het geeft echter geen garantie.
Het onderwerp accuracy komt in beide schema’s voor. Toegevoegd is het kenmerk ‘omvattendheid’, wat inhoudt dat een betrouwbare tekst meerdere kanten van een onderwerp moet belichten en geen belangrijke feiten weg mag laten. Om erachter te kunnen komen of dit het geval is, moet de lezer hier uiteraard zelf onderzoek naar doen.
Verder zijn de kenmerken die onder reasonableness vallen bijvoorbeeld het hebben van een neutrale toon en het schrijven op een objectieve manier, zoals ook al te zien was bij de CRAAP formulier. Hieraan toegevoegd is dat de lezer zelf moet redeneren of de informatie echt waar kan zijn, het eigen verstand moet dus gebruikt worden. Ook moet de inhoud van de tekst consequent zijn, het mag zichzelf niet tegenspreken. Aanvullend valt onder dit
onderwerp de ‘worldview’ van de schrijver. De kijk van een schrijver op de wereld
beïnvloedt wat en hoe de auteur schrijft, welke informatie hij belangrijk vindt en welke hij weglaat. Tot slot worden hier enkele kenmerken benoemd die duiden op een minder
betrouwbare bron: heftig taalgebruik (schelden, overdrijven, etc.), overdreven beweringen, iets belangrijker laten overkomen dan het is en wanneer er sprake is van een belangenconflict.
Als laatste worden kenmerken van support benoemd, bij deze kenmerken gaat het vooral om de context waarin de bronnen zich begeven. Dit onderdeel wordt in het CRAAP formulier achterwege gelaten en door Meola (2004) juist belangrijk geacht. Een eerste kenmerk dat benoemd wordt is dat er referenties moeten staan op een betrouwbare site. Harris (2018) benadrukt dat dit vooral van belang is wanneer er statistiek gebruikt wordt in een tekst. Verder moet de lezer de informatie trianguleren, hiermee wordt bedoeld dat de lezer op zoek moet naar tenminste drie andere bronnen die hetzelfde zeggen. Daarnaast moet de lezer ook nagaan of de informatie aansluit bij wat hij al wist over het onderwerp. Wanneer informatie de bestaande kennis tegenspreekt, bestaat de kans dat de rest van de informatie ook niet correct is. Er moet dan dus sceptisch naar de bron, maar ook de eigen kennis gekeken worden.
Samengevat zijn er dus enkele onderwerpen van kenmerken te benoemen vanuit CRAAP en CARS: currency, relevance, authority, accuracy, purpose, credibility, reasonableness en support. Met alle kenmerken die daaronder vallen zijn er behoorlijk wat punten waarop een lezer moet letten als hij de betrouwbaarheid zorgvuldig wilt beoordelen. Kiili, Laurinen en Marttunen (2008) hebben daarom zelf een verkorte lijst opgesteld. Zij hebben de
beoordelingsvaardigheden van internetbronnen bij leerlingen tussen de 14 en 16 jaar onderzocht. Door middel van het hardop denken van de leerlingen tijdens de taak en het CARS schema is een lijst opgesteld met kenmerken die de leerlingen gebruikten. De leerlingen evalueerden: wie de auteur is, waar het gepubliceerd is, de stijl en inhoud, hoe recent het is bijgewerkt, of het geloofwaardig is, de argumentatie van de auteur, of er referenties zijn en of er een verantwoording te vinden is.
Hoe leerlingen internetbronnen beoordelen
Bovenstaande kenmerken zijn goede kenmerken die beoordeeld kunnen worden bij het beoordelen van de betrouwbaarheid van internetbronnen. De vraag is echter of leerlingen deze in praktijk ook kennen en toepassen. Hieronder zullen enkele voorbeelden gegeven worden van onderzoeken naar de wijze waarop leerlingen de betrouwbaarheid van bronnen beoordelen en de kenmerken van de bron waar zij op letten.
Ten eerste kwamen uit interviews van Lorenzen (2002) met Nederlandse leerlingen uit de vierde klas naar gebruikte betrouwbaarheidscriteria bij internetbronnen de volgende
kenmerken naar voren: de bron of de auteur van de site, goede spelling en grammatica, bronnen die de website benoemt, de lay-out en tot slot het feit dat ze de website via een zoekmachine als Google of Yahoo hebben gevonden. De gedachte van leerlingen achter dit laatste is dat de zoekmachines alleen betrouwbare bronnen weergeven. Niet alle criteria die leerlingen gebruiken zijn dus even efficiënt of correct.
Een ander voorbeeld van een kenmerk dat niet altijd een gewenst resultaat heeft is of er statistiek gebruikt is in een bron. McGrew, Ortega, Breakstone en Wineburg (2017) vroegen in hun onderzoek in de Verenigde Staten high school scholieren om de meest betrouwbare internetbron te kiezen. Zij mochten kiezen tussen een artikel over klimaatverandering uit een wetenschappelijk tijdschrift, of een door een oliemaatschappij gesponsord artikel. Van de leerlingen koos 70% voor het gesponsorde artikel. Zij redeneerden dat het stuk op feiten gebaseerd was, omdat er cijfers in verwerkt waren.
Ondanks dat uit bovenstaande blijkt dat leerlingen wel kenmerken kennen, werd in Nederlands onderzoek van Walraven, Brand-Gruwel en Boshuizen (2009) ontdekt dat 14-jarigen maar weinig kenmerken gebruiken wanneer ze een bron beoordelen. Wanneer zij wel kritisch naar een bron keken, was het meeste gebruikte kenmerk of de informatie
antwoord gaf op hun vraag. Ook Pickard en collega’s (2012) kwamen tot dezelfde conclusie. Redenen om een bron wel of niet als betrouwbaar te beschouwen, hebben niet alleen betrekking op rationele keuzes. Uit een ander onderzoek onder 14-jarigen bleek dat redenen om bronnen wel of niet te vertrouwen, te maken kunnen hebben met de emoties die daarbij opkomen (Jacobsen et al., 2018). Wanneer een leerling zich betrokken voelde bij het verhaal of de auteur, beschouwde hij de bron vaker als betrouwbaar. Kahne en Bowyer (2017) komen met eenzelfde soort bevinding. Zij ontdekten dat leerlingen een bron eerder als betrouwbaar beschouwen wanneer deze aansluit bij hun idee van de waarheid.
De rol van epistemologische opvattingen
Een factor die van invloed kan zijn op hoe leerlingen informatiebronnen beoordelen, betreft de epistemologische opvattingen die leerlingen hebben. Hofer en Pintrich (1997) omschrijven epistemologische opvattingen als de gedachten over wat kennis is, hoe kennis
ontstaat en hoe mensen leren. Zij hebben verschillende modellen die epistemologische opvattingen in kaart brengen, samengevoegd tot één model. Deze bestaat uit twee gebieden: de aard van kennis en het proces van kennis opdoen. Binnen dit model zijn twee uitersten te beschrijven, deze zullen hieronder worden uitgelegd.
Situatie 1. Binnen het eerste gebied, de aard van kennis, kan iemand geloven dat kennis
bestaat uit geïsoleerde feiten (eenvoud van kennis) en dat deze feiten onveranderbaar zijn (zekerheid van kennis). In het tweede gebied, proces van kennis opdoen, kan iemand denken dat kennis op een passieve manier overgedragen moet worden door autoriteiten (bron van passieve, externe kennis) of door reflectie op een persoonlijke mening (rechtvaardiging door persoonlijke mening).
Situatie 2. Daartegenover kan iemand bij de aard van kennis ook geloven dat kennis
bestaat uit met elkaar verbonden feiten, die georganiseerd worden in bredere concepten (complexiteit van kennis). Gedacht wordt dat kennis kan ontwikkelen, gedetailleerder kan worden door nieuwe kennis (onzekerheid van kennis). Binnen het proces van kennis opdoen denkt deze persoon dat kennis ontstaat door onderzoek (rechtvaardiging door onderzoek) en dat bewijs en redenen vergeleken moeten worden met elkaar om zo kennis op te bouwen (bron van actieve interne constructie) (Muis, 2007).
Om te kunnen onderzoeken welke epistemologische opvattingen iemand heeft, zijn er verschillende theoretische modellen ontwikkeld die diverse perioden, stadia of levels van epistemologische opvattingen beschrijven. Een eerste model is ontwikkeld door King en Kitchener (2002), dit is het Reflective Judgment Model. Dit model focust op de ontwikkeling van het reflectieve denken. In deze ontwikkeling doorgaat iemand drie stadia: prereflective, quasi-reflective en reflective. Een tweede model is het Levels of Epistemological
Understandig model, ontwikkeld door Kuhn en Weinstock. De focus ligt hier niet op het reflectieve denken, maar op hoe individuen de relatie tussen kennis en externe realiteit karakteriseren. Binnen dit model wordt gesproken van vier verschillende levels van een continuüm, deze levels zijn: realist, absolutist, multiplist en evaluativist (Kuhn, Cheney & Weinstock, 2000). De verschillende levels van beide modellen lopen nagenoeg parallel aan elkaar. Daarnaast zijn beide modellen van toepassing op algemene epistemologische opvattingen. Omdat dit onderzoek deel uitmaakt van een andere studie van Van der Eem (2018-2022) waarbij de epistemologische opvattingen met betrekking tot geschiedenis
onderzocht worden, zal de focus ook liggen op epistemologische opvattingen bij geschiedenis.
Maggioni, VanSledright en Alexander (2009) hebben enkele theoretische modellen voor algemene epistemologische opvattingen onderzocht en aan de hand hiervan en met behulp van hun eigen onderzoek een eigen model ontwikkeld dat zich richt op de epistemologische opvattingen bij geschiedenis. Dit model bestaat uit drie verschillende stadia: copier stance, borrower stance en criterialist stance. Vrij vertaald gaat het hier om een kopieer houding, een leen houding en een kritische houding. De hierboven genoemde situatie 1 sluit dan aan op de kopieer houding en situatie 2 op de kritische houding. In het midden van beide uiterste valt de leen houding, waarin iemand begint te begrijpen dat er verschillende waarheden zijn, maar denkt dat het allemaal slechts meningen zijn.
Een andere indeling is gemaakt door Stoel, Logtenberg, Wansink, Huijgen, van Boxtel en van Drie (2017), waarin onderscheid gemaakt wordt tussen naïeve opvattingen en genuanceerde opvattingen. Naïeve opvattingen vallen samen met situatie 1, waarbij kennis gezien wordt als objectief en vaststaand (naïef-objectief), of dat kennis slechts een mening is (naïef-subjectief). De genuanceerde opvattingen betreffen situatie 2, waarin kennis als interpretatief en veranderlijk gezien wordt (genuanceerd-subjectief). Daarnaast worden deze opvattingen gerelateerd aan het waarderen van methodologische criteria om tot betrouwbare kennis te komen bij historische bronnen (genuanceerd-criteria). Deze indeling zal verder gebruikt worden in dit onderzoek.
De epistemologische opvattingen van leerlingen zijn vaker in verband gebracht met het beoordelen van de betrouwbaarheid van internetbronnen. Hieruit bleek dat leerlingen met naïeve epistemologische opvattingen minder zorgvuldig bronnen beoordelen dan leerlingen met meer genuanceerde opvattingen (e.g. Bråten, Britt, Strømsø, & Rouet, 2011; Trevors, Muis, Pekrun, Sinatra, & Muijselaar, 2017). De leerlingen bekeken bijvoorbeeld minder vaak de bron van een site, of kozen alleen sites die bovenaan de lijst van de zoekmachine staan (Trevors et al., 2017). Daarnaast zetten leerlingen met meer genuanceerde opvattingen vaker betere onderzoeksstrategieën in (Maggioni et al., 2009).
Invloed van taakwaardering
Het is echter niet zonder meer dat leerlingen met genuanceerde epistemologische opvattingen ook internetbronnen kritisch beoordelen. In het onderzoek van Pickard, Shenton en Johnson (2012) naar de belangrijkste betrouwbaarheidskenmerken van
internetbronnen volgens middelbare scholieren, bleken er leerlingen te zijn die aan hadden gegeven geen enkel betrouwbaarheidskenmerk belangrijk te vinden. De auteurs
veronderstellen dat gebrek aan motivatie en interesse voor de taak hier de onderliggende oorzaak van was. Wanneer leerlingen geen waarde hechten aan een taak, hebben ze een lage taakwaardering. Ze zullen minder moeite doen voor de taak, ook al hebben ze genuanceerde epistemologische opvattingen (Muis et al., 2018).
De tweede factor die invloed heeft op de beoordeling van bronnen is dan ook taakwaardering, dit vindt zijn oorsprong in de expectancy-value theorie. Deze
motivatietheorie stelt dat iemand gemotiveerd is iets te doen wanneer hij er iets voor terug krijgt en het weinig kost (Eccles & Wigfield, 2002). Taakwaardering kan ontstaan doordat leerlingen denken dat ze de taak goed kunnen maken, de taak leuk vinden om te doen of omdat ze denken dat de taak hen kan helpen bij het behalen van doelen in de toekomst (Chiu & Wang, 2008). Schunk (2005) stelt dat wanneer leerlingen een hoge taakwaardering hebben, ze vaker en meer cognitieve strategieën toepassen, wat resulteert in een positieve
leeruitkomst. Yukselturk en Bulut (2007) bevestigen dit in hun onderzoek naar
taakwaardering bij een online computer programmeercursus. De mate van taakwaardering had hier een significante correlatie met de uiteindelijk behaalde cijfers voor de cursus, leerlingen met een hoge taakwaardering haalde ook hogere cijfers. Uit een andere studie onder studenten over taakwaardering bij een online universiteit, bleek deze niet alleen een significant effect te hebben op de tevredenheid, maar ook op de behaalde resultaten en het doorzettingsvermogen van de studenten (Joo, Lim, & Kim, 2013). Diverse studies wijzen dus uit dat taakwaardering in verband staat met behaalde scores op een bepaalde taak.
Onderzoeksvragen
Omdat taakwaardering mogelijk een rol kan spelen in de beoordeling van
het epistemologische niveau van de leerlingen. Deze twee zullen gerelateerd worden aan het aantal en soort kenmerken dat leerlingen gebruiken om bronnen te beoordelen. In dit
onderzoek worden de volgende vragen onderzocht:
“In hoeverre zijn havo 3 leerlingen vaardig in het beoordelen van de betrouwbaarheid van online informatiebronnen en welke rol speelt de epistemologische opvattingen en
taakwaardering hierin?”
1. Welke kenmerken gebruiken havo 3 leerlingen bij het beoordelen van de betrouwbaarheid van internetbronnen?
2. In hoeverre waarderen de leerlingen de taken waarin ze bronnen leren beoordelen? 3. Is er een relatie tussen hun vermogen om de betrouwbaarheid van bronnen te
beoordelen en hun taakwaardering?
4. Is er een relatie tussen hun vermogen om de betrouwbaarheid van internetbronnen te beoordelen en hun epistemologische opvattingen?
Verwacht wordt dat het juist gebruiken van goede betrouwbaarheidskenmerken positief samenhangt met meer genuanceerde epistemologische opvattingen en dat het goed kunnen beoordelen van de betrouwbaarheid van bronnen positief samenhangt met de taakwaardering.
Methode
Design
De leerlingen zijn gevraagd schriftelijke taken te maken waarin zij bronnen moesten beoordelen op betrouwbaarheid. Door middel van de taken, aanvullende hardop denken sessies en aan de hand van een vooraf opgestelde lijst met kenmerken is onderzocht welke kenmerken leerlingen gebruiken en hoe zij bronnen beoordelen. Dit deel van het onderzoek is beschrijvend van aard. Het tweede deel van het onderzoek heeft een correlationeel design. Leerlingen hebben vragen beantwoord over taakwaardering en hun epistemologische
opvattingen over historische kennis. Vervolgens is nagegaan in hoeverre er een samenhang is tussen de mate van taakwaardering, epistemologische opvattingen en hun prestatie op de taken.
Deelnemers
Aan dit onderzoek hebben 76 jongens (49,7%) en 77 meisjes (50,3%) meegedaan (N=153), de leeftijden varieerden tussen de 14 en 16 jaar oud (M = 14,5; SD = 0,61). De leerlingen zijn afkomstig van zes klassen van verschillende middelbare scholen. In elke klas zitten 24 tot 27 leerlingen. De scholen 1, 2 en 3 liggen in een dorp, de scholen 4, 5 en 6 bevinden zich in Amsterdam-Zuid en Amsterdam-West. Deze scholen hebben verschillende leerling samenstellingen qua etniciteit, cultuur en sociaal-economische status, hiermee is de populatie een redelijk representatieve afspiegeling van de leerlingpopulatie in drie havo.
Dit onderzoek is onderdeel van het promotieonderzoek van Van der Eem. De werving van de scholen vond in februari en maart 2019 plaats in het kader van haar onderzoek. Er is sprake geweest van een convenience sample, de scholen behoren namelijk op één na allemaal bij dezelfde onderwijsstichting. Nadat de docenten toegezegd hebben mee te willen werken aan het onderzoek, is bij vijf scholen passief consent gevraagd aan de ouders en bij één school moest actief consent gegeven worden vanwege het schoolbeleid.
Materialen
Taken
De taken die de leerlingen moesten maken zijn speciaal ontwikkeld ten behoeve van dit onderzoek en opgedeeld in een bronnen- en vragen/ antwoordenboekje (zie Bijlage 1 en 2). Er is gekozen om screenshots van de websites af te laten drukken in boekjes, omdat het niet op elke school mogelijk was om de opdrachten op een computer te maken. Van de boekjes zijn drie versies gemaakt waarin de taken op een andere volgorde stonden. Zo wordt voorkomen dat één opdracht niet gedaan wordt vanwege tijdgebrek en kan gecontroleerd worden of verschillen in volgorde van de taken andere resultaten geven.
Op de voorkant van beide boekjes werden tips gegeven aan leerlingen. Zo werd hen geadviseerd goed naar de schermafbeeldingen te kijken en werden lastige woorden uitgelegd. In het bronnenboekje stonden schermafbeeldingen van acht verschillende websites. Onder deze schermafbeeldingen stond informatie die de leerlingen niet meteen konden zien, maar die zij wel hadden kunnen vinden wanneer ze toegang zouden hebben tot een computer. Zo stond bijvoorbeeld onder een afbeelding de datum van de publicatie van de site wanneer deze
lastig te lezen was in de afbeelding, of informatie over de site die te vinden was op een andere pagina van de site. In het antwoordenboekje stonden zestien opdrachten waarin de leerlingen gevraagd werd te beargumenteren waarom zij iets wel of niet betrouwbaar vonden.
Het onderwerp van de websites was overal hetzelfde zodat onderzocht kon worden of leerlingen verschillende sites met elkaar zouden vergelijken. Er is voor het onderwerp vaccineren gekozen om verschillende redenen. Ten eerste omdat het een actueel onderwerp is. De discussie over de gevolgen van het niet vaccineren is steeds vaker op het nieuws te zien. Ten tweede omdat het een onderwerp is dat van diverse kanten belicht kan worden en door verschillende bronnen besproken wordt. Zo zijn er mensen voor en tegen vaccineren en schrijven niet alleen artsen en de rijksoverheid hierover, maar ook mensen die niet per se professionals zijn op dit gebied. Door deze verscheidenheid is het een uitdaging te beoordelen wat wel en niet betrouwbaar is. Er is dan ook gekozen om zoveel mogelijk diverse sites aan te bieden van verschillende auteurs en standpunten. Mede vanuit een ethisch oogpunt: het is niet de bedoeling leerlingen eenzijdige informatie te geven waardoor zij misschien bepaalde opvattingen over zouden nemen. Tot slot is het een onderwerp waar veel leerlingen ook mee te maken hebben gehad. Ze zijn zelf gevaccineerd of hun ouders hebben er bewust voor gekozen hen niet te laten vaccineren. Hierdoor is de verwachting dat de leerlingen ook een mening, of gevoel zullen hebben over dit onderwerp.
De taken zijn ontwikkeld op basis van “History Assessments of Thinking” (HAT’s). Smith, Breakstone en Wineburg (2018) beschrijven in hun onderzoek dat voor historisch denken bepaalde vaardigheden nodig zijn, zoals bijvoorbeeld het beoordelen van de betrouwbaarheid van bronnen. Deze vaardigheden zijn volgens hen niet te vatten in meerkeuzevragen of lange essay opdrachten, omdat er bij meerkeuzevragen onvoldoende vaardigheden worden getest en bij het schrijven van een opstel zijn juist extra vaardigheden nodig. Zij stellen dat je historische vaardigheden het best kunt toetsen door middel van HAT’s. Deze bestaan uit opdrachten waarbij een leerling een kort essay-achtig antwoord geeft op een vraag. De opdracht is zo ontworpen dat kernaspecten van het historisch denken gemeten worden. Binnen deze opdrachten staan verschillende prompts zodat leerlingen hun redenatie uitleggen, hierdoor kan het denken van leerlingen beter vastgelegd worden.
Daarnaast wordt de leerling bij enkele taken een bepaalde richting op gestuurd. Zo wordt hen bij Taak 4.1 gevraagd uit te leggen waarom de bron de waarheid over de gevaren van
vaccineren goed weergeeft. In Bijlage 5 is een overzicht te zien van hoeveel opdrachten bij een bron horen en of hierbij gestuurd wordt of prompts gegeven zijn.
De taken zijn om twee redenen gebaseerd op de HAT’s. Ten eerste omdat de vaardigheid van het beoordelen van de betrouwbaarheid van bronnen bijna hetzelfde vraagt bij
geschiedenis als bij internetbronnen. Ten tweede omdat de resultaten uit dit onderzoek en het onderzoek van Van der Eem goed te vergelijken zijn wanneer de taken bijna hetzelfde zijn.
Controlevragen
Voorafgaand aan de taken zijn de leerlingen gevraagd om met een vierpunts Likertschaal aan te geven hoeveel zij zelf dachten te weten over het onderwerp vaccineren. Hierbij is de volgende stelling gegeven: “Ik weet al veel over het onderwerp ‘vaccineren”. De leerlingen hadden de volgende opties om aan te vinken in hoeverre zij het met de stelling eens waren: oneens, een beetje oneens, een beetje eens en eens. Door dit vooraf te meten kan
gecontroleerd worden of leerlingen die zeggen veel kennis te hebben over dit onderwerp de taken anders beoordelen dan leerlingen die zeggen weinig te weten.
Verder zijn voor de vragenlijst over taakwaardering de leerlingen gevraagd op te noemen welke kenmerken zij gebruiken bij het beoordelen van internetbronnen. Op deze manier kan onderzocht worden of de leerling de kenmerken die hij zegt te kennen, ook daadwerkelijk heeft gebruikt bij het maken van de taken. Daarna zijn de leerlingen gevraagd wat zij van het onderwerp vaccineren vinden, omdat emotie een rol kan spelen bij hoe zij bronnen
beoordelen (Jacobsen et al., 2018).
Taakwaarderingvragenlijst
De taakwaardering vragenlijst is onderdeel van de Motivated Strategies for Learning Questionnaire en bevat zes stellingen (Pintrich, Smith, Garcia, & McKeachie, 1993). In de uitleg die de leerlingen kregen staat dat met ‘de vaardigheid’ het goed kunnen beoordelen van internetbronnen wordt bedoeld. Voorbeeldstellingen uit de vragenlijst zijn:
1. Ik denk dat ik deze vaardigheid ook kan gebruiken bij andere vakken.
De leerlingen konden door middel van een zespunts Likertschaal aangeven in hoeverre ze het met deze stelling eens waren, één staat voor ‘mee oneens’ en zes voor ‘mee eens’. Een hoge score op taakwaardering betekent meer betrokkenheid in het leerproces en dus een hogere taakwaardering. Hierbij is 36 de hoogst mogelijke score. Aan de hand van de behaalde scores is de betrouwbaarheid van de vragenlijst is berekend met de Cronbach's Alpha. Hieruit kwam een interne consistentie van α = ,90, daaruit kan geconcludeerd worden dat de vragenlijst zeer betrouwbaar is (Field, 2009). In Bijlage 3 is de gebruikte vragenlijst opgenomen.
Epistemologische vragenlijst
In het onderzoek van Van der Eem zijn de leerlingen gevraagd de Epistemic Beliefs Questionnaire in te vullen (Stoel, Logtenberg, Wansink, Huijgen, van Boxtel, & van Drie, 2017). Deze vragenlijst is te vinden bij Bijlage 4. Aan de hand van vijftien vragen met een zespunts likertschaal gemeten in hoeverre een leerling een laag of hoog niveau heeft in epistemologische opvattingen. Één staat hier voor ‘mee oneens’ en zes voor ‘mee eens’. Voorbeeldstellingen zijn:
3. Als iets in je geschiedenisboek staat, dan weet je vrijwel zeker dat het waar is.
7. Een goed geschiedenisverhaal bespreekt verschillende opvattingen over het verleden. Een hoge score op deze vragenlijst betekent dat een leerling een hoger niveau heeft van epistemologische opvattingen, hierbij is de hoogst mogelijke score 90. Hoe hoger een leerling scoort, hoe genuanceerder hij denkt over geschiedenis. In het onderzoek van Van der Eem is uiteindelijk slechts één schaal meegenomen: nature of knowing, nuanced (N = 147, = .63).α De andere schalen hadden een lagere alpha. Een alpha van .63 wordt echter doorgaans niet acceptabel genoemd. Field (2009) beschrijft echter dat wat ‘acceptabel’ is, afhangt van het soort onderzoek. Tests in een oriënterende fase met een alpha van .50 kunnen al acceptabel zijn. Omdat deze vragenlijst nog volop in ontwikkeling is, wordt deze alpha als acceptabel gezien.
Procedure
De leerkrachten zijn gevraagd of zij met hun klas mee wilden doen aan dit onderzoek, de leerlingen hebben hier zelf geen keuze in gehad en moesten (wanneer er sprake was van
consent) allemaal mee doen. Wel zijn uit elke klas drie leerlingen gevraagd of zij mee wilden doen aan het hardop denken. Op de scholen 3 en 4 zijn drie leerlingen geobserveerd tijdens het hardop maken van de taak en de taakwaardering vragenlijst, op scholen 2 en 5 twee, school 6 vier en op school 1 zijn geen leerlingen geobserveerd (n = 14). Deze leerlingen zijn willekeurig gekozen op basis van hun cijfer voor geschiedenis: één van de 30% leerlingen met een lage score, één van de 30% met een middelmatig cijfer en één van de 30% met een hoog cijfer. Bij de selectie is rekening gehouden met de totale verhouding jongens en meisjes. Dit zijn uiteindelijk negen jongens en zes meisjes geworden.
De klassen zijn in totaal drie keer bezocht. De eerste keer hebben de leerlingen de epistemologische vragenlijst ingevuld. De tweede keer moesten zij de geschiedenis taak en bijbehorende taakwaardering vragenlijst maken. De laatste keer hebben zij de actuele taken gemaakt en de taakwaardering vragenlijst die daarbij hoorde. Bij aanvang van de les werden de benodigde spullen aan de leerkracht gegeven en zijn de onderzoekers met de groep hardop denkers uit de klas gegaan. Omdat de hardop denken sessies tegelijk waren met de klassikale opdrachten hebben de leerkrachten allemaal dezelfde voorleesinstructie gekregen. Deze moesten zij voorafgaand aan de taak voorlezen. In deze instructie werd het doel van het onderzoek uitgelegd en duidelijk gemaakt dat er geen foute antwoorden zijn en dat de leerlingen zo volledig mogelijk antwoord moeten geven. Hierin werd ook benoemd dat de gegevens van de leerlingen privé blijven. De leerkracht werd in deze instructie verteld dat hij geen vragen mag beantwoorden, tenzij het om verduidelijking van een woord gaat. Door alle klassen op deze manier dezelfde instructie te geven is voorkomen dat sommige leerlingen meer, of betere uitleg zouden krijgen dan anderen.
Na de instructie kregen de leerlingen willekeurig de verschillende versies van de bronnen- en antwoordenboekjes van de leerkracht uitgedeeld. Na het uitdelen zijn de
leerlingen zelfstandig en in stilte aan de slag gegaan met de taken. De tijd die het maken van de taken in beslag nam varieerde van 20 tot 50 minuten. Wanneer een leerling klaar was met de taken mocht hij deze bij de leerkracht inleveren en kreeg hij van de leerkracht de
taakwaardering vragenlijst. Leerlingen die vijf minuten voor het einde van de les nog niet klaar waren met de taken moesten hun taken inleveren en ook de taakwaardering vragenlijst invullen. Deze vragenlijst is bewust naderhand gegeven om te voorkomen dat leerlingen deze eerst zouden maken, of gestuurd zouden worden bij het maken van de taken doordat zij het
onderliggende doel zouden kunnen achterhalen. Leerlingen die eerder klaar waren kregen van de leerkracht instructie over wat ze mochten doen. Bij de meeste klassen moesten de
leerlingen iets voor zichzelf doen, bij enkele mochten zij echter eerder naar huis. De leerlingen die meededen met het hardop denken kregen ook allemaal dezelfde instructie. Elke leerling werd persoonlijk begeleid en het gesprek werd opgenomen. De begeleider mocht geen vragen stellen of beantwoorden, maar hij mocht wel de leerling aansporen hardop te denken. Zo mocht hij bijvoorbeeld wel zeggen: “waar denk je nu aan?”, of: “waar zoek je naar?”. Na afloop kregen alle leerlingen en leerkrachten een bedankje.
Data-analyse
De namen van de leerlingen zijn eerst vervangen voor getallen en hun gegeven antwoorden op de taken en vragenlijst zijn op de computer ingevoerd. De opnames van de leerlingen die meededen met hardop denken zijn getranscribeerd. Vervolgens zijn scores toegewezen aan de antwoorden van de leerlingen. De taken die de leerlingen moesten maken waren open vragen, dat betekent dat de leerlingen alle kanten op konden gaan in hun
antwoorden. Vanuit de literatuur waren er al enkele kenmerken benoemd waarop leerlingen konden letten bij het juist beoordelen van bronnen. Deze kenmerken werden beschreven in het CRAAP en CARS model. Deze zijn naast elkaar gelegd en samengevoegd. Bij het samenvoegen zijn enkele definities iets veranderd om overlap tussen kenmerken te
voorkomen. Daarnaast zijn de kenmerken naast de kenmerken gelegd die in de geschiedenis taken gebruikt zijn. In de geschiedenis taken zijn de volgende kenmerken gebruikt: positie van de maker, doel van de maker, informatie waarover de maker beschikt, de tijd waarin de bron is gemaakt en tot slot de representativiteit van de bron. Zie Tabel 1 voor de uiteindelijke zogenoemde A kenmerken met definitie.
Tabel 1
A kenmerken en de bijbehorende omschrijving
A Kenmerk Omschrijving
Credibility
(geloofwaardigheid van auteur)
Welke positie heeft de auteur? Wat is er over hem bekend en kan er contact opgenomen worden? De auteur of de organisatie achter de website kunnen daarnaast een bepaalde status hebben waardoor zij wel of niet als betrouwbaar gezien worden.
Accuracy
(nauwkeurig)
Wat is het doel van de schrijver? Wordt er expres informatie
achtergehouden, of wordt het van verschillende kanten belicht? Heeft de schrijver andere belangen? Is de gegeven informatie up-to-date?
Reasonableness
(Redelijk)
Hier wordt gelet op hoe de tekst eruit ziet. De tekst moet feitelijk geschreven zijn en de taal moet formeel zijn (geen overdreven taalgebruik of uitspraken)
Support
(ondersteuning)
Hoe komt de auteur aan zijn informatie? Hierbij worden de bronnen bekeken die gebruikt zijn of welke mensen er geïnterviewd worden. Hierbij is een bron niet betrouwbaar genoeg, hoe meer bronnen, hoe beter onderbouwd.
Daarnaast wordt hier onderzocht of de informatie overeenkomt met informatie van andere sites of niet (corroboration).
Wanneer een leerling in een antwoord één of meerdere van de bovenstaande kenmerken benoemde, maar verder niet echt uitleg gaf kreeg de leerling voor de opdracht één punt. Als een leerling een kenmerk benoemde en een duidelijke uitleg gaf kreeg hij twee punten. Het kwam ook voor dat een leerling een ander soort argument gaf, waarbij hij bijvoorbeeld alleen op de inhoud inging, of het type bron. Bij het gebruik van deze B kenmerken, of het verkeerd uitleggen van een A kenmerk kreeg een leerling 0 punten. Voor elke vraag konden de
leerlingen dus 0, 1 of 2 punten krijgen, waarbij een leerling een maximale score van 32 zou kunnen halen, maar een score van 16 zou al betekenen dat de leerling overal een juist antwoord gegeven zou hebben. De B kenmerken zijn inductief bij de geschiedenis taken
verzameld. Daarbij is het kenmerk “Face-Value” toegevoegd bij de beoordeling van de actuele taken. Zie Tabel 2 voor de complete lijst van gebruikte A en B kenmerken.
Tabel 2
Gebruikte A Kenmerken en B Kenmerken
A kenmerken B kenmerken
Credibility Scepticisme
Accuracy Blind vertrouwen
Reasonableness Persoonlijk argument
Support Inhoud
Type bron Context Face Value
Logica
Verkeerde informatie / of heeft vraag verkeerd begrepen
Geen argument Geen antwoord
Om te controleren of het geven van punten consequent gebeurd hebben twee beoordelaars elk 464 antwoorden van leerlingen gescoord. De
interbeoordelaarsbetrouwbaarheid is vastgesteld door de Cohen’s Kappa te berekenen. Deze kwam uit op een substantiële Kappa = ,79 (p = <,001), dit betekent dat het codeersysteem duidelijk afgebakend was en goed werkte.
Naast het geven van scores zijn ook de antwoorden van de leerlingen gecategoriseerd in één van de de A of B kenmerken. Zo is in beeld gebracht welke kenmerken leerlingen het vaakst gebruiken en ook of zij deze kenmerken op een juiste manier gebruiken. Wanneer een
leerling een kenmerk eens of vaker op een correcte manier heeft gebruikt, werd het kenmerk beoordeeld als juist gebruikt. Andersom geldt hetzelfde: wanneer een leerling een kenmerk één keer of vaker fout heeft gebruikt, werd het kenmerk als fout gebruikt beoordeeld.
Ondanks het feit dat de kenmerken duidelijke definities hadden, kan er toch sprake zijn van enige subjectiviteit. Om ook hier de interbeoordelaarsbetrouwbaarheid te kunnen
garanderen hebben een twee beoordelaars apart van elkaar 464 antwoorden gecategoriseerd. De Cohen’s Kappa is vastgesteld op een bijna perfecte overeenkomst van Kappa = ,84 (p = < ,001). Daarnaast zijn antwoorden van de leerlingen op de vraag waarop de letten bij het beoordelen van internetbronnen ook door twee beoordelaars gecategoriseerd. Van de antwoorden zijn 65 gecategoriseerd in A en B kenmerken, de overeenkomst tussen de beoordelaars is vastgesteld met behulp van de Cohen’s Kappa. De uitkomst hiervan kwam neer op een bijna perfecte overeenkomst van Kappa = ,90 (p = < ,001).
De leerlingen hebben ook aangegeven wat zij van het onderwerp vaccineren vinden en welk gevoel ze hierbij krijgen. De antwoorden zijn eerst open-, en vervolgens axiaal gecodeerd. Uiteindelijk zijn zes antwoordcategorieën ontstaan waaronder alle antwoorden geschaard konden worden: gevoel, interesse, veiligheid, persoonlijk, advies en overig. Daarna is nog genoteerd of de stemming van het antwoord in de categorie negatief, neutraal, positief of twijfelachtig was. Zo is vergeleken of leerlingen die positief naar het onderwerp kijken, ook beter scoren op de taken. Verder is de One-way Anova test gedaan om te ontdekken of er verschillende score uitkomsten zijn bij de diverse versies van de taken. Tot slot is met de Pearson Test onderzocht of er een correlatie is tussen de score op de taken, de score van epistemologische opvattingen en de mate van taakwaardering.
Resultaten Deelnemers
Van het oorspronkelijke aantal leerlingen (N = 153) zijn enkele leerlingen verwijderd uit de dataset. Leerlingen die geen één onderdeel gemaakt hebben en leerlingen die alleen de epistemologische vragenlijst ingevuld hebben, zijn uit de dataset verwijderd. Deze leerlingen hebben de essentiële onderdelen van dit onderzoek niet gemaakt en hun data zijn daarom niet bruikbaar. Daarnaast is één leerling verwijderd omdat zijn handschrift onleesbaar was. De
uiteindelijke N = 136 en bestond uit 65 jongens en 71 meisjes tussen de 14 en 16 jaar (M = 14,5; SD = 0,61). Van deze groep hebben veertien leerlingen de taken hardop denkend gedaan, deze zijn dus niet meegenomen in de schriftelijke beoordeling. Vanwege de omvang van dit onderzoek zijn de opnames en daarbij behorende taken die gemaakt zijn bij het hardop denken uiteindelijk niet meegenomen in dit onderzoek.
Kennis en mening over vaccineren
Voordat de leerlingen de taken moesten maken, werd hen gevraagd in te schatten wat zij al van het onderwerp ‘vaccineren’ wisten. De meeste leerlingen (61,9%) hebben aangegeven het ‘een beetje eens’ te zijn met de stelling dat ze veel over het onderwerp vaccineren weten. Enkelen waren het helemaal eens met de stelling (12,4%) of juist helemaal niet (8,8%). De rest (16,8%) was het een beetje oneens. Op een score van één tot vier lag het gemiddelde op 2,78 (SD = ,78). Over het algemeen waren de leerlingen dus redelijk zeker van hun eigen kennis met betrekking tot vaccineren.
Wat de leerlingen van het onderwerp ‘vaccineren’ vinden is met een open vraag
onderzocht. De antwoorden zijn gecategoriseerd in zes categorieën en onderverdeeld in een negatieve, neutrale, positieve of twijfelachtige stemming. In Bijlage 6 is een overzicht gegeven van alle mogelijke opties met waar mogelijk een citaat. Per categorie is bekeken hoeveel procent van de leerlingen een bepaalde stemming had (dus negatief, neutraal, positief of twijfelachtig) en hoeveel procent van alle leerlingen een antwoord heeft gegeven dat in deze categorie past, onafhankelijk van de stemming. In Tabel 3 is weergeven hoeveel leerlingen een antwoord hebben gegeven in een bepaalde categorie en hoeveel procent van deze leerlingen bijvoorbeeld negatief was binnen een bepaalde categorie. Hieruit is op te maken dat de meeste leerlingen een antwoord hebben gegeven in de richting van interesse, het grootste deel van deze leerlingen was positief (40,0%). Wanneer leerlingen ingingen op hun gevoel was dit echter vaker negatief dan positief. Over de veiligheid van vaccineren waren de meeste er zeker van dat het veilig is. Een leerling redeneerde dat als het niet veilig was, de overheid het ook niet aan zou bieden. Toch twijfelt meer dan de helft van deze leerlingen.
Tabel 3
Aantal leerlingen dat een mening gaf over een categorie en percentage binnen deze groep dat negatief, neutraal, positief of twijfelachtig was over de categorie
Categorie Negatief Neutraal Positief Twijfelachtig N
Gevoel 60,0% 32,0% 8,0% 0,0% 25 Interesse 10,5% 30,9% 40,0% 0,0% 55 Veiligheid 4,5% 0,0% 40,9% 54,5% 22 Persoonlijk 50,0% 0,0% 50,0% 0,0% 4 Advies 0,0% 18,8% 81,3% 0,0% 16 Overig 0,0% 66,7% 33,3% 0,0% 3
Uiteindelijk is een algemene stemming gekoppeld aan het antwoord van de leerlingen. Omdat de leerlingen open antwoorden gegeven hebben, hebben zij soms in één antwoord meerdere categorieën en stemmingen benoemd. Hier zijn bepaalde keuzes in gemaakt. Zo is bij een antwoord dat zowel positief als twijfelachtig is, ervoor gekozen het als positief te beoordelen. Een voorbeeld van een dergelijk antwoord is: “Een boeiend onderwerp, vaccineren zou wel veilig moeten zijn”. Positief telt ook meer mee dan neutraal: “Het is belangrijk, maar je moet echt zelf de keuze maken of je je kind laat vaccineren want iedereen denkt er anders over”. Bij beide leerlingen is het antwoord als ‘positief jegens vaccineren’ beoordeeld.
De grootste groep (39,4%) bestond uit leerlingen die positief stonden tegenover
vaccineren. Ze vonden het onderwerp belangrijk, interessant en raadden anderen aan zich wel te laten vaccineren. Een iets kleinere groep (27,5%) had niet echt een gevoel of mening bij dit onderwerp. Daarnaast is 23,9% negatief over het onderwerp, ze vinden het stom, saai, niet leuk en prikken doen volgens hen zeer. De kleinste groep (9,2%) geeft aan te twijfelen over of vaccineren nou wel of niet veilig is, ze vinden de contrasterende informatie maar
Taakscore
De scores op de taken zijn per leerling bij elkaar opgesteld, de minimaal behaalde score van 0 is door twee leerlingen gehaald en één leerling heeft de maximale score behaald van 19 (N = 122; M = 8,40; SD = 4,62). Met behulp van de Shapiro-Wilks W-test is gemeten of er sprake is van een normaalverdeling. Deze heeft aangetoont dat de nulhypothese van een normale verdeling, verworpen kan worden (W(112) = ,972; p = ,013). Volgens deze W-toets kan dus aangenomen worden dat de data niet normaal verdeeld is. Wanneer de skewness en kurtosis door hun standaard error gedeeld worden komen hier echter de volgende waardes uit: ,740 voor skewness en 1,853 voor kurtosis. Wanneer deze tussen de -1,96 en 1,96 vallen mag aangenomen worden dat er sprake is van een normaalverdeling. Ook de statistic van ,972 is hoger dan ,90 en dus op basis hiervan kan ook aangenomen worden dat het een
normaalverdeling is, ondanks het significante verschil. Daarom wordt er toch gekozen om gebruik te maken van parametrische testen.
De verschillende versies leken op het eerste gezicht geen grote verschillen in gemiddelde en standaarddeviatie te hebben (Groep A: (M = 8,08; SD = 4,68), Groep B: (M = 8,39; SD = 4,62) Groep C: (M = 8,73; SD = 4,67). Om te controleren of er geen significante verschillen zijn bij de taakscores van de diverse versies is een One-way Anova Test uitgevoerd. Hieruit bleek dat er geen significante verschillen zijn (F(2, 119) = ,188; p = ,829). Het maakt voor de totaalscore dus niet uit welke versie een leerling heeft gekregen.
Verder is gekeken of er verschillen zijn in de gemiddelde taakscores bij leerlingen met diverse meningen. In Tabel 4 is een overzicht gegeven van de statistieken van de taakscores, onderverdeeld in de vier stemmingen van de meningen van de leerlingen. Hierin is te zien dat leerlingen met een neutrale meningen gemiddeld iets hoger scoren dan de rest en dat
Tabel 4
Taak scores verdeeld over de stemming van de mening
Stemming N M Min Max SD
Negatief 21 8,24 1 15 3,714
Neutraal 22 9,32 1 15 4,303
Positief 37 8,22 1 15 5,067
Twijfel 9 8,67 0 15 4,899
Voor dat onderzocht kon worden of de verschillen significant zijn, is de Shapiro-Wilks W-test uitgevoerd om te controleren of aangenomen mag worden dat de data over de meningen van leerlingen normaal verdeeld is. Uit de W-test is gebleken dat er niet aangenomen kan worden dat de data normaal verdeeld zijn (W(108) = ,86; p = < ,001). Omdat er geen sprake is van een normaalverdeling, is de Kruskal-Wallis test gedaan om te ontdekken of er significante verschillen zijn tussen de behaalde taakscores bij de
stemmingen. Er is geen significant verschil gevonden tussen de diverse stemmingen, de p-waarde was namelijk groter dan 0,5 (H(3) = 1.04, p = .792). De mening van een leerling over het onderwerp heeft dus geen effect op hoe goed ze de taken maken.
Tot slot is bekeken of leerlingen met meer voorkennis significant anders scoren dan leerlingen met weinig voorkennis. De leerlingen die het oneens waren met de stelling (dus vinden dat ze weinig over het onderwerp weten) hebben gemiddeld 6,71 gescoord (N = 7; SD = 5,96). De leerlingen die het een beetje oneens waren hebben gemiddeld 7,94 behaald (N = 17; SD = 4,96). Weer iets hoger scoorden de leerlingen die het een beetje eens waren met de stelling, zij behaalden gemiddeld 8,21 punten (N = 61; SD = 4,11). Het hoogste gemiddelde haalde leerlingen die het eens waren met de stelling, zij scoorde gemiddeld 12,0 punten (N = 8; SD = 4,44). Er kan niet aangenomen worden dat de data normaal verdeeld zijn, de
p-waarde is namelijk kleiner dan ,05 (W(113) = 7,91; p = < ,001). Daarom is met behulp van de Kruskal-Wallis test bekeken of er significante verschillen zijn tussen de leerlingen die zeggen het oneens, een beetje oneens, een beetje eens, of eens te zijn met de stelling. Ook hier zijn geen significante verschillen gevonden (H(3) = 5,92; p = .116). Leerlingen met meer voorkennis scoren dus niet significant beter of slechter dan leerlingen met minder
voorkennis. Een verklaring hiervoor is dat de standaarddeviaties groot zijn en de subgroepjes klein.
Taakwaardering en epistemologische opvattingen
De vragenlijst over taakwaardering hebben 125 leerlingen ingevuld. De gemiddelde score van de leerlingen kwam uit op 4,19 met een standaarddeviatie van 1,29. De minimaal behaalde totaalscore is 1,17 en de maximale score is 6,83. In Tabel 5 is een overzicht te zien waarin de statistieken per stelling van de vragenlijst weergeven zijn. Stelling vijf heeft gemiddeld de minste punten behaald, gemiddeld staan de leerlingen neutraal tegenover de stelling dat ze de vaardigheid (het beoordelen van bronnen) leuk vinden. Het hoogste
gemiddelde is behaald bij stelling zes. De leerlingen vinden het dus wel enigszins belangrijk dat ze het toepassen van de vaardigheid goed begrijpen.
Tabel 5
Gemiddelde score per stelling van taakwaardering (Likertschaal 1-6; N = 125)
Stelling M SD
1. Ik denk dat ik deze vaardigheid ook kan gebruiken bij andere vakken. 4,47 1,609
2. Ik vind het belangrijk dat ik deze vaardigheid leer. 4,50 1,589
3. Ik ben geïnteresseerd in deze vaardigheid. 3,55 1,574
4. Ik denk dat het nuttig voor me is om deze vaardigheid te leren. 4,71 1,507
5. Ik vind het werken met deze vaardigheid leuk. 3,13 1,633
6. Ik vind het belangrijk dat ik het toepassen van deze vaardigheid goed begrijp.
4,78 1,565
Noot: ‘de vaardigheid’ is hier het beoordelen van internetbronnen.
Naast de vragenlijst over taakwaardering hebben 132 leerlingen bij de geschiedenistaak ook de vragenlijst over epistemologische opvattingen over geschiedenis ingevuld. De scores
die de leerlingen behaald hebben op de schaal van nature of knowing, nuanced, zijn per leerling bij elkaar opgeteld om zo de totaalscore per leerling te krijgen. Op deze schaal scoorden de leerlingen gemiddeld een 4,18 met een minimale score van 2,50 en een maximale score van 5,83 (SD = ,65). Dat betekent dat de leerlingen gemiddeld redelijk genuanceerd naar kennis kijken. In Tabel 6 is een overzicht te zien van de gemiddelde scores per stelling bij de epistemologische vragenlijst. Hierin is te zien dat de leerlingen het meest eens zijn met de stelling dat ze leren uitspraken met bewijzen te ondersteunen.
Tabel 6
Gemiddelde score per stelling over de epistemologische opvattingen (Likertschaal 1-6; N = 132)
Stelling M SD
1. Het is belangrijk dat je bij geschiedenis leert om uitspraken met bewijzen te ondersteunen.
4,51 1,188
2. Het is belangrijk dat je bij geschiedenis leert om te gaan met bronnen die een gebeurtenis allemaal op een andere manier beschrijven.
4,30 1,224
3. Een goed geschiedenisverhaal bespreekt verschillende manieren waarop je naar een gebeurtenis uit het verleden kunt kijken.
4,41 1,059
4. Geschiedenis is een geschikt vak om te leren hoe je onderzoek moet doen.
3,48 1,305
5. Geschiedenis houdt in dat je kritisch onderzoek doet naar het verleden. 4,23 ,948
6. Bij geschiedenis zijn er verschillende methoden om de betrouwbaarheid van geschiedenisverhalen te controleren.
4,22 1,072
Correlatie tussen taakscore, taakwaardering en epistemologische opvattingen
Om er achter te komen of er een verband is tussen de drie variabelen is een
Pearson-correlatie uitgevoerd. De pearson-correlatie kon uitgevoerd worden omdat uit de Shapiro-Wilks W-test bleek dat aangenomen mag worden dat de data normaal verdeeld zijn voor zowel de taakwaardering (W(125) = ,985; p = 0,181), als de epistemologische
opvattingen (W(118) = ,985, p = ,195). Voorafgaand aan de pearson-correlatie is met behulp van boxplots onderzocht of er zich outliers in de dataset bevonden. Bij de epistemologische vragenlijst is één outlier gevonden met een score van 2,5, deze is uit de dataset gehaald.
Voor het interpreteren van de correlatie is de richtlijn van Cohen (1998) aangehouden. Hij stelt dat een correlatie van .10 klein is, een correlatie van .30 is middelmatig en van .50 is groot. Uit de correlatieanalyse bleek dat alle variabelen een middelmatig, positieve correlatie hebben. Ze zijn ook allemaal significant aan elkaar gecorreleerd, want de p-waardes zijn kleiner dan ,05. De correlatie tussen de score op epistemologische opvattingen en mate van taakwaardering was het hoogst, bijna sterk te noemen (r(108) = ,47; p = < ,001). Leerlingen met meer genuanceerde opvattingen zijn dus positiever over de taak. De verklaarde variantie is hier 22,1%. Verder is tussen de mate van taakwaardering en de taakscore een iets
zwakkere, middelmatige correlatie gevonden (r(94) = ,33; p = ,001). Leerlingen die
positiever over de taak zijn, halen ook hogere scores. De verklaarde variantie is hier 10,9%. Tot slot is een zelfde soort middelmatige correlatie gevonden tussen de epistemologische opvattingen en de taakscore (r(102) = ,30; p = ,002). De verklaarde variantie is hier iets minder, 9,0%.
Gebruikte kenmerken bij het beoordelen van de betrouwbaarheid
Na het maken van de taken hebben de leerlingen opgeschreven waar zij op letten bij het beoordelen van de betrouwbaarheid van bronnen. De gegeven antwoorden zijn ingedeeld in A en B kenmerken. Hieruit werd duidelijk credibility (70,3%) en support (43,2%) door de meeste leerlingen genoemd zijn. De andere twee A kenmerken, accuracy (33,1%) en
reasonableness (12,7%) zijn minder vaak genoemd. Naast de A kenmerken heeft 29,7% van de leerlingen ook B kenmerken genoemd als goede kenmerken om bronnen mee te
beoordelen. De meest benoemde B kenmerken waren inhoud (42.5 %) en face-value (27.5 %). In Tabel 7 zijn enkele voorbeelden gegeven van de antwoorden van leerlingen en het bijbehorende A en meest voorkomende B kenmerk.
Tabel 7
Voorbeelden bij gecategoriseerde kenmerken
Kenmerk Leerling antwoorden
Accuracy “Waarom is het geschreven?” “Wanneer is het geschreven?” “Alle kanten bekijken”
Credibility “Je moet informatie over de auteur hebben”
“Ook is het handig om zelf de website te kunnen mailen of bereiken als je vragen heb”
“Of ze er verstand van hebben” “Een officiële site”
Reasonableness “De feiten”
“Klinkt het realistisch wat ze zeggen?”
“Of de auteur geen hele uitgesproken mening heeft”
Support “Verwijzingen”
“Weergeven onderzoek” “Reacties en bronvermelding”
Inhoud “De informatie zelf”
”Wat voor info staat in de tekst”
Face value “Of het er reëel uitziet “
“Je kijkt hoe de site er uitziet, betrouwbaar of niet“
Verder is onderzocht welke kenmerken de leerlingen hebben gebruikt tijdens het maken van de taken. Leerlingen gebruikten in de taken gemiddeld 8,45 keer A kenmerken (SD = 3,60; min = 0; max = 15) en 5,90 keer B kenmerken (SD = 2,99; min = 0; max = 13). Daarnaast is gekeken of de A kenmerken juist gebruikt zijn of niet. In Tabel 8 is te zien hoeveel procent van de leerlingen een kenmerk genoemd heeft, hoeveel procent dit kenmerk ook daadwerkelijk gebruikt heeft en in de laatste twee kolommen staat hoeveel procent van de leerlingen het kenmerk tenminste één keer goed, of tenminste één keer fout gebruikt heeft. Hierin is te zien dat leerlingen vaker een kenmerk gebruiken dan dat ze het kenmerk benoemd hebben. Ook gebruiken meer leerlingen de kenmerken goed dan fout.
Tabel 8
Kenmerken genoemd, gebruikt en tenminste één keer goed gebruikt en tenminste één keer fout gebruikt
Kenmerk Genoemd Gebruikt Goed Fout
Accuracy 33,1% 99,2% 91,6% 72,0%
Credibility 70,3% 81,7% 94,9% 34,7%
Reasonableness 12,7% 24,2% 62,1% 58,1%
Support 43,2% 95,8% 93,9% 48,2%
Wanneer een leerling een fout antwoord gaf, maar wel een A kenmerk gebruikt had, heeft de leerling het kenmerk wel goed geïnterpreteerd, maar niet goed toegepast. Een leerling schreef bij taak 3.2a: “Er staat nergens wie het geschreven heeft”. Dit antwoord is gecategoriseerd als credibility, maar heeft geen punten gekregen. Achter de taak stond
namelijk de naam van de schrijver en wat informatie over hem. Bij reasonableness werden de meeste fouten gemaakt omdat feiten voor meningen werden aangezien. Bij taak 4.2d schreef een andere leerling bijvoorbeeld: “Dit zijn vooral meningen die in de tekst staan van
acteurs”.
Van alle B kenmerken zijn inhoud (27,3%) en face-value (25,7%) het meest genoemd en het vaakst gebruikt. Bij taak 3.1b gaat iemand op de inhoud van de tekst in : “Het wordt vastgesteld bij een leeftijd van 1-3 jaar”. Een ander benoemd bij dezelfde taak enkel het face-value argument: “Het ziet er betrouwbaar uit”. Naast deze twee kenmerken werd ook type bron 24 keer gebruikt, een voorbeeld van een argumentatie van dit kenmerk is van een leerling bij taak 2.2c: “Officiele website in YT kanaal is wel betrouwbaar”. Deze leerlingen vonden dat een youtube kanaal wel betrouwbaar is, ten eerste omdat het dan diverse kanalen heeft en omdat, zo zeggen de leerlingen, je gezicht dan in beeld is. Iemand redeneert:
“[Omdat] Je daar iemand in beeld krijgt en doordat je iemand ziet kan je diegene vertrouwen, door gezichtsuitdrukking”.
Wat verder nog interessant is om te onderzoeken is hoeveel diverse A kenmerken leerlingen genoemd en gebruikt hebben (zie Tabel 9). Hierin wordt duidelijk dat de meeste leerlingen (40,7%) twee A kenmerken benoemd hebben en 60,8% heeft er drie gebruikt.
Gemiddeld hebben leerlingen 1,89 kenmerken genoemd (SD = ,93) en 3,01 gebruikt (SD = ,67).
Tabel 9
Procentueel diverse genoemde en gebruikte kenmerken
Diverse A Kenmerken 0 1 2 3 4
Genoemd 6,8% 26,3% 40,7% 23,7% 2,5%
Gebruikt 0% 1,7% 16,7% 60,8% 20,8%
Verschillen tussen scholen
Bij deze studie zijn zes diverse scholen onderzocht. Deze scholen hebben niet alleen verschillende soorten leerlingen, maar bijvoorbeeld ook diverse geschiedenismethodes en didactiek. Eventuele verschillen tussen de scholen zouden mogelijk verklaard kunnen worden door één van deze variabelen. Ook zou een school die het extreem goed of slecht doet ten opzichte van andere het gemiddelde kunnen beïnvloeden. Hieronder is een overzicht te vinden van de verschillen tussen de scholen op de onderzochte onderdelen uit deze studie.
Ten eerste is onderzocht of er verschillen zijn tussen de scholen bij de totale gemiddelde taakscore, een overzicht van deze statistieken is te zien in Tabel 10. Hierin is duidelijk te zien dat School 3 gemiddeld een stuk lager scoort dan de andere scholen en dat school vier
