Beperkingen en aanbevelingen voor vervolgonderzoek

Hoewel er op basis van het huidige onderzoek interessante resultaten zijn gevonden en er zorgvuldig te werk is gegaan, kunnen er wel een aantal kanttekeningen worden geplaatst bij het onderzoek. Zo is dit onderzoek uitgevoerd en afgenomen via het online onderzoeksprogramma Qualtrics. Dit heeft als voordeel dat relatief gemakkelijk veel mensen kunnen meewerken aan een onderzoek. De link naar het onderzoek is online gezet, waarna er vanuit de onderzoeker weinig actie ondernomen hoefde te worden in tegenstelling tot wanneer het in een onderzoeksruimte zou worden afgenomen. In dat geval dienden de respondenten naar een zaal te komen, waardoor het wellicht niet mogelijk was geweest om 250 respondenten te laten meewerken aan het onderzoek.

Het nadeel van het online afnemen van een onderzoek is dat iedere respondent wellicht in een andere omgeving zit. De respondenten konden meewerken aan het onderzoek via hun telefoon, iPad, laptop of computer. Dit kan een effect hebben gehad op de manier waarop het is ingevuld. Wanneer bijvoorbeeld iemand het onderzoek heeft ingevuld in de trein, kan het zo zijn geweest dat hij afgeleid werd door zijn omgeving of het snel moest afmaken omdat hij/zij bijna zijn eindbestemming bereikte en de trein uit moest. Voor vervolgonderzoek zou het wellicht raadzamer zijn om het onderzoek in een onderzoeksruimte af te nemen, zodat er controle is op de omgeving en er een experimentele omgeving wordt gecreëerd. Echter, hierbij moet wel rekening gehouden worden met dat het aantal respondenten wellicht lager komt te liggen.

Een ander nadelig effect van het online afnemen van het onderzoek via Qualtrics lijkt ook zichtbaar bij de beantwoording free recall-vraag. Sommige respondenten hebben deze vraag niet geheel serieus ingevuld of zelfs helemaal niets ingevuld. Wanneer je je bewust bent van het feit dat je meedoet aan een experiment, waarbij een onderzoeker in dezelfde ruimte aanwezig is, zal dit wellicht minder voorkomen. Daarbij zou je er dan ook voor kunnen kiezen om de respondenten niet alles te laten noteren wat ze hebben onthouden, maar het te laten vertellen. Stil blijven, vergelijkbaar met het niet noteren van informatie, lijkt dan een stuk onwaarschijnlijker.

Wellicht zou ook een andere soort vraag ook kunnen meten in hoeverre iemand iets onthouden heeft, bijvoorbeeld een cued recall-vraag waarbij sleuteltermen worden gegeven of een recognition-vraag waarbij je informatie voorlegt aan de respondent die foutief of goed kan zijn (Bos-Aanen et al., 2001). Hierbij voorkom je wellicht ook dat de respondent niks invult, omdat er als het ware handvatten worden geboden. Een vraag als ‘Noteer zoveel mogelijk wat je zojuist hebt onthouden’ kan mensen afschrikken. Dit werd zichtbaar in de hoeveelheid onafgemaakte vragenlijsten. De respondenten die de enquête niet hebben afgemaakt, bleken vaak bij deze vraag af te haken, terwijl ze daarvoor al wel nauwkeurig de tekst hadden doorgelezen en hadden ingevuld wat ze van de tekst vonden aan de hand van stellingen (leesbaarheid en aantrekkelijkheid). Wanneer, zoals zojuist geopperd, ervoor gekozen wordt om het onderzoek af te nemen in een onderzoeksruimte zou bij deze vraag ervoor gekozen worden om door te vragen, zodat je zoveel mogelijk informatie uit de respondent krijgt.

Daarbij is de free recall-vraag geanalyseerd op basis van de gehele tekst. Er is geanalyseerd hoeveel informatie-eenheden de respondent had genoteerd op een schaal van 1 tot 55. Hierbij is geen onderscheid gemaakt tussen de informatie van de gemarkeerde delen en de informatie van niet gemarkeerde informatie. Vervolgonderzoek zou ook de mate waarin respondenten de informatie hebben onthouden kunnen analyseren aan de hand van puntsgewijze opsommingen en de vetgedrukte woorden. Is het zo dat respondenten kernbegrippen die vetgedrukt zijn beter onthouden dan wanneer de woorden niet

vetgedrukt zijn gemarkeerd? Hetzelfde geldt voor puntsgewijze opsommingen: onthouden respondenten opsommingen beter wanneer ze puntsgewijs zijn gepresenteerd in plaats van in de doorlopende tekst? Deze vragen zouden in vervolgonderzoek uitgezocht kunnen worden.

Een andere kanttekening kan geplaatst worden bij de analyse van de afhankelijke variabelen. In het huidige is de mate waarin de tekst onthouden en begrepen is apart van de leesbaarheid en aantrekkelijkheid geanalyseerd. Er zouden twee causale richtingen mogelijk zijn met betrekking tot de waardering. Enerzijds zou de waardering het onthouden en begrijpen van een tekst kunnen beïnvloeden (Shraw & Lehman, 2001; Harp & Mayer, 1997). Wanneer de lezer positief is over de tekst zou de lezer meer moeite willen doen om de informatie uit de tekst te onthouden en begrijpen. Anderzijds kan het begrip en het onthouden ook de waardering beïnvloeden (Kamalski et al., 2004). Hoe beter de lezer de tekst begrijpt, des te positiever zal de lezer de tekst beoordelen.

Aangezien het huidige onderzoek op zichzelf al omvangrijk is, is ervoor gekozen om niet te kijken in hoeverre de waardering en begrijpelijkheid/onthoudbaarheid correleren. Toch zou dit voor vervolgonderzoek interessant kunnen zijn om te zien of dit een effect heeft. Wel is er in dit onderzoek rekening gehouden met het feit dat dat waardering en begrijpen en onthouden elkaar kunnen beïnvloeden met betrekking tot de volgorde van de vragen. Er is gekozen om eerst de waardering te bevragen en daarna de free recall-vraag en begripsvragen te stellen. Het zou namelijk zo kunnen zijn dat het niet weten van een antwoord op een vraag de lezer kan frustreren, waardoor hij de tekst minder waardeert. Het huidige onderzoek is qua volgorde daarom ook vergelijkbaar aan het onderzoek van Kamalski en anderen (2004). Een andere beperking is dat lezerskenmerken, zoals motivatie, voorkennis en interesse, zijn meegenomen als controlevariabelen. De drie lezerskenmerken zijn bevraagd aan de hand van één stelling voorafgaand aan het onderzoek. Er zijn, op een paar hoofdeffecten na, geen interactie-effecten gevonden met betrekking tot de onthoudbaarheid, begrijpelijkheid, leesbaarheid en aantrekkelijkheid. Dit terwijl voorgaand onderzoek wel effecten vonden van voorkennis (Van Silfhout, 2014; Singer, 1990; Baldwin et al., 1985), interesse (Schiefele & Krapp, 1988; Baldwin et al., 1985) en motivatie (Guthrie, 1999; Gottfried, 1990; Reynolds & Shirey, 1988)

Wellicht zou vervolgonderzoek op het gebied van deze drie lezerskenmerken uitgebreider kunnen bevragen in hoeverre ze geïnteresseerd en gemotiveerd zijn om de tekst te lezen en in hoeverre ze voorkennis hebben. Daarbij zou niet alleen vooraf moeten worden bevraagd wat ze denken te weten en in hoeverre ze geïnteresseerd zijn, maar ook na het lezen van de tekst. In dit onderzoek konden ze bijvoorbeeld weinig denken te weten over organisatiekunde, maar hadden ze wel van het bestaan van het 7

S’en model kunnen afweten. Het uitgebreider en nauwkeuriger bevragen van de lezerskenmerken zou er wellicht voor kunnen zorgen dat er dan wel een effect wordt gevonden.

In het ideale geval, zoals in het onderzoek van Land (2009), zou onderscheid kunnen worden gemaakt tussen zwakke en sterke lezers. Hoewel zwakke lezers ook wel vaak in verband worden gebracht met zwakke leerders (Van Silfhout, 2014), hoeft dit niet altijd zo te zijn. Door vooraf de leesvaardigheid van de respondenten te testen, waaruit blijkt of ze zwakke of sterke lezers zijn, kan dit als onafhankelijke variabele een rol spelen in het onderzoek. Hetzelfde geldt ook voor voorkennis, interesse en motivatie. Wanneer net als in het onderzoek van Baldwin en anderen (1985) onderscheid wordt gemaakt in respondenten met low prior knowledge versus high prior knowledge en low topic interest versus high topic interest. Op basis hiervan kunnen wellicht sterkere conclusies worden verbonden en kunnen deze lezerskenmerken meegenomen worden als onafhankelijke variabelen. Ook kan hierbij, net als tussen het onthouden en begrijpen van een tekst en het waarderen van een tekst, een verband zijn. Iemand met veel voorkennis, kan het onderwerp interessanter vinden en dus gemotiveerder zijn om te gaan lezen. Op basis van dit onderzoek kunnen deze conclusies niet worden getrokken en is uitgebreider onderzoek nodig. Ook kunnen er een aantal kanttekeningen worden geplaatst bij het materiaal. Het vinden van geschikt onderzoeksmateriaal bleek best lastig. Het moet een tekst zijn waarover de meeste mensen geen voorkennis hebben, maar het moet ook niet te moeilijk zijn dat het onbegrijpelijk wordt. Aan de andere kant moet het materiaal ook niet te makkelijk zijn, zodat het effect van tekstmarkeringen op de begrijpelijkheid en onthoudbaarheid wordt veroorzaakt door andere factoren. Er is gekozen voor twee teksten van ongeveer 600 woorden. Er is gekozen voor een relatief korte tekst met het oog op de duur van het onderzoek. Een langere tekst zou ook een langere duur van het onderzoek veroorzaken, waardoor wellicht minder mensen bereid zijn mee te werken aan het onderzoek. Hierdoor konden ook slechts vier begripsvragen worden gesteld. Het stellen van meerdere begripsvragen zou wellicht een nog genuanceerder beeld schetsen van de mate waarin tekst begrepen is. Wellicht zouden de verschillen dan nog duidelijker zichtbaar worden tussen de verschillende tekstcondities.

Hoewel het materiaal van het huidige onderzoek niet te moeilijk en niet te makkelijk leek te zijn, bleken sommige respondenten het een erg lastig artikel te vinden. Zo werd bijvoorbeeld het 7 S’en model opgesplitst in twee soorten S’en, de harde en zachte S’en. Deze werden echter niet op volgorde uitgelegd, maar door elkaar. Dit was in de oorspronkelijke tekst al het geval, maar wellicht kan het ervoor hebben gezorgd dat respondenten dit verwarrend en onlogisch vonden. Het zou daarom raadzaam zijn om het materiaal voor vervolgonderzoek te laten pre-testen door respondenten met veel en weinig voorkennis. Op deze manier kunnen eventuele struikelblokken en lastige punten eerder aan het licht komen, dan na het onderzoek waarbij de respondent vertelt wat hij/zij ervan vond.

Daarbij zou ook tijdens deze pre-test kunnen worden gevraagd wat de respondenten de kernbegrippen vinden. Op basis hiervan kunnen de daadwerkelijke kernbegrippen worden vastgesteld. In het huidige onderzoek zijn de kernbegrippen op basis van de originele tekst vastgesteld door de onderzoek. Achteraf bleken respondenten sommige vetgedrukte woorden verwarrend te vinden. Dit had wellicht voorkomen kunnen worden door een pre-test uit te voeren onder een aantal lezers.

Vervolgonderzoek zou daarnaast ook ander materiaal kunnen onderzoeken. In het huidige onderzoek is een tekst met een reading to learn-doel centraal (Schriver, 1997). Hierbij is gebleken dat de combinatie van puntsgewijze opsommingen en vetgedrukte woorden over het algemeen een positief effect hebben. Vervolgonderzoek zou ook het effect van tekstmarkeringen in de vorm van puntsgewijze opsommingen en/of vetgedrukte woorden in een ander tekstgenre, bijvoorbeeld teksten met een ander doel, zoals reading to do of reading to learn to do (Schriver, 1997), kunnen onderzoeken. De resultaten van het huidige onderzoek zijn te generaliseren naar korte informatieve teksten met een reading to learn-doel en niet naar teksten met andere learn-doelen.

In het huidige onderzoek stonden twee tekstmarkeringsvormen, vetgedrukte woorden en puntsgewijze opsommingen, centraal. Waar de resultaten uit het huidige onderzoek suggereren dat puntsgewijze opsommingen en vetgedrukte woorden elkaar lijken te versterken, lijkt het ook zo te zijn dat puntsgewijze opsommingen gemiddeld net iets hoger scoren met betrekking tot de begrijpelijkheid, onthoudbaarheid en leesbaarheid. Voor vervolgonderzoek zou het daarom interessant zijn om het effect van puntsgewijze opsommingen nogmaals onder de loep te nemen. Door uitgebreider onderzoek zouden deze verschillen wellicht significant kunnen zijn. Ook zou het interessant kunnen zijn om het effect van andere individuele tekstmarkeringen te testen en daarbij ook andere combinaties van tekstmarkeringen te maken. Op deze manier kan er een uitgebreid beeld worden geschetst welke tekstmarkeringen welk effect hebben en welke tekstmarkeringen elkaar zouden kunnen versterken.

Daarnaast stonden in het huidige onderzoek markeringen die door de auteur zijn aangebracht centraal. Mede op basis van de reactie van sommige respondenten, dat bijvoorbeeld bepaalde vetgedrukte woorden verwarrend leken te zijn of onlogisch leken te zijn, lijkt het ook interessant om te kijken wat het effect is van markering die aangebracht wordt door de lezer. Hierbij kan gedacht worden aan highlighting, waarbij de lezer de achtergrond van de tekst een kleur geeft met een markeerstift (Fowler & Barker, 1974). Er is al veel onderzoek gedaan naar het effect van tekstmarkeringen door de auteur, maar het effect van tekstmarkeringen aangebracht door de lezer lijkt nog een relatief onontgonnen terrein. Vervolgonderzoek zou ook hier meer aandacht aan kunnen besteden door te kijken wat het effect is van lezersmarkering op het onthouden en begrijpen van de tekst.