Verdeling naar geletterdheidscursus A1/A2
Bij de groep laaggeletterden is er sprake van een onevenwichtige verdeling wat betreft geletterdheidsniveau. Van de laaggeletterde respondenten die deel hebben genomen aan het onderzoek volgden 6 respondenten een cursus voor niveau A1 en de overige 31 een cursus voor niveau A2. Naar verhouding zijn er dus meer respondenten die al op een hoger niveau functioneren. Helaas kan op basis van de IALS resultaten geen inzicht verkregen worden hoe de verdeling van geletterdheid is binnen de Nederlandse bevolking. Het laagste IALS niveau, niveau 1, is te vergelijken met niveau A2 (Bohnenn et al., 2004). Hierbij is niveau A1 reeds inbegrepen. Op basis van de onevenwichtige verhouding in de groep is het aannemelijk dat de gemiddelde prestaties van de laaggeletterden lager zullen uitvallen wanneer een meer evenwichtige steekproef uit de doelgroep wordt genomen. Dus de prestaties van de laaggeletterden in dit onderzoek zullen gemiddeld beter zijn dan de gemiddelde prestaties van de gehele doelgroep. Ook de verdeling van de laaggeletterden over de condities was bij dit onderzoek niet evenwichtig. Alle A1-cursisten zijn, bij toeval, terecht gekomen in de hertaalde tekstconditie. Zij bleken significant lager te presteren dan de A2-cursisten. Dit had een negatieve impact op de gemiddelde prestaties van de hertaalde tekstconditie waardoor aanvankelijk geen effect aanwezig leek tussen de condities. Pas toen in de analyse geletterdheidscursus werd meegenomen als covariaat, kwam naar voren dat er wel beter gepresteerd werd in de hertaalde tekstconditie. Op voorhand viel te verwachten dat niveau van geletterdheid een grote impact zou hebben op het begrip. Respondenten van verschillende geletterdheidsniveau hadden daarom bewust evenwichtiger over de condities verdeeld moeten worden.
Hooggeletterd
Bij de steekproef is er sprake van een mogelijke invloed van de manier waarop de geletterde respondenten zijn geworven. Deze respondenten zijn geworven via het netwerk van de
onderzoeker, hetgeen tot gevolg heeft gehad dat in plaats van geletterden er gemiddeld genomen sprake is van een groep hooggeletterden. Van hooggeletterden kan aangenomen worden dat ze meer en vaker teksten lezen die gemiddeld genomen ook van hoger niveau zijn. Ze zijn dus erg ervaren met het gebruiken van teksten. Hierdoor zal men effectiever en efficiënter zijn in het bestuderen van teksten en het geven van antwoorden op vragen over teksten. Dit maakt dat het vergelijken van resultaten op deze aspecten een groter contrast zal geven tussen de groepen. Er kan hierdoor niets gezegd worden over de prestaties van de laaggeletterden ten opzichte van de doorsnee bevolking. In de resultaten heeft de “hooggeletterdheid” ook geleid tot een plafondeffect bij het meten van begrip.
Onderzoekssetting & spanning
Ondanks dat geprobeerd is om een zo realistisch mogelijke situatie te creëren, is het feit dat er sprake was van een onderzoekssetting van invloed geweest op de resultaten. Dit is voornamelijk het geval voor de laaggeletterde respondenten. Men was zich er erg bewust mee te doen aan een onderzoek. Een aantal gaf ook aan het idee te hebben alsof er een toets moest worden gemaakt. Een laaggeletterde respondent vroeg tijdens het onderzoek: “Krijg je hier ook een diploma van?” Er is ook door de onderzoeker geconstateerd dat de laaggeletterde respondenten over het algemeen vrij gespannen waren en bang om fouten te maken. Ook het thema van het onderzoek, “iets met de Belastingdienst”, zorgde voor spanning. Door deze spanning is het goed mogelijk dat de
respondenten niet zo ontspannen met de website werkten als men in een normale setting zou doen. Dit kan van invloed zijn geweest op de prestaties. De gevolgen van de spanning kunnen zijn dat respondenten het eerder opgeven, het idee hebben een correct antwoord te moeten geven of minder tijd nemen om informatie rustig te bestuderen. Ook de aanwezigheid van de onderzoeker, die plaatsnam naast de respondent, versterkte voor sommigen het gevoel van spanning. Wellicht dat er sprake zou zijn van een reëeler beeld van de prestaties wanneer het onderzoek zou worden afgenomen door iemand waarmee men bekend is, bijvoorbeeld een docent. Bij de geletterde respondenten was de spanning veel minder een probleem. Ook was de spanning lager omdat het de meeste geletterde respondenten de onderzoeker kenden. De geconstateerde spanning bij de geletterde respondenten resulteerde veelal in prestatiedrang, het goed willen doen, in plaats van terughoudendheid of onzekerheid.
Yeah-saying
Een ander probleem dat door de onderzoeker is geconstateerd bij het afnemen van het
tevredenheidsinstrument was de neiging van de respondenten om overal positief dan wel negatief op te antwoorden. Ook wel “yeah-/nay-saying” genoemd. De respondenten luisteren dan niet echt naar de vragen die gesteld worden maar antwoorden, in navolging van voorgaande antwoorden, steeds met een positieve dan wel negatieve reactie. De respondenten maakten niet bij elke gestelde vraag zelf een kritische overweging naar aanleiding van de eigen mening, maar zetten de
positieve dan wel negatieve trend voort. Dit geeft een vertekend beeld van de daadwerkelijke tevredenheid. Om deze reden is er in het onderzoek naast de vragenlijst ook op een kwalitatieve wijze gekeken naar tevredenheid. Dit is echter geen garantie dat de daadwerkelijke tevredenheid van de respondenten goed gereflecteerd wordt in de resultaten.
Hardop denken methode
Tot slot het gebruik van de methode hardop denken. Bij de groep laaggeletterden heeft de methode nauwelijks resultaten opgeleverd. Ondanks dat de respondenten is uitgelegd wat de bedoeling was en men gestimuleerd is om hardop te blijven denken, was dit vaak teveel gevraagd. De stress van deelname aan het onderzoek en het moeten volbrengen van een taak (bijvoorbeeld het vinden van een pagina) vergde al zoveel van de aandacht en concentratie dat de respondenten niet in staat waren ook nog hardop hun gedachten te verklanken. Zeker in combinatie met het lezen van teksten werd vaak het hardop denken achterwege gelaten. Na de respondenten een paar keer te hebben gestimuleerd hardop te denken werd, wanneer hier geen tot nauwelijks gehoor aan werd gegeven, gestaakt hen te stimuleren om het stressniveau te laten zakken. In een onderzoek als dit is het gebruik van de methode hardop denken daarom minder geschikt voor het vergaren van kwalitatieve gegevens. Wel werd soms door respondenten tekst voorgelezen, hetgeen de onderzoeker inzicht gaf in de technische leesvaardigheid van de respondenten en woorden die problemen opleverden.