1
Jaar 2015-2016
“De invloed van taakmoeilijkheid en capaciteiten van respondenten
op de kwaliteit van zelfrapportage”
Masterproef Nadia Amazian
Onder leiding van Harrie Vorst
2
Abstract
Een antwoordstijl is de tendens om systematisch op dezelfde wijze te reageren op een vragenlijst, ongeacht de inhoud (Baumgartner & Steenkamp, 2001). Deze studie onderzocht het effect van cognitieve belasting op de mate van enkele antwoordstijlen. Een
vereenvoudiging van de responstaak, in dit geval een dyslexie- zelfrapportage- vragenlijst (Tamboer & Vorst, 2012), leidt tot een vermindering van de cognitieve belasting (Krosnick 1991, 1996). Dit is onderzocht met behulp van een veldexperiment met twee aselect
samengestelde groepen: leerlingen die de eenvoudige lijst voorgelegd kregen en leerlingen die de moeilijkere lijst kregen in te vullen. De verschillen in cognitieve belasting en de mate van gebruik van antwoordstijlen van de twee groepen is vastgesteld. Verder zijn de resultaten tussen de volgende natuurlijke groepen onderzocht: (1) allochtonen en autochtonen, (2) lagere groepen (vijf en zes) en hogere groepen (zeven en acht), (3) dyslectische en niet– dyslectisch leerlingen. Verwacht werd dat de cognitieve belasting hoger zou zijn bij: de experimentele conditie, de allochtone, de lagere en de dyslectische groep. De respondenten (N= 498) zijn allen basisschoolleerlingen uit groep vijf tot en met groep acht. In de
experimentele conditie kregen de respondenten de vragenlijst met moeilijke zinnen en in de controle conditie kregen zij de vragenlijst met gemakkelijke zinnen. Er werden geen
significante verschillen gevonden in cognitieve belasting tussen de twee condities. De manipulatie was indirect geslaagd. Ook is gebleken dat er significante verschillen bestaan in cognitieve belasting tussen de lagere klassen en de hogere klassen, dyslectische en niet– dyslectisch respondenten en allochtonen en autochtonen. Daarnaast is gebleken dat de lagere en hogere klassen en dyslectische en niet- dyslectische respondenten significant verschillen op antwoordstijl ARS. Allochtonen vertonen een grotere mate van antwoordstijl ERS dan autochtonen. De verwachtingen zijn deels bevestigd. Mogelijk reageren kinderen anders dan volwassenen op beïnvloedende factoren, zoals vermoeidheid, tijdens het invullen van
3 zelfrapportages. Eventueel vervolgonderzoek zou zich kunnen richten op de manier waarop kinderen reageren op cognitieve belasting tijdens het invullen van een zelf- rapportage.
4
Inhoudsopgave
1
Inleiding
5
1.1 Antwoordstijlen
6
1.2
Cognitieve belasting
8
1.2.1 ´Aangepaste deelname’
10
1.3
Cross- culturele verschillen
11
2
Methode
13
-Onderzoeksgroep
13
3
Materialen
14
-Hypothesen
22
-Procedure
27
4
Resultaten
28
5
Discussie
42
-Beperkingen van het onderzoek
46
5
Inleiding
Het is algemeen bekend dat zelfs de geringste variaties in de manier waarop een attitudevraag gesteld wordt, de antwoorden significant kan veranderen. Onderzoeken naar attitudes en opvattingen gaan vaak uit van vragenlijsten die op zelfrapportage zijn gebaseerd. Hierbij wordt verondersteld dat de antwoorden uitsluitend berusten op de inhoud van de items (Baumgartner en Steenkamp, 2001). Reacties worden echter ook beïnvloed door de
antwoordstijl. Een antwoordstijl, ofwel een ‘Response style’, is de neiging om systematisch op dezelfde manier te reageren op een vragenlijst, ongeacht de inhoud (Baumgartner & Steenkamp, 2001). Een voorbeeld hiervan is een respondent die tijdens het invullen van een vragenlijst bijna altijd de middelste antwoordmogelijkheid kiest (De Pelsmacker & Van Kenhove, 2006).
Dat het veel moeite kost voor de respondent om de vragenlijst in te vullen betekent dat de respondent cognitief belast is. Respondenten kunnen namelijk cognitief belast worden tijdens het invullen van een vragenlijst, waardoor ze vaak kiezen voor een manier die zo weinig mogelijk moeite kost. Dit gemakzuchtig gedrag heeft als gevolg dat respondenten van
gevarieerde antwoordstijlen gebruikmaken tijdens het invullen van een vragenlijst (Krosnick, 1991). Daarnaast spelen de factoren capaciteit en motivatie ook een rol bij deze
antwoordstijlen (Krosnick, 1996). Hoe hoger de capaciteit en motivatie van de respondent, hoe lager de belasting tijdens het invullen van een vragenlijst. Tevens is uit onderzoek van Krosnick (1991,1996) gebleken dat een lager opleidingsniveau samenhangt met lagere cognitieve capaciteit. Respondenten met een lager opleidingsniveau ervaren eerder en hogere mate van cognitieve belasting. Daarnaast is gebleken dat respondenten gemakzuchtig gedrag vertonen als de belasting hoog is (Krosnick, 1991, 1996).Het meten van gemakzuchtige respons kan door het evalueren van de taak aan het eind van de vragenlijst (bijv. de
6 wellicht voorkomen van gemakzuchtig responsgedrag is mogelijk door het vereenvoudigen van de responstaak.
Deze onderzoeksscriptie tracht aan te tonen dat een vereenvoudiging van de
responstaak, met als gevolg een verminderd cognitieve belasting, tot een beperking van het gebruik van antwoordstijlen leidt. Omwille van praktische redenen richten we ons tot
kinderen tussen 8 en 12 jaar. De respondenten zijn allen basisschoolleerlingen van groep vijf tot en met groep acht in Nederland.
In het eerste hoofdstuk over cognitieve belasting, capaciteit en motivatie, worden er voorgaande studies beschreven. Tevens wordt er in dit hoofdstuk beknopt ingegaan op de verschillende antwoordstijlen die in verschillende studies worden beschreven. Daarnaast bespreekt dit hoofdstuk een van de bestaande theorieën over het ontstaan van antwoordstijlen, te weten de theorie van Krosnick (1991, 1996). Vervolgens zal het onderliggende onderzoek worden besproken. Daarvan zal eerst de procedure worden besproken en vervolgens zullen de resultaten worden geanalyseerd. Afgesloten wordt met een conclusie, aanbevelingen en een aanzet tot discussie.
1.1 Antwoordstijlen
Vragenlijsten worden ontwikkeld om de opinie van een respondent te achterhalen. De antwoorden die respondenten geven op een vragenlijst geven echter niet altijd de werkelijke opinie weer. Antwoordstijlen creëren sterkere of zwakkere correlaties tussen betrokken factoren en deze verbanden geven soms onrealistische resultaten (Baumgartner & Steenkamp, 2001). Deze vertekening in de resultaten is te wijten aan twee soorten fouten: toevalsmatige fouten en systematische fouten (Weijters, 2006). Toevalsmatige fouten zorgen voor een instabiele vertekening van de data (de fouten zijn immers toevallig ontstaan). Deze
7 vertekening is niet stabiel over de tijd. Dit is wel het geval met systematische fouten. Het zijn de antwoordstijlen die deze fouten veroorzaken.
In de afgelopen jaren is het duidelijk geworden dat het van cruciaal belang is om meer kennis te vergaren over de antwoordstijlen. Er zijn verschillende theorieën die zich wijden aan de oorzaken en factoren die antwoordstijlen tot stand brengen. Verschillen in
antwoordstijl kunnen dis positioneel zijn - dat wil zeggen dat er factoren meespelen die betrekking hebben tot individuele aspecten zoals leeftijd, geslacht of persoonlijkheid. Ook kunnen ze het gevolg zijn van situationele factoren, dat wil zeggen, aspecten die betrekking hebben tot kenmerken zoals het formaat van de responsschaal, de dubbelzinnigheid van vragen, of de tijdsdruk (Baumgartner en Steenkamp, 2001).
Er zijn verschillende theorieën ontwikkeld die de onderliggende mechanismes bij het ontstaan van antwoordstijlen trachten te beperken of te elimineren (Weijters et al., 2010; Baumgartner en Steenkamp, 2001; Paulhus, 1991, Podsakoff et al., 2003).
Baumgartner en Steenkamp (2001) onderscheiden zeven verschillende antwoordstijlen. De meest gebruikte antwoordstijlen zijn de bevestigende antwoordstijl (ARS) en de niet- bevestigende antwoordstijl (DARS). De eerstgenoemde betreft de neiging om het (bij voorbaat) oneens te zijn met items, al zijn die inhoudelijk verschillend en zorgen de
antwoorden voor tegenspraak. Het tegenovergestelde geldt bij ARS, namelijk de neiging om het eens te zijn met items,die inhoudelijk verschillend zijn. NARS is het verschil tussen ARS en DARS. NCR is het kiezen van de antwoorden op een vragenlijst die gebaseerd zijn op toeval. Response Range (RR) is de neiging om een nauwe of wijde reeks
antwoordmogelijkheden te selecteren (Hui en Triandis, 1985). De extreme antwoordstijl (ERS) is de neiging om de meest extreme antwoordmogelijkheden op de schaal te kiezen. Tot slot is er de middle response stijl (MRS), die betreft de neiging om de middelste
8 antwoordmogelijkheid op de schaal te kiezen. Dit onderzoek richt zich enkel op de
bevestigende en extreme antwoordstijl. Daarnaast concentreert dit onderzoek zich op de impact van culturele achtergronden op het ontstaan van antwoordstijlen. Dit omdat een van de hypotheses hier een effect van veronderstelt.
1.2 Cognitieve belasting
Krosnick (1991, 1996) is een van de onderzoekers die stellen dat de cognitieve belasting invloed heeft op het ontstaan van antwoordstijlen. Hij stelt dat respondenten vaak de
onderzoekers tevreden willen stellen maar met zo weinig mogelijk moeite. Mensen proberen er vermoedelijk voor te zorgen dat hun winsten boven een minimale drempel van
aanvaardbaarheid blijven (Simon, H., 1957). Respondenten worden vaak gevraagd om zich enorm in te spannen voor een vragenlijst. De beloning is echter vaak heel klein. Een
deelname aan een onderzoek vergt cognitieve, emotionele en sociale inspanning terwijl de opbrengsten van het deelnemen aan een onderzoek niet direct zichtbaar zijn en het
voornamelijk gaat om intrinsieke beloningen.
Hieronder volgt een schema met zowel de cognitieve, emotionele en sociale inspanning, als de opbrengsten.
Kosten Opbrengsten
Cognitief Nadenken over vragen en
antwoorden;
Besluitvaardigheid en uitdrukkingsvaardigheid; tijdsduur van het onderzoek
Nadenken over nieuwe problemen; goede
antwoorden kunnen geven; kunnen praten/ schrijven naar aanleiding van de vragen
Emotioneel Onzekerheid over soort
onderzoek/vragen; Angst om tekort te schieten; angst voor verlies van anonimiteit
Angsten en onzekerheden overwinnen; goede prestaties zijn bevredigend (te
verwachten beloningen zijn bevredigend)
9 het onderzoek;
onduidelijkheid over betrouwbaarheid
onderzoeker; uitstel van geplande activiteiten
(denkbeeldige) onderzoeker een plezier doen; bijdrage leveren aan wetenschap en maatschappij
Zoals met elk proces zijn er kosten en baten aan verbonden. Elk individu kan op elk moment oordelen de balans tussen kosten en opbrengsten. Zodra de respondent ziet dat de kosten hoger liggen dan de opbrengsten heeft het effect op de motivatie van de respondent. Daarnaast hangt de cognitieve capaciteit ook samen met de motivatie, als de cognitieve capaciteit laag is dan wordt de respondent cognitief belast en gaat de motivatie geleidelijk ook omlaag.
Cognitieve belasting komt in veel situaties voor, bijvoorbeeld in een omgeving met veel afleiding en onrust. Onderzoekers worden geacht hier rekening mee te houden, door bijvoorbeeld een rustige omgeving te creëren voor de respondenten (Cabooter, 2010). Onderzoekers moeten de items van de vragenlijsten ook zo duidelijk en eenvoudig mogelijk verwoorden. Ambigue woorden en/of zinnen kosten meer cognitieve inspanning en zorgen ervoor dat respondenten zwaarder belast worden. Hier is Krosnick (1991, 1996) ook van mening dat gemakzuchtig responsgedrag gemeten en voorkomen kan worden. Het meten van gemakzuchtig respons kan door het evalueren van de taak aan het eind van de vragenlijst (moeilijkheid, saaiheid e.d), het bepalen van antwoordneigingen en het meten van responstijden. Het voorkomen van gemakzuchtig responsgedrag is mogelijk door het stimuleren en motiveren van de respondent en het vereenvoudigen van de responstaak. De responstaak vereenvoudigen is mogelijk op verschillende manieren, bijvoorbeeld door de woorden te vervangen door simpele synoniemen en door lange zinnen in te korten (Krosnick, 1991., Lenzner, Kaczmirek, & Galesic, 2011).
10 1.2.1 ‘Aangepaste deelname’- theorie
Volgens het Cannell’s Process Theorie doorlopen respondenten tijdens het beantwoorden van vragen vier fasen: het verstaan/lezen en begrijpen van de vraag, ophalen van relevante feiten uit het geheugen, beoordelings- en beslissingsproces (welke antwoorden passen) en
formulering of keuze van het antwoord (Cannells, Miller and Oksenberg, 1981). Het doorlopen van deze fasen kost een zekere hoeveelheid inspanning (Krosnick, 1991). Nog meer moeite kost het om te komen tot een adequate interactie tussen de capaciteiten en motivatie van de respondent en de kenmerken van de vragenlijst. Wanneer respondenten worden geconfronteerd met een veeleisende taak wat betreft informatieverwerking, besteden ze vaak alleen de inspanning die nodig is om hun keuzes aanvaardbaar en bevredigend te maken voor de onderzoeker en zichzelf (Simon, H., 1957). Deze aangepaste deelname wordt met ‘Satisficing’ omschreven door Krosnick (1991, 1996) en de term is geleend van Herbert Simon (1957). In het Nederlands kan hiervoor de term 'gemakzuchtig' gebruikt worden.
Volgens Krosnick, (1996,1991) bestaan er drie vormen van gepaste deelname, namelijk de ‘optimizing, ‘weak satisficing’ en de ‘strong satisficing’. De eerstgenoemde is een zorgvuldige en alles omvattende uitvoering van de vier fasen van Cannell’s Proces Theorie (Cannell, Miller en Oksenberg, 1981). Dit betekent dat de respondent gemotiveerd deelneemt aan het onderzoek en geconcentreerd is om bij elke vraag te achterhalen wat er van hem/ haar wordt gevraagd. De volgende stap is zo veel mogelijk relevante informatie bij elkaar te krijgen om de juiste beslissing te nemen, bijvoorbeeld over welk antwoord het meest van toepassing is. De ‘weak satisficing’ is het doorlopen van alle vier fasen, maar minder zorgvuldig en minder omvattend. De eerste redelijke antwoordmogelijkheid op de vraag kiezen of voor bevestiging van de stelling kiezen zijn voorbeelden van ‘weak satisficing’ gedrag. Bij ‘Strong satisficing’ worden niet alle stappen doorlopen en gekozen voor het antwoord waarvan verondersteld wordt dat het voldoet voor de onderzoeker zonder intern
11 psychologisch proces. Dit kan zich erin uiten dat er bijvoorbeeld geen onderscheid wordt gemaakt in beoordelingen van verschillende objecten of dat willekeurige antwoorden worden gekozen zonder dat er wordt nagedacht.
De kans dat een respondent aangepaste deelname zal vertonen (‘satisficing’) tijdens het beantwoorden van een vraag is een functie van drie factoren: de eerste is de inherente moeilijkheid van de taak waarmee de respondent wordt geconfronteerd; de tweede is het vermogen van de respondent om de taak uit te voeren. De taakmoeilijkheid neemt toe bij complexe opdrachten, die zorgt ervoor dat er meer cognitieve inspanning nodig is. Dit heeft als gevolg dat de respondent vermoeid raakt en dit zorgt er weer voor dat de motivatie afneemt. De capaciteit van de respondent hangt af van de mate van bekwaamheid en
bekendheid met het onderwerp en opleidingsniveau (Krosnick, 1991 aangehaald in Vorst, H., 2012). Een hoge cognitieve inspanning leidt zodoende tot gemakzuchtig gedrag (Santanen, Briggs & de Vreede, 2002).
Naar aanleiding van het voorgaande wordt in deze scriptie onderzocht of de mate van cognitieve belasting effect heeft op de manier waarop er gereageerd wordt op een responstaak zoals het vertonen van antwoordstijlen. Tevens wordt er onderzocht of opleidingsniveau/ ontwikkelingsniveau effect heeft op de mate van antwoordstijlen tijdens het invullen van de vragenlijst.
1.3 Cross-culturele verschillen
Uit voorgaande studies is gebleken dat er cross-culturele verschillen bestaan in de mate waarin individuen antwoordstijlen vertonen (Greenleaf, 1992; Hui & Trandis, 1985; Schaninger & Buss, 1986; Triandis, 1994, Cheung & Rensvold, 2000). Cultuurverschillen kunnen de manier waarop items worden geïnterpreteerd beïnvloeden ( Riordan &
12 2012) heeft onderzoek gedaan naar antwoordstijlen onder de Marokkaanse en Turkse
bevolking in België. Hieruit is crosscultureel gebleken dat de antwoorden die gegeven zijn bij zelfrapportage- vragenlijsten, en ingevuld zijn door zowel Marokkanen als Turken,
verschillend moeten worden geïnterpreteerd. Op het gebied van crosscultureel
antwoordstijlen is er weinig onderzoek gedaan in Nederland. In het onderzoek van Morren et al. (2012) zijn de antwoordstijlen onderzocht van Turken, Marokkanen, Antillianen en Surinamers. Deze studie onderzocht echter opvattingen gerelateerd aan culturele
onderwerpen. Er werden attitudes op drie gebieden gemeten, namelijk attitudes ten opzichte van Nederland, attitudes gerelateerd aan het bevestigen van eigen traditionele familiewaarden en attitudes op het gebied van autonomie van kinderen binnen de familie. In dit onderzoek is er geen onderscheid gemaakt tussen autochtonen en allochtonen. De bevindingen uit het onderzoek van Moors (2004) (aangehaald in Morren et al., 2012) suggereren dat mensen uit minderheidsgroeperingen (o.a. Marokkanen en Turken) zowel hoger scoren wat betreft een extreme antwoordstijl als een bevestigende antwoordstijl, zeker als de vragen betrekking hebben op persoonlijke informatie of op eigen ervaring. Daarnaast is gebleken dat
Marokkanen eerder geneigd zijn extreme antwoordstijl te hanteren. Ditzelfde is gebleken bij Turken in Nederland.
Verschillende antwoordstijlen zorgen ervoor dat de validiteit van vragenlijsten wordt bedreigd. Het is van groot belang de verschillen tussen allochtonen en autochtonen te
onderzoeken en te achterhalen of er niet kritischer gekeken moet worden naar de gehanteerde normtabellen bij het interpreteren van behaalde scores op zelf- rapportage vragenlijsten van allochtonen.
13
Methoden
Dit hoofdstuk is een beschrijving van het kwantitatieve onderzoek dat werd uitgevoerd. Dit onderzoek beoogt te achterhalen in welke mate cognitieve belasting invloed heeft op drie gebruikte antwoordstijlen.
1. Onderzoeksgroep
De respondenten van dit experiment zijn leerlingen van acht tot en met twaalf jaar van basisscholen in Amsterdam en omstreken. De onderzoeksgroep is niet volgens een steekproefmodel tot stand gekomen. De werkwijze wordt meestal aangeduid als een
gemakssteekproef (“convenience sample obtained by accidental, non-probability sampling”). Een groep scholen die gemakkelijk bereid was deel te nemen aan het eind van het schooljaar. De onderzoeksgroep is vooral bepaald door de belangstelling van scholen voor de in het vooruitzicht gestelde diagnose van dyslexie bij alle deelnemende leerlingen. De scholen hebben de deelnemende klassen aangewezen. Soms is, op aanwijzingen van de school, actieve toestemming van ouders gevraagd en soms passieve toestemming. Het onderzoek is goedgekeurd door de Commissie Ethiek van de Universiteit van Amsterdam afdeling Sociale Wetenschappen.De deelnemende scholen werden geïnformeerd dat deelname aan het
onderzoek geheel op vrijwillige basis is, mochten een aantal leerlingen tijdens het onderzoek willen stoppen dan mag dat. Als zij geïnteresseerd waren kregen zij een informatiebrochure (zie bijlage). Een informed consent werd ondertekend door de directie van de deelnemende scholen en door de Universiteit van Amsterdam.
14 2. Materialen
2.1. Vragenlijst moeilijk en gemakkelijk
De Dyslexie vragenlijst voor kinderen (Tamboer en Vorst, 2015) en de vereenvoudigde dyslexie vragenlijst zijn de gebruikte materialen. De bestaande lijst wordt geschikt geacht voor leerlingen van het VWO of ouder. De aangepaste vragenlijst wordt hier de
‘gemakkelijke’ vragenlijst genoemd en de oorspronkelijke lijst de ‘moeilijke’ vragenlijst. De validiteit van de aangepaste vragenlijst zal niet opnieuw worden getest aangezien de items zodanig zijn veranderd dat de betekenis van de items gelijkwaardig zijn met de items van de oorspronkelijke vragenlijst. Bij vergelijking van beide lijsten bestaat de gemakkelijke vragenlijst uit 25% minder woorden en zijn vele moeilijke woorden vervangen door eenvoudige.
Een voorbeeld van een vereenvoudigd item:
‘De klanken van een buitenlandse taal zijn voor mij moeilijk te herkennen’ (12 woorden) is vereenvoudigd naar een zin met 10 eenvoudige woorden ‘Ik vind het moeilijk om een andere taal te herkennen’.
De voorgeschreven antwoordmogelijkheden zijn in beide versies gelijk gehouden (drie, vier, vijf en vooral zeven verbale antwoordmogelijkheden zonder gebruik van getallen.
De inhoud van de vragenlijsten is hieronder samengevat.
2.2. Boekje 1 Wat heb ik met taal?
Boekje 1 bestaat uit de volgende onderwerpen (schema 1). Het boekje is in drie delen
opgedeeld: (1) gegevens over de leerling, (2) over taalbeheersing in het algemeen en (3) over specifieke taalvaardigheden. Een vierde deel (Tot slot) gaat over de emotionele en cognitieve
15 belasting van de leerling door het beantwoorden van enkele open vragen over ziekte en ruim 100 vragen met zeven voorgeschreven antwoorden over taal (zie ook 2.4).
Schema 1 - Inhoud van boekje 1: Wat heb ik met taal?
Deel Titel N items N antwoordmogelijkheden
Deel 1 Gegevens over jou 17 met 3, 4, 5 antwoorden
Deel 2 Taal algemeen 50 met 7 antwoorden
Deel 3 Taalvaardigheden
over lezen 8 met 7 antwoorden
over schrijven 8 met 7 antwoorden
over vertellen 8 met 7 antwoorden
over verstaan 8 met 7 antwoorden
over het overschrijven 8 met 7 antwoorden
over dictees maken 8 met 7 antwoorden
over voorlezen 8 met 7 antwoorden
Tot slot Hoe voel je je nu? 12 met 5 antwoorden
Totaal aantal items in boekje 1 136
Enkele van de gebruikte antwoordmogelijkheden zijn hieronder weergegeven.
Boekje 1, Deel 1, Item 6 en 12
6. Heb je problemen met leren op school?
Zet een kruisje in het rondje voor het antwoord dat je kiest. O ja, heel veel
O ja, redelijk veel O alleen soms O nee, meestal niet O nee, helemaal niet
12. Heb je een bijzondere ziekte?
O ja
O daar twijfel ik over
O nee
16 9. Ik hoor het meteen als iemand uit het buitenland komt.
O Dat past helemaal NIET bij mij. O Dat past in heel zwakke mate bij mij. O Dat past in zwakke mate bij mij. O Dat past soms wel, soms niet bij mij. O Dat past in sterke mate bij mij. O Dat past in zeer sterke mate bij mij. O Dat past helemaal bij mij.
Boekje 1, Deel 3 over schrijven, item 11
11. Als ik iets schrijf, haal ik geen letters door elkaar (bijv. "eo" i.p.v. "oe").
O Dat past helemaal NIET bij mij. O Dat past in heel zwakke mate bij mij. O Dat past in zwakke mate bij mij. O Dat past soms wel, soms niet bij mij. O Dat past in sterke mate bij mij. O Dat past in zeer sterke mate bij mij. O Dat past helemaal bij mij.
Een groot deel van de items bestaat uit een stam en zeven antwoordmogelijkheden (78%). Veel spreiding in de antwoordmogelijkheden is noodzakelijk vanwege de subtiliteit van het onderwerp: omgang met taal.
2.3. Boekje 2 Wat doe ik als ik moet leren?
Boekje 2 “Wat doe ik als ik moet leren” bestaat uit drie delen (4-6) en een slotparagraaf. In Leren is denken (deel 4) komen vier algemene onderwerpen aan de orde die van belang zijn voor het leren in het basisonderwijs: leren en onthouden, snelheid en moeilijkheid, aandacht en concentratie en het organiseren van leren. In deel 5 komen tien specifieke voorbeelden van leren aan de orde. De vragen vormen een 10x6-facetontwerp tien leertaken en zes
leerstrategieën. De leertaken zijn weergegeven in Schema 2 en de leerstrategieën zijn: (a) visualiseren, (b) hardop herhalen, (c) begrijpen, (d) samenhang aanbrengen en (e) herhalen.
17 Schema 2 - Inhoud van boekje 2: Wat doe ik als ik moet leren?
Deel Titel N items N antwoordmogelijkheden
Deel 4 Leren is denken
over leren en onthouden 20 met 7 antwoorden
over Snelheid en Moeilijkheid 20 met 7 antwoorden over Aandacht en Concentratie 20 met 7 antwoorden over Leren en Organiseren:
bedenken hoe je iets gaat doen 20 met 7 antwoorden Deel 5 Wat doe ik als ik iets moet leren?
Onderwerp
1 Een nieuw woord onthouden. 6 met 3 antwoorden
2 Jaartallen &
telefoonnummers onthouden. 6 met 3 antwoorden
3 Een woord spellen. 6 met 3 antwoorden
4 Een moeilijke rekensom maken 6 met 3 antwoorden 5 Een lange en moeilijke tekst lezen 6 met 3 antwoorden 6 Iets ingewikkelds aan iemand vertellen 6 met 3 antwoorden 7 Het leren van steden en landen 6 met 3 antwoorden
8 Het leren van taalregels 6 met 3 antwoorden
9 Het opzeggen van de tafels van 1-10 6 met 3 antwoorden 10 Het schrijven van een moeilijke tekst 6 met 3 antwoorden Deel 6 Bijzondere eigenschappen en situaties
6A. Eigenschappen voor leren 39 met 3, 4, 5, 6 antwoorden 6B. Andere dingen in jouw leven 11 met 2-10 antwoorden
Tot slot Hoe voel je je nu? 12 met 5 antwoorden
Totaal aantal items in boekje 2 202
In deel 6 komen twee paragrafen voor betreffende moeilijke eigenschappen die het leren kunnen verstoren: o.a. dyslexie, ADHD, ADD, Asperger, handvoorkeur, problemen met taal (lezen, schrijven, spellen), rekenen, e.d. Een vierde deel (Tot slot) gaat over de emotionele en cognitieve belasting van de leerling door het beantwoorden van ruim 200 vragen met drie of zeven voorgeschreven antwoorden over leren op school (zie ook 2.4).
18 Boekje 2, Deel 4, aandacht en concentratie, item 47.
47. Ik vind het makkelijk om de weg te vinden. O Dat past helemaal NIET bij mij. O Dat past in heel zwakke mate bij mij. O Dat past in zwakke mate bij mij. O Dat past soms wel, soms niet bij mij. O Dat past in sterke mate bij mij. O Dat past in zeer sterke mate bij mij. O Dat past helemaal bij mij.
Boekje 2, Deel 5, nieuw word onthouden, item 1a.
1a. Als ik een nieuw woord moet onthouden, dan probeer ik het woord voor me te zien.
O ja
O soms
O nee
Boekje 2, Deel 6A, Eigenschappen voor leren, item 2 en 6. 2. Ben je dyslectisch?
O nee
O ik twijfel hierover O ja, in zwakke mate O ja, in sterke mate
6. Hieronder kan je aangeven of je weet of je familieleden dyslectisch zijn.
vader O nee moeder O nee
O ik twijfel hierover O ik twijfel hierover
O ja O ja
O niet van toepassing O niet van toepassing
Een groot deel van de items bestaat uit een stam en zeven antwoordmogelijkheden (40%) en met drie antwoordmogelijkheden (30%). Veel spreiding in de antwoordmogelijkheden is noodzakelijk vanwege de subtiliteit van het onderwerp: omgang met taal. Anderzijds zijn sommige oordelen moeilijk te schatten voor kinderen en volstaan drie mogelijke antwoorden.
19 2.4. Meting van de emotionele en cognitieve belasting door het vragenlijstonderzoek
Aan het eind van elk boekje is een paragraaf “Tot slot, Hoe voel je je nu?” opgenomen met daarin 12 items naar de emotionele en cognitieve belasting van de leerling na het invullen van de items van dat boekje. In beide paragrafen zijn de items identiek (zie Schema 3).
Schema 3 - Vragen betreffende emotionele en cognitieve belasting
1. Zit je nu in een rustige klas?
2. Heb je de vragenlijst met of zonder pauzes gemaakt?
3. Ben je tijdens het maken van de vragenlijst gestoord door anderen? 4. Voel je je op dit moment moe?
5. Voel je je op dit moment ontspannen?
6. Hoe belangrijk is voor jou de uitslag van deze vragenlijst? 7. Heb je de vragen goed of slordig beantwoord?
8. Vond je het invullen van de vragenlijst gemakkelijk of moeilijk? 9. Vond je het invullen van de vragenlijst leuk of vervelend? 10. Vond je het invullen van de vragenlijst interessant of saai? 11. Denk je dat je jezelf goed kan beoordelen?
12. Vind je het belangrijk om te weten waar je wel en niet goed in bent?
De gebruikte antwoordmogelijkheden van de beide vragen over emotionele en cognitieve belasting zijn hieronder weergegeven.
4. Voel je je op dit moment moe? O helemaal niet moe O niet zo moe O een beetje moe O redelijk moe
O heel moe
De motivatie en capaciteit van elke leerling worden na elke boekje items gemeten aan de hand van een korte vragenlijst (zie bijlage). Dit is van belang om de evaluatie van
20 gemakzuchtig gedrag te monitoren. De correlatie tussen belasting van responstaak op de mate van gemakzuchtig gedrag, die weer invloed heeft op het gebruik van antwoordstijlen, wordt onderzocht. De cognitieve belasting wordt gemeten aan de hand van de scores op de
evaluatieblok na boekje 1 en tevens na boekje 2. Dit korte vragenlijst meet de motivatie en capaciteit van de leerlingen.
De cognitieve belasting is in twee manieren te gebruiken in deze onderzoeksdesign, namelijk als onafhankelijke variabele en als een afhankelijke variabele. Cognitieve belasting als onafhankelijke variabele heeft het totale aantal leerlingen onderverdeeld in drie groepen: :’Laagste’, ‘Midden’ en ‘Hoogste’. De leerlingen in groep ‘Laagste’ zijn het minst belast tijdens het invullen van de vragenlijst. En de leerlingen in groep ‘Hoogst’ zijn het meest belast gedurende het onderzoek. Cognitieve belasting als afhankelijke variabele is een optelling van de ruwe scores van de eerste evaluatieblok en de tweede evaluatieblok.
De controleconditie wordt gemanipuleerd door de oorspronkelijke vragenlijst te
vereenvoudigen om daardoor de belasting van de responstaak te verlagen. Dit zou betekenen dat als de manipulatie goed lukt de cognitieve belasting lager zal zijn bij de controle- groep dan in de experimentele groep. De afhankelijke variabele in dit onderzoek is de mate van gebruik van antwoordstijlen (vertekening) en de moderators die invloed hebben op motivatie en capaciteit. Hoe moeilijker de responstaak hoe hoger de cognitieve belasting. Hoe hoger de belasting van de responstaak, hoe vaker respondenten gebruik maken van antwoordstijlen. Hoe hoger de motivatie van de respondent, hoe lager de belasting van responstaak. En hoe hoger de capaciteit des te lager de belasting van de responstaak.
21 2.5. Meting van de antwoordneigingen
In deze scriptie wordt de invloed van cognitieve belasting op de antwoordstijlen ARS, MRS en ERS onderzocht. Er zijn vier categorieën gemaakt om het effect van cognitieve belasting te onderzoeken. Namelijk de experimentele groep vs. controle groep, allochtonen vs.
autochtonen, lagere klassen vs. hogere klassen en tot slot de dyslectisch vs. niet- dyslectisch. De formules van Baumgartner en Steenkamp (2001) worden gebruikt om de antwoordstijlen te meten. In Tabel 1.1 is een overzicht gemaakt van de gebruikte formules.
Antwoordstijl Formule
ARS aantal (7)+aantal(6)+aantal(5)
MRS aantal (4)
ERS aantal (1) + aantal (7)
Voor de berekening van de ARS wordt het aantal antwoordmogelijkheid ‘Dat past helemaal bij mij’ (7) opgeteld bij het aantal antwoordmogelijkheid ‘Dat past in zeer sterke mate bij mij’ (6) en bij het aantal antwoordmogelijkheid ‘Dat past in zeer sterke mate bij mij’(5). Voor de berekening van de ERS worden het aantal antwoordmogelijkheid ‘Dat past helemaal niet bij mij’(1) en ‘Dat past helemaal bij mij’(7) bij elkaar opgeteld. Voor de berekening van MRS wordt het aantal antwoordmogelijkheid ‘Dat past soms wel bij mij, soms niet bij mij’ (4) geteld.
22 2.6. Hypothesen
In dit onderzoek worden de volgende factoren onderzocht die invloed hebben op de mate van antwoordstijlen tijdens het invullen van een zelf- rapportage vragenlijst: cognitieve belasting, opleidingsniveau, afkomst en dyslexie.
Effect van cognitieve belasting
De onderstaande hypothese wordt geformuleerd aan de hand van de ‘aangepaste deelname’- theorie van Krosnick (1991, 1996). Deelnemers die een moeilijke versie van de vragenlijst moeten invullen, moeten meer cognitieve inspanning leveren dan deelnemers die de
vereenvoudigde versie invullen. Dit zorgt er tevens voor dat de deelnemers in de
experimentele conditie (moeilijke zinnen) meer antwoordstijlen vertonen dan de deelnemers in de controle conditie (makkelijke zinnen).
Hypothese 1:
• Respondenten in de experimentele- conditie vertonen meer vertekening (ARS,
MPR en ERS) dan respondenten in de controle- conditie.
Verwacht wordt dat de mate van cognitieve belasting significant verschild tussen de experimentele conditie en de controle- conditie. Immers in de controle conditie krijgen de respondenten een vereenvoudigde versie van de zelf- rapportage vragenlijst die aangeboden wordt in de experimentele conditie. Het verschil in cognitieve belasting zal ook verschil maken in de mate van antwoordstijlen tussen beide groepen.
Effect van opleidingsniveau
De onderstaande hypothese is gebaseerd op het eerder genoemde onderzoek van Krosnick (1991, 1996). Deelnemers uit de lagere klassen, 5 en 6, hebben een lager
23 ontwikkelingsniveau, een kortere concentratiespan en minder kennis dan deelnemers uit groepen zeven en acht. Hierdoor hebben deelnemers uit de lagere klassen een lagere capaciteit dan de deelnemers uit de hogere klassen.
Hypothese 2:
• Jonge respondenten (groep vijf en zes) vertonen meer vertekening (ARS, MPR
en ERS) dan oudere respondenten (groep zeven en acht).
Er wordt verwacht dat de deelnemers van groepen vijf en zes meer cognitief belast worden, tijdens het invullen van de vragenlijst, dan de deelnemers uit de groepen zeven en acht. De deelnemers uit groepen vijf en zes vertonen hierdoor meer antwoordstijlen dan deelnemers uit groepen zeven en acht.
Effect van cross- culturele verschillen
De onderstaande hypothese is gebaseerd op de bevindingen van Morren et. al. waarin duidelijk wordt dat allochtonen een sterke neiging hebben tot het vertonen antwoordstijlen tijdens het invullen van zelfrapportage- vragenlijsten. Er wordt verwacht dat allochtonen meer antwoordstijlen vertonen dan autochtonen.
Hypothese 3:
• Allochtonen vertonen meer vertekening (ERS) dan autochtonen.
Tevens wordt er verwacht dat allochtone deelnemers meer vertekening vertonen dan
gelijkwaardige autochtone deelnemers in verband met taalvaardigheid. Deze verwachting is gebaseerd op de bevindingen van Morren et al. (2012) waarin duidelijk wordt dat allochtonen
24 een sterke neiging hebben tot het vertonen van extreme antwoordstijl (ERS) tijdens het invullen van zelfrapportage- vragenlijsten.
Effect van dyslexie
Deze hypothese is gebaseerd op dezelfde bevindingen als bij hypothese 1, namelijk van de ‘aangepaste deelname’- theorie van Krosnick (1991, 1996). Dyslexie bemoeilijkt het lezen van items tijdens een onderzoek. Het kost dyslectische mensen meer moeite om te lezen dan mensen zonder dyslexie. Dit zorgt ervoor dat de cognitieve belasting hoger is bij de
dyslectische respondenten dan bij niet- dyslectische respondenten. Dit kan ervoor zorgen dat dyslectische respondenten meer antwoordstijlen vertonen tijdens het onderzoek dan
respondenten zonder dyslexie.
Hypothese 4:
• Dyslectische respondenten vertonen meer vertekening (ARS, MPR en ERS) dan
niet- dyslectische respondenten.
Verwacht wordt dat de cognitieve belasting significant verschild tussen dyslectische respondent en niet- dyslectische respondenten.
25 2.7. Hypothese toetsing en statistische bewerkingen
Het effect van cognitieve belasting op antwoordstijlen wordt onderzocht bij leerlingen in verschillende groepen. Aanvankelijk wordt er nagegaan of er een verschil bestaat in
cognitieve belasting tussen de leerlingen die de originele vragenlijst hebben ingevuld en de leerlingen die de vereenvoudigde vragenlijst hebben afgenomen. Vervolgens zal er
onderzocht worden of er verschillen in antwoordstijlen bestaan tussen deze twee groepen. Verder zijn de leerlingen onderverdeeld in twee maal drie natuurlijke groep: [a] jongere leerlingen (groep 5 en 6) en oudere leerlingen (groep 7 en 8), [b] allochtone leerlingen en autochtone leerlingen en [c] dyslectische leerlingen en niet- dyslectische leerlingen.
Verwacht werd dat de onderscheiden groepen verschillen laten zien in cognitieve belasting en in het gebruik van antwoordstijlen. Er zal gekeken worden naar de verschillen tussen lagere en hogere klassen, groepen vijf en zes vormen de lagere klassen en groepen zeven en acht vormen samen de hogere klassen. Daarnaast zal er een onderscheidt gemaakt worden tussen allochtonen en autochtonen op basis van twee criteria: tweetaligheid en afkomst. Tot slot, zal er ook gekeken worden naar de verschillen in cognitieve belasting en antwoordstijlen tussen dyslectische leerlingen en niet- dyslectische leerlingen.
In het eerste deel van de analyses wordt nagegaan of aan de veronderstellingen van het onderzoek wordt voldaan. De taakmoeilijkheid, het welbevinden en de motivatie worden per deel van de vragenlijst beschreven. De verwachting is dat de vereenvoudigde lijst (controle- conditie) positievere reacties oplevert dan de oorspronkelijke lijst (experimentele conditie). Om de hypothese: ‘Respondenten in de experimentele- conditie vertonen meer
vertekening (ARS, MPR en ERS) dan respondenten in de controle- conditie’ te toetsen wordt er gebruikt van de onafhankelijke t- toets. Hiermee kan er bepaald worden of de gemiddelde mate van de antwoordstijlen in beide condities van elkaar verschillen. Er zal ook door middel van een onafhankelijke t- toets worden bepaald of de gemiddelde mate van
26 vertekening bij deelnemers uit de lagere groepen (5 en 6) significant verschild van de
deelnemers uit de hogere groepen (7 en 8) voor de hypothese: ‘Jonge respondenten (groep vijf en zes) vertonen meer vertekening (ARS, MPR en ERS) dan oudere respondenten (groep zeven en acht)’. Voor de hypothese: ‘Allochtonen vertonen meer vertekening ERS dan autochtonen’ worden de respondenten door middel van een onafhankelijke t- toets met elkaar vergeleken en wordt er gekeken of de gemiddelde mate van antwoordstijlen ARS, MPR en ERS significant van elkaar verschillen. Voor de hypothese: ‘Dyslectische
respondenten vertonen meer vertekening (ARS, MPR en ERS) dan niet- dyslectische respondenten’ wordt er gekeken of er significante verschillen bestaan in de mate van de antwoordstijlen ARS, MPR en ERS door een onafhankelijke t- toets uit te voeren.
2.8 Inductie van condities
De respondenten uit elke klas worden ad random toegewezen aan een van de twee condities, de experimentele conditie of de controleconditie. In de experimentele conditie wordt de oorspronkelijke vragenlijst zonder vereenvoudiging afgenomen. In de controleconditie wordt een vereenvoudigde versie van de vragenlijst afgenomen. De leerlingen van elke klas werden ongeveer verdeeld in twee gelijke groepen: de experimentele groep (moeilijke zinnen) en de controle- groep (makkelijke zinnen). De bewerkte vragenlijst is ongeveer 25 procent
eenvoudiger (Word count) dan de oorspronkelijke vragenlijst die wordt gebruikt in de experimentele conditie. Deze vereenvoudiging is tot stand gekomen door het verkorten van de items en het gebruik van simpelere synoniemen binnen de items.
27 2.9 Procedure
Het onderzoek vond geheel plaats in de klaslokalen van deelnemende scholen. In de klas werd er een korte introductie gegeven door de onderzoeker aan de leerlingen. Het onderzoek werd nader toegelicht en het belang van hun deelname aan dit onderzoek werd benadrukt. Vervolgens werd de voorbeeldstelling “Ik vind computerspelletjes leuk” op het mediabord weergegeven. De stelling werd door de onderzoeker luid en duidelijk voorgelezen. De leerlingen werden de volgende vraag gesteld: ‘Wie vindt computerspelletjes super leuk?’. De leerlingen die hun vinger opstaken werden verteld dat het antwoordmogelijkheid:’Dat past helemaal bij mij’ de beste weergave is van hun mening ten opzichte van deze stelling. Dit werd voor alle zeven antwoordmogelijkheden gedaan. Het is van cruciaal belang dat de leerlingen de Likert- schalen goed interpreteren om een adequate weergave te maken van hun opinie.
De leerlingen zijn vervolgens aselect toegewezen aan één van de twee condities: in de gemakkelijke controleconditie werd een vereenvoudigde versie van een vragenlijst ingevuld en in de moeilijke experimentele conditie de oorspronkelijke moeilijke versie. De verdeling van de leerlingen in de twee condities was onzichtbaar voor zowel de leerlingen als de leerkrachten. De verdeling van de boekjes in gemakkelijk en moeilijk is enkel zichtbaar door kleine e aan de rechteronderkant van pagina 2. Deze ‘e’ staat voor ‘eenvoudig’ de makkelijke versie van de vragenlijst (zie bijlage). De leerlingen werden in twee gelijke groepen verdeeld en kreeg een helft van de klas de gemakkelijke versie en de andere helft kreeg de moeilijke versie van de vragenlijst. Vervolgens vulden de leerlingen ‘boekje 1’. Zodra de leerlingen klaar waren met het invullen van ‘boekje 1’, bracht hij of zij het ingevulde boekje terug bij de onderzoeker en gingen verder met het invullen van ‘boekje 2’. Elke klas kreeg voor het onderzoek twee uur de tijd om beide boekjes in te vullen. Echter niet alle leerlingen kregen het voor elkaar om het binnen de beschikbare tijd (120 minuten) af te ronden. Voor deze
28 leerlingen werd er een afspraak gemaakt met de leerkrachten om hen meer tijd te geven voor het onderzoek. De leerlingen kregen de gelegenheid om tussen de lessen door het onderzoek af te ronden. Vervolgens werden de resterende boekjes opgehaald door de onderzoeker op de afgesproken dag.
2.9 Resultaten
Hypothese 1
Voordat de eerste hypothese ‘Respondenten in de experimentele- conditie vertonen meer vertekening (ARS, MPR en ERS) dan respondenten in de controle- conditie’ wordt getoetst is het belangrijk om na te gaan of er een significant verschil bestaat in de mate van cognitieve belasting tussen de leerlingen die de originele vragenlijst (moeilijk) en de vereenvoudigde versie (makkelijk) van de vragenlijst. Als er een significant verschil wordt gevonden dan betekent het dat de manipulatie van het onderzoek is gelukt. Om dit na te gaan wordt gebruik gemaakt van een T- test- analyse. Tevens is er een t- test- analyse uitgevoerd voor elke antwoordstijl.
Tabel 1.1 toont aan dat er geen significant verschil is gevonden in cognitieve belasting tussen de experimentele- en controle- conditie (t (468) = 0.747, p > 0.05). Hoewel de manipulatie niet is geslaagd wordt er vooralsnog gekeken naar de verschillen in antwoordstijlen tussen de twee groepen. Tevens is te zien in tabel 1 dat de antwoordstijlen ARS, MPR en ERS niet significant verschillen tussen de condities ().
29 Tabel 1.2
Verschillen tussen experimentele- en controle- conditie.
F Sig t Df Sig (2-tailed) CogLast 0.54 0.46 0.32 468 0.75 ARS 1.55 0.21 -1.37 477 0.17 MPR 0.05 0.83 0.38 477 0.70 ERS 0.16 0.69 -0.04 477 0.97
Noot. CogLast is een afkorting van de variabele cognitieve belasting.
Cognitieve belasting als onafhankelijke variabele
De cognitieve belasting is een mate voor de belasting tijdens het invullen van de vragenlijst. Deze mate is in dit onderzoek verdeeld in drie groepen op basis van een verdeling 25%, 50% en 25%: ‘ Laagste’, ‘Midden’ en ‘Hoogste’(zie bijlage Tabel1.1). In grafiek 1.1 is te zien hoe de normale verdeling is van de cognitieve belasting. De cognitieve belasting is normaal verdeeld en heeft een mooie spreiding.Door grensscores bepalen de wijze waarop respondenten in drie groepen worden ingedeeld, waarbij de respondenten met de laagste scores (tot 25%) worden ingedeeld in ‘ Laagste’, respondenten met een score tussen de 25% en de 50% – in vergelijking met alle scores – in ‘Midden’ en de jongeren met de hoogste scores (vanaf 75%) in ’Hoogste’.
30 De normaal verdeling van cognitieve belasting
Tabel 1.3 is toont wat de gemiddelde cognitieve belasting is per groep. De leerlingen in groep ‘Laagste’ zijn het minst belast tijdens het invullen van de vragenlijst. En de leerlingen in groep ‘Hoogst’ zijn het meest belast gedurende het onderzoek.
Tabel 1.3
Gemiddelden cognitieve belasting per groep
Mean N
31 Middengroep 53.27 195
Hoogste 72.98 102
De cognitieve belasting (CogLast) verschilt significant tussen de laagste groep en de
middengroep (t (293) = 0.000, p > 0.05) (zie Tabel 1.4). Er is ook een verschil in cognitieve belasting tussen de laagste en de hoogste groep (t (293) = 0.000, p > 0.05) (zie Tabel 1.5). Er is ook gekeken of er een significant verschil in cognitieve belasting bestaat tussen de
middengroep en de hoogste groep. Er is een significant verschil in cognitieve belasting tussen de middengroep en de hoogste groep (t (295) = 0.000, p > 0.05) (zie Tabel 1.6). De
cognitieve belasting verschilt significant tussen alle groepen. Dit maakt het onderzoeken van het effect van cognitieve belasting op antwoordstijlen mogelijk. Er is gekeken of er een significant verschil bestaat in antwoordstijlen tussen de drie groepen onderling.
De antwoordstijl ARS verschilt significant tussen de laagste en de middengroep (t (5.19) = 0.000, p > 0.05). De gemiddelde score op ARS is hoger in de laagste groep dan in de middengroep. Er is tevens een significant verschil gevonden in antwoordstijl MPR tussen de laagste en de middengroep (t (-5.57) = 0.000, p > 0.05). De gemiddelde score op MPR is hoger in de middengroep dan in de laatste groep. Daarnaast verschilt antwoordstijl ERS significant tussen de laagste en de middengroep (t (7.03) = 0.000, p > 0.05). De gemiddelde score op ERS is hoger in de laagste groep dan in de middengroep.
32 Tabel 1.4
Verschillen tussen ‘Laagste’ en ‘Middengroep’
F Sig t Df Sig (2-tailed) CogLast 2,83 0.09 -27.02 293 0.000 ARS 3.30 0.07 5.19 293 0.000 MPR 8.66 0.00 -5.57 293 0.000 ERS 0.01 0.91 7.03 293 0.000 Tabel 1.5
Verschillen tussen ‘Laagste’ en ‘Hoogste’
F Sig t Df Sig (2-tailed) CogLast 19.11 0.00 -42.91 200 0.000 ARS 5.83 0.02 5.83 200 0.000 MPR 11.93 0.00 -6.97 200 0.000 ERS 1.04 0.31 7.79 200 0.000
Tabel 1.5 toont dat de cognitieve belasting en de antwoordstijlen ARS, MPR en ERS significant van elkaar verschillen tussen de laagste en hoogste groep. De antwoordstijl ARS
33 verschilt significant tussen de laagste en de hoogste groep (t (5.83) = 0.000, p > 0.05). De gemiddelde score op ARS is hoger in de laagste groep dan in de hoogste groep. Er is tevens een significant verschil gevonden in antwoordstijl MPR tussen de laagste en de middengroep (t (-6.97) = 0.000, p > 0.05). De gemiddelde score op MPR is hoger in de hoogste groep dan in de laatste groep. Daarnaast verschilt antwoordstijl ERS ook significant tussen de laagste en de middengroep (t (7.79) = 0.000, p > 0.05). De gemiddelde score op ERS is hoger in de laagste groep dan in de hoogste groep.
Tabel 1.6
Verschillen tussen ‘Middengroep’ en ‘Hoogste’
F Sig t Df Sig (2-tailed) CogLast 14.47 0.00 -26.63 295 0.000 ARS 0.88 0.35 1.53 295 0.127 MPR 0.54 0.46 -2.07 295 0.039 ERS 1.22 0.271 1.79 295 0.075
In Tabel 1.6 is te zien dat er geen significante verschil is gevonden in ARS tussen de middengroep en de hoogste groep (t (1.53) = 0.127, p > 0.05). Er is tevens geen significant verschil gevonden in antwoordstijl MPR tussen de middengroep en de hoogste groep (t (-2.07) = 0.039, p > 0.05). Daarnaast verschilt antwoordstijl ERS ook niet significant tussen de middengroep en de hoogste groep (t (1.79) = 0.075, p > 0.05).
34 Hypothese 2
Voor de analyse van de hypothese ‘Jonge respondenten (groep vijf en zes) vertonen meer vertekening (ARS, MPR en ERS) dan oudere respondenten (groep zeven en acht)’ is er gebruik gemaakt van een t- test- analyse. De lagere klassen zijn groep vijf en zes samen en de hogere klassen zijn groep zeven en acht samen (zie Tabel 2.1).
Tabel 2.1 Gemiddelden en aantal N Groep Mean N CogLast 1 56.67 212 2 50.82 185 ARS 1 61.09 283 2 69.09 215 MPR 1 39.96 283 2 34.82 215 ERS 1 79.22 283 2 83.86 215
Noot. Groep 1 is de lagere klassen en groep 2 is de hogere klassen
De cognitieve belasting verschilt significant tussen de lagere klassen en de hogere klassen (t (487) = 0.000, p > 0.05). De cognitieve belasting is hoger bij jonge respondenten dan bij oudere respondenten. Daarnaast blijkt de antwoordstijl ARS tevens significant te verschillen
35 tussen de lagere klassen en hogere klassen. (t (496) = 0.001, p > 0.05). De oudere
respondenten vertonen meer bevestigende antwoordstijl (ARS) dan jonge respondenten. De scores op antwoordstijlen ERS en MPR verschillen niet significant tussen de lagere en hogere klassen.
Tabel 2.1
Verschillen in cognitieve belasting en antwoordstijlen
F Sig t Df Sig (2-tailed) CogLast 0.01 0.93 4.09 395 0.000 ARS 2.29 0.13 -3.38 496 0.001 MPR 0.18 0.67 1.82 496 0.070 ERS 0.88 0.35 -1.10 496 0.273
Cognitieve belasting verschilt significant tussen de lagere en hogere klassen (t (395) = 0.000, p > 0.05). De jongere respondenten ervaren een hogere cognitieve belasting dan de oudere respondenten. Daarnaast verschilt antwoordstijl ARS ook tussen de lagere en hogere klassen(t (496) = 0.001, p > 0.05). De oudere respondenten vertonen meer ARS dan de oudere
groepen. De MPR en de ERS verschillen niet significant tussen de lagere en hogere klassen (t (496) = 0.070, p < 0.05) (t (496) = 0.273, p < 0.05). Dit komt niet overeen met de
verwachtingen namelijk dat de jongere respondenten een hogere belasting ervaren en daardoor meer neigen tot een antwoordstijl.
36 Hypothese 3
Voordat hypothese ‘Dyslectische respondenten vertonen meer vertekening (ARS, MPR en ERS) dan niet- dyslectische respondenten’ is er eerst een variabele gemaakt voor de mate van dyslexie (‘MateDyslect’). In de bijlage Tabel 1.2 is de frequentieverdeling weergegeven en in Figuur 3.1 is een histogram te zien van de mate van dyslexie.
Figuur 3.1
Mate van dyslexie
De variabele mate van dyslexie is vervolgens verdeeld in wel dyslectisch en niet dyslectisch. Bij de mate van dyslect score= 7 is de grens ingesteld tussen dyslectische leerlingen en niet dyslectische leerlingen. Hierdoor zijn er twee groepen vastgesteld namelijk: dyslectisch en niet-dyslectisch (zie Tabel 3.1 en Figuur 3.2). Ongeveer 17 procent van de respondenten is dyslectisch op basis van deze verdeling, dit komt niet overeen met de cijfers in de populatie.
37 In de populatie is ongeveer 12 procent dyslectisch, echter voor de toetsing is het noodzakelijk de grens tussen dyslectisch en niet- dyslectisch op te rekken om voldoende proefpersonen te hebben voor verdere statistische analyses.
Tabel 3.1 Frequentie en aantal N Frequentie Percent Wel dyslectisch 415 83,3 Niet dyslectisch 83 16.7 Totaal 498 100 Figuur 3.2
38 Vervolgens is er door middel van een t- test analyse nagegaan of er significante verschillen bestaan tussen de dyslectische respondenten en de niet dyslectische respondenten. Bij het onderzoek naar de verschillen tussen dyslectische leerlingen en de niet- dyslectische
leerlingen is er gebruik gemaakt van twee afzonderlijke evaluatie- momenten van cognitieve belasting. De evaluatieblok in boekje 1 en de evaluatieblok in boekje 2 zijn apart getoetst met een t- test- analyse. De dyslectische leerlingen hadden meer tijd nodig om de vragenlijst compleet in te vullen. Daarnaast zijn dyslectische leerlingen hoger belast tijdens een lees- en schrijftaak. Het gevolg hiervan was dat de meeste dyslectische kinderen boekje 2 niet of geheel hebben ingevuld. Om het effect van de cognitieve belasting te toetsen is er gebruik gemaakt van de belasting tijdens evaluatieblok 1 en evaluatie blok 2.
39 Tabel 3.2
Verschillen in cognitieve belasting en antwoordstijlen
F Sig t Df Sig (2-tailed) CogLast1 0.57 0.45 -5.89 468 0.000 CogLast2 0.56 0.46 -6.29 403 0.000 ARS 0.23 0.635 1.53 496 0.127 MPR 3.00 0.08 -3.02 496 0.003 ERS 1.82 0.18 1.97 496 0.049
Noot. CogLast1 is de cognitieve belasting gemeten na boekje 1 en Coglast2 is gemeten na boekje 2.
De cognitieve belasting na het eerste boekje (CogLast1) en na het tweede boekje (CogLast2) zijn significant verschillend tussen de dyslectische leerlingen en de niet dyslectische
leerlingen (t (468) = 0.000, p < 0.05) (t (403) = 0.000, p < 0.05). De antwoordstijlen ARS en ERS verschillen niet significant tussen de dyslectische leerlingen en niet- dyslectische leerlingen (t (496) = 0.127, p < 0.05) (t (496) = 0.273, p < 0.05). De dyslectische leerlingen en niet dyslectische leerlingen verschillen wel significant op antwoordstijl MPR (t (496) = 0.003, p < 0.05). De dyslectische leerlingen scoren hoger op MPR dan niet dyslectische leerlingen.
40 Hypothese 4
Om de totale proefpersonen te verdelen in ‘Allochtoon’ en ‘Autochtoon’ is gebruik gemaakt van de item ‘Ik ben tweetalig opgevoed’ de label- value ‘ja’ is veranderd in ‘Allochtoon’ en ‘nee’ is veranderd in ‘Autochtoon’. Van de 498 leerlingen hebben 68 leerling dit item niet ingevuld.
Tabel 4.1
Frequentie en percentage Allochtoon en Autochtoon Frequentie Percent
Allochtoon 240 48.2
Autochtoon 190 38.2
Totaal 430 86.3
Tabel 4.2
Verschillen in cognitieve belasting en antwoordstijlen
F Sig t Df Sig
(2-tailed)
CogLast 0.78 0.38 -2.17 384 0.030
ARS 2.26 0.13 0.89 428 0.373
41
ERS 0.06 0.81 0.85 428 0.396
Er is een significant verschil gevonden in cognitieve belasting tussen allochtonen en autochtonen (t (384) = 0.03, p < 0.05). Er waren geen significante verschillen gevonden in ARS, MPR en ERS tussen allochtonen en autochtonen (t (428) = 0.373, p > 0.05) (t (428) = 0.071, p > 0.05) (t (428) = 0.396, p > 0.05).
Er is op een andere manier gekeken naar de verdeling van de groepen in allochtonen en autochtonen. Er is namelijk in de data een school met alleen allochtone leerlingen(Postcode1) en de andere school met alleen autochtone leerlingen (Postcode2) (zie Tabel 4.3).
Tabel 4.3 Aantal N en gemiddelden Postcode Mean N CogLast 1 60.21 65 2 53.20 71 ARS 1 11.33 81 2 12.73 82 MPR 1 34.60 81 2 47.34 82 ERS 1 92.89 81 2 71.60 82
42 Tabel 4.4 toont dat de cognitieve belasting significant hoger is bij allochtonen dan bij
allochtonen (t (134) = 0.004, p < 0.05). Tevens is er een significant verschil gevonden in ERS, allochtonen vertonen meer ERS dan autochtonen (t (161) = 0.002, p < 0.05).
Tabel 4.4
Verschillen in cognitieve belasting en antwoordstijlen
F Sig t Df Sig (2-tailed) CogLast 0.03 0.85 -2.95 134 0.004 ARS 1.11 0.29 -0.82 161 0.412 MPR 0.83 0.36 -2.73 161 0.007 ERS 3.45 0.07 3.11 161 0.002 Discussie
Het huidige onderzoek heeft zich gericht op de vraag in hoeverre cognitieve belasting (taakmoeilijkheid en capaciteit) effect heeft op het gebruik van antwoordstijlen tussen verschillende groepen tijdens het invullen van een zelfrapportage- vragenlijst. Dit onderzoek heeft aangetoond dat cognitieve belasting wel degelijk samenhangt met de mate van
vertekening in de resultaten. Echter is het effect van cognitieve belasting niet consequent over alle groepen en beïnvloedt het effect in twee tegengestelde richtingen. Er is namelijk
43 dan groepen die minder belast waren. De gemiddelde scores op ARS en ERS zijn hoger in de minder belaste groepen in vergelijking tot de hoge belaste groepen. Deze verschillen in gemiddelden zijn niet allemaal op significant niveau. Cognitieve belasting als onafhankelijke variabele heeft laten zien dat cognitieve belasting een tegengesteld effect heeft op de
antwoordstijlen ARS en ERS dan eerder verwacht. Dit is niet het geval als er gekeken wordt naar de gemiddelden van het antwoordstijl MPR.
De veronderstelling, dat de cognitieve belasting significant verschilt tussen de experimentele en de controle- conditie, is niet bevestigd. De manipulatie van dit onderzoek, het vereenvoudigen van de responstaak, is niet geslaagd. De vereenvoudiging van de responstaak heeft niet geleden tot het verminderen van de cognitieve belasting. Bovendien verschillen de scores op de antwoordstijlen ARS, MPR en ERS niet tussen de experimentele en de controle- conditie. De hypothese: ‘Respondenten in de experimentele- conditie
vertonen meer vertekening (ARS, MPR en ERS) dan respondenten in de controle- conditie’ is hiermee verworpen.
Een mogelijke verklaring voor het feit dat cognitieve belasting niet verschilde tussen de experimentele conditie en de controle conditie is dat de manipulatie niet sterk genoeg was voor deze grote onderzoeksgroep (N= 498). De vereenvoudiging was blijkbaar niet groot genoeg om een lagere cognitieve belasting te realiseren.
De gemiddelde score op MPR is hoger in de middengroep dan in de laatste groep. De gemiddelde score op ERS is hoger in de laagste groep dan in de middengroep. De resultaten van de verschillen in ARS en ERS gaan tegen de verwachtingen in. Er werd namelijk verwacht dat de scores op ARS, MPR en ERS hoger zouden zijn in de middengroep in vergelijking tot de laagst belaste groep. Echter het significante verschil in MPR dat gevonden is tussen de groepen is wel volgens verwachting. De gemiddelde score op ARS is hoger in de
44 laagste groep dan in de hoogste groep. De gemiddelde score op MPR is hoger in de hoogste groep dan in de laatste groep. De gemiddelde score op ERS is hoger in de laagste groep dan in de hoogste groep. De resultaten van de verschillen in ARS en ERS gaan tegen de
verwachtingen in. Er werd namelijk verwacht dat de scores op ARS, MPR en ERS hoger zouden zijn in de middengroep in vergelijking tot de laagst belaste groep. Echter het
significante verschil in MPR dat gevonden is tussen de groepen is wel volgens verwachting. Er is tevens geen significant verschil gevonden in antwoordstijl ARS, MPR en ERS tussen de middengroep en de hoogste groep. Deze resultaten komen niet overeen met de
verwachtingen. Er werd namelijk verwacht dat de scores op ARS, MPR en ERS hoger zouden zijn in de hoogst belaste groep in vergelijking tot de middengroep. Met de
bovenstaande resultaten is de veronderstelling dat cognitieve belasting ervoor zorgt dat er meer gebruik wordt gemaakt van antwoordstijlen deels is bevestigd. Cognitieve belasting als onafhankelijke variabele heeft laten zien dat cognitieve belasting een tegengesteld effect heeft op de antwoordstijlen ARS en ERS dan eerder verwacht. De gemiddelde scores op ARS en ERS tussen de drie groepen: “Laagste’, ‘Middengroep’ en ‘Hoogste’ zijn hoger in de minder belaste groepen in vergelijking tot de hoge belaste groepen. Dit is niet het geval als er gekeken wordt naar het effect van cognitieve belasting op antwoordstijl MPR. Hoe minder leerlingen belast zijn tijdens het invullen van een vragenlijst hoe groter het gebruik van bevestigende- en extreme antwoordstijl.
De cognitieve belasting is hoger bij jonge respondenten dan bij oudere respondenten. De oudere respondenten vertonen meer bevestigende antwoordstijl (ARS) dan jonge
respondenten. De scores op antwoordstijlen ERS en MPR verschillen niet significant tussen de lagere en hogere klassen. Dit komt niet overeen met de verwachtingen, namelijk dat de ARS score juist hoger is bij jonge respondenten (zwaarder belast) dan bij oudere
45 zijn in de laagste klassen niet bevestigd. De hypothese: ‘Jonge respondenten (groep vijf en zes) vertonen meer vertekening (ARS, MPR en ERS) dan oudere respondenten (groep zeven en acht)’ is verworpen. De oudere respondenten begrijpen beter dan jonge respondenten dat er onderzoek wordt verricht naar taalvaardigheid, motivatie en capaciteit. Een mogelijke verklaring voor het gegeven dat oudere respondenten meer bevestigende antwoord geven kan samenhangen met het geven van sociaal wenselijke antwoorden.
De verdeling op basis van de vraag of respondenten tweetalig opgevoed zijn of niet is er geen verschil gevonden in cognitieve belasting tussen allochtonen en autochtonen. Er waren tevens geen significante verschillen gevonden in ARS, MPR en ERS tussen allochtonen en autochtonen. Echter, de verdeling op basis van een school met alleen allochtonen en een school met alleen autochtonen toont aan dat de cognitieve belasting significant hoger is bij allochtonen dan bij allochtonen. Tevens is er een significant verschil gevonden in ERS, allochtonen vertonen meer ERS dan autochtonen. Dit komt overeen met de verwachtingen gebaseerd op het onderzoek van Morrens. Ten eerste dat allochtonen hoger belast zijn tijdens het onderzoek dan autochtonen en ten tweede dat zij meer neigen naar een extreme antwoordstijl tijdens het invullen van een vragenlijst. De hypothese ‘Allochtonen vertonen meer vertekening dan autochtonen’ is door de verdeling op basis van scholen is deels bevestigd. De verdeling met betrekking tot het wel of niet spreken van twee talen is deels te verklaren doordat de tweede generatie allochtonen meestal in het Nederlands met hun kinderen communiceren. Hierdoor zou de verdeling in de data niet overeenkomen met de werkelijke verdeling en bij de tweede manier (scholen vergelijken) wel.
De cognitieve belasting na het eerste boekje en na het tweede boekje zijn significant verschillend tussen de dyslectische respondenten en de niet dyslectische respondenten. De dyslectische respondenten ervaren een hogere cognitieve belasting dan niet dyslectische respondenten op beide evaluatie- momenten. Ondanks de hogere belasting gebruiken
46 dyslectische respondenten de antwoordstijlen ARS en ERS niet meer dan niet- dyslectische respondenten. De dyslectische groep neigt eerder naar een antwoordwijze waarbij het middelste antwoord gegeven wordt dan de niet dyslectische groep. De hypothese ’Dyslectische respondenten vertonen meer vertekening (ARS, MPR en ERS) dan niet- dyslectische respondenten’ is deels bevestigd.
Beperkingen van het onderzoek en suggesties voor vervolgonderzoek
De hypotheses in dit onderzoek zijn deels bevestigd en een deel is verworpen door gebrek aan ondersteunende resultaten.
De manipulatie van het onderzoek was blijkbaar niet sterk genoeg om verschil te maken in cognitieve belasting. Een suggestie voor het vervolg- onderzoek is de originele vragenlijst meer vereenvoudigen (qua aantal woorden: meer dan 25% op WordCount) met als gevolg dat de cognitieve belasting minder is dan de originele vragenlijst. Er moet wel
rekening gehouden worden met de inhoudelijke en voorspellende waarde van de
vereenvoudigde items. Daarnaast is gebleken uit dit onderzoek dat cognitief belaste groepen anders reageren op het gebruik van antwoordstijlen dan verwacht. De theorieën met
betrekking tot antwoordstijlen, die ten grondslag liggen aan de hypothesen, zijn gebaseerd op onderzoeken naar antwoordgedrag van volwassenen als respondenten (Krosnick, 1996). Bij kinderen is het cognitief vermogen nog volop in ontwikkeling en reageert het mogelijk anders dan volwassenen ten tijde van belasting. De gebruikte Likert- schalen zijn voor kinderen nog moeilijk te begrijpen, vooral als het moeilijke woorden bevatten.Dit was tijdens het
onderzoek duidelijk naar voren gekomen. Vooral leerlingen uit de groepen vijf en zes stelden veel vragen over de definities van een aantal woorden in de vragenlijst. De leerlingen ervaren de volgende woorden als moeilijk: huisarts, leeftijdsgenoten, zelden, opstel en handicap. De
47 meeste woorden komen voor in het begin van boekje 1 dit kan ervoor zorgen dat leerlingen al bij aanvang van het onderzoek minder gemotiveerd zijn. Bovendien is er nihil bekend over het gebruik van antwoordstijlen door kinderen tijdens een zelf- rapportage vragenlijst. Een suggestie voor vervolgonderzoek is onderzoek doen naar de beïnvloedende factoren van antwoordpatronen bij kinderen. Hierbij kan gedacht worden aan zowel de persoonlijke als de situationele factoren. Om vervolgens het effect van cognitieve belasting op het gebruik van antwoordstijlen bij kinderen te onderzoeken.
Het is noodzakelijk om meer zicht te krijgen in antwoordneigingen van kinderen en de samenhangende factoren. Dit is van belang om de scores op zelf- rapportage vragenlijsten beter te interpreteren met als gevolg dat de vertekeningen in data gemakkelijker te detecteren worden.
48 Referenties
American Psychiatric Association. (1996). APA (1994). Diagnostic and statistical manual of mental disorders, 4.
Bachman, Jerald G. and Patrick M. O'Malley (1984), "Yea-Saying, Nay-Saying, and Going to Extremes: Black-White Differences in Response Styles," Public Opinion Quarterly, 48 (Summer), 491-509.
Baumgartner, Hans and Steenkamp, Jan-Benedict E.M. (2001) ‘Response Styles in Marketing Research: A Cross-national Investigation’, Journal of Marketing Research 38: 143–56.
Beetar J. T., Williams J. M. Malingering response styles on the memory assessment scales and symptom validity tests. Archives of Clinical Neuropsychology 1995;10:57-72.
Bender, S. D. 2015. Response Style and Malingering. The Encyclopedia of Clinical Psychology. 1–6Top of Form
Cannell, C. F., Miller, P. V., & Oksenberg, L. (1981). Research on interviewing techniques. Sociological methodology, 12(4), 389-437.
Cheung, G. W., & Rensvold, R. B. (2000). Assessing extreme and acquiescence response sets in cross-cultural research using structural equation modeling. Journal of Cross-Cultural Psychology, 31, 187-212.
De Pelsmacker, P., & Van Kenhove, P. (2006). Marktonderzoek, methoden en toepassingen. Pearson Education; Prentice Hall.
Egberink, I.J.L., Janssen, N.A.M., & Vermeulen, C.S.M. (2009-2016). COTAN Documentatie(www.cotandocumentatie.nl). Amsterdam: Boom test uitgevers.
49 Greenleaf, Eric A. (1992a), "Improving Rating Scale Measures by Detecting and Correcting Bias Components in Some Response Styles," Journal of Marketing Research, 29 (May), 176-88.
Hui, C. H., & Triandis, H. C. (1985). Measurement in cross-cultural psychology: A review and comparison of strategies. Journal of Cross-Cultural Psychology, 16, 131-152.
Krosnick, J. A. (1991). Response strategies for coping with the cognitive demands of attitude measures in surveys. Applied Cognitive Psychology 5, 213- 236.
Krosnick, J. A., Narayan, S. S., & Smith, W. R. (1996). Satisficing in surveys: Initial evidence. In M. T. Braverman & J. K. Slater (Eds.), Advances in survey research (pp. 29- 44). San Francisco: Jossey- Bass.
Lenzner, T., Kaczmirek, L., Galesic, M., & Merkert, M. (2011). Left feels right! The optimal position of answer boxes in Web surveys. In European Survey Research Association
Conference.
McGuire, B. E., Harvey, A. G. and Shores, E. A. (2001), Simulated malingering in pain patients: A study with the Pain Patient Profile. British Journal of Clinical Psychology, 40:71– 79. doi:10.1348/014466501163490.
Moors, G. (2004). Facts and artefacts in the comparison of attitudes among ethnic minorities. A multigroup latent class structure model with adjustment for response style
behavior. European Sociological Review, 20, 303–320.
Morren, M., Gelissen, J., & Vermunt, J. (2012). The impact of controlling for extreme responding on measurement equivalence in cross-cultural research. Methodology: European Journal of Research Methods for the Behavioral and Social Sciences, 8(4), 159.
50 Paulhus, D. L. (1991). Measurement and control of response bias.
Podsakoff, P. M., MacKenzie, S. B., Lee, J. Y., & Podsakoff, N. P. (2003). Common method biases in behavioral research: a critical review of the literature and recommended
remedies. Journal of applied psychology, 88(5), 879.
Riordan, C. M., & Vandenberg, R. J. (1994). A central question in cross-cultural research: Do employees of different cultures interpret work-related measures in an equivalent manner? Journal of Management, 20, 643-671.
Schaninger, C. M., & Buss, W. C. (1986). Removing response-style effects in attribute determinance ratings to identify market segments. Journal of Business Research, 14, 237-252.
Simon, H. A. (1957). Models of man: social and rational; mathematical essays on rational human behavior in society setting. Wiley.
Santanen, E. L., Briggs, R. O., & de Vreede, G. J. (1999, January). A cognitive network model of creativity: a renewed focus on brainstorming methodology. In Proceedings of the 20th international conference on Information Systems (pp. 489-494). Association for Information Systems.
Tamboer, P & H.C.M. Vorst (2015). A new self-report inventory of dyslexia for students: criterion and construct validity. Dyslexia, 21 (1), 1-34. doi: 10.1002/dys.1492
Triandis, H. C. (1994). Cross-cultural industrial and organizational psychology. In H.
C. Triandis et al. (Eds.), Handbook of industrial and organizational psychology (2nd ed., Vol. 4, pp. 103-172). CA: Consulting Psychologist Press.
