Binnen het survey onderzoek wordt vaak impliciet aangenomen dat respondenten optimaal antwoorden op Likert antwoordschalen en dat hun respons op accurate wijze hun attitude weergeeft. Meerdere studies hebben aangetoond dat dit een ideale situatie betreft die in de praktijk zelden als zodanig voorkomt. Er zijn verschillende soorten bias die kunnen inwerken op de kwaliteit van de antwoorden. Evenals andere vormen van menselijk gedrag wordt het invullen van een vragenlijst mede beïnvloed door ongrijpbare factoren. Het zodanig
ontwerpen van een vragenlijst dat de kans op bias geminimaliseerd wordt is het belangrijkste doel van survey methodologen. In deze dissertatie onderzoeken we of variaties in
responsschalen invloed hebben op de mate waarin responsstijlen worden gebruikt bij het invullen van een websurvey.
We richten ons op twee responsstijlen waarvan herhaaldelijk is aangetoond dat zij een prominente rol spelen en derhalve een relatief omvangrijk probleem vormen voor
attitudeonderzoek. Extreme responsstijl (ERS) is de neiging van respondenten om de extreme buitencategorieën van een antwoordschaal te kiezen (Hurley, 1998) en acquiescence
responsstijl (ARS) is de neiging om ongeacht de inhoud in te stemmen met een stelling in plaats van het ermee oneens te zijn (Van Herk, Poortinga & Verhallen, 2004). Eén van onze hoofddoelen was te onderzoeken of deze specifieke responsstijlen gevoelig zijn voor variaties in antwoordschalen, namelijk het aantal antwoordcategorieën en het type labels dat gebruikt wordt. Een ander doel was om na te gaan of responsstijlen wellicht gerelateerd zijn aan bepaalde persoonlijkheidstrekken waarover sommige respondenten beschikken, maar andere niet; een persoonlijke antwoordstijl die weinig te maken heeft met de type antwoordschalen die gebruikt zijn. In de loop van ons onderzoek kwam nog een derde doel aan de oppervlakte, namelijk het demonstreren van de geschiktheid van een Latent Class Factor Approach (LCFA) wanneer het gaat om detectie van en correctie voor ERS en ARS in survey antwoorden.
In onze eerste studie (hoofdstuk 2) hebben we ons verdiept in de formatvraag en vonden dat de lengte van de antwoordschaal geen effect heeft op het gebruik van ERS. We vonden echter wel een klein maar significant effect van schaallengte op ‘midpoint’
responsestijl (MRS). De inclusie van een expliciet neutraal middelpunt had geen invloed op responsstijl.
In de tweede studie (hoofdstuk 3) is onderzocht of bepaalde persoonlijkheidstrekken gerelateerd kunnen worden aan ERS en/of ARS. Hieruit kwam een combinatie van
persoonlijkheidstrekken naar voren die positief correleren met ERS; sociaal en extravert zijn, waarde hechten aan sterke meningen en zichzelf als intelligent/intellectueel beschouwen. In deze studie stelden we ook vast dat de latente klasse meting van ERS correleert met een externe meting van ERS. Deze laatste bevinding geeft weer hoe consistent ERS lijkt te zijn tussen vragenlijsten en verschillende methoden. We laten in dit hoofdstuk ook zien hoe ERS en ARS simultaan gedetecteerd en gecorrigeerd kunnen worden binnen één enkel LCFA model.
Waar de eerste twee studies zich richtten op variaties in schaallengte, wordt in de derde studie (hoofdstuk 4) een ander formatprobleem behandeld, namelijk het gebruik van volledig gelabelde schalen (bv. ‘helemaal oneens’, ‘oneens’, ‘niet oneens’ en ‘niet eens’, ‘eens’ en ‘helemaal eens’) versus schalen waarvan slechts de eindcategorieën gelabeld zijn (bv. ‘helemaal oneens’ en ‘helemaal eens’). Onderzocht is of deze twee manieren van labelen een verschillend effect hebben op het gebruik van ERS en/of ARS. Geconcludeerd werd dat schalen waarvan alleen de buitencategorieën gelabeld zijn meer ERS opwekken dan volledig gelabelde schalen. Daarnaast varieerden we ook de numerieke waarden van de
antwoordcategorieën, en vonden dat het gebruik van bipolaire waarden (bv. ‘-3’, ‘-2’, ‘-1’, ‘0’, ‘1’, ‘2’ en ‘3’) meer ERS opwekte dan het gebruik van ‘agreement’ schalen (bv. ‘1’, ‘2’, ‘3’, ‘4’, ‘5’, ‘6’ en ‘7’).
In het vijfde hoofdstuk is gekeken naar de stabiliteit van ERS over een tijdsperiode van één maand en over verschillende schaalformats. Geconcludeerd werd dat ERS metingen van schalen met een verschillend aantal antwoordcategorieën tamelijk sterk gecorreleerd waren. Hetzelfde gold voor de vergelijking die gemaakt is tussen antwoordschalen met verschilllen in labels en numerieke waarden. In deze vierde studie stelden we vast dat het gebruik van ERS voor een groot deel stabiel is over tijd en vraagformats.
Tegen onze verwachtingen in was ARS relatief zwak vertegenwoordigd in de vier studies, waardoor we geen duidelijke uitspraken konden doen over deze vorm van
responsstijl. Eén van de mogelijke redenen voor de zwakke aanwezigheid van ARS in deze studies zou ons gebruik van volledig gebalanceerde schalen kunnen zijn (hierbij worden evenveel positief als negatief geformuleerde vragen gebruikt). Deze procedure zou
respondenten erop attent hebben kunnen maken dat de consistentie van hun antwoorden werd gecontroleerd. Een gevolg hiervan zou kunnen zijn dat respondenten daarom bewust
consistente antwoorden hebben gegeven en dus geen ARS hebben gebruikt.
Alles bij elkaar genomen hebben we in deze dissertatie laten zien dat ERS, hoewel enigszins gevoelig voor variaties in vraagformat (volledig gelabelde en bipolaire schalen) in essentie een persoonlijke antwoordstijl is welke sommige respondenten eerder geneigd zijn te gebruiken dan anderen. Deze bevinding heeft belangrijke implicaties voor de wijze waarop men om zou moeten gaan met ERS. Indien ERS nauwelijks beïnvloed wordt door
formatproblemen, dan is het niet zinvol om te proberen een perfecte vragenlijst te ontwerpen die zo min mogelijk ERS oproept. In plaats daarvan zouden ad hoc oplossingen nodig zijn waarmee we de ‘bias’ uit de dataset kunnen filteren. In deze dissertatie hebben we laten zien dat LCFA een geschikte oplossing is om met responsstijlen om te gaan. Eén van de grootste voordelen van LCFA is dat alle responsstijlen die gekarakteriseerd worden door een voorkeur
voor bepaalde antwoordcategorieën boven andere categorieën hiermee zowel gedetecteerd als gecontroleerd kunnen worden.