De invloed van de interviewer op sociaal wenselijke antwoorden in survey interviews

De invloed van de interviewer op sociaal

wenselijke antwoorden in survey interviews

Samenvatting

Om meningen en gegevens van een bepaalde doelgroep te achterhalen wordt vaak gebruikgemaakt van vragenlijsten. De vraag is of deze vragenlijsten wel altijd even bruikbaar zijn. Op welke manier kan een vragenlijst zo worden opgesteld, dat dit tot de beste resultaten leidt? Een probleem dat vaak naar voren komt, is het niet volledig of serieus invullen van de vragenlijst. Een voorbeeld hiervan is dat de respondent bij alle vragen ‘geen mening’ aankruist, dit wordt satisficing genoemd (Krosnick, 1999). Een van de manieren om satisficing te verminderen is door het interview face-to-face af te nemen. Mensen zijn sneller geneigd serieus antwoord te geven wanneer een interviewer tegenover hem of haar zit (Smyth e.a. 2007). Bij face-to-face interviews is de kans op sociaal wenselijke antwoorden echter weer groter (Bradburn, 2004). Respondenten zijn geneigd hun antwoorden op enquêtevragen te vervormen om zichzelf als meer sociaal wenselijk te presenteren. Dit effect is sterker wanneer er een interviewer aanwezig is (Holbrook e.a., 2003). Wat kan de interviewer doen om dit sociaal wenselijke gedrag te verminderen? Om deze vraag te kunnen beantwoorden is onderzocht wat het effect van het verbale gedrag van de interviewer is op de manier van antwoorden door de respondent op vragen die gevoelig zijn voor sociaal wenselijke antwoorden. Daarnaast is gekeken naar de verschillen in antwoorden tussen de onlinerespondenten en face-to-face respondenten op deze sociaal wenselijke vragen. De onderzoeksvraag die hieruit naar voren komt luidt:

‘In welke mate heeft het verbale gedrag van de interviewer bij het stellen van de vragen effect op de sociaal wenselijke antwoorden van de respondent?’

nagebootst. Op deze manier kon onderzocht worden wat het effect is van het nabootsen van de face-to-face setting in de onlinevragenlijst.

In dit onderzoek stonden zes hypotheses centraal. Het resultaat van de eerste hypothese geeft aan dat van de acht vragen bij één vraag significante verschillen naar voren komen die erop wijzen dat face-to-face respondenten sociaal wenselijkere antwoorden geven dan onlinerespondenten. Vier van de acht vragen geven als resultaat dat onlinerespondenten juist sociaal wenselijkere antwoorden geven. Uit de resultaten van de verschillen tussen de tekst- en videoversie in de onlinevragenlijst blijkt uit één van de acht vragen een significant verschil. De respondenten die deze vraag in videovorm te zien kregen gaven bij deze vraag significant vaker een sociaal wenselijk antwoord dan de respondenten die deze vraag in tekstvorm te zien kregen. De overige vijf hypotheses waren gericht op het verbale gedrag van de interviewer en de respondent en werden geanalyseerd aan de hand van codeerschema’s. Het belangrijkste resultaat dat hieruit naar voren kwam is dat wanneer de interviewer de vraag correct voorleest, de respondent het vaakst een adequaat antwoord geeft.

Inhoudsopgave

1. Inleiding ... 1

2 Theoretisch kader ... 3

2.1 Interviewmodi ... 3

2.1.1 Voor- en nadelen interviewmodi ... 3

2.1.2 Online interview met videoboodschap ... 4

2.2 Van interpretatie van de vraag tot het opmaken van een antwoord ... 5

2.3 Verbale gedrag interviewer en respondent ... 6

2.4 Sociaal wenselijke antwoorden ... 8

2.5 Paradata ... 10

2.5.1 Voorbeelden verbale paradata ... 10

2.6 Beleefdheidstheorie ... 11 3. Methode... 14 3.1 Onderzoeksvraag ... 14 3.2 Corpus ... 14 3.2.1 ESS vragenlijst ... 18 3.3 Codeerschema’s ... 19

3.4 Wat zijn sociaal-gevoelige vragen? ... 22

1

1. Inleiding

Om meningen en gegevens van een bepaalde doelgroep te achterhalen wordt vaak gebruikgemaakt van vragenlijsten. Deze worden voor allerlei doeleinden ingezet, zowel voor commercieel gebruik als voor wetenschappelijk onderzoek. Maar zijn de antwoorden van deze vragenlijsten wel altijd even bruikbaar? Wordt er wel eerlijk antwoord gegeven door de respondenten? Dit zijn vragen waar vragenlijstontwikkelaars zich altijd mee bezig moeten houden, want uiteindelijk gaat het erom dat zoveel mogelijk respondenten de vragenlijst zo eerlijk en goed mogelijk invullen. Onderzocht moet worden op welke manier een vragenlijst zo opgebouwd en afgenomen kan worden, dat het tot de beste resultaten leidt.

Een van risico’s die een vragenlijst met zich meebrengt is dat respondenten de vragenlijst niet geconcentreerd of niet naar eerlijkheid invullen. Zij kruisen bijvoorbeeld alleen maar de keuzemogelijkheid ‘weet niet’ aan; dit wordt ook wel satisficing genoemd (Krosnick, 1999). Satisficing is afgeleid van ‘to satisfice’, tevreden stellen. De respondent probeert de interviewer/onderzoeker tevreden te stellen door wel de vragenlijst in te vullen, maar met zo weinig mogelijk moeite. Om satisficing tegen te gaan zijn meerdere technieken ontwikkeld. Een van de mogelijkheden is het afnemen van face-to-face interviews. Mensen zijn sneller geneigd serieus antwoord te geven wanneer een interviewer tegenover hem of haar zit (Smyth e.a. 2007). Bij face-to-face interviews is de kans op sociaal wenselijke antwoorden echter weer groter (Bradburn, 2004). Mensen zijn geneigd te antwoorden volgens de norm van de samenleving en willen daarom het antwoord geven dat het best gewaardeerd wordt door de interviewer. (Goffman, 1959). De verschillende interviewmodi hebben ook wisselende effecten op de manier waarop respondenten de vragenlijst invullen. Zo kan er bijvoorbeeld onderscheid worden gemaakt tussen onlinevragenlijsten en face-to-face interviews. Bij de face-to-face interviews speelt de interviewer een belangrijke rol, zowel verbaal als non-verbaal. De interviewer leest op een bepaalde manier de vraag voor, de manier waarop de interviewer dit doet kan invloed hebben op het antwoord van de respondent. Ditzelfde geldt voor non-verbale signalen. De respondent zal deze op een bepaalde manier interpreteren.

2 ‘In welke mate heeft het verbale gedrag van de interviewer bij het stellen van de vragen effect op de

sociaal wenselijke antwoorden van de respondent?’

Aan de hand van zes hypotheses wordt antwoord gegeven op deze hoofdvraag. Om antwoord te kunnen geven op deze hoofdvraag wordt gebruikgemaakt van face-to-face interviews. Op deze manier zijn verbale data van zowel de interviewer als de respondent beschikbaar. Om iets te kunnen zeggen over sociaal wenselijke antwoorden worden de antwoorden van de face-to-face interviews vergeleken met de antwoorden van onlinerespondenten. De data die voor dit onderzoek gebruikt worden, zijn afkomstig van Nederlandse respondenten van de European Social Survey (ESS). Dit zijn respondenten uit meerdere lagen van de Nederlandse bevolking. Voor het huidige onderzoek worden uit de ESS vragenlijst, acht vragen geselecteerd die gevoelig zijn voor sociaal wenselijke antwoorden. Allereerst worden de antwoorden van de onlinerespondenten en de face-to-face respondenten met elkaar vergeleken. Daarnaast worden de face-to-face interviews getranscribeerd en gecodeerd om te kunnen onderzoeken welke verbale acties er plaatsvinden in de vraag-antwoordsequenties. Ook wordt geëxperimenteerd met twee verschillende vormen van de onlinevragenlijst, namelijk een videoversie waarbij een interviewer de vraag voorleest en een tekstversie, waarbij de respondent de tekst enkel op het computerscherm ziet verschijnen. Met de videoversie wordt de face-to-face setting nagebootst. Op deze manier kan onderzocht worden wat het effect is van het nabootsen van de face-to-face setting in de onlinevragenlijst.

3

2

Theoretisch kader

In het theoretisch kader wordt een beschrijving gegeven van de literatuur die ten grondslag ligt aan dit onderzoek en waar de onderzoeksvraag en de hypotheses van dit onderzoek op zijn gebaseerd.

2.1 Interviewmodi

Zoals in de inleiding is omschreven, worden vragenlijsten voor veel verschillende doeleinden afgenomen. Om het beste resultaat te bereiken, is het van belang dat bij het opstellen van een vragenlijst goed wordt nagedacht over het doel en de doelgroep van de vragenlijst. Wanneer dit helder is, kan bepaald worden welke interviewmodi hier het meest geschikt voor zijn. Een vragenlijst kan namelijk op verschillende manieren worden afgenomen. Vragenlijsten worden meestal afgenomen door middel van face-to-face interviews, telefonische interviews of via het web (Jans, 2008). Een onlinevragenlijst wordt ook wel het computer geassisteerde web interview (CAWI) genoemd. De respondent ontvangt dan bijvoorbeeld via de mail of via een website het verzoek een vragenlijst in te vullen. Het face-to-face interview wordt ook wel het computer geassisteerde persoonlijk interview (CAPI) genoemd. Vroeger werden de face-to-face interviews nog met behulp van pen en papier afgenomen (PAPI). Sinds 1980 is het mogelijk de antwoorden via de computer in te voeren (Olsen & Sheets 2008). De interviewer leest de vraag voor vanaf het computerscherm, de respondent geeft verbaal antwoord en de interviewer voert het antwoord in, in de computer.

2.1.1 Voor- en nadelen interviewmodi

4 interview dan ook minder vaak voor. Een ander voordeel van een face-to-face interview is dat de interviewer nog iets kan toelichten, wanneer de respondent de vraag bijvoorbeeld niet goed begrijpt.

Smyth e.a. (2007) beweren dat sociaal wenselijke antwoorden minder snel voorkomen in web enquêtes dan in face-to-face interviews. Dit komt door de persoonlijke aanwezigheid van de interviewer, waardoor de respondent zich minder anoniem voelt. Uit onderzoek blijkt dat mensen sneller geneigd zijn eerlijk te zijn over hun sociaal gênante overtuigingen en gedrag, wanneer zij er zeker van zijn dat zij dit in anonimiteit vertellen (Himmelfarb & Lickteig 1982; Paulhus 1984). Aan de andere kant kan de respondent het ook juist prettig vinden dat zijn verhaal onder vier ogen blijft, want van gegevens via internet weet je nooit precies wat ermee gedaan wordt, deze kunnen bijvoorbeeld ook gehackt worden.

De hiervoor beschreven studies over sociaal wenselijk gedrag geven dus aan dat sommige mensen hun antwoorden op enquêtevragen vervormen om zichzelf als meer sociaal wenselijk te presenteren en dat dit effect sterker is wanneer de interviewer aanwezig is (Holbrook e.a., 2003). Om deze theorie te testen wordt in het huidige onderzoek de volgende hypothese getoetst:

H1: De antwoorden van de face-to-face interviews zijn meer sociaal wenselijk dan de antwoorden van de onlinevragenlijst.

Bij het afnemen van vragenlijsten moet ervoor gewaakt worden dat de respondenten maar uit één hoek van de bevolking komen. Om betrouwbare resultaten te genereren is het van belang dat er gebruik wordt gemaakt van een goede steekproef. Bij onlinevragenlijsten moet er daarnaast voor gewaakt worden dat ook mensen zonder internet of computer kunnen deelnemen aan het onderzoek. Het LISS panel (Lang Lopende Internet Studies voor de sociale wetenschappen) van de universiteit van Tilburg houdt hier rekening mee door zelf respondenten te benaderen, zodat respondenten uit allerlei lagen uit de bevolking vertegenwoordigd zijn. Ook mensen die geen computer of internetverbinding hebben kunnen meedoen (LISS panel n.d.).

2.1.2 Online interview met videoboodschap

5 zelf het antwoord in op zijn of haar computer; interactie tussen de respondent en interviewer is hierbij niet mogelijk.

Fuchs en Funke (2007) hebben een experiment gedaan waarin zij de online-videovragenlijst vergeleken met het face-to-face interview. Hun hypothese was dat de reacties die respondenten geven op de video ongeveer gelijk zijn aan de antwoorden op een face-to-face interview, omdat de respondent de persoon die hij of zij ziet in de video waarneemt als een echt persoon, die in levende lijve voor hem of haar zit. De respondent zal dus dezelfde antwoorden geven bij een videovragenlijst als bij een face-to-face interview. Uit de resultaten van Fuchs & Funke bleek echter dat de respondenten geen face-to-face gevoel hadden tijdens het beantwoorden van de vragen van de videovragenlijst; eerder het tegenovergestelde, ze voelden geen enkele vorm van betrokkenheid met de interviewer. Fuchs & Funke geven aan dat het missen van het face-to-face aspect kan komen doordat er geen interactie mogelijk is met de interviewer die op de video te zien is. Zij geven tevens aan dat er meer onderzoek naar gedaan moet worden en dat er meerdere modi met elkaar vergeleken moeten worden. De respondenten die zij voor hun onderzoek gebruikt hebben zijn enkel universitaire studenten. In een vervolgonderzoek kunnen respondenten gebruikt worden die een bredere groep van de samenleving vertegenwoordigen.

2.2 Van interpretatie van de vraag tot het opmaken van een antwoord

Het beantwoorden van een enquêtevraag vereist een aantal cognitieve stappen voor de respondent. Tourangeau e.a. (2000) beweren dat dit proces bestaat uit de volgende vier stappen:

1. Interpretatie van de vraag

2. Relevante informatie uit het geheugen naar voren halen 3. Oordeel vellen over de ontvangen informatie

4. Opmaken van een antwoord

6 van satisficing, omdat de respondent er minder moeite in steekt. De respondent wil wel de interviewer tevreden stellen door antwoord te geven, maar met zo min mogelijk moeite. Daarnaast bestaan er ook gesloten vragen met geordende antwoordmogelijkheden. In deze gevallen gaat de respondent er vaak vanuit dat het gemiddelde gedrag van de populatie overeenkomt met het middelste antwoordalternatief en dat extreem gedrag wordt weergegeven aan de eindpunten van de schaal. Deze veronderstelling is gebaseerd op het Griceaanse principe van coöperatie, wat de respondent aanspoort om aan te nemen dat alles wat de interviewer zegt betekenisvol en informatief is (Schwarz, 1996).

De betekenis van de gesloten antwoordcategorieën zijn niet altijd even duidelijk voor de respondent. Schaeffer en Presser 2003 en Tourangeau e.a. (2000) geven het voorbeeld uit een Engelse vragenlijst, waarin twee antwoordmogelijkheden staan die vaak tot verwarring leiden bij de respondent: ‘pretty often’ en ‘not too often’. Het vage verschil tussen deze kwantificeerders kan ertoe leiden dat de respondent om opheldering vraagt. De interpretatie en betekenis van deze antwoordmogelijkheden kan verschillen per respondent.

2.3 Verbale gedrag interviewer en respondent

Naast het feit dat de respondent gevoelig is om sociaal wenselijke antwoorden te geven wanneer een interviewer tegenover hem of haar zit, is het voor de respondent ook niet altijd even makkelijk om aan een dergelijk interview mee te werken. Houtkoop-Steenstra (2000) beweert dat een interview meer is dan een standaard vraag-antwoordsequentie tussen een interviewer en respondent. Respondenten zijn gewend aan natuurlijke gesprekken die zij op dagelijkse basis voeren met de regels die daarbij horen. De respondent is niet gewend om in een interview constant losse vragen te beantwoorden en daardoor kost het de respondent moeite om op deze manier te communiceren met de interviewer. Het kan bijvoorbeeld voorkomen dat de respondent moeite heeft met het feit dat zij alleen ‘ja’ of ‘nee’ als antwoord hoeft te geven, of alleen een nummer hoeft op te noemen (Tourangeau en Rasinski, 1988).

7 mocht het nodig zijn, maar zij mag nooit de respondent in een bepaalde richting duwen (Fowler & Mangione 1990). Dat de interviewers veranderingen aanbrengen in de oorspronkelijke vragenlijst blijkt uit een onderzoek van Ongena en Dijkstra (2006). Aan de hand van de resultaten van een meta-analyse geven zij aan dat kleine afwijkingen door interviewers in ongeveer een derde van de vragen voorkomt, de vraagbetekenis is in dit geval niet veranderd. In ongeveer een kwart van de vragen vinden wel grote afwijkingen plaats, in deze gevallen verandert ook de vraagbetekenis.

Haan, Ongena en Huiskes (2013) hebben onderzoek gedaan naar het verbale gedrag tussen interviewer en respondent om te kijken wat voor invloed dit heeft op de antwoorden van de respondent. Zij onderzochten op welke manier interviewers afwijken van de vragen en hoe deze afwijkingen het antwoordgedrag van de respondent beïnvloeden. In hun onderzoek werd met name gelet op het feit of de afwijkingen waren gebaseerd op conventies die voorkomen in gewone gesprekken. Voor dit onderzoek werden data geanalyseerd van de Nebraska Annual Social Indicators Survey 2006 (NASIS) (Bureau of Sociological Research, 2012). Uit de resultaten van dit onderzoek blijkt dat interviewers geneigd zijn vragen in te korten en aan sommige vragen juist informatie toe te voegen. Deze wijzigingen die de interviewers invoerden hebben als functie de interactie tussen de interviewer en respondent zo optimaal mogelijk te maken. Hieruit kan geconcludeerd worden dat de interviewer geneigd is samenhang te zoeken tussen de vragen uit de vragenlijst en de vragen in een vragenlijst niet ziet als allemaal losse items. Door de wijzigingen die de interviewer maakt in de oorspronkelijke vraagstelling, begrijpt de respondent sneller de vraag, waardoor de respondent beter in staat is een juist antwoord te geven. Dit leidt tot de verwachting dat:

H2: Interviewers lezen de vraag vaker met een kleine afwijking voor dan dat ze de vraag

correct voorlezen.

De bewering van Fowler en Magione (1990) dat de interviewer de vraag altijd precies zo moet voorlezen als op papier staat, wordt hiermee weerlegd. Echter de vraag is, in hoeverre de interviewer de vragen mag vervormen en aanpassen aan de situatie. Verder onderzoek moet uitwijzen wat de verschillende vormen van vraagverandering door de interviewer voor invloed heeft op sociaal wenselijke antwoorden van de respondent.

8 zitten. De sociale afstand tussen de twee partijen is hierdoor klein. Ook non-verbale communicatie speelt een nog belangrijkere rol. De respondent en de interviewer horen elkaar niet alleen, maar zien ook elkaars bewegingen, gezichtsuitdrukkingen en uiterlijk. Door deze verschillen in interviewmodi is het interessant te onderzoeken welke voor verbale acties er plaatsvinden in face-to-face interviews gericht op vragen die gevoelig zijn voor sociaal wenselijke antwoorden.

2.4 Sociaal wenselijke antwoorden

In de hiervoor beschreven literatuur is al een aantal keer gesproken over sociaal wenselijke antwoorden. Om onderzoek te kunnen doen naar dit onderwerp is het van belang dat duidelijk is welke vragen nu precies gevoelig zijn voor sociaal wenselijke antwoorden. Holbrook e.a. (2003) hebben hier onderzoek naar gedaan, door middel van verschillende vragen te pre-testen bij hun respondenten. Aan deze pre-test deden 120 respondenten mee die vervolgens in twee groepen werden verdeeld. De eerste groep kreeg de opdracht het antwoord te kiezen die zij het minst zouden respecteren of bewonderen wanneer iemand anders dit antwoord zou kiezen, of waarmee zij dachten de slechtste indruk te maken bij de interviewer; dit werd ‘fake bad’ genoemd. De andere groep werd juist gevraagd het antwoord te kiezen die volgens hun het meest gewaardeerd zou worden door de samenleving, of waarmee zij de beste indruk bij de interviewer konden maken; dit werd ‘fake good’ genoemd. De verschillen in antwoorden tussen deze groepen bleken significant te zijn, waardoor geconcludeerd kon worden dat er sprake was van sociaal gevoelige vragen. De onderwerpen die uit het onderzoek van Holbrook e.a. (2003) naar voren kwamen en gevoelig bleken te zijn voor sociaal wenselijke antwoorden zijn: interesse in politiek, stemgedrag (in voorgaande verkiezingen), het wel of niet geven van overheidssteun aan zwarte groeperingen, religie en frequentie van het kijken naar het lokale nieuws.

9 antwoorden te voorkomen moet de respondent zoveel mogelijk het idee krijgen dat hij of zij anoniem de vragen beantwoordt (Smith e.a 2007). Hier zijn verschillende oplossingen voor bedacht, soms ook tegenstrijdige oplossingen. Holbrook e.a. (2003) en Fowler & Mangione (1990) geven aan dat de interviewer zo neutraal mogelijk moet blijven in zijn of haar verbale en non-verbale gedrag en dat de interviewer de vraag precies zo moet voorlezen als op de vragenlijst staat en hij of zij mag hierbij geen afkeurende non-verbale bewegingen maken, zoals fronzen met de wenkbrauwen. Zoals eerder in dit hoofdstuk is besproken geven Haan, Ongena en Huiskes (2013) juist aan dat interviewers geneigd zijn vragen in te korten en aan sommige vragen juist informatie toe te voegen. Deze aanpassingen die de interviewers invoeren hebben als functie de interactie tussen de interviewer en respondent zo optimaal mogelijk te maken. Deze theorie van Haan, Ongena en Huiskes (2013) leidt tot de verwachting dat:

H3-1: De vragen die met een kleine afwijking worden voorgelezen leiden vaker tot een

adequaat antwoord dan de vragen die zonder afwijking worden voorgelezen.

H3-2: De respondent zal vaker om opheldering vragen wanneer de vraag zonder afwijking

wordt voorgelezen dan wanneer de vraag met een kleine afwijking wordt voorgelezen.

Een andere manier om de vragen zo anoniem mogelijk te houden is door gebruik te maken van toonkaarten. Dit kan bijvoorbeeld gedaan worden wanneer gevraagd wordt naar iemands inkomen. Hieronder is een voorbeeld weergegeven op basis van de European Social Survey (ESS), waarin te zien is op welke manier de respondent de antwoordmogelijkheden te zien krijgt wanneer gevraagd wordt naar zijn of haar inkomen. De respondent hoeft nu enkel de letter door te geven die het meest overeenkomt met zijn of haar inkomen. Hierbij is het van belang dat er gebruik wordt gemaakt van een willekeurige letterreeks, waardoor de rangordening van laag naar hoog niet te achterhalen is en de interviewer niet direct kan achterhalen welk inkomen de respondent rapporteert (European Social Survey 2012). J € < 500 M € 500 – € 1000 P € 1000 - € 1500 R € 1500 - € 2000 B € > 2000

10

2.5 Paradata

Een vragenlijst wordt afgenomen met als doel het verkrijgen van antwoorden op bepaalde vragen. Naast deze antwoorden kan ook gekeken worden naar aanvullende gegevens die vrijkomen bij het onderzoeksproces. Deze aanvullende gegevens worden paradata genoemd (Haan, 2012). Paradata bevatten bijvoorbeeld informatie over verbale en non-verbale facetten die naar voren komen tijdens het onderzoeksproces (Conrad en Schober, 2007). Bij non-verbale paradata wordt onder andere gelet op toonhoogte, intonatie, spreektempo en hoe luid iemand spreekt (Barath en Canell, 1976; Van der Vaart e.a. 2006). Van visueel non-verbaal gedrag is alleen sprake wanneer de interviewer en de respondent elkaar kunnen zien, zoals bij face-to-face interviews en onlinevragenlijsten met videoboodschap. Hierbij wordt gelet op onder andere gebaren, knikken en bewegingen in het gezicht zoals lachen of het fronzen met de wenkbrauwen (McGovern & Tinsley, 1978). Bij verbale communicatie gaat het om communicatie die wordt geuit door middel van woorden en of geluiden, dit kan zowel gesproken als geschreven zijn. In een interview is de verbale communicatie bijvoorbeeld de vraag die wordt gelezen of voorgelezen. De interviewer kan deze vraag precies zo voorlezen als op papier staat, maar ook vervormen. Hij of zij kan bijvoorbeeld woorden aan de vraag toevoegen of juist weglaten. Deze verbale aanpassing kan invloed hebben op de betekenis van de vraag (Ongena & Dijkstra 2006).

2.5.1 Voorbeelden verbale paradata

De respondent kan op verschillende verbale manieren antwoord op een vraag geven. In sommige gevallen maakt de respondent, vaak onbewust, gebruik van een onzekerheidsaanduider. Voorbeelden hiervan zijn ‘ik denk’ ‘misschien’ ‘nou, ik weet het niet’ ‘ik gok’ (Guilfoyle, 2004). Ook een lange pauze of stilte kan gemarkeerd worden als onzekerheidsaanduider. Schrober en Bloom (2004) hebben naar aanleiding van het onderzoeken van verbale data van telefonische interviews ontdekt dat wanneer een respondent na een vraag niet vloeiend spreekt of een pauze inlast, dit een teken is dat de respondent verduidelijking nodig heeft. Volgens Jefferson (1986) is pauze een vorm van aarzeling.

11 wordt gebruikt, omdat de dubbelzinnigheid van sommige humor het mogelijk maakt deze onderwerpen te bespreken in verhullende of ontkennende vorm.

Een van de vragen die gevoelig is voor sociaal wenselijke antwoorden, is de vraag naar iemands inkomen. In veel gevallen geven respondenten hier geen of geen eerlijk antwoord op. Jans (2010) geeft aan dat door middel van verbale paradata voorspeld kan worden of iemand wel of niet antwoord geeft op de inkomensvraag. Respondenten die geen antwoord geven op deze vraag, kunnen herkend worden aan het feit dat zij meer interjecties genereren als ‘ok’ en ‘uhu’, vaker precies tegelijk praten met de interviewer, veel negatief commentaar geven en ook bij voorgaande vragen aan de inkomensvraag vaker geen antwoord gaven. Daarnaast geeft Jans (2010) aan dat respondenten wellicht diep over sommige vragen na moeten denken, omdat ze complex zijn. In dat geval vinden er weinig verbale acties plaats. Jans (2010) concludeert daarom dat complexe vragen en vragen die gevoelig zijn voor sociaal wenselijke antwoorden, de verbale paradata beïnvloeden. Wanneer een interviewer deze communicatieve gedragingen kan herkennen rondom een lastige of sociaal wenselijke vraag, kan de interviewer de respondent wellicht helpen of motiveren om de vraag te beantwoorden. Op deze manier kunnen satisficing en sociaal wenselijke antwoorden vermeden worden. Haan (2012) geeft aan dat veel studies specifiek verbale paradata onderzochten in telefonische interviews. Het is daarom interessant te onderzoeken welke verbale acties er plaatsvinden in face-to-face interviews gericht op vragen die gevoelig zijn voor sociaal wenselijke antwoorden.

2.6 Beleefdheidstheorie

12 probeert men hier zo tactvol mogelijk mee om te gaan. Bijvoorbeeld door op een indirecte manier te communiceren.

Positieve gezichtsbedreiging

Een manier om het positieve gezicht van de respondent te beschermen kan door de antwoordopties op zo’n manier voor te lezen, dat ze tot de minste verwarring bij de respondent leiden. De vraagstelling en de opbouw van de antwoordkeuzes moeten zoveel mogelijk aan normale gespreksconventies voldoen. Uit een onderzoek van Holbrook e.a. (2000) komt naar voren dat respondenten eerst de positieve antwoordoptie verwachten en dan pas de negatieve antwoordoptie. Dit is ook de volgorde in normale conversaties. Het is dus gebruikelijker om te zeggen ‘Ben je het eens of oneens?’ in plaats van ‘Ben je het oneens of eens?’ Om het positieve gezicht van de respondent te beschermen moeten onconventionele responsvolgordes dus zoveel mogelijk worden vermeden, omdat het te gecompliceerd is voor de respondent, wat onbetrouwbare antwoorden tot gevolg kan hebben (Holbrook e.a. 2000). De respondent is in zo’n geval bijvoorbeeld sneller geneigd ‘weet niet’ te kiezen of het eerste of laatste antwoord dat de respondent hoort, te kiezen.

Negatieve gezichtsbedreiging

Een gestandaardiseerde vragenlijst, waarin de interviewer de gestandaardiseerde vragen voorleest heeft gevolgen voor het negatieve gezicht van de respondent. Aan de respondent wordt ten eerste gevraagd of hij of zij hieraan mee wil werken, wat de vrijheid van de respondent beperkt. Vervolgens moet de respondent steeds een specifiek antwoord uit een rijtje kiezen en volstaat het niet enkel algemene informatie te geven. Bij het stellen van sociaal gevoelige vragen kan sprake zijn van negatieve gezichtsbedreiging, omdat een respondent het niet altijd fijn vindt om hier antwoord op te geven. Vaak gaat het om persoonlijke vragen, die de respondent niet graag prijsgeeft. In een face-to-face interview is de setting zo dat de respondent het gevoel heeft eerlijk antwoord te moeten geven en ook een antwoord moet geven dat wordt ‘goedgekeurd’ door de interviewer. Hierdoor voelt de respondent zich als het ware ‘verplicht’ een goed antwoord te geven op de vraag. Wanneer een respondent het gevoel heeft dat zijn of haar antwoord niet wordt ‘goedgekeurd’ door de interviewer, omdat het antwoord bijvoorbeeld niet ‘voldoet’ aan de norm van de samenleving, kan de respondent geneigd zijn het antwoord toe te lichten waarom hij of zij toch voor dat antwoord kiest. Dit leidt tot de verwachting dat:

H3-3: Wanneer de interviewer de vraag beleefder formuleert, om het negatieve gezicht van

13 Houtkoop-Steenstra (2000) geeft aan dat de interviewer de zinsconstructie soms omdraait, om de vraag wat minder complex te maken om hiermee het negatieve gezicht van de respondent te beschermen. De interviewer kan bijvoorbeeld van een meerkeuze vraag een simpele ja-nee vraag maken. Bijvoorbeeld bij de vraag ‘hoe geïnteresseerd bent u in de politiek?’ horen vier antwoordalternatieven. De interviewer kan er ook voor kiezen de vraag te vervormen in ‘bent u geïnteresseerd in de politiek?’. Het gevolg is dat de interviewer een minder gedetailleerd antwoord krijgt. De interviewer is soms ook geneigd een vraag suggestief te stellen, wat tot een verandering van de vraag leidt. Dit is de reden dat Fowler en Mangione (1990) de interviewer verbieden de vragen te veranderen of de respondent in een bepaalde richting te duwen.

Negatieve gezichtsbedreiging kan ook gecompenseerd worden door het herformuleren van de vraag. Bijvoorbeeld ‘Zou u mij kunnen vertellen wat u maandelijkse inkomen was de afgelopen twaalf maanden?’ in plaats van ‘Wat was u maandelijkse inkomen de afgelopen twaalf maanden?’ (Ongena, 2005). Echter deze compensatiestrategieën kunnen schadelijke gevolgen hebben voor de helderheid van de vragen. De vraag wordt namelijk langer en complexer gemaakt (Bradburn en Sudman, 1979). Cahalan e.a. (1994) geven aan dat lange vragen, met name met toevoeging van aarzelende woorden of aarzelende zinsconstructies, zoals ‘kunt u mij’ of ‘zou u mij misschien’, tot meer problemen leiden bij de interviewers en respondenten. Deze onduidelijkheden kunnen zich bij de respondent vertalen in bijvoorbeeld het gebruik van onzekerheidsaanduiders in het antwoord (Cahalan e.a. 1994). Dit leidt tot de verwachting dat:

H3-4: Wanneer de interviewer de vraag beleefder formuleert, om het negatieve gezicht van

14

3. Methode

3.1 Onderzoeksvraag

In dit onderzoek wordt onderzocht wat het effect van het verbale gedrag van de interviewer in face-to-face interviews is, op de sociaal wenselijke antwoorden van de respondent. De onderzoeksvraag luidt:

In welke mate heeft het verbale gedrag van de interviewer bij het stellen van de vragen effect op de sociaal wenselijke antwoorden van de respondent?

Deze onderzoeksvraag wordt getest aan de hand van een experiment en aan de hand van een kwantitatieve analyse van de interacties tussen de interviewer en de respondent. Er wordt specifiek gekeken naar het feit of de interviewer de vraag precies zo voorleest als op papier staat, of dat hier afwijkingen in voorkomen. Op deze manier kan onderzocht worden of de manier van de verbale vraagstelling door de interviewer effect kan hebben op de manier van antwoorden door de respondent.

3.2 Corpus

15 In figuur 1 is het experimentele design van het huidige onderzoek weergegeven. Het aantal respondenten per groep staat in tabel 1 vermeld. De geselecteerde potentiële respondenten werden allereerst via een brief geïnformeerd over het ESS onderzoek. Vervolgens werden zij aan huis of telefonisch benaderd met de vraag of zij deel wilden nemen aan het ESS onderzoek en op welke manier zij deel wilden nemen. De kandidaten konden kiezen uit een face-to-face of telefonisch interview of een onlinevragenlijst. Een gedeelte van de respondenten had geen vrije keuze, zij werden door de onderzoekers willekeurig in één van de drie categorieën ingedeeld. De onlinerespondenten kregen hun vragenlijst op twee manieren gepresenteerd. Zij begonnen of eerst met de videoversie van de vragenlijst en gingen halverwege over in de tekstuele versie, of zij begonnen met de tekstuele versie en gingen halverwege over in de videoversie. Zij werden willekeurig in deze groepen ingedeeld. In het huidige onderzoek zijn de telefonische respondenten niet meegerekend, deze categorieën worden echter wel weergegeven in figuur 1 en in tabel 1. De reden dat deze categorieën wel worden weergegeven is dat nu duidelijk te zien is hoe het oorspronkelijke experiment van het ESS onderzoek (European Social Survey, 2011) en Haan (2012) is opgebouwd en welke keuzes de respondenten hier wel of niet in hadden.

16 In tabel 1, op de volgende pagina, is een overzicht gegeven van het aantal respondenten dat heeft meegedaan aan het ESS onderzoek. Hierin is ook aangeven hoeveel respondenten om welke reden niet hebben meegedaan. In de volgende opsomming zijn de termen uit de tabel toegelicht.

- Deelnemers: respondenten die daadwerkelijk de vragenlijst hebben ingevuld.

- Toezeggingen: respondenten die aangaven dat ze wel mee wilden doen, hebben ook aangegeven op welke manier ze de vragenlijst wilden invullen, maar hebben uiteindelijk niet meegedaan.

- Weigering: de respondent gaf aan niet mee te willen doen.

- Geen contact: de respondent nam niet op, of de interviewer kreeg de voicemail te horen. - Geen bruikbaar contact: bij de benadering aan huis kan het bijvoorbeeld voorkomen dat het

huis leeg staat, of dat het huis een kantoorpand is (American Association for Public Opinion Research 2011, p. 23). Bij een telefonische benadering kan het zijn dat het telefoonnummer van een winkel of van een gevangenis is (American Association for Public Opinion Research 2011, p. 18).

In het onderzoek van deze scriptie worden de telefonische interviews niet meegerekend, deze aantallen zijn daarom grijs gekleurd.

17

Tabel 1: Percentages steekproef per groep

Groep Informeren Contact manier Respons manier Aantallen Percentages

1 Brief Face-to-face: CAPI deelnemers N=117 13,3%

Keuze tussen CAPI toezeggingen N=17 1,9% CAPI of CAWI

CAWI deelnemers N=171 19,4% CAWI toezeggingen N=144 16,4%

Weigering N=291 33,1%

Geen contact N=65 7,4%

Geen bruikbaar contact N=75 8,5%

Subtotaal N=880 100%

2 Brief Telefonisch: CATI deelnemers N=100 9,7%

Keuze tussen CATI toezeggingen N=10 1,0%

CATI of CAWI

CAWI deelnemers N=125 12,2% CAWI toezeggingen N=71 6,9%

Weigering N=531 51,7%

Geen contact N=82 8,0%

Geen bruikbaar contact N=109 10,6%

Subtotaal N=1028 100%

3 Brief Telefoon: CAPI deelnemers N=100 15,8%

geen keuze, CAPI toezeggingen N=15 2,4%

ingedeeld Weigering N=409 64,5%

bij CAPI Geen contact N=56 8,8%

Geen bruikbaar contact N=54 8,5%

Subtotaal N=634 100%

Telefoon: CATI deelnemers N=106 25,4%

geen keuze, CATI toezeggingen N=6 1,4%

ingedeeld Weigering N=237 56,8%

bij CATI Geen contact N=14 3,4%

Geen bruikbaar contact N=54 13,0%

Subtotaal 417 100%

Telefoon: CAWI deelnemers N=105 19,6% geen keuze, CAWI toezeggingen N=64 11,9%

ingedeeld Weigering N=270 50,3%

bij CAWI Geen contact N=41 7,6%

Geen bruikbaar contact N=57 10,6%

Subtotaal N=537 100%

Totaal N=3496

Tabel 2: indeling onlinevragenlijst

Groep Totaal (N) (N) start videoversie (N) start tekstuele versie

1 171 75 96

2 125 66 59

18 In het huidige onderzoek worden alle sociaal wenselijke vragen uit het CAPI onderzoek onderzocht door middel van transcriptie en codering van de face-to-face interviews. In totaal zijn van 100 respondenten de sociaal gevoelige vraag-antwoordsequenties getranscribeerd en gecodeerd. In paragraaf 3.3 wordt uitleg gegeven over het codeerschema. De antwoorden van de CAPI respondenten worden ook vergeleken met de antwoorden van de CAWI respondenten.

Tekstueel versus video in onlinevragenlijst

In de onlinevragenlijst is een experiment ingebouwd. Er wordt gekeken naar het verschil tussen de vraag voorlezen met behulp van een video en de vraag enkel tekstueel weergeven. In figuur 2 is te zien hoe het videofragment eruit ziet1. De antwoordmogelijkheden worden terwijl de interviewer de vraag opleest, weergeven op het scherm. De respondent kan de vraag zo vaak herhalen als wenselijk is. Extra uitleg over de antwoordmogelijkheden, zoals ‘u kunt maximaal drie antwoorden aankruisen, kies de belangrijkste drie’ wordt ook nogmaals tekstueel weergegeven.

Figuur 2, voorbeeld van video in online vragenlijst

3.2.1 ESS vragenlijst

De ESS vragenlijst bestaat uit ongeveer honderd vragen, die kunnen worden onderverdeeld in ja/nee vragen, open vragen en vragen die op basis van een schaal moeten worden beantwoord. De onderwerpen die in de vragenlijst worden behandeld zijn: religie, politiek, sociale klasse, gepercipieerde discriminatie, sociaal-demografische en etnische en nationaliteits-vragen. Voorbeelden van vragen die in de European Social Survey voorkomen die gevoelig zijn voor sociaal

1

19 wenselijke antwoorden zijn ‘Hebt u gestemd tijdens de laatste verkiezingen?’ en ‘Homo’s en lesbiennes moeten hun eigen leven kunnen leiden zoals zij dat willen. Deze vragen zijn gevoelig voor sociaal wenselijke antwoorden, omdat ze met de normen en waarden van een samenleving te maken hebben. Mensen hebben bepaalde normen en waarden en deze zijn vaak verschillend per groep (Haan, 2012). Mensen willen zich ten opzichte van de interviewer gedragen als een persoon die volgens de norm leeft en zijn daarom geneigd het antwoord te geven dat het best gewaardeerd wordt door de interviewer. Bewijs voor dit fenomeen is gevonden in psychologisch onderzoek (Goffman, 1959).

In het huidige onderzoek zijn ook vier controlevragen toegevoegd die bestaan uit vragen van de Marlowe-Crowne schaal (Crowne e.a. 1960). Aan de hand van deze vragen wordt gemeten in hoeverre de respondent gevoelig is om sociaal wenselijke antwoorden te geven. Voor het huidige onderzoek zijn acht vragen uit de ESS vragenlijst geselecteerd. Deze geselecteerde vragen worden weergegeven in bijlage 1 en in paragraaf 3.4 wordt hier dieper op ingegaan. In bijlage 1 staat bij iedere vraag vermeld welke antwoorden tot een sociaal wenselijk antwoord worden gerekend en waarom.

3.3 Codeerschema’s

De manier waarop de onderzoeksvraag van dit onderzoek onderzocht wordt, is door de vragen die gevoelig zijn voor sociaal wenselijke antwoorden per vraag-antwoordsequentie te transcriberen en vervolgens te coderen aan de hand van een codeerschema. Bij de vraag-antwoordsequentie wordt gekeken naar de manier waarop de interviewer de vraag stelt en op welke manier de respondent hier antwoord op geeft. Hetgeen dat onderzocht wordt, is of er verbanden te zien zijn in de manier waarop deze vraag-antwoordsequenties zijn opgebouwd. Met andere woorden, of er een verband te zien is in de manier waarop de interviewer de vraag stelt en de manier waarop de respondent hier vervolgens weer antwoord op geeft.

20

Tabel 3: Codeerschema vraagsequentie interviewer

De hiervoor genoemde codeercategorieën worden aan de hand van voorbeelden verduidelijkt.

1. De interviewer leest de vraag precies zo voor als op papier staat. Voorbeeld:

“We vinden het fijn dat u tijd voor ons heeft vrijgemaakt; als dank hebben wij een cadeaubon voor u, maar misschien geeft u het geld liever aan een goed doel. Waar gaat uw voorkeur naar uit?”

2. De interviewer leest de vraag met een kleine afwijking voor. Deze categorie is onderverdeeld in categorie 2.1 en 2.2. Deze categorieën worden hierna uitgelegd.

2.1 De interviewer leest de vraag voor met een kleine afwijking, zonder dat de vraag beleefder wordt geformuleerd. Deze aanpassing heeft geen invloed op de betekenis van de vraag. Voorbeeld:

“Bedankt voor het meedoen aan het dit onderzoek. Om u te bedanken hebben wij een cadeaubon voor u, maar misschien geeft u het geld liever aan een goed doel. Waar gaat uw voorkeur naar uit?” In dit voorbeeld is de vraag wel anders geformuleerd dan op papier staat, maar de betekenis van de vraag is niet veranderd.

2.2 De interviewer leest de vraag voor met een beleefdere formulering. Dit is een kleine afwijking, dus de betekenis van de vraag verandert niet. De beleefdere formulering, zoals het gebruik van ‘zou u misschien’ past binnen de verwachting van de beleefdheidstheorie van Brown & Levinson (1987). Voorbeeld: “We vinden het fijn dat u tijd voor ons heeft vrijgemaakt; om u te bedanken wil ik u graag een cadeaubon aanbieden, maar misschien geeft u het geld liever aan een goed doel. Waar gaat uw voorkeur naar uit?”

3. De interviewer leest de vraag voor met een grote afwijking. De interviewer verandert de vraag op zo’n manier dat ook de betekenis van de vraag verandert. Voorbeeld:

Codering gedrag interviewer

1. Vraag wordt correct voorgelezen

2. Vraag wordt met een kleine afwijking voorgelezen

2.1 Vraag wordt met een kleine afwijking voorgelezen zonder dat de vraag beleefder wordt gesteld 2.2 Vraag wordt met een kleine afwijking voorgelezen met een beleefdere formulering

21 “Wij vinden het fijn dat u tijd voor ons heeft gemaakt. Als dank hebben wij een cadeaubon voor u”. In dit voorbeeld is de betekenis van de vraag veranderd, omdat er niet gevraagd is of de respondent geld wil geven aan het goede doel.

Er wordt onderscheid gemaakt in de kleine afwijking met beleefde formulering en zonder beleefde formulering. Volgens onderzoekers vallen deze beleefdheidsregels, die vaak onbewust door de interviewer worden toegepast, te verklaren door de ‘beleefdheidstheorie’ van (Brown en Levinson 1987). Hier wordt onderscheid in gemaakt, omdat twee hypotheses specifiek gaan over de beleefdheidstheorie, op deze manier zijn deze hypotheses meetbaar. Doordat de beleefdheidstheorieën vaak kleine aanpassingen zijn en deze geen invloed hebben op de vraagbetekenis, worden deze ook geschaald onder kleine afwijking; zodat wanneer er analyses met de groep kleine afwijking worden gedaan de dataset groter is. De categorieën 2.1 en 2.2 worden dan samengenomen.

De gedragingen die voortkomen uit dit codeerschema worden vervolgens vergeleken met de gedragingen die voortkomen uit het codeerschema van de respondent. Op deze manier kan worden onderzocht of de manier van vraagstelling door de interviewer invloed heeft op de manier van antwoorden door de respondent.

De antwoorden van de respondenten kunnen ook worden gecodeerd aan de hand van eenzelfde soort schema. In tabel 4 is dit codeerschema weergegeven. Dit schema is gebaseerd op het codeerschema van Ongena (2005) met als toevoeging de optie ‘eigen toelichting/verklaring van het antwoord’ (Brown en Levinson, 1987).

Tabel 4: Codeerschema antwoordsequentie respondent

De hiervoor genoemde codeercategorieën worden aan de hand van voorbeelden verduidelijkt.

Codering gedrag respondent

1. Adequaat antwoord 2. Inadequaat antwoord

3. Respondent vraagt opheldering 4. Onzekerheidsaanduider/nuancering

22 De respondenten geven antwoord op de vraag: “We vinden het fijn dat u tijd voor ons heeft vrijgemaakt; als dank hebben wij een cadeaubon voor u, maar misschien geeft u het geld liever aan een goed doel. Waar gaat uw voorkeur naar uit?”

1. De respondent geeft adequaat antwoord. Voorbeeld: “Naar de cadeaubon”.

2. De respondent geeft een inadequaat antwoord. Voorbeeld: “Ik hoef niets”.

3. De respondent vraagt om opheldering. Het kan zijn dat de respondent om opheldering vraagt omdat hij of zij de vraag niet goed heeft verstaan of de vraag niet heeft begrepen. Voorbeeld:

“Wat voor goede doelen?”

4. De respondent maakt gebruik van een onzekerheidsaanduider of geeft een nuancering aan. Voorbeelden zijn ‘ik denk’, ‘misschien’, ‘ik gok’ maar ook lachen of lange stiltes (Guilfoyle, 2004). Voorbeeld: “Nou ik denk dat ik het goeie doel ben haha”.

5. De respondent geeft een eigen toelichting of verklaring van het antwoord. Hiervan is sprake wanneer de respondent nog iets extra’s aan zijn of haar antwoord toevoegt, bijvoorbeeld:

“Doe mij maar de cadeaubon, ik geef al genoeg geld uit aan goede doelen”.

3.4 Wat zijn sociaal-gevoelige vragen?

23

Tabel 5: Onderwerpen die sociaal gevoelig zijn en daardoor tot sociaal wenselijke antwoorden kunnen leiden

Jans (2010) geeft daarnaast aan dat de inkomensvraag ook gevoelig is voor sociaal wenselijke antwoorden. In bijlage 1 is onder iedere vraag weergegeven welke antwoorden van die vraag in de categorie ‘sociaal wenselijk antwoord’ vallen. Sommige van deze vragen komen niet in het onderwerpenlijstje van hierboven voor. Toch worden deze vragen wel meegenomen in het onderzoek, omdat ze gevoelig zijn voor sociaal wenselijke antwoorden. Een voorbeeld hiervan is, iemands sociale contacten. Mensen staan bekend om het feit dat zij sociale dieren zijn. Het ligt in onze natuur om relaties aan te gaan met andere mensen, we willen ergens bij horen en verbondenheid ervaren (Kordelaar 2009). Wanneer iemand een sociaal wenselijk antwoord geeft, geeft deze persoon dus aan dat hij of zij vaker contact heeft met andere mensen dan werkelijk het geval is. Maar vanaf welke contactfrequentie iemand een sociaal wenselijk antwoord lijkt te geven is discutabel. In bijlage 1 is aangegeven welke antwoorden op deze vraag in het huidige onderzoek als sociaal wenselijk worden beschouwd.

Onderwerp Significantie In ESS vragenlijst

Interesse in politiek P<.001 Ja

Wel of niet gestemd tijdens laatste verkiezingen P<.001 Ja

Interesse in politieke campagnes P<.001 Nee

Overheidssteun aan zwarte bevolkingsgroepen (alleen blanke respondenten)

P<.001 Nee

Frequentie van het bijwonen van religieuze diensten P<.001 Ja

Uitgaven sociale zekerheid P<.001 Nee

24

4

. Resultaten en analyse

4.1 Proefpersonen

Aan dit onderzoek hebben in totaal 618 respondenten meegedaan. Dit aantal bestond uit 401 internetrespondenten en 217 face-to-face respondenten. De leeftijd van de respondenten liep erg uiteen. Zo was de oudste deelnemer 98 jaar oud en de jongste deelneemster 17. De gemiddelde leeftijd van de face-to-face respondenten was 58 en de gemiddelde leeftijd van de onlinerespondenten 48. Het aantal 65-plussers was bij de face-to-face respondenten groter (41%) dan bij de onlinerespondenten (16%). Dit komt onder andere omdat ouderen niet altijd over een computer en/of internet beschikken. Daarnaast zijn deze ouderen veelal gepensioneerd, wat betekent dat zij over het algemeen meer tijd hebben om deel te nemen aan een face-to-face interview. Qua opleidingsniveau verschillen de twee groepen respondenten ook van elkaar. De internetrespondenten hebben een hoger opleidingsniveau dan de face-to-face respondenten. Hierbij moet wel gezegd worden dat ouderen gemiddeld een lagere opleiding hebben genoten dan jongere generaties, door de veranderde opleidingskansen in Nederland door de jaren heen. Zo heeft bijvoorbeeld 77% van de face-to-face respondenten alleen de basisschool afgemaakt tegen 24% van de onlinerespondenten. Het grootste verschil is dat 88% van de onlinerespondenten een HBO diploma heeft, tegen 12% van de face-to-face respondenten. Wanneer gekeken wordt naar de dagelijkse activiteit van de respondenten blijkt dat de meerderheid van de onlinerespondenten werkt of een opleiding volgt, 70% tegen 20% van de face-to-face respondenten. De meerderheid van de face-to-face respondenten is arbeidsongeschikt, gepensioneerd of actief in het huishouden. Voor elk van deze drie gevallen geldt dit voor ongeveer 60% van de face-to-face respondenten tegen ongeveer 40% van de onlinerespondenten.

4.2 Gegevensverwerking

In de paragrafen die hierna volgen, worden de resultaten per sociaal wenselijke vraag beschreven. Bij de respondenten die de vragenlijst online hebben ingevuld wordt onderscheid gemaakt of zij de vraag in videovorm of in tekstuele vorm te zien kregen.

25 over waren om een chi-kwadraat toets te kunnen uitvoeren. Bovendien zijn deze categorieën ambigu wat betreft sociale wenselijkheid, met uitzondering van ‘weigering’.

4.3 Resultaten

In deze paragraaf worden de resultaten besproken van de zes hypotheses die in dit onderzoek centraal staan. Allereerst volgen de resultaten van de eerste hypothese waarbij de antwoorden van de acht sociaal gevoelige vragen worden geanalyseerd. Daarna volgen de tabellen waar deze analyses op zijn gebaseerd. Daarnaast wordt ook gekeken naar het verschil tussen de onlinerespondenten die de vraag in videovorm of in tekstuele vorm te zien kregen. De resultaten met bijbehorende tabellen worden enkel in de lopende tekst behandeld en staan niet in de tabellenreeks die daarop volgt.

Toelichting tabellen

In dit hoofdstuk worden veel tabellen weergegeven. De laatste kolom van de tabellen geeft weer of het resultaat: in overeenstemming is met de hypothese (+), het tegenovergestelde van de hypothese beweert (-), of dat er geen verschil is tussen het resultaat en de hypothese (0). Wanneer er een * boven het chi-kwadraat getal staat, betekent dit dat er sprake is van een significant effect.

4.3.1 Resultaten hypothese 1

Hypothese 1: ‘De antwoorden van de face-to-face interviews zijn meer sociaal wenselijk dan de antwoorden van de onlinevragenlijst.’

Vraag B1: Interesse in politiek

26 Vraag B1: Invloed van video in de onlinevragenlijst

De helft van de onlinerespondenten kreeg de vraag ‘hoe geïnteresseerd bent u in de politiek’ als normale tekst te zien en de andere helft kreeg de videoboodschap. De vergelijking tussen deze twee varianten leverde geen significante verschillen op (N=399; χ2=2,38; df=3; p=.50).

Vraag B11: Stemgedrag

Vraag B11 luidt: “Sommige mensen stemmen tegenwoordig om de één of andere reden niet. Heeft u tijdens de laatste Tweede Kamer verkiezing in juni 2010 gestemd?” Een antwoord wordt hier als sociaal wenselijk beschouwd indien de respondent instemmend antwoordt. Hieruit komt een significant verschil naar voren van (N=600; χ2=4,19; df=1; p=.04), waaruit blijkt dat de onlinerespondenten vaker aangeven te stemmen dan de face-to-face respondenten. In tabel 9 zijn de percentages weergegeven. Dit is dus andersom significant dan verwacht. Hierbij geldt echter ook dat dit te maken kan hebben met verschil in sociale klasse, maar dat dit vanwege te weinig respondenten niet onderzocht kan worden. Het resultaat van deze vraag wijst er dus op dat de hypothese kan worden verworpen.

Vraag B11: Invloed van video in de onlinevragenlijst

Wanneer gekeken wordt naar het verschil tussen de tekstversie en de videoversie blijkt er geen significant verschil te zijn (N=388; χ2=1,33, df=1; p=.25). Er is dus geen verschil tussen de respondenten die vraag in tekstvorm of in videovorm te zien kregen.

Vraag B31: Mening over homoseksuelen

27 Vraag B31: Invloed van video in de onlinevragenlijst

Wanneer wordt gekeken naar het verschil tussen de tekstversie en de videoversie blijkt er een significant verschil te zijn (N=389; χ2=7,3; p=.03). De respondenten die de vraag in videovorm te zien kregen, gaven in vergelijking met de andere groep respondenten vaker aan het eens te zijn met de stelling. De respondenten die vraag in tekstversie te zien kregen gaven vaker aan het oneens te zijn met de stelling. In tabel 6 zijn de percentages weergegeven.

Tabel 6: Resultaten vraag B31 Video versus tekst

Vraag B36: Andere huidskleur

Vraag B36 luidt: “En wat is uw mening met betrekking tot mensen met een andere huidskleur of etnische groep dan de meeste Nederlanders? Het Nederlandse beleid moet…” De antwoorden die als sociaal wenselijk worden beschouwd zijn de antwoorden waarin de respondent aangeeft dat het Nederlandse beleid mensen moet toelaten. Het resultaat van deze analyse is niet significant (N=593; χ2=2,49; df=3; p=.48). De percentages liggen ontzettend dichtbij elkaar. Het resultaat van deze vraag wijst er dus op dat de hypothese kan worden verworpen. In tabel 11 zijn de percentages weergegeven.

Vraag B36: Invloed van video in de online vragenlijst

Wanneer gekeken wordt naar het verschil tussen de tekstversie en de videoversie blijkt er geen significant verschil te zijn (N=381; χ2=1,34; df=3; p=.72). Er is dus geen verschil tussen de respondenten die vraag in tekstvorm of in videovorm te zien kregen.

Vraag C4: Sociale contacten

Vraag C4 luidt: “Hoe vaak neemt u in vergelijking met andere mensen van uw leeftijd, deel aan sociale activiteiten?” De antwoorden ‘ongeveer evenveel’, ‘meer dan’ en ‘veel meer dan de meesten’

Volgorde tekst eerst of video eerst

Tekst eerst, dan video Video eerst, dan tekst totaal χ2 Verwachting Vraag B31 Homoseksuelen moeten vrij zijn hun leven te leiden zoals zij dat willen

Zeer mee eens / mee eens 185 88,9% 169 93,4% 354 91% +

28 worden als sociaal wenselijk beschouwd. De verschillen tussen de internetrespondenten en de face-to-face respondenten zijn significant (N=600; χ2=12,31; df=4 p=.02). In tabel 12 zijn de percentages weergegeven. Opmerkelijk is ook hier dat de significantie de andere kant op wijst dan in de hypothese wordt voorspeld. De onlinerespondenten vertonen namelijk meer sociaal wenselijk gedrag dan de face-to-face respondenten. De face-to-face respondenten geven significant vaker aan veel minder sociale contacten te hebben dan hun leeftijdsgenoten. De face-to-face respondenten zijn in dit geval minder of niet geneigd sociaal wenselijk te antwoorden. De kanttekening die ook hier gemaakt moet worden is het feit dat de face-to-face respondenten vaker invalide of arbeidsongeschikt zijn, wat een ongunstig effect heeft op het hebben of houden van sociale contacten. De hypothese kan aan de hand van deze vraag dus worden verworpen.

Vraag C4: Invloed van video in de vragenlijst

Wanneer gekeken wordt naar het verschil tussen de tekstversie en de videoversie blijkt er geen significant verschil te zijn (N=383; χ2=0,49; df=2; p=.78). Er is dus geen verschil tussen de respondenten die vraag in tekstvorm of in videovorm te zien krijgen.

Vraag C37 t/m C40: Sociaal wenselijkheidsschaal

Deze vier vragen vormen samen de sociaalwenselijkheidsschaal. In tabel 7 zijn de antwoordopties weergegeven. De antwoorden die als sociaal wenselijk worden beschouwd zijn de antwoorden ‘helemaal mee eens’ en ‘eens’. In bijlage 1 zijn de vragen die bij deze antwoorden horen weergegeven. Een van de vragen is: “Ik vertel altijd de waarheid”.

Tabel 7: Antwoorden sociaalwenselijkheidsschaal

Om deze vragen te analyseren zijn de vier vragen samengevoegd tot een nieuwe variabele, hiervoor zijn de vragen C38 en C40 omgepoold. Aan de hand van een T-test zijn deze vragen geanalyseerd. De uitkomst van de T-test is niet significant (T=1,30; df= 616; p=.19). Het gemiddelde antwoord is een 2,5. Dit betekent dat het antwoord tussen ‘eens’ en ‘niet eens/niet oneens’ in ligt (tabel 7). Voor internetrespondenten is het gemiddelde antwoord 2,57 en voor face-to-face respondenten 2,49. De meerderheid van de respondenten is het dus of ‘eens’ of ‘niet eens / niet oneens’.

Er is dus geen verschil meetbaar in antwoorden tussen de onlinerespondenten en face-to-face respondenten op het gebied van sociaal wenselijke antwoorden op deze vier vragen. Er kan Helemaal mee eens Eens Niet eens / niet oneens Oneens Helemaal mee oneens

29 geconcludeerd worden dat beide groepen respondenten geen sociaal wenselijke antwoorden geven. De hypothese kan naar aanleiding van deze sociaal wenselijkheidsschaal dan ook worden verworpen.

Vraag C37 t/m C40: Invloed van video in de vragenlijst

Wanneer gekeken wordt naar de verschillen in respondentreacties tussen de videoversie en de tekstversie blijkt er geen significant verschil te zijn (T=-1,40; df=399; p=.16). Het gemiddelde ligt bij beide versies rond de 2,5.

Vraag F41: Inkomen

Vraag F41 luidt: “Welke letter op deze kaart komt overeen met het totale inkomen van uw huishouden uit alle bronnen en na aftrek van belastingen en sociale premies/verplichte bijdragen?” Van de tien inkomstencategorieën waar de respondent uit kan kiezen worden de hoogste vijf categorieën als sociaal wenselijk antwoord beschouwd. In het huidige onderzoek is door de onderzoekers gekeken naar het gemiddelde maandinkomen van de respondenten. De verschillen in maandinkomen tussen de webrespondenten en de face-to-face respondenten is significant (t=2,05; df=495, p=.04). Uit deze resultaten blijkt dat de onlinerespondenten (N=295) een hoger netto maandinkomen hebben dan de face-to-face respondenten (N=202). Het verschil blijkt andersom significant dan verwacht. Ook hier geldt weer de kanttekening dat de face-to-face respondenten in vergelijking met de onlinerespondenten minder goed betaalde banen hebben, over een lager opleidingsniveau beschikken, vaker invalide of arbeidsongeschikt zijn en vaker in het huishouden werken. Daarnaast is het percentage gepensioneerden hoger. De hypothese kan dus naar aanleiding van de resultaten worden verworpen.

Vraag F41: Invloed van video in de vragenlijst

Wanneer wordt gekeken naar de verschillen in antwoorden tussen de videoversie of de tekstuele versie blijkt er geen significant resultaat (T=-.94; df=293; p=.35). Het gemiddelde inkomen ligt dus heel dicht bij elkaar.

Vraag F71: Cadeaubon of VVV bon

“Wij vinden het fijn dat u tijd voor ons heeft gemaakt. Als dank hebben wij een cadeaubon voor u, maar misschien geeft u het geld liever aan een goed doel. Waar gaat uw voorkeur naar uit?”

face-30 to-face respondenten. In tabel 13 zijn de percentages weergegeven. De resultaten van deze vraag wijzen erop dat de hypothese juist is.

Vraag F71: Invloed van video in de vragenlijst

De helft van de respondenten kreeg deze vraag in videovorm te zien en de andere helft in tekstuele vorm. Wanneer gekeken wordt naar het verschil tussen de tekstversie en de videoversie blijkt er geen significant verschil te zijn (N=401; χ2=0,29; df=1; p=.59).

31

Kruistabellen die horen bij hypothese 1

Tabel 8: Resultaten vraag B1

Tabel 9: Resultaten vraag B11

Tabel 10: Resultaten vraag B31

Op welke wijze deelnemen

Via internet Face-to-face totaal χ2 Verwachting Vraag B1 Interesse in politiek Heel erg geïnteresseerd 42 10,5% 19 8,8% 61 9,9% - Tamelijk geïnteresseerd 232 58,1% 118 54,4% 350 56,8% - Nauwelijks geïnteresseerd 112 28,1% 62 28,6% 174 28,2% 0 Helemaal niet geïnteresseerd 13 3,3% 18 8,3% 31 5,0% - Totaal 399 100% 217 100% 616 100% 7,89* -

Op welke wijze deelnemen

Via internet Face-to-face totaal χ2 Verwachting Vraag B11 Gestemd Ja 342 88,1% 174 82,1% 516 86% - Nee 46 11,9% 38 17,9% 84 14,0% - Totaal 388 100% 212 100% 600 100% 4,19* -

Op welke wijze deelnemen

Via internet Face-to-face totaal χ2 Verwachting Vraag B31 Homoseksuelen moeten vrij zijn hun leven te leiden zoals zij dat willen

Zeer mee eens / mee eens 354 91,0% 201 93,1% 61 91,7% 0

32

Tabel 11: Resultaten vraag B36

Tabel 12: Resultaten vraag C4

Tabel 13: Resultaten vraag F71

Op welke wijze deelnemen

Via internet Face-to-face totaal χ2 Verwachting Vraag B36 Mensen toelaten met andere huidskleur of etnische groep Veel toelaten 39 10,2% 27 12,7% 66 11,1% 0 Sommigen toelaten 179 47,0% 102 48,1% 281 47,4% 0 Een aantal toelaten 132 34,6% 72 34,0% 204 34,4% 0 Niemand toelaten 31 8,1% 11 5,2% 42 7,1% - Totaal 381 100% 212 100% 593 100% 2,49 0

Op welke wijze deelnemen

Via internet Face-to-face totaal χ2 Verwachting Vraag C4 Sociale contacten in vergelijking met anderen van zelfde leeftijd

Veel minder dan de meesten 16 4,2% 23 10,6% 39 6,5% - Minder dan de meesten 96 25,1% 62 28,6% 158 26,3% - Ongeveer evenveel 211 55,1% 100 46,% 311 51,8% - Meer dan de meesten 54 14,1% 27 12,4% 81 13,5% -

Veel meer dan de meesten 6 1,6% 5 2,3% 11 1,8% - Totaal 383 100% 217 100% 600 100% 12,31* -

Op welke wijze deelnemen

33 4.3.2 Resultaten hypothese 2

Hypothese twee: ‘Interviewers lezen de vraag vaker met een kleine afwijking voor dan dat ze de vraag correct voorlezen’.

De getranscribeerde interviews zijn gecodeerd in verschillende categorieën. Hierbij werd zowel op de interviewer gelet als op de respondent. De bedoeling is dat de interviewer de vraag precies zo voorleest als op papier staat, echter dit gebeurt lang niet altijd.

Volgens de hypothese leest de interviewer de vraag vaker met een kleine afwijking voor dan dat de interviewer de vraag correct voorleest. Bij deze hypothese zijn de codeercategorieën ‘kleine afwijking met beleefde formulering’ en ‘kleine afwijking zonder beleefde formulering’ samengenomen, zij vormen samen ‘kleine afwijking’. Door middel van frequenties is onderzocht hoe vaak de verschillende manieren van het vraag voorlezen voorkwamen. Het totaal aantal keer dat een vraag is gesteld is 995. In 10,6% van de vraag-antwoordsequenties leest de interviewer de vraag met een kleine afwijking voor en in 78,4% van de vraag-antwoordsequenties leest de interviewer de vraag correct voor. De interviewer leest dus vaker de vraag correct voor dan met een kleine afwijking. Op basis van deze resultaten kan geconcludeerd worden dat de hypothese verworpen kan worden.

4.3.3 Resultaten hypothese 3-1

Hypothese 3-1: ‘De vragen die met een kleine afwijking worden voorgelezen leiden vaker tot een adequaat antwoord dan de vragen die zonder afwijking worden voorgelezen.’

34

Tabel 14: Oorzaak-gevolg vraag voorlezen en antwoord geven

4.3.4 Resultaten hypothese 3-2

Hypothese 3-2: ‘De respondent zal vaker om opheldering vragen wanneer de vraag met een kleine afwijking wordt voorgelezen dan met een grote afwijking.’

Om deze analyse uit te kunnen voeren zijn alleen de respondentreacties ‘adequaat antwoord’ en ‘vraagt om opheldering’ meegenomen. Bij de interviewer zijn alleen de vraagstellingen ‘correct’, ‘kleine afwijking’ en ‘grote afwijking’ meegenomen. Er blijkt een significant verband te zijn (N=763; χ2_{=62,05; df=2; p=.00). De percentages zijn in tabel 15 weergegeven. Uit de tabel blijkt dat de} respondent vaker om opheldering vraagt wanneer de vraag met een grote afwijking wordt voorgelezen dan wanneer de vraag met een kleine afwijking wordt voorgelezen. Daarnaast blijkt ook dat de respondent vaker om opheldering vraag wanneer de vraag met een kleine afwijking wordt voorgelezen dan wanneer de vraag correct wordt voorgelezen. In de meeste gevallen wordt de vraag echter correct voorgelezen en geeft de respondent adequaat antwoord. Aan de hand van deze resultaten kan geconcludeerd worden dat de hypothese juist is.

Tabel 15: Om opheldering vragen door respondent

Vraag voorlezen

Correct Kleine afwijking Totaal χ2 Verwachting

Respondentreactie Adequaat 622 73,7% 57 51,8% 679 71,2% - Rest 222 26,3% 53 48,2% 275 28,8% n.v.t. Totaal 844 100% 110 100% 954 100% 22,7* -

Manier van vraag voorlezen

35 4.3.5 Resultaten hypothese 3-3

Hypothese 3-3: Wanneer de interviewer de vraag beleefder formuleert, om het negatieve gezicht van de respondent te beschermen, zal de respondent vaker een eigen toelichting bij het antwoord geven dan wanneer de interviewer de vraag niet ‘beleefder’ formuleert.

Wanneer de interviewer de vraag beleefder formuleert, past dit binnen de verwachting van de beleefdheidstheorie (Brown & Levinson, 1987). Bij deze hypothese wordt gebruikgemaakt van alle vormen van vraag voorlezen, omdat de afwijking ‘eigen toelichting’ te weinig voorkomt. Significantie kan in dit geval niet worden gemeten, doordat veel van de categorieën minder dan vijf keer voorkomen, wat betekent dat niet kan worden voldaan aan de voorwaarden van de chi-kwadraat toets. Wel kan gekeken worden naar de percentages en de opvallendheden hierin. Uit tabel 16 blijkt dat respondenten het vaakst een eigen toelichting geven wanneer de interviewer met een grote afwijking de vraag stelt. Vaak betekent dit dat de interviewer de vraag onverstaanbaar voorleest of de vraag heel erg verdraait. Daarna komt de eigen toelichting het vaakst voor wanneer de interviewer de vraag met een kleine afwijking voorleest doordat hij of zij de vraag beleefder formuleert. Aan de hand van deze resultaten en aan de hand van het feit dat er geen significantietest gedaan kan worden, kan deze hypothese worden verworpen.

Tabel 16: Eigen toelichting door respondent

Manier van vraag voorlezen

36 4.3.6 Resultaten hypothese 3-4

Hypothese 3-4: Wanneer de interviewer de vraag beleefder formuleert, om het negatieve gezicht van de respondent te beschermen, zal de respondent vaker onzekerheidsaanduiders gebruiken dan wanneer de interviewer de vraag niet ‘beleefder’ formuleert.

Wanneer de interviewer de vraag beleefder formuleert, past dit binnen de verwachting van de beleefdheidstheorie (Brown & Levinson, 1987). Om deze hypothese te kunnen analyseren is voor het vraag voorlezen een nieuwe variabele aangemaakt, die de antwoordoptie ‘kleine afwijking met beleefde formulering’ afzet tegen alle andere vraagstellingsvormen. Daarnaast is ook de respondentreactie samengevoegd waardoor ‘onzekerheidsmarkeerder’ is afgezet tegen de andere vormen van respondentreacties. Het resultaat is niet significant (N=988; χ2=1,7; df=1; p=.19). Wel blijkt uit de resultaten dat wanneer de interviewer de vraag beleefder formuleert, de respondent vaker een onzekerheidsmarkeerder gebruikt dan wanneer de interviewer de vraag normaal voorleest en niet beleefder formuleert. In tabel 17 zijn de percentages weergegeven. Aan de hand van deze resultaten kan de hypothese worden verworpen.

Tabel 17: Gebruik van onzekerheidsmarkeerders door respondent

Manier van vraag voorlezen