Alles bij elkaar genomen,
hoe gelukkig zou je zeggen
dat je bent?
Een fake good-fake bad experiment naar de invloed van de survey mode
en het opnemen van menselijke kenmerken in de vragenlijst op de
gevoeligheid van vragen voor sociaal wenselijke antwoorden.
Masterscriptie
Begeleidster: dr. Y.P. Ongena Tweede beoordelaar: Marieke HaanCommunicatie- en Informatiewetenschappen, Rijksuniversiteit Groningen 8-07-2014
Annemiek Wegkamp S1780476
Samenvatting
Het huidige onderzoek is opgezet om inzicht te krijgen in wat de invloed is van de survey mode en het opnemen van menselijke kenmerken op de gevoeligheid van vragen voor sociaal wenselijke antwoorden.
Er zijn verschillende factoren die invloed hebben op de gevoeligheid van vragen voor sociaal wenselijke antwoorden. Er is veel onderzoek gedaan naar vragenlijsten waarin verschillende modi (schriftelijk en web) met elkaar vergeleken werden op de mate van sociaal wenselijk antwoorden. De resultaten van deze onderzoeken lopen echter heel erg uiteen en zijn niet eenduidig. Bovendien is er nog weinig kennis over wat nou daadwerkelijk gevoelige vragen en sociaal wenselijke antwoorden zijn. Tot nu toe gingen onderzoekers vaak uit van eigen assumpties wat betreft gevoelige vragen. Ook is er nog maar weinig onderzoek gedaan naar de invloed van het opnemen van menselijke kenmerken in vragenlijsten, zoals een afbeelding van de interviewer, op de mate van sociaal wenselijke antwoorden. Om de mate van responseffecten op gevoelige vragen te minimaliseren is vergelijkend onderzoek van verschillende modi waarin vragenlijsten worden afgenomen noodzakelijk. In deze scriptie staat de volgende onderzoeksvraag dan ook centraal:
Hebben de survey mode en het opnemen van menselijke kenmerken in de vragenlijst invloed op de gevoeligheid van vragen voor sociaal wenselijke antwoorden?
Om een antwoord te kunnen geven op de onderzoeksvraag is een fake good-fake bad experiment opgezet met een 2x2x2 factorieel design. Het experiment bestaat uit acht verschillende condities. In een fake good-fake bad experiment wordt aan respondenten gevraagd om in plaats van de antwoorden die ze zelf gekozen zouden hebben het meest sociaal wenselijke (fake good) of juist het minst sociaal wenselijke (fake bad) antwoord te kiezen. De vragen waarbij de antwoorden van de twee condities, fake good en fake bad, significant van elkaar verschillen, kunnen geclassificeerd worden als vragen die gevoelig zijn voor sociaal wenselijke antwoorden.
Uit het huidige onderzoek zijn de volgende resultaten naar voren gekomen. De hypothese dat de geselecteerde vragen gevoelig zijn voor sociaal wenselijk antwoorden kan worden aangenomen. Alle vragen die getest zijn op gevoeligheid zijn namelijk daadwerkelijk gevoelig voor sociaal wenselijk antwoorden met Mfake good > Mfake bad.
verwachting geven respondenten, zowel in de fake good als in de fake bad versie van de vragenlijst, extremere antwoorden in de webvragenlijst dan in de schriftelijke vragenlijst. Webvragenlijsten bevorderen namelijk het gevoel van anonimiteit waardoor respondenten extremere antwoorden durven te geven. Daarnaast is er bij drie vragen sprake van een significant interactie-effect tussen fake good-fake bad en survey mode. In alle drie de gevallen betekende dit dat respondenten extremere antwoorden hebben gegeven in de fake bad conditie in de webvragenlijsten dan in de schriftelijke vragenlijsten. In de fake good conditie werden geen significante verschillen gevonden wat betreft verschil in survey mode. Een verklaring hiervoor kan zijn dat respondenten in de webvragenlijst zich anoniemer voelden dan respondenten in de schriftelijke vragenlijst.
Er is bij één vraag sprake van een interactie-effect tussen mode en het wel of niet tonen van een afbeelding van een interviewer. Wanneer er een afbeelding wordt getoond van een interviewer ligt het gemiddelde in de schriftelijke vragenlijst significant hoger dan het gemiddelde in de web vragenlijst. Wanneer er geen afbeelding van een interviewer wordt getoond is er geen significant verschil tussen de gemiddelden per vragenlijst. Daarnaast is er bij één vraag sprake van een marginaal significant interactie-effect tussen fake good-fake bad en het wel of niet tonen van een afbeelding van een interviewer. In de good-fake good conditie waar wel een afbeelding van een interviewer wordt getoond wordt positiever geantwoord dan in de fake good conditie waar geen afbeelding van een interviewer wordt getoond. Er is geen sprake van een interactie-effect tussen fake bad en het wel of niet tonen van een afbeelding van een interviewer.
Inhoudsopgave
1. Inleiding………..……….………1
2. Theoretisch kader………...4
2.1 Responseffecten……….………...……….4
2.2 Social desirability bias in vragenlijsten………...………...………5
2.2.1 Definitie social desirability bias……….………. 2.2.2 De invloed van gevoelige vragen op survey uitkomsten... 2.2.3 Bewust of onbewust proces………..……… 2.2.4 Redenen voor het geven van sociaal wenselijke antwoorden……… 2.3 Gevoelige vragen………9
2.3.1 Invloed van gevoelige vragen op survey uitkomsten………... 2.4 De invloed van mode op SDB ……….……….10
2.4.1 Self-administered vragenlijsten……….………... 2.4.2 Kenmerken van webvragenlijsten……….……….……….. 2.4.3 Kenmerken van schriftelijke vragenlijsten……….. 2.4.4 Web versus schriftelijke vragenlijsten………..………. 2.5 De invloed van menselijke kenmerken in vragenlijsten op SDB………13
2.6 De invloed van geslacht op SDB………..………15
2.7 Voorgaande onderzoeken volgens de fake good-fake bad methode……….…..15
2.8 Verwachtingen………...……….……….….17
3. Methode……….………..19
3.1 Onderzoeksdesign………..………..……….19
3.2 Operationalisatie onafhankelijke variabelen………..………..………..20
3.3 Materiaal……….………..……….21
3.4 Pre-test instructietekst……….……….…………..23
3.5 Respondenten………....……….…..………24
4. Resultaten………...26
4.1 Beschrijving proefpersonen en geslaagdheid randomisatie……….………....26
4.2 Gevoeligheid van vragen voor sociaal wenselijke antwoorden………27
4.3 De invloed van de survey mode en het opnemen van menselijke kenmerken op de gevoeligheid van vragen voor sociaal wenselijke antwoorden………..…31
4.4 De invloed van geslacht op de gevoeligheid van vragen voor sociaal wenselijke antwoorden……….………..37
5. Conclusie en discussie………..……….………..40
5.1 Gevoeligheid van vragen voor sociaal wenselijke antwoorden………...…40
5.2 De invloed van de survey mode en het opnemen van menselijke kenmerken op de gevoeligheid van vragen voor sociaal wenselijke antwoorden………..42
5.3 De invloed van geslacht op de gevoeligheid van vragen voor sociaal wenselijke antwoorden……….………..45
5.4 Discussie……….………..…….46
5.5 Vergelijking met het onderzoek van Holbrook (2003) en Heerwegh (2009)……...46
5.6 Aanbevelingen voor vervolgonderzoek……….……….…………..….47
Literatuur Bijlage I: Vragenlijsten………...………..………53
Bijlage II: Instructietekst……….………65
1
1. Inleiding
Iedereen kent wel voorbeelden van sociaal wenselijk gedrag. De volgende situatie is vast herkenbaar. Een vriend is ontzettend blij met een nieuwe blouse. Jij vindt het maar een lelijk ding en zou het zelf nooit aantrekken. Wanneer hij je om je mening vraagt, zeg je toch dat je de blouse mooi vindt omdat je denkt dat hij dat graag wil horen. Een ander voorbeeld van sociaal wenselijk gedrag is dat mensen bij het beantwoorden van een enquête geneigd zijn om antwoorden te geven die over het algemeen sociaal aanvaard zijn. De respondent probeert dan het antwoord te geven waarvan hij denkt dat de interviewer dat graag horen wil, of waarvan hij denkt dat het sociaal meer aanvaardbaar is dan het werkelijke antwoord. Dit kan minder geldige uitkomsten van een onderzoek als resultaat geven.
Voor wetenschappers is het van belang dat de data die verkregen wordt uit vragenlijsten betrouwbaar en waarheidsgetrouw is. De antwoorden die verkregen worden uit vragenlijsten zijn echter vatbaar voor allerlei responseffecten. Responseffecten zijn verschillen in survey uitkomsten die het gevolg zijn van op het eerste gezicht irrelevante details, zoals bijvoorbeeld de volgorde van de antwoordopties of een bepaalde vraagformulering. Vooral vragen over gevoelige onderwerpen zijn vatbaar voor deze respons effecten. Respondenten zijn dan namelijk geneigd om een sociaal wenselijk antwoord te geven zodat ze in een goed daglicht komen te staan bij de interviewer. Een voorbeeld hiervan is dat een respondent tijdens een face-to-face interview tegen de interviewer zegt te hebben gestemd tijdens vorige verkiezingen omdat hij denkt dat dit een plicht is van een goede burger, terwijl hij in het echt niet heeft gestemd. In methodologisch vragenlijstonderzoek wordt de gevoeligheid van vragen voor sociaal wenselijke antwoorden social desirability bias genoemd.
2 De eerste grote sociaal-economische onderzoeken in de Verenigde Staten en in Europa werden face-to-face afgenomen door interviewers. Gedurende de 19e eeuw veranderde dit, mede door nieuwe technologische ontwikkelingen, geleidelijk naar telefonische interviews. Met de komst van het internet konden interviews ook digitaal worden afgenomen. Naast het feit dat deze verschillende kanalen ook verschillende kosten met zich meebrengen heeft de mode waarin het interview wordt afgenomen ook invloed op social desirability bias. Uit onderzoek (Tourangeau & Yan, 2007; Booth-Kewley et al., 2007) blijkt bijvoorbeeld dat respondenten eerder geneigd zijn een sociaal wenselijk antwoord te geven wanneer zij recht tegenover een interviewer zitten dan wanneer zij veilig en anoniem achter het beeldscherm van hun eigen computer zitten.
Sommige vragen binnen een enquête zijn echter gevoeliger voor sociaal wenselijke antwoorden dan andere vragen. Dit kan te maken hebben met het onderwerp van de vraag. Vragen over alcohol- en drugsgebruik zijn naar alle waarschijnlijkheid gevoeliger dan vragen over gezinssamenstelling of woonplaats. Ook kan de sociale situatie waarin de vraag wordt gesteld invloed hebben op de gevoeligheid voor sociaal wenselijke antwoorden. Op de vraag hoeveel glazen bier een 16-jarige scholier wekelijks drinkt kun je een ander antwoord verwachten wanneer hij deze vraag in aanwezigheid van zijn ouders moet beantwoorden dan wanneer hij deze vraag in aanwezigheid van zijn klasgenoten moet beantwoorden.
Er zijn dus verschillende factoren die invloed hebben op de gevoeligheid van vragen voor sociaal wenselijke antwoorden. Er is veel onderzoek gedaan naar vragenlijsten waarin verschillende modi (schriftelijk en web) met elkaar vergeleken werden op de mate van sociaal wenselijke antwoorden. De resultaten van deze onderzoeken lopen echter heel erg uiteen en zijn niet eenduidig. Bovendien is er nog weinig kennis over wat nou eigenlijk gevoelige vragen en sociaal wenselijke antwoorden zijn. Tot nu toe gingen onderzoekers vaak uit van eigen assumpties wat betreft gevoelige vragen. Ook is er nog maar weinig onderzoek gedaan naar de invloed van het opnemen van menselijke kenmerken in vragenlijsten, zoals een afbeelding van de interviewer, op de mate van sociaal wenselijke antwoorden. Om de mate van responseffecten op gevoelige vragen te minimaliseren is vergelijkend onderzoek van verschillende modi waarin vragenlijsten worden afgenomen noodzakelijk. In deze scriptie staat de volgende onderzoeksvraag dan ook centraal:
3 De vragen die onderzocht worden op gevoeligheid komen uit de European Social Survey (ESS). De ESS wordt verspreid door heel Europa om data te verzamelen die gebruikt kunnen worden om inhoudelijk onderzoek te doen naar bijvoorbeeld inkomensongelijkheid en vertrouwen in instituties. Daarnaast wordt deze vragenlijst gebruikt voor vragenlijstonderzoek, bijvoorbeeld om te onderzoeken op welke manier een vragenlijst het beste kan worden opgebouwd (European Social Survey, 2011).
Om een antwoord te kunnen geven op de onderzoeksvraag is een experiment opgezet. In een fake good-fake bad experiment wordt respondenten gevraagd om in plaats van de antwoorden die ze zelf gekozen zouden hebben het meest sociaal wenselijke (fake good) of juist het minst sociaal wenselijke (fake bad) antwoord te kiezen. De vragen waarbij de antwoorden van de twee condities, fake good en fake bad, significant van elkaar verschillen, kunnen geclassificeerd worden als vragen die gevoelig zijn voor sociaal wenselijke antwoorden. Dit is het eerste fake good fake bad experiment waarin ook survey mode en menselijke cues worden onderzocht.
4
2. Theoretisch kader
In dit hoofdstuk zullen de belangrijkste begrippen en theorieën behandeld worden met betrekking tot vragenlijstonderzoek, sociale wenselijkheid, survey modi en het opnemen van menselijke kenmerken in survey interviews. Het hoofdstuk sluit af met de verwachte resultaten van het voorgenomen onderzoek.
2.1 Responseffecten
Voor onderzoekers is het van belang dat de informatie die verkregen wordt uit vragenlijsten betrouwbaar en waarheidsgetrouw is. De antwoorden die verkregen worden uit vragenlijsten zijn echter vatbaar voor responseffecten. Responseffecten zijn verschillen in survey uitkomsten die het gevolg zijn van op het eerste gezicht irrelevante details, zoals de volgorde van de antwoordopties of een bepaalde vraagstelling. Om het concept responseffecten verder uit te leggen is het ten eerste van belang te weten welke processen de respondent doorloopt bij het beantwoorden van een vraag. Het beantwoorden van een vraag gaat aan de hand van vier stappen die door Tourangeau et al. (2000) als volgt geformuleerd zijn:
1. Comprehension: het begrijpen van de vraag
2. Retrieval: ophalen van relevante informatie uit het geheugen
3. Judgment: het gebruiken van deze informatie om de juiste beslissing te maken 4. Response: het selecteren en formuleren van een antwoord
5 2.2 Social desirability bias in vragenlijsten
2.2.1 Definitie social desirability bias
In het kader van het voorgenomen onderzoek is het van belang het begrip social desirability bias te definiëren. Er is veel onderzoek gedaan naar SDB in vragenlijsten, wat heeft geleid tot verschillende definities en operationaliseringen. Ten eerste is het geven van een sociaal wenselijk antwoord een vorm van response bias. Paulhus (2002) legt response bias uit als een systematische neiging van respondenten om vragenlijstitems te beantwoorden op een andere manier dan een nauwkeurige zelfrapportage. Voorbeelden hiervan zijn het meest sociaal wenselijke antwoord kiezen of instemmen met stellingen ongeacht de inhoud.
De neiging tot het geven van sociaal wenselijke antwoorden wordt door Sudman en Bradburn (1974) als volgt uitgelegd. Wanneer een respondent een sociaal onwenselijke attitude heeft of wanneer een respondent sociaal onwenselijk gedrag heeft vertoond kan er een conflict ontstaan tussen het vertellen van de waarheid en het verlangen om zich voor te doen voor de interviewer als zijnde sociaal wenselijk. Er wordt verondersteld dat de meeste respondenten dit conflict oplossen door hun antwoord aan te passen in de richting van het meest sociaal wenselijke antwoord. Hancock en Flowers (2001) beschrijven SDB als de neiging van de respondent antwoorden te geven die hem beter doen overkomen dan hij werkelijk is.
2.2.2 De invloed van gevoelige vragen op survey uitkomsten
Het is voor onderzoekers van belang dat de resultaten die uit vragenlijstonderzoek worden verkregen, waarheidsgetrouw zijn. Het wordt verondersteld dat het stellen van gevoelige vragen invloed kan hebben op de volgende drie surveyresultaten; unit nonrespons, item nonrespons en nauwkeurigheid van het antwoord.
6 2004). Tourangeau en Yan (2007) geven als reden voor unit nonrespons het gebrek aan vertrouwen dat respondenten hebben in dat hun antwoorden vertrouwelijk blijven.
Nonrespons kan ook voorkomen nadat respondenten hebben toegestemd mee te werken aan het interview. Respondenten kunnen dan weigeren om bepaalde vragen te beantwoorden. Dit wordt item nonrespons genoemd. Vragen over inkomen worden vaak overgeslagen door respondenten. Dit kan verklaard worden doordat respondenten deze vraag als inbreuk op hun privacy zien, maar ook omdat ze simpelweg niet weten wat hun inkomen is (Tourangeau & Yan, 2007).
Het derde effect van SDB, responskwaliteit, wordt vooral beïnvloed door het overrapporteren van sociaal wenselijk gedrag en het onderrapporteren van sociaal onwenselijk gedrag. (Tourangeau et al., 2000) en (Tourangeau & Yan, 2007). Voorbeelden van onderwerpen die worden ondergerapporteerd zijn: drugsgebruik, alcoholgebruik, roken, abortus en racisme. Onderwerpen die worden overgerapporteerd zijn: stemgedrag, lidmaatschap van de bibliotheek, kerkgang en lichaamsbeweging. Veel van deze onderzoeken zijn gebaseerd op de vergelijking tussen survey resultaten en externe rapporten. Het is lastig om vast te stellen of deze effecten daadwerkelijk door SDB komen. Vaak is niet duidelijk wat het echte antwoord is. In paragraaf 2.7 wordt hier dieper op ingegaan
2.2.3 Bewust of onbewust proces
7 wanneer zij een self-administered vragenlijst beantwoorden dan tijdens een face-to-face interview (Tourangeau et al., 2000). Ook wanneer respondenten denken dat de onderzoeker achter het werkelijke antwoord kan komen, neemt de mate van sociaal wenselijk antwoorden af.
Een ander voorbeeld van opzettelijke misrapportage is een onderzoek naar de nauwkeurigheid van de antwoorden op gevoelige vragen van Jones & Forrest (1992, in: Tourangeau et al., 2000) dat twee datasets over de hoeveelheid abortussen met elkaar vergeleek. De ene dataset kwam uit de National Survey of Family Growth, de andere dataset bestond uit cijfers uit de abortusklinieken zelf. De resultaten uit deze vergelijking duiden erop dat respondenten maar de helft van het aantal uitgevoerde abortussen rapporteerden. Het is onwaarschijnlijk dat respondenten op zo’n grote schaal gebeurtenissen uit het verleden zijn vergeten of hebben verdrongen. Er is in dit geval waarschijnlijk sprake van opzettelijke misrapportage.
In tegenstelling tot de visie dat sociaal wenselijk antwoorden vaak voortkomt uit opzettelijke misrapportage beschouwen Crowne en Marlowe (1960) sociaal wenselijk antwoorden als een persoonlijkheidskenmerk. Zij zien het geven van sociaal wenselijk antwoorden als een onbewust proces. De auteurs ontwikkelden de Marlowe-Crowne schaal waarmee iemands neiging tot het geven van sociaal wenselijk antwoorden kan worden gemeten. Aan de hand van een vragenlijst met waar-niet waar stellingen kan worden gemeten of iemand geneigd is tot het geven van sociaal wenselijke antwoorden. Voorbeelden van stellingen uit de Marlowe Crowne schaal zijn: ‘ik ben weleens jaloers op anderen’ (waar/niet waar) en ‘ik heb nog nooit iemand opzettelijk gekwetst’ (waar/niet waar).
8 de mate van impression management. Voorbeelden van stellingen die self deception testen zijn: ‘mijn eerste indruk van mensen is vaak juist’ en ‘het maakt mij niet uit wat anderen van mij vinden’. Voorbeelden van stellingen die impression management testen zijn: ‘ik vertel soms een leugentje om eigen bestwil’ en ‘vloek nooit’.
Holtgraves (2004) voerde een experiment uit om te onderzoeken of het geven van sociaal wenselijke antwoorden een bewust of onbewust proces is. Hij gebruikte hiervoor de BIDR scale van Paulhus (1984). Hij vond dat respondenten die hoog scoorden op self deception sneller waren met het beantwoorden van gevoelige vragen. Zij waren niet sneller met het beantwoorden van niet gevoelige vragen. Dit ligt in lijn met de visie dat self deception een automatisch proces is. Hij vond echter geen bewijs voor de relatie tussen impression management en de beantwoording van gevoelige vragen. Respondenten met een hoge score op impression management deden niet langer over het beantwoorden van gevoelige vragen dan respondenten met een lage score op impression management.
Hoewel de meeste aanwijzingen uit voorgaande onderzoeken leidden tot de conclusie dat de meeste vormen van misrapportage bewuste processen zijn kan er nog geen eenduidige conclusie worden getrokken over of sociaal wenselijk antwoord geven nu een bewust of onbewust proces is.
2.2.4 Redenen voor het geven van sociaal wenselijke antwoorden
Er zijn verschillende redenen waarom respondenten in sommige gevallen sociaal wenselijke antwoorden geven. Tourangeau et al. (2000) stellen dat er drie algemene benaderingen zijn van deze vraag. Dat zijn privacy en vertrouwelijkheidsoverwegingen, het rationeel overwegen van de voor en nadelen van het geven van een bepaald antwoord en het liegen om schaamte te voorkomen.
9
De tweede benadering is die van de Subjective Expected Utility (SEU) Theory. Deze theorie gaat ervan uit dat respondenten, voordat ze een vraag beantwoorden, een rationele afweging maken van de potentiële gevolgen van het antwoord en daarop hun antwoord aanpassen. Negatieve gevolgen kunnen hierbij zijn schaamte tegenover de interviewer of openbaring van de informatie aan andere partijen. Positieve gevolgen zijn goedkeuring van de interviewer of meer kennis verwerven over een bepaald onderwerp.
De derde benadering van misrapportage is volgens Tourangeau et al. (2000) liegen om schaamte te voorkomen. In tegenstelling tot de SEU Theory, die juist de rationele kant van het proces van misrapportage benadrukt is het liegen over een antwoord een emotioneel en impulsief proces. Respondenten liegen omdat ze bang zijn voor het oordeel van anderen. In het geval van een survey interview, het oordeel van de interviewer of onderzoeker.
2.3. Gevoelige vragen
Zoals in de eerste paragraaf besproken spelen verschillende factoren een rol bij het al dan niet plaatsvinden van SDB en in welke mate dit voorkomt. Een van de factoren die een rol speelt bij het ontstaan van SDB, is of de vraag gevoelig is voor SDB.
In de literatuur bestaat geen standaarddefinitie van het concept gevoelige vraag. Tourangeau, Rips en Rasinski (2000) stellen dat wanneer een vraag aan een van de volgende kenmerken voldoet, deze als gevoelig voor SDB kan worden gezien. Het eerste kenmerk is dat het onderwerp van de vraag als indringend wordt gezien. Dit zijn vragen over onderwerpen die als ongepast worden beschouwd in dagelijkse conversatie. Respondenten zien deze vragen als een inbreuk op hun privacy. De gevoeligheid van de vraag wordt dus bepaald door de inhoud van de vraag en niet door situationele omstandigheden, zoals wie de vraag stelt of aan wie de vraag is geadresseerd. Vragen uit deze categorie, riskeren het bij iedere respondent als beledigend te worden ervaren. In de literatuur worden onderwerpen als abortus, inkomen, stemgedrag en alcohol- en drugsgebruik als gevoelig gezien (Bradburn et al., 2004; Tourangeau et al., 2000; Tourangeau & Yan, 2007).
10 ook organisaties en instanties. Voor tieners is een vraag over marihuanagebruik gevoelig wanneer zij bang zijn dat hun ouders meeluisteren. Wanneer deze vraag gesteld zou worden in het bijzijn van leeftijdsgenoten zou de vraag minder gevoelig zijn. Respondenten verschillen in de mate van bezorgdheid. Het ligt eraan of ze iets te verbergen hebben of niet. Ondanks dat er vaak een geheimhoudingsovereenkomst wordt opgenomen in vragenlijsten, kunnen respondenten toch bang zijn voor het openbaar maken van de antwoorden.
Het derde kenmerk heeft te maken met het feit of de respondent iets te verbergen heeft of niet. Dit concept van gevoeligheid veronderstelt dat er sociale normen zijn voor bepaald gedrag of bepaalde attitudes. Wanneer het gedrag of de attitude overeenkomt met deze normen is er sprake van sociaal wenselijk gedrag. In het tegenovergestelde geval is er sprake van sociaal onwenselijk gedrag. Een voorbeeld is stemmen tijdens politieke verkiezingen. Veel mensen zien het als maatschappelijke plicht hun stemrecht te gebruiken door te gaan stemmen tijdens politieke verkiezingen. Met andere woorden; het is sociaal wenselijk om te gaan stemmen. Wanneer een respondent toegeeft dat hij of zij niet heeft gestemd tijdens voorgaande verkiezingen schendt diegene een sociale norm. Gevoeligheid in deze betekenis is daarom afhankelijk van het potentiële antwoord van de respondent. Een vraag over stemmen zal door iemand die gestemd heeft tijdens voorgaande verkiezingen niet als gevoelig worden beschouwd.
Zoals hierboven beschreven bestaat er dus geen standaarddefinitie van het concept gevoelige vraag. In de literatuur worden bepaalde onderwerpen vaak genoemd als zijnde gevoelig. Deze onderwerpen zijn vaak geselecteerd op basis van de intuïtie van de onderzoeker. Onderzoekers kunnen echter bevooroordeeld zijn bij hun selectie van vragen die mogelijk gevoelig zijn voor sociaal wenselijke antwoorden. Verder onderzoek naar wat respondenten als gevoelige vragen zien is dan ook noodzakelijk om deze leemte in vragenlijstonderzoek op te vullen.
2.4. De invloed van mode op de mate van SDB
Eén van de factoren die een rol speelt bij of een vraag gevoelig is voor SDB, is de mode waarin de vragen worden gesteld.
11 Self-administered vragenlijsten zijn, in tegenstelling tot face-to-face interviews waarbij een interviewer de vragen stelt en de antwoorden rapporteert, vragenlijsten waarbij respondenten zelf rapporteren. Er is veel onderzoek gedaan naar de invloed van verschillende modi op het beantwoorden van gevoelige vragen. De belangrijkste bevinding die in deze onderzoeken naar voren komt is dat de mate van sociaal wenselijke antwoorden afneemt wanneer er gebruik wordt gemaakt van self-administered vragenlijsten. Respondenten zijn eerder geneigd antwoord te geven op gevoelige vragen wanneer er gebruik wordt gemaakt van een self-administered vragenlijst zoals een webvragenlijst of een schriftelijke vragenlijst (Tourangeau & Yan, 2007).
2.4.2 Kenmerken van webvragenlijsten
Webvragenlijsten zijn vragenlijsten die worden afgenomen met behulp van een computer via het internet. Webvragenlijsten worden de laatste jaren steeds vaker gebruikt omdat het een relatief goedkope vorm van onderzoek is. Daarnaast stellen De Beuckelaer & Lievens (2009) dat webvragenlijsten snelle respons genereren en een groot geografisch bereik hebben. Aan de andere kant is er bij webvragenlijsten vaak sprake van een hogere mate van nonrespons. Naast deze praktische voor- en nadelen zijn ook andere kenmerken van toepassing op webvragenlijsten. Lautenschlager en Flaherty (1990) stellen dat het beantwoorden van een vragenlijst aan de hand van een computer, het gevoel van anonimiteit bevordert.
2.4.3 Kenmerken van schriftelijke vragenlijsten
Kenmerkend voor schriftelijke vragenlijsten is het feit dat respondenten de vragenlijst kunnen zien als een afbeelding, waarbij ze vrij zijn op ieder punt te beginnen en hun eigen keuzes te maken in welke volgorde ze aanhouden en welke delen ze wel of niet willen bekijken (Dillman et al., 1993). Onderzoekers willen juist dat respondenten op een bepaald punt starten en in een bepaalde volgorde de vragenlijst doorwerken. De Beuckelaar en Lievens (2009) noemen als voordeel van het gebruik van schriftelijke vragenlijsten het hoge respons niveau. Het respons niveau bij schriftelijke vragenlijsten zou hoger zijn dan het respons niveau bij webvragenlijsten.
12 In deze paragraaf zullen de onderzoeken worden besproken die het verschil in de mate van sociaal wenselijk antwoorden bij schriftelijke vragenlijsten en webvragenlijsten met elkaar vergelijken. Uit voorgaande onderzoeken die schriftelijke en web vragenlijsten met elkaar vergeleken bleek vaak geen verschil te zitten in de mate van sociaal wenselijke antwoorden.
Knapp & Kirk (2003) deden onderzoek naar mode effecten van schriftelijke, web- en telefoonvragenlijsten op sociaal wenselijke antwoorden. Zij vonden geen significante verschillen tussen deze drie modi. Dit suggereert dat voor sommige populaties, onder sommige omstandigheden, web- en telefoonvragenlijsten dezelfde resultaten behalen als traditionele schriftelijke vragenlijsten. Ook Finegan & Allen (1994) vergeleken web vragenlijsten met schriftelijke vragenlijsten. Zij vergeleken de voorkeur van de respondenten voor de twee modi en de reactie op attitude en persoonlijkheidsvragen. De auteurs stellen dat respondenten webvragenlijsten prefereren boven traditionele vragenlijsten. Respondenten hebben dus een positievere attitude ten opzichte van het invullen van een vragenlijst via de computer dan via een schriftelijke vragenlijst. Wat betreft de reactie op de attitude- en persoonlijkheidsvragen leek er een kleine aanwijzing te zijn dat webvragenlijsten leiden tot een hogere mate van sociaal wenselijk antwoorden dan schriftelijk vragenlijsten bij personen die relatief weinig ervaring hebben met computers. Een verklaring die Finegan en Allen (1994) hiervoor geven, is dat respondenten die weinig ervaring hebben met computers misschien hebben gedacht dat hun resultaten direct na het invullen van de vragenlijst zichtbaar zouden zijn voor de onderzoeker. Dit zou een reden kunnen zijn voor het geven van meer sociaal wenselijke antwoorden. In het algemeen waren de verschillen tussen de twee modi verwaarloosbaar.
13 Hancock en Flowers (2001) vergeleken de mate van sociaal wenselijke antwoorden tussen web en schriftelijke vragenlijsten. Zij vonden geen verschillen tussen beide modi. Daarnaast vergeleken zij het verschil in de mate van sociaal wenselijke antwoorden onder anonieme en niet-anonieme condities. Ook hier vonden zij geen verschil tussen beide condities. Kiesler & Sproull (1986) deden onderzoek onder studenten naar webvragenlijsten als onderzoeksmiddel. Zij vergeleken webvragenlijsten met schriftelijke vragenlijsten per post. In de webvragenlijst leidden de gesloten vragen tot een mindere mate van sociaal wenselijk antwoorden en waren de antwoorden extremer dan in de schriftelijke vragenlijst per post. De antwoorden op open vragen waren langer en meer onthullend in de webvragenlijst dan in de schriftelijke vragenlijst per post. Volgens Kiesler en Sproull (1986) valt dit te verklaren aan de hand van voorgaande onderzoeken waaruit blijkt dat wanneer mensen communiceren via een computer zij meer met zichzelf bezig zijn en ongeremder zijn.
Onderzoek naar beide vormen van self-administered vragenlijsten heeft nog geen eenduidig resultaat opgeleverd. Webvragenlijsten lijken het gevoel van anonimiteit te bevorderen en zouden daardoor leiden tot een mindere mate van sociaal wenselijk antwoorden. Echter, uit verschillende onderzoeken die de mate van sociaal wenselijke antwoorden bij verschillende survey modi met elkaar vergelijken wordt er geen verschil gevonden. Deze onderzoeken zullen in de volgende paragraaf worden besproken.
2. 5 Invloed van menselijke kenmerken in vragenlijsten op de mate van SDB
Computer Assisted Self Interviewing (CASI) heeft, zoals hiervoor besproken, als voordeel dat sociaal wenselijk antwoorden wordt gereduceerd. Om te profiteren van de voordelen van CASI en om haar nadelen te verminderen, lijkt het logisch om menselijke kenmerken op te nemen in CASI om aanwezigheid van een interviewer te simuleren. Verschillende aspecten van het gedrag van de interviewer kunnen invloed hebben op de datakwaliteit (Haan et al, 2014). Voorbeelden van dit soort kenmerken zijn de visuele verschijningsvorm, stem en interactie met de respondent.
14 Tourangeau et al. (2003) vonden in hun experiment dat wanneer er een afbeelding van een vrouwelijke interviewer werd getoond, respondenten meer pro-feministische antwoorden gaven.
De tweede onderzoekstraditie is die van het systematisch vergelijken van surveyresultaten van vragen in verschillende modes. CASI wordt een steeds populairdere manier van survey-onderzoek omdat het een relatief goedkope manier van interviewen is. Bovendien zijn respondenten eerder geneigd antwoord te geven op gevoelige vragen bij CASI dan in bijvoorbeeld een face-to-face interview. Uit onderzoeken die verschillende CASI survey modi met elkaar vergelijken blijkt dat menselijke kenmerken in de vragenlijst niet of haast geen invloed hebben op de survey resultaten (Tourangeau et al., 2003). Uit sommige onderzoeken blijkt zelfs dat het niet uitmaakt of respondenten een vrouwelijke of mannelijke stem horen bij vragen over seksualiteit (Turner, Forsyth, O’Reilly, Cooley, Smith, Rogers, & Miller, 1998; Turner, Ku, Rogers, Lindberg, Pleck, & Sonenstein, 1998).
De resultaten van beide onderzoekstradities spreken elkaar dus tegen. Oorzaak hiervan kan zijn dat de experimenten die gebaseerd zijn op de social interface theorie vaak plaatsvonden onder studenten of een andere homogene doelgroep. De resultaten uit deze onderzoeken zijn dan ook moeilijk te generaliseren naar de gehele populatie. Het survey onderzoek dat zich richt op de vergelijking van verschillende modes vindt vaak plaats onder een algemenere doelgroep waardoor deze resultaten representatiever zijn voor de gehele populatie. Een ander aspect is het feit dat selectie en responseffecten vaak moeilijk uitelkaar te halen zijn; het is mogelijk dat respondenten die geneigd zijn tot social wenselijk antwoorden vaker meedoen als ze worden uitgenodigd voor de ene mode dan bij de andere mode, of dat de modes op een andere manier sociaal wenselijk antwoordgedrag ontlokken. Deze effecten zijn echter moeilijk te onderscheiden omdat de reden voor het al dan niet meedoen aan een onderzoek onbekend is.
2.6 Invloed van geslacht op de mate van SDB
15 In het onderzoek van Booth-Kewley et al. (2007) werd de mate van sociaal wenselijke antwoorden in web en schriftelijke vragenlijsten met elkaar vergeleken. Uit de resultaten bleek dat er enkele verschillen waren in de resultaten tussen mannen en vrouwen. Mannen rapporteerden namelijk een significant hoger alcoholgebruik dan vrouwen. Vrouwen scoorden hoger op impression management dan mannen. Daarnaast was er een interactie-effect tussen geslacht en mode. Mannen in de computer mode scoorden hoger op SDE dan mannen in de schriftelijke mode. Voor vrouwen was er geen verschil.
2.7 Voorgaande onderzoeken volgens de fake good-fake bad methode
Het is moeilijk om te bepalen welke vragen gevoelig zijn voor sociaal wenselijke antwoorden. Wanneer de effecten van gevoelige vragen duidelijk genoeg zouden zijn, zou het mogelijk zijn deze effecten indirect te meten. Wanneer gevoelige vragen consistent zouden leiden tot een hoge mate van item nonrespons, zou dit een manier zijn om gevoelige vragen te identificeren. De vragen die leiden tot item nonrespons zouden dan gevoelige vragen zijn. Tevens, wanneer het beantwoorden van gevoelige vragen een gecontroleerd proces is waarin respondenten hun antwoorden zouden aanpassen, zou dit meer tijd in beslag moeten nemen dan het beantwoorden van niet gevoelige vragen. De langere tijdsduur voor het beantwoorden van vragen zou dan aangeven dat het een gevoelige vraag is. Helaas kunnen ook andere factoren leiden tot een hoge mate van item nonresponsof lange antwoordtijden. Deze indirecte metingen zijn dus op zijn best indirecte indicatoren voor gevoelige vragen (Tourangeau & Yan, 2007). Tot op heden baseerde onderzoek naar gevoelige vragen zich dan ook vooral op de intuïtie van de onderzoeker. Toch zijn er ook onderzoeken gedaan die vanuit de respondent kijken naar de gevoeligheid van vragen. In de volgende alinea zal worden besproken welke methodes in voorgaande onderzoeken werden gebruikt voor het identificeren van gevoelige vragen.
16 respondenten werd gevraagd verschillende delen van een vragenlijst te beoordelen op hoe ongemakkelijk mensen het zouden vinden deze onderwerpen te beantwoorden.
Bij het ontwikkelen van schalen voor sociaal wenselijkheid hebben onderzoekers vaak experimenten uitgevoerd waarbij twee groepen verschillende instructies kregen voor het invullen van de vragenlijst. De ene groep moet de antwoorden kiezen die voor hen het meest van toepassing zijn en de andere groep wordt gevraagd om de vragen op de meest sociaal wenselijke manier in te vullen. De vragen waarbij het grootste contrast ontstaat tussen de antwoorden zijn waarschijnlijk gevoelige vragen voor sociaal wenselijk antwoorden. Een variatie op deze methode is het onderzoek dat Holbrook, Green en Krosnick (2003) hebben uitgevoerd dat in de volgende alinea zal worden beschreven.
In het experiment van Holbrook, Green en Krosnick (2003) werd onderzocht of er sprake was van gevoelige vragen in de 1982 National Election Study Methods Comparison Project (NES MCP). Acht vragen die waarschijnlijk gevoelig waren voor sociaal wenselijke antwoorden werden verdeeld over twee vragenlijsten zodat er twee vragenlijsten ontstonden van ieder vier vragen. De selectie van deze acht vragen werd gebaseerd op resultaten uit eerder onderzoek waaruit bleek dat vragen over politieke interesse, religie en sociale zekerheid gevoelig kunnen zijn voor SDB. De helft van de respondenten kreeg vragenlijst (a) voorgelegd, de andere helft vragenlijst (b). De helft van iedere groep respondenten werd gevraagd om de vragenlijst in te vullen op de manier waarop zij dachten de beste indruk op de interviewer te maken (fake good), de andere helft werd gevraagd de vragen in te vullen op de manier waarop ze de slechtste indruk op de interviewer zouden maken (fake bad). Wanneer deze groepen significant andere antwoorden zouden geven zou dit een indicatie zijn dat dit gevoelige vragen zijn. Alle vragen die werden onderzocht bleken significant te scoren op SDB, behalve de vragen over uitgaven op sociale zekerheid door de overheid.
17 2.8 Verwachtingen
Zoals in het theoretisch kader is besproken is er veel onderzoek gedaan naar de invloed van verschillende survey modi op de mate van sociaal wenselijke antwoorden. Eenduidige conclusies over bij welke mode een hogere mate van sociaal wenselijke antwoorden voorkomt konden echter nog niet worden getrokken. Het is van belang dat er meer onderzoek wordt gedaan naar het verschil tussen schriftelijke en webvragenlijsten om meer inzicht te verkrijgen in het effect van beide modi op de mate van sociaal wenselijke antwoorden. De twee vormen van vragenlijstonderzoek hebben veel met elkaar gemeen. Beide vormen van vragenlijstonderzoek zijn self-administered. Voorgaande onderzoeken waarin schriftelijke en webvragenlijsten met elkaar werden vergeleken leverden geen eenduidig resultaat. Wanneer survey mode geen verschil zou maken op de mate van sociaal wenselijk antwoorden is vragenlijstonderzoek via de computer praktischer, sneller en goedkoper. Het responsniveau is echter vaak hoger in schriftelijke vragenlijsten dan in webvragenlijsten.
In het voorgenomen onderzoek zal door middel van een fake good-fake bad experiment wordt onderzocht of survey mode (web versus schriftelijk) en het opnemen van menselijke kenmerken in de vragenlijst (wel afbeelding versus geen afbeelding interviewer) invloed hebben op wat respondenten gevoelige vragen vinden.
Verwacht wordt dat de geselecteerde vragen gevoelig zijn voor sociaal wenselijke antwoorden. Dit leidt tot de eerste hypothese:
Hypothese 1: de geselecteerde vragen uit de ESS zijn gevoelig voor sociaal wenselijke antwoorden. Met Mfake good > Mfake bad.
18 Hypothese 2: M schriftelijke vragenlijst wel afbeelding interviewer > M webvragenlijst wel afbeelding interviewer > M schriftelijke vragenlijst geen afbeelding interviewer > M webvragenlijst geen afbeelding interviewer
Er wordt een afbeelding van een vrouwelijke interviewer getoond. Verwacht wordt dat het verschil tussen de versie met een afbeelding van een interviewer en de versie zonder afbeelding van een interviewer sterker is voor vrouwen dan voor mannen. Dit leidt tot de derde en laatste hypothese:
19
3. Methode
In dit hoofdstuk wordt besproken hoe de onderzoeksvraag; Hebben de survey mode en het opnemen van menselijke kenmerken in een vragenlijst invloed op de gevoeligheid van vragen voor sociaal wenselijke antwoorden? concreet onderzocht gaat worden. Eerst zal het onderzoeksdesign worden beschreven. Vervolgens zal het gebruikte materiaal worden besproken. Hierna zullen de operationalisatie van de onafhankelijke en afhankelijke variabelen aan bod komen en tot slot zullen de procedure van het experiment en de selectie van de respondenten worden besproken.
3.1 Onderzoeksdesign
Door middel van een fake good-fake bad experiment werd onderzocht of survey mode (web versus schriftelijk) en het tonen van een afbeelding van de interviewer (wel afbeelding versus geen afbeelding) invloed hebben op de gevoeligheid van vragen voor sociaal wenselijke antwoorden. In een fake good-fake bad experiment wordt respondenten gevraagd om in plaats van de antwoorden die ze zelf gekozen zouden hebben het meest sociaal wenselijke (fake good) of juist het minst sociaal wenselijke (fake bad) antwoord te kiezen. De fake good-fake bad methode wordt vaker gebruikt om te onderzoeken of bepaalde vragen gevoelig zijn. De vragen waarbij de antwoorden van de twee condities, fake good en fake bad, significant ver uit elkaar liggen, kunnen geclassificeerd worden als vragen die gevoelig zijn voor sociaal wenselijke antwoorden. De afhankelijke variabele is dus de gevoeligheid van vragen voor sociaal wenselijk antwoorden. De onafhankelijke variabelen zijn survey mode, afbeelding van de interviewer en de instructie tot antwoorden (fake good-fake bad). Zie figuur 1.
Tabel 3.1: schematisch overzicht variabelen
Het experiment heeft een 2x2x2 factorieel design en zal een tussen-proefpersonendesign hebben. Het experiment bestaat uit acht verschillende condities. In figuur 2 zijn de condities schematisch weergegeven.
Onafhankelijke variabele
Afhankelijke variabele
Instructie tot antwoorden Fake good De gevoeligheid van de vragen voor sociaal wenselijke antwoorden
Fake bad
Survey mode Web
Schriftelijk
20
Conditie Manipulatie Interviewer Survey mode
1 Fake good Wel afbeelding Web
2 Fake bad Wel afbeelding Web
3 Fake good Geen afbeelding Web
4 Fake bad Geen afbeelding Web
5 Fake good Wel afbeelding Schriftelijk
6 Fake bad Wel afbeelding Schriftelijk
7 Fake good Geen afbeelding Schriftelijk
8 Fake bad Geen afbeelding Schriftelijk
Tabel 3.2: schematisch overzicht condities
Er is voor dit design gekozen, omdat op deze manier per onafhankelijke variabele gekeken kan worden of deze invloed heeft op wat respondenten gevoelige vragen vinden. Ook kan worden gekeken of er interactie effecten bestaan tussen de variabelen. Door het tussen-proefpersonendesign worden de respondenten niet beïnvloed door andere versies. 3.2 Operationalisatie onafhankelijke variabele
Fake good fake bad
Het experiment bevat de manipulatie fake good-fake bad. De ene helft van de respondenten werd gevraagd fake good antwoorden te geven, de andere helft werd gevraagd fake bad antwoorden te geven (zie bijlage 2). Fake good antwoorden zijn antwoorden waarvan de respondent denkt dat dit het meest sociaal wenselijke antwoord is en wat de interviewer het liefst wil horen. Fake bad antwoorden zijn de antwoorden waarvan de respondent denkt dat dit het minst sociaal wenselijke antwoord is en waarvan hij denkt dat de interviewer dit het minst graag horen wil.
Survey mode
In het experiment werd gekeken of een verschil in survey mode invloed heeft op wat respondenten gevoelige vragen vinden. De twee modi die met elkaar vergeleken werden zijn web en schriftelijke vragenlijsten. De schriftelijke vragenlijst werd uitgeprint op A4 formaat en uitgedeeld in de kantines en tijdens colleges van de verschillende faculteiten van de Rijksuniversiteit Groningen. De webvragenlijst werd gemaakt met het online programma Thesistools en werd online verspreid via sociale netwerken.
Aanwezigheid van interviewer
21 screenshot van een video die gebruikt werd in een video enhanced survey uit het onderzoek van Haan (2012). Zie afbeelding 1.
Afbeelding 1: foto van de interviewer 3.3 Materiaal
Dit onderzoek is er op gericht inzicht te krijgen in wat de invloed is van survey mode en het wel of niet tonen van een afbeelding van de interviewer op wat respondenten gevoelige vragen vinden. Om dit te onderzoeken is er een vragenlijst opgesteld die vragen bevat die waarschijnlijk gevoelig zijn voor sociaal wenselijke antwoorden.
22 De vragenlijst werd vervolgens gemanipuleerd zodat er acht verschillende condities ontstonden. Zie bijlage 1 voor de verschillende vragenlijsten. Bij het manipuleren van de vragenlijst is geprobeerd de acht verschillende versies zoveel mogelijk hetzelfde te houden. Er is rekening gehouden met een groot aantal mogelijk interfererende variabelen zoals tekstgrootte, vraag en antwoordopties en lay-out.
Vraag Vraagstelling
Antwoordopties
1
Hoe geïnteresseerd ben jij in politiek? Zeer geïnteresseerd – tamelijk geïnteresseerd – neutraal – nauwelijks geïnteresseerd – helemaal niet geïnteresseerd2
De overheid zou maatregelen moeten nemen om inkomensverschillen te verminderen.Helemaal eens – eens – niet eens, niet oneens – oneens – helemaal oneens
3
Homoseksuele mannen en lesbische vrouwenmoeten vrij zijn om hun leven te leiden zoals zij dat willen.
Helemaal eens – eens – niet eens, niet oneens – oneens – helemaal oneens
4
Is Nederland, door mensen uit andere landen(immigranten) die hier zijn komen wonen, een slechtere of betere plek geworden om te wonen?
Slechtere plek om te wonen 1-2-3-4-5-6-7-8-9-10 betere plek om te wonen
5
Sommige mensen stemmen tegenwoordig om de één of andere reden niet. Heb jij tijdens de laatste Tweede Kamer verkiezingen in 2012 gestemd?Ja Nee
Niet stemgerechtigd
23
o SGP
o Partij voor de
Dieren
o 50Plus
7
Alles bij elkaar genomen, hoe tevreden ben jij vandaag de dag met jouw leven in hetalgemeen?
Zeer ontevreden 1-2-3-4-5-6-7-8-9-10 zeer tevreden
8
Alles bij elkaar genomen, hoe gelukkig zou je zeggen dat je bent?Zeer ongelukkig 1-2-3-4-5-6-7-8-9-10 zeer gelukkig
9
Hoe vaak neem jij, in vergelijking met anderemensen van jouw leeftijd, deel aan sociale activiteiten?
Veel minder dan de meesten – minder dan de meesten – ongeveer evenveel – meer dan de meesten – veel meer dan de meesten
Tabel 3.3: geselecteerde vragen uit ESS (2011) 3.4 Pre-test instructietekst
Omdat de vragen uit de vragenlijst die in dit experiment gebruikt wordt uit de eerder gebruikte ESS komen was het niet noodzakelijk deze te pre-testen. Het was echter van groot belang om na te gaan of de respondenten na het lezen van de instructietekst begrepen wat er van hen verwacht werd. Het invullen van de vragenlijst die in dit onderzoek gebruikt werd wijkt namelijk af van de normale gang van zaken. Daarom zijn de vragen die in het experiment zijn getoetst op sociaal wenselijke connotaties meegenomen in een pre-test. De instructietekst en de vragenlijst zijn vier keer gepre-test. De vragenlijst is in vier ronden getest, met twee respondenten per ronde (1 man en 1 vrouw). In totaal hebben 4 mannen en 4 vrouwen de vragenlijst ingevuld. Na iedere ronde werd de instructietekst aangepast op basis van de feedback van de respondenten.
24 deze vorm van aanwezigheid van de interviewer invloed heeft op wat respondenten gevoelige vragen vinden.
Uit de pre-test kwam naar voren dat sommige respondenten het begrip sociale wenselijkheid niet kenden. Om het begrip sociale wenselijkheid duidelijk uit te leggen is er een voorbeeld dat bij de belevingswereld van de doelgroep studenten past gebruikt. Omdat respondenten geneigd waren ondanks de instructie toch het antwoord te kiezen dat ze in een normale enquête gegeven zouden hebben, is er gekozen om de instructie voor fake antwoorden te herhalen. Bij de schriftelijke versie wordt de instructie twee keer herhaald. Bij de webversie wordt de instructie bij ieder vraag herhaald. Mensen lezen namelijk slordiger vanaf een beeldscherm dan vanaf papier. Men leest een tekst vanaf het web vaak globaler en minder gedetailleerd. Ook vindt men het uitvoeren van cognitieve taken moeilijker vanaf beeldscherm dan van papier (Driessen, 2013). Alleen bij vraag 5 en 6 in de webversie wordt de instructie niet herhaald. Bij de vragen die een schaal als antwoordoptie hebben is er ruimte om de instructie nog een keer te herhalen. Bij vraag 5 en 6, die meerkeuzevragen zijn was deze ruimte er niet. Verder is de lay-out van de antwoordopties aangepast om de vragenlijst consistenter te maken zie tabel 3.3. Voor de uiteindelijke versies van de instructieteksten zie bijlage 2.
3.5 Respondenten
Om uitspraken over een populatie te kunnen doen is een homogene doelgroep van belang. De doelgroep van dit onderzoek zijn studenten wat een redelijk homogene groep is. Respondenten dienden te studeren of pas afgestudeerd te zijn aan het hbo of WO. De respondenten in dit onderzoek studeren aan de Rijksuniversiteit Groningen of aan de Hanzehogeschool Groningen. Tevens dienden ze in de leeftijdscategorie 18-29 jaar te vallen. Respondenten die niet aan de criteria van opleidingsniveau en leeftijd voldoen zijn uit de selectie gefilterd. Respondenten die de vragenlijst niet compleet hebben ingevuld zijn uit de selectie gefilterd. Daarnaast zijn respondenten die de instructies niet goed hebben opgevolgd uit de selectie gefilterd.
3.6 Procedure Webvragenlijst
25 De eerste pagina die de respondent te zien krijgt is een korte uitleg over het onderzoek. Deze tekst wijst de respondent op het feit dat hij deelneemt aan een experiment waarvoor het erg belangrijk is dat de instructie goed wordt gelezen. De respondent klikt na het lezen van deze tekst op verder. Dit leidt de respondent naar de instructiepagina. Na het lezen van de instructie klikt de respondent op verder. Vanaf dit punt start de vragenlijst. De respondent beantwoordt eerst alle vragen van deel A. Dit zijn de vragen waarbij de respondent een fake good of een fake bad antwoord moet kiezen. Vervolgens klikt hij op verder. Daarna beantwoordt de respondent de vragen van deel B. Dit zijn vragen over demografische gegevens en deze dienen naar waarheid ingevuld te worden.
Schriftelijke vragenlijst
Respondenten voor de schriftelijke versie van de vragenlijst zijn geworven in de kantines van de faculteiten Letteren, Gedragswetenschappen en Rechten van de Rijksuniversiteit Groningen en locaties van de Hanzehogeschool Groningen (Meerwold & Wiebengacomplex). Anders dan bij de webvragenlijst werden respondenten persoonlijk maar willekeurig benaderd door de onderzoeker en werd ze gevraagd of ze mee wilden werken aan het onderzoek. Vervolgens werd een van de vier schriftelijke condities toegewezen aan de respondent.
De schriftelijke vragenlijst bestond uit vier pagina’s. Het voorblad bevatte als eerste een inleiding met daarin een korte uitleg over het onderzoek. Deze tekst wijst de respondent op het feit dat hij deelneemt aan een experiment waarvoor het erg belangrijk is de instructie goed te lezen. Daarna volgt de instructietekst, die hetzelfde is als in de webvragenlijst. Op pagina twee begint de vragenlijst, die net als in de webversie is opgedeeld in deel A en B (vanaf pagina 4).
26
4. Resultaten
In dit hoofdstuk worden de resultaten uit de statistische analyses beschreven. De drie hypothesen die in deze scriptie centraal staan zijn aan de hand van de geselecteerde vragen uit de ESS (zie paragraaf 3.3) getest.
4.1 Beschrijving proefpersonen en geslaagdheid randomisatie
In totaal hebben 175 respondenten meegewerkt aan het experiment. Hiervan was 48% man en 52% vrouw (zie tabel 4.1). De gemiddelde leeftijd van de respondenten is 24,1 jaar oud. Het opleidingsniveau is hbo of WO met 76,6% WO’ers en 23,4% hbo’ers (zie tabel 4.2).
Geslacht Aantal Percentage
Man 84 48%
Vrouw 91 52%
Tabel 4.1: overzicht geslacht respondenten
Opleidingsniveau Aantal Percentage
HBO 41 23,4%
WO 134 76,6%
Tabel 4.2: overzicht opleidingsniveau respondenten
Tabel 4.3 toont de verdeling van de proefpersonen over de verschillende condities. In iedere groep bevinden zich ongeveer evenveel respondenten. Er zijn relatief meer vrouwen in condities 1,3 en 4. Over het algemeen is de verdeling man vrouw gelijk. De leeftijd van de respondenten die de webversie (condities 1 t/m 4) van de vragenlijst hebben ingevuld ligt iets hoger dan de leeftijd van de respondenten die de schriftelijke versie hebben ingevuld (condities 5 t/m 6). Om te kijken of de gemiddelde leeftijd van de twee groepen significant van elkaar verschilde is een t-test uitgevoerd. Uit de t-test blijkt dat de gemiddelde leeftijd in de twee groepen significant van elkaar verschilt met t=9,63 (sig=0,000). De gemiddelde leeftijd in de schriftelijke versie is 22,36. In de webversie is dat 25,45. In de verdere analyses voor verschil in mode wordt hier rekening mee gehouden door leeftijd als variabele op te nemen in de analyse.
Conditie Geslacht Frequentie Percentage Percentage v.
totaal
Gemiddelde leeftijd
1 Man 10 43,5% 5,7% 26,2
Vrouw 13 56,5% 7,4% 24,8
27 Vrouw 10 47,6% 5,7% 25,7 3 Man 13 46,4% 7,4% 25,6 Vrouw 15 53,6% 8,6% 24,7 4 Man 11 44% 6,3% 25,5 Vrouw 14 56% 8% 25,5 5 Man 10 50% 5,7% 23,8 Vrouw 10 50% 5,7% 23,5 6 Man 10 47,6% 5,7% 22,2 Vrouw 11 52,4% 6,3% 22,1 7 Man 10 52,6% 5,7% 22,8 Vrouw 9 47,4% 5,1% 22,3 8 Man 9 50% 5,1% 20,7 Vrouw 9 50% 5,1% 21,8
Tabel 4.3: overzicht respondenten per conditie, per geslacht
4.2 Gevoeligheid van vragen voor sociaal wenselijke antwoorden
Het wordt verondersteld dat het stellen van gevoelige vragen invloed kan hebben op de surveyresultaten. Het is voor onderzoekers van belang dat de resultaten die uit vragenlijstonderzoek worden verkregen, waarheidsgetrouw zijn. Het is dus van belang om te weten welke vragen gevoelig zijn voor sociaal wenselijk antwoorden. Voorgaande onderzoeken naar de gevoeligheid van vragen voor sociaal wenselijk antwoorden baseerde zich vooral op de intuïtie van de onderzoeker. Dit onderzoek richt zich specifiek op welke vragen respondenten classificeren als gevoelige vragen. De vragen zijn getest op gevoeligheid komen uit de ESS (2012).
Hypothese 1: de geselecteerde vragen uit de ESS zijn gevoelig voor sociaal wenselijke antwoorden. Met Mfake good > Mfake bad.
28 Vraag 1 tot en met 3
Vragen 1 tot en met 3 zijn stellingen met een Likert-schaal als antwoordoptie. Antwoordoptie 1 is ‘niet geïnteresseerd’ of ‘helemaal oneens’ en antwoordoptie 5 is ‘zeer geïnteresseerd’ of ‘helemaal mee eens’. De gemiddelden (M) in de fake good conditie liggen rond de 4. De gemiddelden (M) in de fake bad conditie liggen rond de 1. De gemiddelden per conditie verschillen significant van elkaar. Vragen 1 tot en met 3 zijn dus gevoelig voor sociaal wenselijke antwoorden. Omdat de antwoordschaal van 1 tot 5 loopt, kan uit de resultaten worden afgeleid dat in de fake good conditie extremer wordt geantwoord (M=+/- 1) dan in de fake bad conditie (M=+/- 4)
De standaarddeviatie in de fake good conditie ligt rond de 0,7. De standaarddeviatie in de fake bad conditie ligt iets hoger, namelijk rond de 1. Uit de F-waarde van de Levene's test voor gelijkheid van varianties blijkt dat de de varianties significant verschillen. Dit betekent dat de spreiding van de antwoorden hoger is in de fake bad conditie.
Vraag 4
Vraag 4 is een stelling met een ratio schaal van 1 tot en met 10 als antwoordopties. Het gemiddelde in de fake good conditie is 6,4, het gemiddelde in de fake bad conditie is 2,9. Ook hier geldt weer dat de score in de fake bad conditie dichter bij het uiteinde van de schaal ligt dan de score in de fake good conditie. Deze gemiddelden verschillen significant van elkaar, waardoor geconcludeerd kan worden dat ook deze vraag gevoelig is voor sociaal wenselijke antwoorden. Uit Levene's test voor gelijkheid van varianties blijkt dat dat de spreiding van de antwoorden wederom hoger is in de fake bad conditie. De standaarddeviatie in de fake good conditie is 2,4. De standaarddeviatie in de fake bad conditie is 3,1.
Vraag 7 en 8
29 Vraag 9
Vraag 9 is een vraag met een Likert-schaal als antwoordoptie met 1 is ‘veel minder dan de meesten’ en 5 is ‘veel meer dan de meesten’. Vraag 9 is gevoelig voor sociaal wenselijke antwoorden. Het gemiddelde in de fake good conditie is 3,6 en verschilt significant van het gemiddelde in de fake bad conditie met 1,7. De standaarddeviatie in de fake good conditie is 0,7. De standaarddeviatie in de fake bad conditie ligt wederom hoger, namelijk 1,7.
Fake good Fake bad T F
Vraag Gemiddelde (M) St. dev Gemiddelde (M)
St. dev Levene’s test
1 4,3 0,7 1,4 0,8 25,7*** 0,3*** 2 4,0 0,8 1,7 1,2 14,98*** 13,5*** 3 4,6 0,7 1,6 1,2 20,14*** 10,97*** 4 6,4 2,4 2,9 3,1 8,2*** 6,19** 7 8,1 1,6 2,5 2,4 17,67*** 20,7*** 8 8,4 1,3 2,8 2,7 17,35*** 43,5*** 9 3,6 0,7 1,7 1,7 12,4*** 14,3*** *=p<0.05, **=p<0.01, ***=p<0.001 Tabel 4.4: resultaten t-toets
Vraag 5
Vraag 5 is een vraag met drie antwoordopties op een nominale schaal (ja, nee of niet stemgerechtigd). Respondenten die ‘niet stemgerechtigd’ als antwoord hebben gekozen zijn niet meegenomen in de resultaten omdat dit niet als sociaal wenselijk of sociaal onwenselijk antwoord wordt gezien. Deze respondenten hebben de instructietekst om fake te antwoorden waarschijnlijk niet begrepen. Hierdoor blijven ja en nee als enige twee antwoordopties over waardoor het een dichotome variabele wordt.
Chi-30 kwadraat=99,863 en de overschrijdingskans is (asymp. Sig. (2-sided)) 0,000. Vraag 5 is dus gevoelig voor sociaal wenselijke antwoorden.
Fake good Fake bad
Stemmen Ja 85 81,7% 19 18,3%
Nee 1 1,6% 61 98,4%
Tabel 4.5: kruistabel vraag 5
Vraag 6
Vraag 6 is een vraag met 11 antwoordopties. Respondenten moesten aangeven op welke partij ze gestemd hebben zowel in de fake good conditie als in de fake bad conditie. In tabellen 4.6 en 4.7 staan het aantal stemmen en het percentage van het totale aantal stemmen per conditie aangegeven. In de fake good conditie worden de gematigde partijen (VVD, PvdA, D66, SP en CDA) het meest gekozen. In de fake bad conditie worden de extremere partijen (PVV, SGP, Partij voor de Dieren, 50Plus) het meest genoemd. Chi-kwadraat=107,139 en de overschrijdingskans is (asymp. Sig. (2-sided)) 0,000.
Partij N Percentage VVD 25 29,1% PVDA 25 29,1% D66 21 24,4% SP 5 5,8% CDA 5 5,8%
Tabel 4.6: aantal stemmen en percentage van het totaal in de fake good conditie
Partij N Percentage PVV 42 50,6% SGP 10 12% PvdD 9 10,8 50Plus 6 7,2% D66 6 7,2%
31 4.3 De invloed van survey mode en het opnemen van menselijke kenmerken op de gevoeligheid van vragen voor sociaal wenselijk antwoorden.
Een van de factoren die een rol spelen bij of een vraag gevoelig is voor SDB is de mode waarin de vragen worden gesteld. Ook het opnemen van menselijke kenmerken in vragenlijsten heeft invloed op de mate van sociaal wenselijk antwoorden. In dit onderzoek wordt de aanwezigheid van een interviewer gesimuleerd door een afbeelding van een interviewer op te nemen in de vragenlijst.
Hypothese 2: M schriftelijke versie wel afbeelding interviewer > M webversie wel
afbeelding interviewer > M schriftelijke versie geen afbeelding interviewer > M webversie geen afbeelding interviewer
Om de hoofd- en interactie-effecten tussen de variabelen bloot te leggen is er variantieanalyse uitgevoerd met als factoren interviewer (wel of niet aanwezig), mode (web of schriftelijk) en geslacht (man/vrouw). Hebben de verschillende survey modi (web en schriftelijk) en het al dan niet tonen van een afbeelding van een interviewer invloed op de gevoeligheid van vragen voor sociaal wenselijk antwoorden? Voor iedere vraag afzonderlijk is een 3-wegsvariantieanalyse uitgevoerd met als factoren mode (web of schriftelijk) en aanwezigheid van de interviewer (wel of niet). In tabel 4.8 staan de gemiddelden en standaardfout voor iedere vraag per conditie. De vragen waarbij een hoofdeffect of een interactie effect optreedt worden vervolgens besproken. Vraag 5 en 6 worden apart behandeld omdat deze vragen geen schaal als antwoordoptie hebben. Voor vraag 5 en 6 zijn kruistabellen opgesteld.
32 Tabel 4.8: gemiddelden per conditie (SE)
Vraag 1
Hoofdeffect mode
Uit de 3-wegsvariantie analyse bleek dat er naast het hoofdeffect voor fake good-fake bad een hoofdeffect voor mode is F= 5,5 (Sig=0,020). Omdat er een verschil in gemiddelde leeftijd zit per mode (schriftelijk en online) is er een variantie analyse met leeftijd als covariate uitgevoerd. Voor leeftijd geldt: F=0,84 (Sig=0,361). Hiermee kan worden uitgesloten dat het hoofdeffect voor mode door verschil in leeftijd wordt veroorzaakt. Uit de variantie analyse blijkt dat in de fake good conditie extremer wordt geantwoord in de webversie dan in de schriftelijke versie. Ook in de fake bad conditie wordt extremer geantwoord in de webversie dan in de schriftelijke versie.
Conditie Mode M (SE)
Fake good Schriftelijk 4,2 (0,12)
Web 4,3 (0,11)
Fake bad Schriftelijk 1,8 (1,13)
Web 1,1 (0,11)
Tabel 4.9: gemiddelden per mode per conditie vraag 1 Vraag 4
Hoofdeffect mode
Uit de 3-wegsvariantie analyse bleek dat er een hoofdeffect voor mode is F=4,67 (Sig=0,032). Omdat er een verschil in gemiddelde leeftijd zit per mode (schriftelijk en online) is er een variantie analyse met leeftijd als covariaat uitgevoerd. Voor leeftijd geldt: F=0,57 (Sig=0,45). Hiermee kan worden uitgesloten dat het hoofdeffect voor mode door verschil in leeftijd wordt veroorzaakt. Uit de variantie analyse blijkt dat zowel in de fake good conditie als in de fake bad conditie extremer wordt geantwoord in de webversie dan in de schriftelijke versie (zie tabel 4.10).
Fake bad Web Wel 1,1
33
Conditie Mode M (SE)
Fake good Schriftelijk 6,6 (0,45)
Web 6,2 (0,40)
Fake bad Schriftelijk 3,9 (0,50)
Web 2,1 (0,43)
Tabel 4.10: gemiddelden per mode per conditie vraag 4
Interactie effect mode en het wel of niet tonen van een afbeelding van een interviewer Uit de 3-wegssvariantie analyse bleek dat er een interactie effect is tussen mode en het wel of niet tonen van een afbeelding van een interviewer F=4,253 (Sig=0,041). Omdat er een verschil in gemiddelde leeftijd zit per mode (schritelijk en online) is er een variantie analyse met leeftijd als covariate uitgevoerd. Voor leeftijd geldt: F=0,204 (Sig=0,622). Hiermee kan worden uitgesloten dat het hoofdeffect voor mode door verschil in leeftijd wordt veroorzaakt. Wanneer er wel een afbeelding getoond wordt van een interviewer, is er een verschil tussen de gemiddelden per mode. Wanneer er een afbeelding wordt getoond van een interviewer ligt het gemiddelde in de schriftelijke versie hoger dan het gemiddelde in de web versie. Wanneer er geen afbeelding van een interviewer wordt getoond het gemiddelde hoger in de webversie hoger dan het gemiddelde in de schriftelijke versie.
Interviewer Mode M (SE)
Wel interviewer Schriftelijk 5,8 (0,52)
Web 4,8 (0,59)
Geen interviewer Schriftelijk 3,8 (0,53)
Web 4,5 (0,47)
Tabel 4.11: gemiddelden per mode bij het aan- of afwezigheid van een afbeelding interviewer
Interactie effect fake good-fake bad, mode en afbeelding van de interviewer
34 tussen de 6,1 en de 6,6 liggen. In de fake bad conditie liggen de gemiddelden verder uit elkaar namelijk tussen de 1,6 en de 4,9. Wanneer er in de fake bad conditie wel een afbeelding van een interviewer wordt getoond en de vragenlijst schriftelijk wordt in gevuld is het gemiddelde hoger M=4,9 dan wanneer er geen afbeelding van een interviewer wordt getoond M=2,6. Bij de online versie is het gemiddelde juist hoger wanneer er geen interviewer aanwezig is M=2,7 dan wanneer er wel een interviewer aanwezig is M=1,7 (zie tabel 4.12).
Conditie Mode Afbeelding
interviewer
M (SE)
Fake good Schriftelijk Wel 6,5 (0,6)
Geen 6,6 (0,6)
Web Wel 6,1 (0,57)
Geen 6,3 (0,52)
Fake bad Schriftelijk Wel 4,9 (0,62)
Geen 2,6 (0,7)
Web Wel 1,6 (0,61)
Geen 2,7 (0,55)
Tabel 4.12: gemiddelden interactie effect alle variabelen Vraag 6
Voor vraag 6 zijn twee kruistabellen gemaakt. In tabel 4.13 worden de schriftelijke versie en de web versie van de vragenlijst met elkaar vergeleken. In de fake good versie worden zowel in de schriftelijke versie als in de webversie dezelfde partijen genoemd. In de fake bad versie wordt de PVV in beide modes genoemd als meest sociaal onwenselijk. In de fake bad versie zit er echter wel verschil tussen de partijen die genoemd worden. In de schriftelijke versie worden de SGP en de 50Plus partij vervolgens genoemd als sociaal onwenselijk. In de webversie worden D66 en de PvdD genoemd als sociaal onwenselijk. De resultaten zijn echter niet significant. Voor survey mode geldt: Chi-kwadraat=8,794 en overschrijdingskans (asymp. Sig. (2-sided)) 0,641.
Schriftelijke versie Webversie
Partij N Percentage Partij N Percentage
Fake good PvdA 13 36,1% VVD 16 32%
35
D66 9 25,0% D66 12 12%
Fake bad PVV 19 46,2% PVV 23 50%
SGP 6 17,9% D66 6 13%
50plus 4 12,8% PvdD 6 13%
Tabel 4.13: gekozen politieke partijen per mode
In tabel 4.14 worden de vragenlijsten waarin een afbeelding van de interviewer is opgenomen vergeleken met de vragenlijsten waarin geen afbeelding van de interviewer is opgenomen. Ook hier is het zo dat er in de fake bad conditie een verschil zit tussen de partijen die worden genoemd. Bij beide versies van de vragenlijst wordt in de fake bad conditie de PVV als meest sociaal onwenselijk genoemd. Bij de vragenlijst waarin een afbeelding van de interviewer wordt getoond worden vervolgens PvdD en 50Plus genoemd als sociaal onwenselijk. Bij de vragenlijst waarin geen afbeelding van de interviewer wordt getoond worden de SGP en de PvdA als sociaal onwenselijk genoemd. In de fake good conditie worden in beide versies de PvdA, VVD en D66 genoemd. In de versie van de vragenlijst waarin een afbeelding van de interviewer wordt getoond wordt de PvdA als meest sociaal wenselijk genoemd. In de versie waarin geen afbeelding wordt getoond wordt de VVD als meest sociaal wenselijk genoemd. De resultaten zijn echter niet significant. Chi-kwadraat=10,993 en overschrijdingskans (asymp. Sig. (2-sided)) 0,444.
Wel afbeelding interviewer Geen afbeelding interviewer
Partij N Percentage Partij N Percentage
Fake good PvdA 15 37,5% VVD 15 32,6%
VVD 10 25,0% D66 11 23,9%
D66 10 25,0% PvdA 10 21,7%
Fake bad PVV 25 61% PVV 17 40,5%
PvdD 5 12,2% SGP 8 19,0%
50Plus 3 7,3% PvdA 5 11,9%
Tabel 4.14: gekozen politieke partijen per wel of niet tonen van afbeelding interviewer Vraag 7
Interactie effect: fake good-fake bad en mode
36 leeftijd als covariate uitgevoerd. Voor leeftijd geldt: F=0,008 (Sig=0,93). Hiermee kan worden uitgesloten dat het hoofdeffect voor mode door verschil in leeftijd wordt veroorzaakt. In de fake bad conditie wordt in de webversie extremer geantwoord dan in de schriftelijke versie. In de fake good conditie is dit verschil er niet.
Conditie Mode M (SE)
Fake good Schriftelijk 8,0 (0,34)
Web 8,2 (0,31)
Fake bad Schriftelijk 3,0 (0,38)
Web 2,1 (0,33)
Tabel 4.15: gemiddelden per mode vraag 7
Interactie effect fake good-fake bad en afbeelding interviewer
Uit de 3-wegsvariantie analyse bleek dat er een significant interactie effect is tussen fake good-fake bad en aanwezigheid van de interviewer F=20180,541 Sig=0,004. Uit de t-test die vervolgens is uitgevoerd blijkt dat er een marginaal significant verschil is in de fake good conditie t=1,858 (p=0,67). Er wordt positiever geantwoord in de fake good conditie wanneer er een interviewer aanwezig is dan wanneer er geen interviewer aanwezig is. In de fake bad conditie is dat verschil er niet.
Conditie Interviewer M (SD)
Fake good Wel interviewer 8,4 (1,2)
Geen interviewer 7,9 (1,8)
Fake bad Wel interviewer 2,5 (2,6)
Geen interviewer 2,6 (2,5)
Tabel 4.16: gemiddelden per wel of niet tonen van afbeelding interviewer Vraag 9
Interactie effect fake good-fake bad en mode
