Ik vertel altijd de waarheid

(1)

Ik vertel altijd de

waarheid

Een onderzoek onder studenten en senioren naar

sociale wenselijkheid in vragenlijsten en de rol die

instructies daarbij spelen

Masterscriptie

Communicatie- en informatiewetenschappen

Faculteit der Letteren

Rijksuniversiteit Groningen

Student: Femke Wijnia, S1732633

Begeleider: dr. Y.P. Ongena

(2)

Samenvatting

Dit onderzoek richt zich op sociale (on)wenselijkheid in vragenlijsten. Het komt regelmatig voor dat er in vragenlijsten onderwerpen aan bod komen die sociaal gevoelig kunnen zijn, zoals inkomen of politieke voorkeur. Dit soort onderwerpen kunnen sociaal wenselijke antwoorden oproepen die niet de mening van de respondent weerspiegelen, maar juist de behoefte aan sociale goedkeuring oproepen. Deze antwoorden kunnen een bedreiging vormen voor de kwaliteit van het onderzoek, aangezien de respondenten de vragen dan niet naar waarheid beantwoorden. Het is dus belangrijk dat men kennis heeft van dit soort onderwerpen. Ook is het van belang dat men weet hoe sociaal gevoelig een bevraagd onderwerp ligt en of er bepaalde factoren zijn die een rol spelen bij de mate van sociale gevoeligheid van een vraag, zoals de aanwezigheid van een interviewer of de manier waarop zo’n vragenlijst wordt afgenomen, via het internet, op papier of bijvoorbeeld telefonisch. Zo’n onderzoek kan worden uitgevoerd door een fake good/fake bad meting te doen. Bij deze meting krijgen alle respondenten dezelfde vragenlijst, maar wordt er aan de ene helft van de respondenten gevraagd de antwoorden zo sociaal wenselijk mogelijk in te vullen (fake good) en de andere helft van de respondenten krijgt de instructie om de vragenlijst zo sociaal onwenselijk mogelijk in te vullen (fake bad). Vooral bij de fake bad variant gaat het om tegennatuurlijk gedrag. Daarom is het van belang dat de instructies voor het geven van sociaal (on)wenselijke antwoorden duidelijk zijn, zodat de respondenten weten wat er van ze verwacht wordt. Vaak is het echter niet duidelijk hoe de respondenten instructies hebben gekregen en hoe deze instructies worden geïnterpreteerd. Ook ontstaat de vraag of herhaling van de instructies invloed heeft op de mate van sociaal (on)wenselijk antwoorden. Daarbij hebben eerdere fake good/fake bad experimenten al uitgewezen dat deze meetmethode werkt bij studenten, maar andere populaties zijn hierop nog niet getest. Dit is de reden dat dit onderzoek zich niet alleen richt op studenten, maar ook op 65-plussers, een schijnbare ‘tegenhanger’ van de studenten. Dit heeft geleid tot de volgende onderzoeksvraag:

In hoeverre heeft de mate van herhaling van instructies invloed op de validiteit van een fake good/fake bad meting en in hoeverre verschillen studenten van senioren in scores op een fake good/fake bad meting?

Om deze vraag te onderzoeken is er een experiment uitgevoerd. In dit experiment kregen zowel studenten als senioren een schriftelijke vragenlijst voorgelegd, over onderwerpen als politiek, immigratie en geluk. De respondenten kregen hierbij de instructies sociaal wenselijke, dan wel sociaal onwenselijke antwoorden te geven. De antwoordschalen waren allen vijf- of tienpuntsschalen, waarbij gekeken is naar de extremen. Hoe extremer het antwoord, hoe sociaal (on)wenselijker het is. Hoe meer de antwoorden van de fake good en fake bad varianten van elkaar verschillen, des te gevoeliger ligt het bevraagde onderwerp. Onder de studenten werd ook nog de mate van herhaling van de instructies getest, zo was er een versie met veel reminders tussen de vragen door en een versie met minder reminders. Dit leverde dus vier verschillende vragenlijstversies op die aan afzonderlijke groepen werden voorgelegd.

(3)

reminders betreft, bleek, tegen de verwachtingen in, dat voornamelijk in de fake bad versie de versie met minder reminders extremere antwoorden opleverde dan de versie met meer reminders. Dit zou bijvoorbeeld kunnen voortkomen uit een verschil tussen de groepen op een variabele die niet is meegenomen in het onderzoek, bijvoorbeeld de mate van concentratie. Bij de twee verschillende geteste populaties bleek dat bij de studenten in de fake bad versie van de vragenlijsten een duidelijkere zichtbaarheid was van sociale gevoeligheid in de vorm van extremere antwoorden dan bij de senioren. De instructie voor de fake bad antwoorden bleek voor de senioren waarschijnlijk iets moeilijker op te volgen dan voor de studenten, maar het is tevens mogelijk dat studenten unaniemer zijn in hun oordeel over de positie van sociale onwenselijkheid. Ook is er gekeken naar verschillen tussen mannen en vrouwen voor wat betreft het geven van sociaal (on)wenselijke antwoorden. De vrouwen scoorden in de fake good versie van de vragenlijsten vaker extremer dan de mannen. Ook was er in deze versie bij de vrouwen een lagere standaarddeviatie dan bij de mannen. Bij de vrouwen bleek het dus iets eenvoudiger een sociaal wenselijke houding aan te nemen dan bij de mannen, óf vrouwen zijn er unaniemer in op welke positie het sociaal wenselijke antwoord ligt. Verder bleek uit de resultaten dat de hoger opgeleiden in zowel de fake good als de fake bad versie extremer scoorden dan de lager opgeleiden. Dit was geheel in lijn met de verwachtingen.

(4)

Inhoudsopgave

1. Inleiding ... 1

2. Literatuurbespreking ... 3

2.1 Sociale wenselijkheid... 3

2.1.1 Vertekening ... 3

2.1.2 Marlowe-Crowne Social Desirability Scale ... 4

2.1.3 Randomized response technieken ... 5

2.1.4 Fake good/fake bad metingen ... 5

2.2 Het geven van instructies ... 8

2.2.1 Instructies bij vragenlijsten ... 8

2.2.2 Handleidingen en didactiek ... 8 2.2.3 Tekstkwaliteit ... 9 2.2.4 Toonzetting ... 9 2.3 Hypothesen ... 10

3. Data en methoden ... 13

3.1 Het onderzoeksdesign ... 13 3.2 Het materiaal ... 14

3.2.1 Fake good/fake bad ... 15

3.2.2 Aantal reminders ... 16

3.2.3 Pretest ... 17

3.3 Proefpersonen en methode van dataverzameling ... 17

3.4 Data en analyse ... 18 3.4.1 Verdelingen en groepssamenstellingen ... 18 3.4.2 Data vragenlijst ... 19

4. Resultaten ... 21

4.1 Analyse hypothese 1 ... 21 4.1.1 Resultaten hypothese 1 ... 22 4.1.2 Stemgedrag ... 22 4.2 Analyse hypothese 2 ... 23

4.2.1 Opvallende resultaten hypothese 2 ... 24

4.2.2 Overige resultaten hypothese 2 ... 25

4.2.3 Stemgedrag ... 25

(5)

4.4 Analyse hypothese 4 ... 29

4.5 Analyse hypothese 5 ... 31

4.5.3 Stemgedrag ... 34 4.6 Analyse hypothese 6 ... 34 4.6.1 Resultaten hypothese 6 ... 36

5. Conclusie en discussie ... 38

5.1 Conclusie hypothesen ... 38 5.1.1 Hypothese 1 ... 38 5.1.2 Hypothese 2 ... 39 5.1.3 Hypothese 3 ... 40 5.1.4 Hypothese 4 ... 41 5.1.5 Hypothese 5 ... 42 5.1.6 Hypothese 6 ... 43 5.2 Conclusie hoofdvraag ... 43

5.3 Suggesties voor vervolgonderzoek ... 44

Literatuurlijst ... 46

Bijlage 1: Vragenlijsten ... 49

Bijlage 2: Codeboek ... 76

(6)

1

1. Inleiding

De survey is één van de meest gebruikte onderzoeksmethoden op het gebied van (grootschalig) sociaalwetenschappelijk onderzoek. Bij survey-onderzoek gaat het om het in kaart brengen van karakteristieken van een (grote) groep mensen door middel van vragenlijsten. Al jarenlang houden onderzoekers zich bezig met het optimaliseren van vragenlijsten, zodat vragen bijvoorbeeld niet suggestief zijn of dat mensen niet ‘invulmoe’ worden (Lau 2008: 20). Ook de onderwerpen van de vragenlijsten zelf zijn onderhevig aan onderzoek. Zo wordt er in vragenlijsten maar al te vaak gevraagd naar onderwerpen die sociaal gevoelig liggen, zoals inkomen of politieke voorkeur. Deze onderwerpen kunnen sociaal wenselijke antwoorden oproepen. Deze antwoorden weerspiegelen niet de mening van de respondent, maar roepen de behoefte op aan sociale goedkeuring. De respondent past dus zijn antwoord aan, aan datgene waarvan hij denkt dat de ander het graag wil horen, of om een goede indruk van zichzelf te geven. Zo zijn er bijvoorbeeld veel mensen die regelmatig en graag roddelen over anderen. Maar wanneer er in een vragenlijst gevraagd wordt: “Roddelt u wel eens?”, dan heeft degene die de vragenlijst invult eerder de neiging hierop “nee” te antwoorden, omdat roddelen niet sociaal wenselijk is. Deze antwoorden kunnen een bedreiging vormen voor de kwaliteit van het onderzoek, omdat de respondenten de vragen niet naar waarheid beantwoorden.

Holbrook, Green & Krosnick (2003) hebben een aantal studies beschreven die zijn gedaan naar onderwerpen die sociaal wenselijke antwoorden oproepen. Uit deze studies kwamen verschillende onderwerpen naar voren die wellicht sociaal gevoelig zouden kunnen liggen, zoals belangstelling voor de politiek, zeggen dat je gestemd hebt en interesse in politieke campagnes. Om te testen of deze items inderdaad sociaal wenselijke connotaties bevatten, hebben de onderzoekers een experiment uitgevoerd onder studenten waarin de helft van de respondenten werd gevraagd om ‘fake good’ antwoorden te geven. Dit betreft het geven van sociaal wenselijke antwoorden die een positieve reactie van de omgeving zouden oproepen. De andere helft werd gevraagd ‘fake bad’ antwoorden te geven, die een negatieve reactie van de omgeving zouden oproepen. Deze antwoorden gaan dus tegen het natuurlijke gedrag in. De twee groepen gaven significant verschillende antwoorden op dezelfde vragen. Wanneer de respondenten in de fake good groep dus een stelling in de richting van “eens” beantwoordden, dan gaven de fake bad respondenten meestal op diezelfde stelling een antwoord in de richting van “oneens”. Hierdoor werd duidelijk dat de bevraagde items inderdaad gevoelig zijn voor het geven van sociaal wenselijke antwoorden (Holbrook, Green & Krosnick 2003: 118). Het is echter niet bekend hoe de respondenten instructies hebben gekregen om fake good of fake bad antwoorden te geven. Wanneer de respondenten schriftelijke instructies krijgen kan de onderzoeker niet overzien wat de respondent eigenlijk leest en of hij begrijpt wat er van hem verwacht wordt. Ook kan de respondent zijn aandacht verliezen of gaan dagdromen (Anderson 1970: 349). Daarom is het van belang om ook aandacht te schenken aan de opbouw en inhoud van de instructie, wanneer men een vragenlijst aanbiedt. Ook herhaling van de instructies is een belangrijk principe (Lindeboom & Peeters 1986: 90).

(7)

2 ‘sociale onwenselijkheid’. Daarbij kan het ook mogelijk zijn dat de instructies lastiger zijn op te volgen omdat het om tegennatuurlijk gedrag gaat. Overigens kan het ook aangeven dat er verschillende opvattingen zijn omtrent sociaal onwenselijk gedrag. Wellicht lopen de meningen over wat sociaal onwenselijk is nou eenmaal meer uiteen dan meningen over wat sociaal wenselijk is. Bij Wegkamp lijkt het er overigens op dat er respondenten waren die de instructies niet goed hebben begrepen, in verband met bijvoorbeeld de antwoorden op de vraag “Heeft u tijdens de Laatste Tweede Kamer verkiezingen gestemd?”. Sommige respondenten kozen hier namelijk voor het antwoord “Ik ben niet stemgerechtigd”. Dit antwoord lijkt niet te passen binnen sociaal wenselijk of onwenselijk gedrag, het lijkt er eerder op dat de respondenten de vragen naar waarheid hebben ingevuld in plaats van de instructies op te volgen.

Gedacht wordt dat wanneer de instructies duidelijk aangeven wat er van de respondenten in zo’n experiment verwacht wordt, er een nog duidelijkere significantie in de beide versies getoond zal worden. Ook ontstaat de vraag of herhaling van instructies, tussen de vragen door, ook invloed heeft op de mate van sociaal (on)wenselijk antwoorden. Daarbij heeft eerder onderzoek, zoals dat van Holbrook e.a. (2003) en Wegkamp (2014), al uitgewezen dat deze meetmethode werkt bij studenten, maar de vraagt rijst of dit ook opgaat voor andere populaties. Dit is de reden dat dit onderzoek zich niet alleen zal richten op studenten, maar ook op 65-plussers, een schijnbare ‘tegenhanger’ van de studenten. Daarom staat de volgende vraag centraal in dit onderzoek:

Aan de hand van dit onderzoek trachten we onder andere aan te tonen of het onderwerp dat bevraagd wordt in de vragenlijst daadwerkelijk gevoelig is voor het geven van sociaal wenselijke antwoorden. Daarbij zal uitwijzen of de instructies die gegeven worden zorgen voor een groter verschil in gemiddelden en verschil in variantie. Voor de toekomst betekent dit niet alleen voor dit soort onderzoeken, maar ook in algemener opzicht, hoe de instructies het beste kunnen worden toegepast.

Dit rapport is als volgt opgebouwd. In hoofdstuk twee zal de literatuurbespreking verder uiteen worden gezet, waarin een basis zal worden gelegd voor de onderzoeksvraag. Hieruit zullen hypothesen worden afgeleid. Daarna zullen in hoofdstuk drie de data en de methoden worden beschreven. Vervolgens worden in hoofdstuk vier de resultaten behandeld. Tenslotte zullen in hoofdstuk vijf de conclusie en discussie aan bod komen, waarin antwoord zal worden gegeven op de onderzoeksvraag en ook zullen enige discussiepunten worden aangedragen.

(8)

3

2. Literatuurbespreking

Dit hoofdstuk heeft tot doel meer inzicht te verschaffen in de theoretische achtergrond bij de eerder geformuleerde onderzoeksvraag. Eerst zal er een introductie gegeven worden op de term ‘sociale wenselijkheid’ en de verschillende aspecten die komen kijken bij dit fenomeen. Ook wordt eerder onderzoek op dit gebied besproken. Vervolgens wordt ingegaan op instructies en hoe die kunnen worden gegeven. Dit hoofdstuk sluit af met hypothesen die aan de hand van de literatuur zijn opgesteld.

2.1 Sociale wenselijkheid

De eerste persoon die met de term ‘sociale wenselijkheid’ kwam, was de onderzoeker Edwards in 1957 (in DeLamater 1982: 18). Hij stelde dat elk statement over een persoon, jezelf of iemand anders, kan worden geplaatst in een dimensie van sociale wenselijkheid. Elke groep heeft normen die gedefinieerd kunnen worden door fysieke karakteristieken, interesses, gedrag, houdingen, opvattingen en gevoelens, die bij de ene groep meer wenselijk zijn dan bij de andere groep (DeLamater 1982: 18). Bij sociale wenselijkheid gaat het erom dat mensen de neiging hebben zichzelf op de meest gunstige manier te presenteren ten opzichte van de heersende normen (King & Bruner 2000: 80). Normen zijn belangrijke determinanten van sociaal wenselijk gedrag, omdat zij bepalen wat een goede indruk is in een bepaalde situatie. Een voorbeeld betreft het toegeven van wetsovertredingen. Volgens de relevante normen die in de situatie een rol spelen, kan een persoon toegeven meer of juist minder wetsovertredingen te hebben begaan dan het werkelijke aantal. Een lid van een jeugdbende, bijvoorbeeld, kan toegeven dat hij veel meer wetsovertredingen heeft begaan dan dat hij eigenlijk heeft begaan, slechts om indruk te maken op de groep (Nederhof 1985: 264), terwijl hij tegenover autoriteiten juist eerder zal toegeven dat hij minder wetsovertredingen heeft begaan dan het werkelijke aantal. Bij vragenlijstonderzoek betekent dit dat de respondenten antwoorden geven die niet overeenkomen met de werkelijkheid, maar die de respondent er ‘beter’ uit laten zien. De respondent heeft het zelf niet altijd in de gaten dat hij sociaal wenselijke antwoorden geeft, in dat geval is er sprake van zelfbedrog (self deception), zo beschrijft Van de Mortel (2008: 41). Ook kan de respondent zich er wel bewust van zijn dat hij antwoorden geeft die voldoen aan maatschappelijke aanvaardbare waarden, in dat geval geeft hij ‘fake good’-antwoorden (Van de Mortel 2008: 41). Een voorbeeld hiervan is wanneer er gevraagd wordt naar het aantal periodieke tandartscontroles die de respondent in de afgelopen twaalf maanden heeft ondergaan. De fake good respondent antwoordt hier dan idealiter ‘twee’ op, aangezien een periodieke tandartscontrole meestal elke zes maanden plaatsvindt, terwijl de respondent in werkelijkheid niet eens of slechts een keer naar de tandarts is geweest. In bepaalde situaties komt ook het omgekeerde voor, wanneer respondenten zichzelf juist slechter presenteren dan de werkelijkheid. Dit zien we bijvoorbeeld wanneer mensen afgekeurd willen worden voor de arbeidsmarkt en zich ‘zieker’ voordoen dan zij zijn. In dat geval geeft de respondent ‘fake bad’-antwoorden (Pouwer, Van der Ploeg & Bramsen 1998: 1557).

2.1.1 Vertekening

(9)

4 onzuivere afspiegeling van de realiteit.” Een bias ontstaat dus door systematische meetfouten. Pouwer, Van der Ploeg en Bramsen (1998: 1556) geven ook aan dat systematische meetfouten kunnen worden veroorzaakt door kenmerken van de vragenlijst zelf, door de wijze waarop een vragenlijst wordt gebruikt of door kenmerken van de respondent. King & Bruner (2000: 80) zien het als taak van de onderzoeker om situaties waarin gegevens kunnen worden beïnvloed door percepties van de respondent over wat sociaal aanvaardbaar is, te onderzoeken. De onderzoeker dient dan te bepalen in hoeverre deze situaties zorgen voor ‘vervuiling’ van de gegevens en daarbij ook controlemethodes toe te passen. Sociale wenselijkheid kan namelijk werken als interfererende variabele die verbanden tussen afhankelijke en onafhankelijke variabelen kunnen afzwakken. Hierbij ontstaat de vraag of de score die wordt weergegeven door de resultaten een afspiegeling is van de werkelijkheid of juist van een aanwezige sociale norm (Nederhof 1985: 269), zoals eerder besproken in dit hoofdstuk.

Er zijn onderzoeken die laten zien dat respondenten in een survey afgenomen via de telefoon eerder geneigd zijn tot het geven van sociaal wenselijke antwoorden dan in face-to-face interviews. Maar wanneer er een interviewer ‘live’ aanwezig is, worden er ook weer meer sociaal wenselijke antwoorden gegeven dan wanneer er helemaal geen interviewer bij betrokken is (Holbrook, Green & Krosnick 2003). Zo beschrijft Nederhof (1985) verschillende onderzoeken die bewijzen dat wanneer er vragenlijsten worden gepresenteerd die de respondent zelf kan invullen (self-administered questionnaires), die bijvoorbeeld via de post komen of tegenwoordig digitaal kunnen worden ingevuld, de kans kleiner is dat de respondent sociaal gevoelige antwoorden geeft, dan wanneer een interviewer, hetzij telefonisch, hetzij face-to-face, aanwezig is. Om de vertekening door sociale wenselijkheid te onderzoeken of te ondervangen, kunnen er dus enkele technieken worden toegepast, zoals het kiezen van een meer anonieme meetmethode. Maar ook zijn er in het verleden andere technieken ontwikkeld, zoals sociale wenselijkheidsschalen en randomized response technieken. Deze zullen in de volgende subparagrafen aan bod komen.

2.1.2 Marlowe-Crowne Social Desirability Scale

Er zijn al diverse onderzoeken geweest naar sociale wenselijkheid in vragenlijsten en hoe dit kan worden gemeten met bepaalde methoden. Nederhof (1985: 265) noemt onder andere de Marlowe-Crowne Social Desirability Scale (MC-schaal) uit 1964. Dit was destijds de populairste methode, zowel in psychologische als in sociologische onderzoeken. Hiermee kan de neiging tot het geven van sociaal wenselijke antwoorden op een schaal worden gemeten. De betrouwbaarheid van deze methode is redelijk hoog. De schaal is echter niet in staat om sociaal wenselijk gedrag te voorspellen (Johnson, Fendrich & Hubble 2002: 1664). Het voorspellen van toekomstig gedrag door een meetmethode heet ook wel predictieve validiteit (Baxter & Babbie 2003: 126).

(10)

5 wordt de MC-schaal geassocieerd met leeftijd, want hoe ouder de respondent, hoe groter de kans dat hij hoog scoort op de schaal (Burris, Johnson & O’Rourke 2003: 32). Er zijn onderzoekers die beweren dat oudere respondenten anders over sociaal gevoelige onderwerpen denken dan jongeren, juist vanwege het tijdperk waarin ze zijn opgegroeid, of als gevolg van machteloosheid, zo stellen Burris e.a. (2003: 32). Dit kan ook meetellen in ‘gewone’ vragenlijsten, en niet alleen bij antwoorden die gegeven worden op een (vorm van) MC-schaal. Als voorbeeld is er de homo-scène. Ouderen boven de 65 jaar zijn opgegroeid in een tijd dat je niet over zulke zaken praatte (Movisie 2007). Movisie, een organisatie die zich bezig houdt met sociale vraagstukken, noemt ook dat de homo- en lesbische subcultuur veelal op jongeren is gericht (2007). Dit kan een reden zijn dat jongeren veel openlijker kunnen praten en een mening kunnen vormen over deze zaken dan ouderen. Wat voor de ene bevolkingsgroep een sociaal gevoelig topic is, hoeft dus voor de andere bevolkingsgroep niet zo te zijn.

Maar hoe moet je omgaan met onderzoeksresultaten die door sociaal wenselijke antwoorden kunnen zijn aangetast? Nederhof (1985: 268) geeft hiervoor enkele maatregelen. Zo kunnen respondenten met een hoge score worden weggelaten uit de resultaten, maar dan daalt wel de representativiteit. Een andere benadering is om een correctie toe te passen op de hoogste of laagste scores. Dit kan bijvoorbeeld door deze scores te vervangen door gemiddelde scores, maar ook dan daalt de nauwkeurigheid van de resultaten. Daarbij bestaat de aanname dat de respondent consequent op alle vragen sociaal wenselijk antwoordt, terwijl dit helemaal niet zo hoeft te zijn. Er is veel onderzoek gedaan naar de werking van de MC-schaal, en veel methodes die later zijn ontwikkeld zijn gebaseerd op de uitgangspunten van Marlowe en Crowne (Nederhof 1985). Dit soort schalen wordt dan ondergebracht in de survey, naast het eigenlijke onderzoeksonderwerp. Nadelen van deze schalen zijn dat ze vaak veel te lang zijn en respondenten kunnen ze beledigend vinden (Fisher 2000: 74).

2.1.3 Randomized response technieken

Om respondenten het vertrouwen te geven dat het geven van antwoorden die in hun nadeel zouden zijn niet bedreigend voor ze zijn, en dus om de vertekening door sociale wenselijkheid te voorkomen of te verminderen, zouden er randomized response technieken (RRT) kunnen worden toegepast. Deze techniek is ontwikkeld door Warner in 1965 (in Van der Pligt & Blankers 2013: 233). Bij RRT’s wordt er een kanselement ingepast in de vragenlijst die is ontwikkeld om gevoelige onderwerpen te meten. Van der Pligt en Blankers (2013: 233) geven aan dat op deze manier wordt geprobeerd de privacy van de respondent optimaal te garanderen. De respondent krijgt bijvoorbeeld twee vragen voorgelegd, waarvan één een sociaal gevoelige vraag is (bijv. “Heb je wel eens iets gestolen?”) en één een neutrale vraag (bijv. “Is je vader jarig tussen 1 oktober en 31 december?”). De dobbelsteen bepaalt welke van de twee vragen wordt beantwoord. Een nadeel is dat alleen de respondent weet welke vraag hij heeft beantwoord (Lensvelt-Mulders & De Leeuw 2002: 29). Onderzoekers kunnen slechts een schatting maken van welke van de gegeven antwoorden daadwerkelijk een antwoord zijn op de gevoelige vraag.

2.1.4 Fake good/fake bad metingen

(11)

6 aangeven in hoeverre deze items daadwerkelijk gevoelig zijn voor het geven van sociaal wenselijke antwoorden. De voor dit onderzoek belangrijke studies zullen hierna worden besproken.

Holbrook, Green & Krosnick (2003)

Holbrook e.a. (2003: 118) beschrijven twee relevante studies. In 1982 is er een vergelijkings-onderzoek geweest op de National Election Study (NES). In dit vergelijkings-onderzoek waren er vijf items die connotaties leken te bevatten op het gebied van sociale wenselijkheid. Dit waren onder andere belangstelling voor politiek, stemmen bij de vorige verkiezingen en het steunen van overheidssteun aan de zwarte bevolking (alleen onder blanke respondenten gevraagd). Eerder onderzoek van onder andere Sigall & Page (1971) suggereert dat blanke respondenten opzettelijk hun vijandigheid tegenover Afro-Amerikanen erg lieten afzwakken in het onderzoek, vermoedelijk omdat het tonen van dit gevoel niet sociaal respectabel is. Deze items lijken dus voldoende sociaal wenselijke connotaties te bevatten om verschillen door vertekening van sociaal wenselijke antwoorden te laten zien. Om deze vermoedens te testen, is er bijna twintig jaar na dit NES-onderzoek een steekproef gehouden onder 112 studenten van de universiteit van Ohio, door Holbrook, Green en Krosnick (2003). Ze kregen dezelfde vragen, afgewisseld met opvulvragen. De helft van de studenten was gevraagd naar fake bad antwoorden: het geven van sociaal onwenselijke antwoorden, die een negatieve reactie van de samenleving zouden oproepen. De andere helft was gevraagd naar fake good antwoorden: het geven van sociaal wenselijke antwoorden die een positieve reactie van de samenleving zouden oproepen. Als deze twee groepen significant verschillende antwoorden op de belangrijkste items zouden geven, zou dat aangeven dat er een algemeen overeengekomen wenselijk antwoord is voor elk item. Zoals verwacht bleken er significante verschillen te zijn tussen de fake good en fake bad antwoorden. Niet verrassend was dat de respondenten in de fake good groep eerder aangaven te stemmen (66% van fake good, tegenover 8,9% van fake bad), de politiek op de voet te volgen (1,8% van fake good zei dit nauwelijks tot niet te doen, tegenover 73,2% van fake bad) en interesse toonden in politieke campagnes. In deze twintig jaar zouden er wel verschuivingen hebben kunnen plaatsvinden in de sociaal wenselijke connotaties, maar toch blijkt vastgesteld te zijn dat deze items gevoelig zijn voor sociaal wenselijke antwoorden (Holbrook e.a. 2003: 118).

Om andere vragen met connotaties op het gebied van sociale wenselijkheid te identificeren, voerde de NES zelf een soortgelijke pretest uit. In dat experiment kregen twee groepen verschillende sets van vier vragen voorgelegd over maatschappelijke kwesties. De ene helft van de groep kreeg mee dat ze de antwoorden moesten geven die de beste indruk zouden maken op de interviewer (fake good). De andere groep kreeg mee antwoorden te geven die de minst goede indruk zouden maken op de interviewer (fake bad). Hier ontstonden ook significante verschillen tussen de fake good en de fake bad antwoorden (Holbrook e.a. 2003: 119).

(12)

7

Heerwegh (2009)

In hetzelfde kader heeft Heerwegh (2009) een experimenteel onderzoek uitgevoerd onder 444 studenten van de Katholieke Universiteit Leuven. Hierbij onderzocht hij of er verschillen waren tussen face-to-face vragenlijsten en websurveys op het gebied van de kwaliteit van de gegevens en de effecten van sociale wenselijkheid. Alle respondenten werden face-to-face geïnterviewd. Een deel van de respondenten echter, werd gevraagd de laatste 36 vragen van de vragenlijst online te voltooien. Ook deze studenten kregen de instructies om sociaal wenselijke of sociaal onwenselijke antwoorden te geven. Het bleek dat de reacties op alle 36 vragen in alle condities significant van elkaar verschilden. Zo is het sociaal wenselijk om betrokken te zijn bij schoolactiviteiten, gezonder en gelukkiger te zijn en meer vrienden te hebben, maar juist onwenselijk om individualistisch of dominant te zijn. Wanneer de antwoorden van de face-to-face vragenlijsten echter werden vergeleken met de antwoorden van de online vragenlijst, bleek dat veel, maar zeker niet alle, samengestelde scores significant werden beïnvloed door sociale wenselijkheid. Face-to-face vragenlijsten bleken wel meer sociaal wenselijke antwoorden op te roepen dan de websurveys. Opvallend was dat het gerapporteerde aantal vrienden niet beïnvloed werd door survey-mode. De variantie in antwoorden bij de vraag over hoeveel vrienden men had, was bij zowel de fake good, als de fake bad conditie erg groot. Zo gaf men bij de fake good conditie aan 10,31 vrienden te hebben, met een standaarddeviatie van 10,7, en bij de fake bad conditie was dit 4,50, met een standaarddeviatie van 10,6. De standaarddeviatie geeft de mate aan waarin de antwoorden onderling van elkaar verschillen. Dit kan erop duiden dat men het er over het algemeen wel mee eens is dat meer vrienden hebben sociaal gewenst is, maar dat niet bij iedereen duidelijk is hoeveel vrienden dan sociaal gewenst zijn.

Wegkamp (2014)

(13)

8 overigens veroorzaakt worden door het feit dat de ‘aanwezigheid van een interviewer’ alleen werd getest door het tonen van een afbeelding van een interviewer. Dit komt niet overeen met het daadwerkelijk aanwezig-zijn van een interviewer.

Opmerkelijk aan de bovengenoemde studies is dat ze uitgevoerd zijn onder studenten. De vraag rijst of deze uitkomsten ook gelden voor andere populaties. Ook bleek dat in de onderzoeken van Wegkamp (2014) en Heerwegh (2009) de varianties, voornamelijk in de fake bad versies, hoog waren. Dit zou kunnen liggen aan eventuele onduidelijkheid van de gegeven instructies, waardoor respondenten niet goed wisten wat er van ze werd verwacht. Bovendien kan deze hoge variantie ook veroorzaakt worden door een verschil in mening over op welk punt in de schaal een antwoord sociaal wenselijk of onwenselijk is.

2.2 Het geven van instructies

2.2.1 Instructies bij vragenlijsten

Er is veel literatuur over het maken van vragenlijsten. Deze literatuur besteedt echter maar weinig aandacht aan het geven van de instructies bij een vragenlijst. Zo noemen Baxter en Babbie (2003: 186) kort iets over het geven van instructies bij enquêtes, namelijk dat elke vragenlijst, of het nu door de respondenten zelf wordt ingevuld of wordt afgenomen door interviewers, duidelijke instructies moet bevatten en inleidende opmerkingen waar nodig. Ze geven aan dat het nuttig is om elke vragenlijst te laten beginnen met basisinstructies over hoe men de vragenlijst dient in te vullen, zoals hoe ze antwoorden kunnen geven (aankruisen of omcirkelen) en hoe lang antwoorden mogen zijn bij open vragen. Ook aanmoedigingen om vragen in te vullen vallen onder de instructies. Als er subrubrieken zijn binnen de vragenlijst dienen deze ook weer te beginnen met een beknopte verklaring over de inhoud en het doel van dit onderdeel. Hierdoor wordt de vragenlijst ook meer gestructureerd en wordt de respondent in de juiste gemoedstoestand (‘frame of mind’) gebracht voor het beantwoorden van de vragen, aldus Baxter en Babbie (2003: 186-187). Ook Surveymonkey.nl (2014), een populaire website waarop onderzoeken kunnen worden ontworpen en verspreid, geeft een aantal tips over het maken van duidelijke instructies bij een vragenlijst. Er wordt aangegeven dat de opmaak en de lay-out er goed en overzichtelijk moeten uitzien, om te voorkomen dat respondenten vragen overslaan of vroegtijdig stoppen met de vragenlijst. De website noemt ook dat het belangrijk is om het doel van de enquête uit te leggen in de instructies/inleiding. Daarbij mag de naam van het bedrijf dat de enquête verspreidt niet ontbreken in deze inleiding en moet expliciet worden genoemd dat de gegevens vertrouwelijk zullen worden behandeld. Ook kan er een richtlijn worden gegeven voor wat betreft de tijd die er nodig is voor de respondent om een vragenlijst in te vullen. Natuurlijk moeten er ook instructies worden gegeven over de in te vullen vragen en hoe men zich door de vragenlijst heen kan bewegen. Wat bij deze bronnen ontbreekt is een voorschrift over hoe men nu duidelijke instructies geeft en welke richtlijnen daarbij kunnen worden gebruikt. Voor duidelijke instructies op dit gebied kom je al gauw uit bij handleidingen en didactiek.

2.2.2 Handleidingen en didactiek

Een handleiding legt de lezer uit hoe en waarom iets kan worden gedaan. Jansen e.a. (2006: 518) geven puntsgewijs de belangrijkste eisen aan een schriftelijke instructie:

- Effectiviteit: de lezer moet de taak zonder fouten kunnen uitvoeren.

(14)

9 - Inzichtelijkheid: de lezer moet begrijpen waarom de taak zo uitgevoerd moet worden en niet

anders.

- Overtuigingskracht: de lezer moet gemotiveerd worden om de taak zorgvuldig en op tijd uit te voeren.

- Leerbaarheid: soms is het belangrijk dat de lezer de taak op den duur kan uitvoeren zonder de instructie erbij te hebben.

Deze punten die Jansen e.a. (2006) noemen kunnen ook in zekere mate worden toegepast op het schrijven van de instructie voor de vragenlijsten in dit onderzoek.

Ook uit de onderwijswereld kunnen belangrijke punten voor wat betreft het geven van instructies worden gehaald. Zo schrijft Anderson (1970: 349) dat men nooit zeker weet wat iemand, in dit geval een student, doet wanneer hij een (instructieve) tekst bestudeert. Hij zou elke regel kunnen lezen, maar ook de pagina vluchtig kunnen doorlopen. Daarbij kan het zijn dat de student nadruk legt op onderdelen van de tekst waar de docent juist minder aandacht aan wil besteden. Ook kunnen de gedachten van de student afdwalen. De docent bepaalt de nominale stimuli (datgene wat moet worden overgebracht), maar de student is degene die bepaalt of dit ook overkomt. Dit heeft allemaal te maken met aandacht. Deze aandacht zou kunnen worden vergroot door tussen de instructies door vragen te stellen die over de instructies gaan, zodat de student er actief mee bezig is (Anderson 1970: 360). Een ander belangrijk punt binnen het geven van didactische instructies is het herhalen van de instructies. Lindeboom & Peeters (1986: 90) noemen dit dan ook een belangrijk didactisch principe. “Wie iets wil leren zal veel moeten herhalen”. Sun (2008) noemt een aantal punten die je niet uit het oog mag verliezen wanneer je iemand iets uitlegt. Zo is het belangrijk om datgene wat verteld wordt, aan te laten sluiten bij wat die persoon al weet en niet over diegene heen te praten of neerbuigend tegen hem doen. Een ander belangrijk punt dat Sun (2008) noemt is het gebruik van analogieën in de uitleg om concepten duidelijker te maken.

2.2.3 Tekstkwaliteit

Naast de eerder genoemde richtlijnen waar een schrijver van instructies zich aan kan houden, dient de geschreven instructie ook van goede kwaliteit te zijn om juist datgene over te brengen, wat overgebracht dient te worden. De Bie en Magnée (2004: 24) maken onderscheid tussen drie soorten tekstkwaliteit. De eerste is kwaliteit van de formulering. Een goede tekst moet makkelijk en plezierig te lezen zijn. Dit betekent dat de woordkeus passend en verrassend is. Ook zijn de zinsconstructie en zinsopbouw aantrekkelijk, wat wil zeggen dat de zinnen soepel lezen en geen tangconstructies bevatten. De formulering moet ook prikkelen en dient een goede toonzetting te hebben. Het tweede soort tekstkwaliteit is de kwaliteit van de opbouw (De Bie en Magnée 2004: 24). De opbouw dient duidelijk te zijn en de lezer ongemerkt mee te nemen, door samenhang en structuursignalen. Als derde soort tekstkwaliteit noemen De Bie en Magnée de kwaliteit van de inhoud. De informatie die een tekst bevat, dient correct te zijn en beweringen dienen te worden onderbouwd. De hoeveelheid informatie is hierbij niet te veel en niet te weinig (2004: 25).

2.2.4 Toonzetting

(15)

10 (Hendriks & Le Pair 2008: 27). Een voorbeeld hiervan is: “Kruis aan welke van onderstaande opties…”. Met deze vorm bestaat de kans dat degene aan wie de uitspraak wordt gedaan, wordt beledigd. De imperatief kan ook beleefder worden ingezet, door er een indirect imperatief van te maken en eventueel het subject toe te voegen (Duinhoven 2001: 163), bijvoorbeeld: “En denk eraan dat je alle opties die op jou van toepassing zijn aankruist”. Een andere beleefde vorm van instrueren is om te refereren naar de mogelijkheid iets te kunnen doen (Hendriks & Le Pair 2008: 33), bijvoorbeeld: “Kun je aangeven welke van onderstaande opties…”. Dit is al een veel minder directe vorm van verzoeken. Dit kan ook opgaan voor instrueren. Hendriks en Le Pair (2008: 25) stellen dat hoe indirecter de vorm, hoe beleefder de informatie overkomt op de aangesprokene. De vorm van een beleefdere instructie die in didactische omgevingen vaker voorkomt, is het gebruik van de tweede persoon (subject) als centrale participant (De Haan, 1986: 258). In plaats van de imperatief “Lees eerst deze tekst, en dan…” kan men ook stellen: “Je leest eerst deze tekst, en dan…”. Het gevaar bij indirectheid is echter wel dat het ten koste kan gaan van de duidelijkheid van de instructie. Het is dus belangrijk dat er voldoende aandacht wordt besteed aan de toonzetting van een instructie of verzoek, om de aangesprokene juist datgene te laten uitvoeren wat er in het verzoek of de instructie beschreven staat, en diegene niet tegen je in het harnas te jagen.

2.3 Hypothesen

Uit de literatuur zijn een aantal zaken naar voren gekomen waaruit hypothesen afgeleid kunnen worden.

Wegkamp (2014) onderzocht met een fake good/fake bad meting of verschillende vragen uit de ESS vragenlijst sociaal gevoelig lagen en of survey-mode en aanwezigheid van een interviewer hierop van invloed waren. Zij vond in de fake bad conditie een hogere variantie dan in de fake good conditie. Verwacht wordt dat dit zal worden doorgezet in dit onderzoek, omdat het verkondigen van tegennatuurlijk gedrag nu eenmaal bewezen is moeilijker te zijn dan het verkondigen van sociale wenselijkheid. Bovendien is uit eerdere onderzoeken (Holbrook e.a. 2003, Heerwegh 2009 en Wegkamp 2014) gebleken dat de meest sociaal wenselijke en onwenselijke antwoorden te vinden zijn op de uiteinden van de antwoordschaal. Er zal in de hypothesen dus worden gekeken naar de extremiteit in antwoorden, dit geeft namelijk aan hoe sociaal (on)wenselijke een antwoord is. Hoe extremer het antwoord, hoe sociaal (on)wenselijker het is. Spreiding in de antwoorden zal ook een rol spelen, omdat dit kan aangeven of er onduidelijkheid bestaat over wat nu sociaal wenselijk is. Naar aanleiding van het onderzoek van Wegkamp (2014) zijn de volgende hypothesen opgesteld:

- H1a: De geselecteerde vragen uit de ESS 2011 tonen in de fake good versie een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van extremere antwoorden dan in de fake bad versie.

- H1b: De geselecteerde vragen uit de ESS 2011 tonen in de fake good versie een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van een lagere standaarddeviatie dan de fake bad versie.

(16)

11 dus ook aangeven of de respondent de instructies goed heeft begrepen. Ook de spreiding in antwoorden speelt een rol, omdat dit kan duiden op (on)begrip van de instructies of onduidelijkheid over wat nu sociaal (on)wenselijk is. Verwacht wordt dat er in dit onderzoek een duidelijkere zichtbaarheid van sociale gevoeligheid van de vragen in de vorm van extreme antwoorden en een kleinere variantie/lagere standaarddeviatie zal zijn in de versies waarin de reminders vaker worden herhaald, dan in de versies waar minder reminders in staan. Dit omdat de respondenten vaker worden herinnerd aan hun taak. Dit leidt tot de volgende hypothesen:

- H2a: De versies met meer reminders tonen een duidelijkere zichtbaarheid van sociale gevoeligheid van de vragen in de vorm van extremere antwoorden dan de versies met minder reminders.

- H2b: De versies met meer reminders tonen een duidelijkere zichtbaarheid van sociale gevoeligheid van de vragen in de vorm van een lagere standaarddeviatie dan de versies met minder reminders.

Eerder soortgelijk onderzoek is alleen onder studenten uitgevoerd. Er is dus niet getest of deze meetmethoden ook geschikt zijn voor andere bevolkingsgroepen. Daarom richt dit onderzoek zich, naast studenten, ook op senioren (65-plussers). Deze staan qua leeftijd en opvoeding wellicht het verst af van de studenten. Verwacht wordt dat de antwoorden die de studenten hebben gegeven extremer zullen zijn en een kleinere variantie tonen dan de antwoorden die de senioren hebben gegeven, juist omdat studenten in het dagelijks leven vaker worden geconfronteerd met instructies en het opvolgen daarvan dan de senioren en daardoor de taak consequenter kunnen uitvoeren. Daarbij zouden de ouderen anders kunnen denken over wat sociaal wenselijk is dan de studenten (Burris, Johnson & O’Rourke 2003: 32). Dit leidt tot de volgende hypothesen:

- H3a: Bij studenten is een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van extremere antwoorden dan bij senioren.

- H3b: Bij studenten is een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van een lagere standaarddeviatie dan bij senioren.

Verder kwam in de literatuur naar voren dat vrouwen meestal hoger scoren op een sociale wenselijkheidsschaal dan mannen (Burris, Johnson & O’Rourke 2003: 32). Verwacht wordt dat dit zal worden doorgezet in dit onderzoek. Daarbij ontstaat de verwachting dat vrouwen eensgezinder zijn over wat sociaal wenselijk is dan mannen. Dit leidt tot de volgende hypothesen:

- H4a: Bij vrouwen is een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van extremere antwoorden dan bij mannen.

- H4b: Bij vrouwen is een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van een lagere standaarddeviatie dan bij mannen.

(17)

12 - H5a: Bij hoger opgeleiden is een duidelijkere zichtbaarheid van sociale gevoeligheid in de

vorm van extremere antwoorden dan bij lager opgeleiden.

- H5b: Bij hoger opgeleiden is een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van een lagere standaarddeviatie dan bij lager opgeleiden.

Ten slotte vond Wegkamp (2014) in haar onderzoek een hogere variantie in de fake bad conditie, wat er onder andere op kan duiden dat het voor de fake bad respondenten moeilijker was om de taak consequent te vervullen. Verwacht wordt dat met een duidelijkere instructie de variantie in de fake bad versie kleiner zal worden ten opzichte van het onderzoek van Wegkamp. Dit leidt voor het huidige onderzoek tot de volgende hypothese:

(18)

13

3. Data en methoden

Dit onderzoek richt zich op de vraag:

Om dit te onderzoeken is er een experiment uitgevoerd, dat in dit hoofdstuk wordt besproken. Eerst wordt dieper ingegaan op het onderzoeksdesign. Vervolgens komt het gebruikte materiaal, de methode van dataverzameling, de proefpersonen en de analyse van de data aan bod.

3.1 Het onderzoeksdesign

Om de onderzoeksvraag te onderzoeken is er een experiment uitgevoerd. In dit experiment kregen zowel studenten als senioren een schriftelijke vragenlijst voorgelegd. De vragenlijsten in dit onderzoek zijn identiek, de instructies die erbij gegeven worden echter niet. Aan de respondenten werd gevraagd om op de vragenlijst juist sociaal wenselijke antwoorden te geven (fake good), of sociaal onwenselijke antwoorden (fake bad). Om te onderzoeken of de mate van herhaling van de instructies ook nog van invloed is op het geven van fake good/fake bad antwoorden, is er binnen de vragenlijstversies onderscheid gemaakt in de hoeveelheid reminders die tussen de vragen door werden geplaatst. Dit leidt tot de volgende variabelen:

Onafhankelijke variabelen (OV):

- Manipulatie van de fake good en fake bad antwoorden. - Mate van herhaling.

Afhankelijke variabele (AV):

- Het effect van de manipulaties (OV) op antwoorden van de respondenten. Uit deze antwoorden kan dan weer worden afgeleid of een vraag gevoelig is voor sociaal wenselijk antwoorden en wat de verschillen zijn tussen condities.

Deze variabelen leveren vier verschillende versies van de vragenlijst op. De vier condities staan in tabel 3.1 hieronder. De respondenten wisten uiteraard niet dat er verschillende versies waren. Aangezien er verschillende soorten instructies zijn getest op verschillende personen is het onderzoeksdesign een tussen-proefpersoon ontwerp.

Tabel 3.1: Condities

Conditie Manipulatie Instructie/reminders 1 Fake good Meer reminders

2 Fake bad Meer reminders

3 Fake good Minder reminders

(19)

14

3.2 Het materiaal

Voor het experiment zijn dezelfde surveyvragen uit European Social Survey van 2011 gebruikt als die Wegkamp (2014) heeft gebruikt. Op deze manier kunnen de uitkomsten van beide onderzoeken met elkaar worden vergeleken. De European Social Survey is een academisch aangestuurd internationaal onderzoek, dat om de twee jaar in Europa wordt uitgevoerd. Het onderzoekt vooral de sociale, politieke en morele houdingen van de Europeanen (European Social Survey 2014). Uit deze vragenlijst zijn negen vragen geselecteerd die getest konden worden op sociale gevoeligheid. De vragen gaan onder andere over politiek, immigratie en geluk. Zie bijlage 1 voor de vragenlijsten. Enkele voorbeeldvragen en hun antwoordopties zijn hieronder geformuleerd:

1. Hoe geïnteresseerd bent u in politiek?

 Heel erg geïnteresseerd  Tamelijk geïnteresseerd  Neutraal

 Nauwelijks geïnteresseerd  Helemaal niet geïnteresseerd

5. Homoseksuele mannen en lesbische vrouwen moeten vrij zijn om hun leven te leiden zoals zij dat willen.

 Helemaal mee eens  Mee eens

 Niet mee eens, niet mee oneens  Mee oneens

 Helemaal mee oneens

8. Alles bij elkaar genomen, hoe gelukkig zou u zeggen dat u bent?

Zeer ongelukkig Zeer gelukkig

1 2 3 4 5 6 7 8 9 10

(20)

15

10. Ik vertel altijd de waarheid.

 Helemaal mee eens  Mee eens

 Niet mee eens, niet mee oneens  Mee oneens

 Helemaal mee oneens

De vragenlijst in dit experiment sluit af met persoonlijke vragen over leeftijd, geslacht en opleidingsniveau. Bij de senioren is overigens gevraagd naar hoogst genoten opleidingsniveau, aangezien dit al een goed beeld geeft van de geestelijke vermogens van de respondent. Het was vroeger daarbij ook minder gebruikelijk om na de lagere school of het voortgezet onderwijs nog verder te studeren dan tegenwoordig.

De versies die onder de studenten en senioren werden verspreid, verschilden inhoudelijk niet van elkaar. De vragenlijsten voor de senioren is echter wel in een grotere letter afgedrukt. Er is overigens gekozen voor het vousvoyeren van de respondent, omdat de tekst zou worden gelezen door mensen van verschillende leeftijden. Het getuigt van respect om ouderen aan te spreken met ‘u’. Jansen (2007) zegt hierover: “Jongeren zullen zich hierdoor niet beledigd voelen, terwijl ouderen […] de u-vorm als prettiger zullen ervaren.” Door beide groepen met ‘u’ aan te spreken, kan ook eventuele vertekening van de resultaten door dit fenomeen voorkomen worden.

In de subparagrafen 3.2.1, 3.2.2 en 3.2.3 zal worden ingegaan op de fake good en de fake bad versies, het aantal reminders en de pretest van de vragenlijsten.

3.2.1 Fake good/fake bad

Op het voorblad van de vragenlijst kregen de respondenten allen dezelfde introductie. Het onderzoek en de onderzoeker werden geïntroduceerd, evenals het doel van het onderzoek, namelijk het fenomeen ‘sociale wenselijkheid’ nader onderzoeken. Er is uitgelegd wat sociale wenselijkheid inhoudt, met daarbij een voorbeeld. Dit is hetzelfde voorbeeld als die, die is gebruikt in de inleiding, over het roddelen. In de laatste alinea werd aan de respondent duidelijk gemaakt dat hij alle instructies bij de vragen goed moet lezen en geen vragen zou overslaan, dat er overal slechts één antwoord mogelijk is en dat het invullen maar een paar minuten van zijn tijd in beslag zou nemen. Daarna is de respondent doorverwezen naar de vragen. De richtlijnen voor het schrijven van duidelijke instructies zijn dus zoveel mogelijk aangehouden.

(21)

16 Tussen de enquêtevragen door is er herhaald dat de proefpersoon sociaal wenselijke, dan wel sociaal onwenselijke antwoorden dient te geven, bijvoorbeeld bij fake good: “Kruis het antwoord aan dat in uw ogen het beste een sociaal wenselijk antwoord weergeeft”. Op deze manier zouden de respondenten naar één kant van antwoorden worden gestuurd. Zoals eerder genoemd, wordt verwacht dat de meest sociaal wenselijke en onwenselijke antwoorden te vinden zijn op de uiteinden van een antwoordschaal. Hoe extremer het antwoord, hoe sociaal (on)wenselijker het is.

3.2.2 Aantal reminders

Wanneer de respondent na de eerste pagina omslaat naar de volgende pagina, komt hij bij de vragen terecht. Ook hier spelen de instructies een rol. Zoals eerder genoemd, is in alle vragenlijsten onderscheid gemaakt in de hoeveelheid instructies en reminders waaraan de respondenten worden blootgesteld, om te testen of de hoeveelheid reminders ook nog van invloed zijn op het geven van fake good en fake bad antwoorden. Zo zijn er binnen de fake good en fake bad versies ook weer twee verschillende versies te onderscheiden, namelijk een versie met veel (meer) reminders en een versie met minder reminders. Bij de versie met meer reminders, werd er bij elke vraag een reminder gegeven die de respondent eraan hielp herinneren dat hij een sociaal wenselijk of sociaal onwenselijk antwoord diende te geven, afhankelijk van de versie die hij had. Om de reminders niet te opdringerig over te laten komen, zijn ze geïntegreerd in de algemene instructies die bij elke vraag werden gegeven. Ook is er dikgedrukt wat er van de respondent verwacht werd. Dit zag er als volgt uit:

1. Hoe geïnteresseerd bent u in politiek?

Kruis het antwoord aan dat in uw ogen het beste een sociaal wenselijk antwoord weergeeft.

8. Alles bij elkaar genomen, hoe gelukkig zou u zeggen dat u bent?

Omcirkel het rapportcijfer dat in uw ogen het beste een sociaal onwenselijk antwoord weergeeft.

In de versie met meer reminders is dus bij elke vraag een dergelijke instructie gegeven. Dit leverde dertien reminders in totaal op bij deze versie. In de versie met minder reminders lag dit aantal een stuk lager, namelijk vier. Hier speelt ook de groepering van de vragen op thema of soort vraag een rol. Bij deze versie is namelijk steeds voorafgaand aan een groepje vragen een instructie en reminder gegeven. Er is met opzet niet gekozen om per vast aantal vragen een reminder te plaatsen, omdat dat te veel zou opvallen en wellicht irritant zou overkomen op de respondent. De eerste drie vragen in de vragenlijst gingen over interesse in de politiek en de gestemde partij tijdens de laatste Tweede Kamer verkiezingen. Voorafgaand aan deze vragen is een reminder gegeven die nauwelijks afwijkt van de instructie zoals die hiervoor is beargumenteerd. De instructie in de fake good versie zag er als volgt uit:

Kruis bij de volgende vragen steeds het antwoord aan dat in uw ogen het beste een sociaal

wenselijk antwoord weergeeft.

(22)

17 Omcirkel bij de volgende vragen steeds het rapportcijfer dat in uw ogen het beste een sociaal

onwenselijk antwoord weergeeft.

Vraag 9 bevat nog een vraag over sociale activiteiten en vraag 10 tot en met 13 waren de Marlowe-Crowne schaalvragen. Om respondenten geen ideeën te geven dat deze laatste vier vragen wellicht anders zijn dan de andere vragen, zijn deze stellingen gegroepeerd met vraag 9. Voorafgaand aan deze vraag is voor de laatste keer een reminder gegeven. Hier waren dus in totaal vier reminders. Zoals eerder genoemd sloot de vragenlijst af met enkele persoonlijke gegevens over de respondent. Om duidelijk te maken dat de respondent hier de vragen wel naar waarheid diende in te vullen, werd in elke versie nog de duidelijke instructie gegeven dat het belangrijk is dat ze bij deze vragen wel gegevens aankruisen of invullen die overeenkomen met hun daadwerkelijke situatie.

3.2.3 Pretest

Gaandeweg het schrijfproces zijn de vragenlijsten gepretest. Dit om erachter te komen of ze goed konden worden ingevuld en geen irritaties of onduidelijkheden op zouden roepen. Eerst is de vragenlijst gepretest onder twee senioren. Verwacht werd dat de senioren met een kritische blik zouden kijken. De senioren gaven aan dat veel mensen van de ‘oudere generatie’ graag wilden weten aan welk project ze nu meewerken en voor wie ze dit doen. De onderzoeker moest zich dus ‘neerzetten’, met naam, toenaam, opleiding en bijbehorende instelling. Verder werden een aantal directe uitingen zoals “Lees de vraag goed en sla geen vragen over” onderschept, met de opmerking dat bevelen niet prettig overkomen, maar dat het beter in verzoekvorm gegoten kon worden. Deze bevindingen zijn consistent met wat er in de theorie werd gezegd over directieven. Verder kwamen er geen opmerkingen naar voren. Verwacht werd dat er wellicht nog iets werd gezegd over de grote hoeveelheid instructies/reminders die steeds tussendoor werden gegeven, maar dat was niet het geval. De genoemde punten werden verbeterd. Vervolgens is de vragenlijst gepretest onder drie studenten, maar daar kwamen geen noemenswaardige opmerkingen uit. Er werd steeds aan de respondenten gevraagd of de vragenlijst goed was in te vullen en of de instructies duidelijk waren. Er was één student die de vragenlijst met meer reminders had ingevuld, die opmerkte dat het “in elk geval niet ontbrak aan het aantal herinneringen die tussendoor werden gegeven”. Verder was iedereen positief. Er was wel één pretest-respondent die aangaf dat het lastig was een bepaalde houding aan te nemen (bij sociaal onwenselijk invullen), omdat hij dat niet gewend was.

3.3 Proefpersonen en methode van dataverzameling

(23)

18 De bedoeling was om in ieder geval twintig respondenten per populatie per versie te verkrijgen. Het bleek echter erg moeilijk om senioren te benaderen voor dit onderzoek, daarom is ervoor gekozen om de senioren alleen te testen op conditie 1 en 2. Op deze manier kunnen ze wel worden vergeleken met de studenten op de fake good en fake bad manipulaties, maar kunnen de effecten van de instructies niet worden getest onder de senioren. Bij de senioren is in de steekproeftrekking geen onderscheid gemaakt tussen mannen en vrouwen, omdat verwacht werd dat er meer vrouwen benaderbaar zouden zijn dan mannen. Dit bleek in de praktijk ook het geval. Bij de studenten is er wel getracht een gelijk aantal mannen en vrouwen in de verschillende condities te krijgen, door er bij het aanspreken op te letten. Uiteindelijk is de vragenlijst afgenomen onder 121 respondenten: 81 studenten en 40 senioren.

3.4 Data en analyse

3.4.1 Verdelingen en groepssamenstellingen

Om de verschillende versies te kunnen analyseren, zijn alle data ingevoerd in het statistische programma SPSS. Op deze manier konden ook eventuele onbeantwoorde vragen opgespoord worden. Alle respondenten hebben echter alle vragen beantwoord. Er hoefden dus geen ‘missing values’ gedefinieerd te worden.

In de vragenlijst is er gevraagd naar de geboortejaren omdat dit betrouwbare informatie oplevert, bij het vragen naar de exacte leeftijd kunnen mensen nogal eens ‘liegen’. In SPSS zijn de geboortejaren van de respondenten gehercodeerd naar ‘normale’ leeftijdswaarden, door elk geboortejaar af te trekken van het jaar 2014 (dit jaar). Dit geeft bij benadering een goede indruk van de leeftijden van de respondenten. De leeftijd van de studenten ligt tussen de 19 en 34 jaar, de verdeling staat in tabel 3.2. De leeftijd van de senioren ligt tussen de 63 en 84 jaar, zie voor deze verdeling tabel 3.3.

Tabel 3.2: Verdeling studenten

Conditie Geslacht Frequentie Percentage Percentage totaal studenten Gemiddelde leeftijd 1 Vrouw 10 50% 12,3% 22,9 Man 10 50% 12,3% 22,0 2 Vrouw 10 50% 12,3% 22,3 Man 10 50% 12,3% 23,5 3 Vrouw 10 50% 12,3% 22,6 Man 10 50% 12,3% 23,5 4 Vrouw 9 42,9% 11,1% 25,6 Man 12 57,1% 14,8% 25,6 Totaal 81 100%* 23,5

(24)

19 Tabel 3.3: Verdeling senioren

Conditie Geslacht Frequentie Percentage Percentage totaal senioren Gemiddelde leeftijd 1 Vrouw 17 85% 42,5% 72,5 Man 3 15% 7,5% 70,0 2 Vrouw 14 70% 35% 71,9 Man 6 30% 15% 73,8 Totaal 40 100% 72,3

Voor het onderzoek is het ook belangrijk om te weten of de groepen onderling vergelijkbaar zijn. Op geslacht wordt niet getest, want bij de studenten is die bijna overal gelijk tussen de groepen. Bij de senioren is te zien dat de verdeling scheef is, want daar hebben grotendeels vrouwen de vragenlijst ingevuld. De scheefheid is dan wel weer gelijk tussen de groepen. Wel wordt gekeken of de leeftijdssamenstelling gelijk is in de groepen met studenten en de groepen met senioren. Eerst zijn de studentgroepen met elkaar vergeleken. Dit is met de One-way Anova gedaan, omdat er vier groepen worden getest op één variabele. De toets geeft een significantie aan van 0,002. Dit ligt onder de 0,05-grens, dus is er een verschil tussen de groepen. Uit de Post-hoc toets blijkt dat de groep met conditie 4 verschilt van de andere groepen, alle verschillen zijn significant (0,000, 0,003 en 0,004). Dit zou betekenen dat wanneer er uitspraken over de studenten worden gedaan en er wordt ergens een significant verschil gevonden, dit ook zou kunnen liggen aan het eventuele leeftijdsverschil. Zo is de gemiddelde leeftijd van groep 4 25,6 jaar. Van groep 1, 2 en 3 is dat respectievelijk 22,5 jaar, 22,9 jaar en 23,1 jaar. Qua opleiding zitten alle studenten wel op hetzelfde niveau, want daar is tijdens het experiment al rekening mee gehouden.

Ook bij de senioren wordt getoetst of de groepen op het gebied van leeftijd onderling overeenkomen. Dit kan met de toets, aangezien de senioren maar uit twee groepen bestaan. De T-toets geeft over deze twee groepen een p-waarde van 0,876. De groepen verschillen dus niet van elkaar wat leeftijd betreft. Qua opleiding tonen kruistabellen aan dat de senioren veelal voortgezet onderwijs als hoogst genoten opleiding hebben genoteerd (15 respondenten). De grootste groep is echter hoger opgeleid (21 respondenten). Er kan geen Chikwadraattoets worden gedaan, aangezien er wordt aangegeven dat een derde van de cellen een verwachte waarde heeft van beneden de 5. Binnen de fake good en fake bad versie lijkt er wel een ietwat scheve verdeling te zijn. Zo is er in de fake good versie de helft afkomstig van het voortgezet onderwijs, terwijl dit in de fake bad versie een kwart is. Bijna tweederde is in de fake bad versie hoger opgeleid, terwijl dit in de fake good versie iets minder is dan de helft.

3.4.2 Data vragenlijst

(25)

20 Likertschaal gemeten, waarbij de antwoorden richting de extreme antwoordoptie 1 (“Heel erg geïnteresseerd”/”Helemaal mee eens”) verwacht worden sociaal wenselijk te zijn, en de antwoorden die dichter bij de 5 liggen (“Helemaal niet geïnteresseerd”/”Helemaal mee oneens”) sociaal onwenselijk. De vragen 6, 7 en 8 zijn op een tienpuntsschaal gemeten, waarbij van de antwoorden richting antwoordoptie 9 en 10 verwacht wordt dat die het meest sociaal wenselijk zijn en de antwoorden rond cijfer 1 of 2 juist sociaal onwenselijk. Vraag 9 is weer op een vijfpunts Likertschaal gemeten, waarbij de extremen richting antwoordoptie 1 (“Veel minder dan de meesten”) verwacht worden sociaal onwenselijk te zijn, en de antwoorden richting optie 5 (“Veel meer dan de meesten”) sociaal wenselijk.

Vraag 10 tot en met 13 zijn allen gemeten op een vijfpunts Likertschaal en vertegenwoordigen vragen uit de MC-schaal. Daarom kunnen deze vragen worden samengenomen als één meetschaal. Bij de vragen 11 en 13 geven de antwoordopties 4 en 5 een sociaal wenselijke waarde aan, maar bij de vragen 10 en 12 zijn juist de opties 1 en 2 sociaal wenselijk. Daarom zijn deze vragen gehercodeerd. Na het hercoderen geven bij deze vier vragen de opties 1 en 2 een sociaal wenselijke waarde aan, en de opties 4 en 5 een onwenselijke waarde. Om te kijken of deze vier vragen samen konden worden genomen in één schaal, is de Cronbach’s Alfa hierop toegepast. Deze gaf over deze vier vragen een waarde van 0,8. Dit gaf aan dat deze vier vragen inderdaad hetzelfde bevragen en dus samen genomen kunnen worden als één meetschaal, de MC-schaal (in de resultaattabellen aangeduid als MC).

Ten slotte is er in de vragenlijsten ook gevraagd op welke partij de respondenten tijdens de laatste Tweede Kamer verkiezingen zouden hebben gestemd. Om te onderzoeken of de respondenten op een sociaal wenselijke (gematigde), dan wel sociaal onwenselijke (niet-gematigde) partij zouden hebben gestemd, is er onderzocht in welke van de twee categorieën de partijen kunnen worden ingedeeld. Daarvoor wordt ten eerste gekeken naar wat de meest traditionele partijen van Nederland zijn, want deze worden gezien als meest sociaal wenselijk en dus gematigd. Iemand die hier onderzoek naar gedaan heeft en nog steeds doet is de Nederlandse politicoloog André Krouwel. Hij noemt de PvdA, CDA, VVD en D66 ‘catch-all’ partijen (Krouwel 1995: 170). Dit zijn partijen die kiezers trachten te winnen uit alle bevolkingsgroepen, en worden door Krouwel gezien als de meest traditionele partijen. Door de jaren heen zijn er nieuwe politieke partijen ontstaan en daarom wordt er ook gekeken naar hoe het tegenwoordig staat met de politieke partijen. Voor de gemeenteraads-verkiezingen van 2012 heeft Krouwel een tweedimensionaal politiek landschap ontworpen. Dit overzicht is gepubliceerd op de website van het Kieskompas (2012). De dimensies in dit landschap zijn verdeeld over twee assen. De verticale as loopt van ‘progressief’ naar ‘conservatief’ en de horizontale as geeft de posities ‘links’ en ‘rechts’ aan. De partijen VVD, PvdA, CDA en D66 zijn in het diagram veelal rond het midden van de assen gegroepeerd; PvdA en D66 zijn progressief-midden, en CDA en VVD zitten meer rechts, maar tussen progressief en conservatief in. Deze partijen staan reeds bekend als de traditionele politieke partijen en worden dan ook als gematigde partijen aangegeven. De partijen die in Krouwels diagram veelal aan de buitenkant zitten, en ofwel progressief links, ofwel conservatief/rechts zijn, zijn de partijen PVV, SP, GroenLinks, ChristenUnie en SGP. Deze partijen worden in dit onderzoek dan ook gezien als de niet-gematigde/sociaal onwenselijke partijen. Ook de partijen 50 Plus en de Partij voor de Dieren worden hierbij ingedeeld.

(26)

21

4. Resultaten

De resultaten die in dit hoofdstuk zullen worden behandeld, zijn verkregen door middel van analyses met het statistische programma SPSS. De zes hypothesen zijn stuk voor stuk getoetst en worden achtereenvolgens behandeld. Per hypothese is uitgelegd waarom welke toets is uitgevoerd. Ook worden er bij elke hypothese tabellen weergegeven. In deze tabellen staan bij de scores af en toe symbolen die bijvoorbeeld aangeven of iets significant is. De legenda voor deze symbolen is als volgt:

Daarbij zal in de tabellen ook steeds worden aangegeven of de uitkomsten conform de hypothesen zijn, bijvoorbeeld “conf. H1a” of “conf. H2b”. Als de uitkomsten conform de hypothese zijn wordt dit aangegeven met een ‘+’. Zijn de uitkomsten niet conform de hypothese, dan wordt dit aangegeven met een ‘-‘, of dubbele plusjes of minnetjes bij een overduidelijk resultaat. Zijn de uitkomsten gelijk of liggen ze dicht bij elkaar, dan wordt dit aangegeven met ‘0’.

De syntax van alle hypothesen kan worden teruggevonden in bijlage 3.

4.1 Analyse hypothese 1

Hypothese 1 luidt:

H1a: De geselecteerde vragen uit de ESS 2011 tonen in de fake good versie een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van extremere antwoorden dan in de fake bad versie.

H1b: De geselecteerde vragen uit de ESS 2011 tonen in de fake good versie een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van een lagere standaarddeviatie dan in de fake bad versie.

Om deze hypothesen te kunnen beantwoorden, zijn alle versies samengenomen en gehercodeerd naar twee groepen, namelijk één fake good groep en één fake bad groep. De fake good groep bevat 60 respondenten en de fake bad groep 61 respondenten. Vervolgens is de T-toets voor onafhankelijke groepen toegepast. Deze toets is in staat aan te geven of de gemiddelde waardes binnen de groepen significant van elkaar verschillen. In tabel 4.1 zijn resultaten van de T-toets te zien, met bijbehorende waarden. De T-waarde geeft aan of de antwoordgemiddelden significant van elkaar verschillen. De F-waarde behoort bij de Levene’s Test die verschillen in varianties weergeeft. Vraag 2 en 3 zijn vragen die, vanwege hun meetniveau, niet kunnen worden geanalyseerd met de T-toets. Deze vragen worden aan het eind van de paragraaf besproken.

(27)

22 Tabel 4.1: Resultaten bij hypothese 1

Vraag Fake good M(sd)

Fake bad M(sd)

T-waarde F-waarde Conf. H1a Conf. H1b 1 1,67 (0,71) 4,57 (0,99) -18,566*** 0,46 - + 4 1,83 (0,81) 4,23 (1,26) -12,503*** 11,855*** - + 5 1,33 (0,57) 4,64 (0,95) -23,152*** 1,506 + + 6 7,15 (1,46) 2,54 (2,67) 11,814*** 14,138*** - + 7 8,03 (1,07) 2,69 (2,78) 13,974*** 26,498*** - + 8 8,03 (0,90) 2,57 (2,45) 16,303*** 36,268*** - + 9 3,72 (0,85) 1,80 (1,36) 9,290*** 8,994** - + MC 2,02 (0,71) 4,12 (1,08) -12,714*** 9,787** - + 4.1.1 Resultaten hypothese 1

Zoals we in tabel 4.1 kunnen zien is de T-waarde bij elke vraag zeer significant. Dit geeft aan dat alle vragen gevoelig zijn voor sociaal wenselijke antwoorden. Bij bijna alle vragen werd er in de fake bad versie gemiddeld extremer geantwoord dan in de fake good versie. Alleen bij vraag 5 (“Homoseksuele mannen en lesbische vrouwen moeten vrij zijn om hun leven te leiden zoals zij dat willen”) blijkt er juist in de fake good versie extremer te zijn geantwoord. Op basis van deze gegevens kan geconcludeerd worden dat hypothese 1a: De geselecteerde vragen uit de ESS 2011 tonen in de fake good versie een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van extremere antwoorden dan de fake bad versie niet kan worden bevestigd, aangezien er bij de meeste vragen juist in de fake bad versie gemiddeld extremer werd geantwoord.

De spreiding in antwoorden is in de fake bad versie steeds groter dan in de fake good versie, en dit verschil in variantie is bij bijna alle vragen significant. Alleen bij de vragen 1 (“Hoe geïnteresseerd bent u in politiek?”) en 5 is de F-waarde niet significant. Op basis van deze gegevens kan geconcludeerd worden dat hypothese 1b: De geselecteerde vragen uit de ESS 2011 tonen in de fake good versie een duidelijkere zichtbaarheid van sociale gevoeligheid in de vorm van een lagere standaarddeviatie dan in de fake bad versie wel kan worden bevestigd, aangezien er in de fake good versies steeds een lagere standaarddeviatie is dan in de fake bad versie.

4.1.2 Stemgedrag

Ook is er nog gekeken naar het stemgedrag van de respondenten in de fake good en de fake bad versies. Deze vraag (“Heeft u tijdens de laatste Tweede Kamer verkiezingen in 2012 gestemd?”) is niet met de T-toets te beantwoorden, dus is er een kruistabel gemaakt die weergeeft hoe de antwoordverdelingen zijn. De uitkomsten zijn als volgt:

Tabel 4.2: Heeft u gestemd?

Gestemd Niet gestemd

Fake good 60 0

Fake bad 6 55