1
Masterscriptie
Satisficing in online survey-tools:
onvermijdelijk of makkelijk te
voorkomen?
Communicatie en Informatiewetenschappen Rijksuniversiteit Groningen
Begeleidster: dr. Y.P. Ongena Tweede beoordelaar: dr. W. Vuijk
2
Samenvatting
Dit onderzoek gaat in op een veel voorkomend probleem in enquêtes: satisficing. Er is getracht antwoord te vinden op de onderzoeksvraag: In hoeverre wordt satisficing in
enquêtes beïnvloed door vormgeving van de vraag en antwoordmogelijkheden in de vragenlijst en welke rol spelen de mogelijkheden van verschillende online survey-tools hierin? Eerder is er relatief weinig onderzoek gedaan naar de invloed van de lay-out van
online survey-tools in het licht van satisficing, waarbij het toevoegen van uitleg bij antwoordopties van gesloten vragen en het toevoegen van een push bij gesloten vragen
satisficing probeert te verminderen.
Satisficing is bepaald soort gedrag waarbij respondenten minder nauwkeurig of minder
uitgebreid antwoord geven, en snel tevreden zijn met hun antwoord. Zij zoeken dan niet naar ‘het beste antwoord’, maar kiezen bij satisficing voor antwoordopties die goed genoeg zijn voor de betreffende vraag. Het beantwoorden van vragen doet namelijk een (groot) beroep op het cognitieve vermogen van de respondent. Satisficing treedt op wanneer respondenten weinig motivatie hebben om de vragen te beantwoorden of wanneer ze de vragen niet goed begrijpen. Dit komt de resultaten niet ten goede omdat de gegeven antwoorden in dat geval geen optimale weerspiegeling zijn van de werkelijke gedachten van de respondent.
Op basis van een vooronderzoek zijn drie online survey-tools uitgekozen die gebruikt zijn in dit onderzoek, namelijk GoogleForms, Sogo Survey en PollDaddy. Om te kunnen onderzoeken in hoeverre satisficing voorkomt en hoe het verminderd kan worden, is een enquête ontworpen. De kernvragen komen uit de European Social Survey. Bij de gesloten vragen is een extra uitleg bij de antwoordopties toegevoegd om de termen hierin te verduidelijken. De open vragen zijn voorzien van een ‘push’ (‘Je uitgebreide antwoord wordt
zeer op prijs gesteld!’). Er zijn drie versies van deze enquête gebruikt: één standaard versie,
en twee gemanipuleerde versies. Deze drie versies in zijn in de drie online survey-tools geplaatst (negen enquêtes totaal). Op deze manier zijn dezelfde enquêtes van de verschillende tools met elkaar vergeleken wat betreft lay-out. In twee van de drie tools is een matrix toegevoegd om te kunnen zien in hoeverre deze matrix invloed heeft op het gedrag van de respondent en ook de progress indicator is meegenomen.
Uit de conclusies is naar voren gekomen dat het fenomeen satisficing beïnvloed kan worden door de vormgeving van de vraag, namelijk door het toevoegen van extra uitleg bij de antwoordopties of een push bij open vragen. Opvallend in de resultaten is dat over het algemeen gesteld kan worden dat extra uitleg bij de antwoordmogelijkheden leidt tot minder
satisficing. Hierdoor zijn de respondenten dus beter in staat een juist antwoord te kiezen, met
name bij gesloten vragen met een zeven-puntsschaal. Daarnaast leidt een ‘push’ bij de open vragen meestal tot het geven van meer redenen of een motivatie bij het reeds gegeven antwoord. Er kan dus geconcludeerd worden dat beide aspecten satisficing verminderen.
3
Inhoudsopgave
Samenvatting ... 2 1. Inleiding ... 5 2. Theoretisch kader ... 7 2.1 Survey-onderzoek ... 72.2 Online surveys: redenen voor gebruik, voor- en nadelen ... 7
2.2.1. Bereik ... 7
2.2.2. Ontwerp ... 8
2.2.3. Gemak en tijdswinst ... 8
2.2.4. Interviewer ... 9
2.3 Satisficing ... 9
2.3.1 Theoretische achtergrond satisficing ... 9
2.3.2. Oorzaken van satisficing ... 9
2.3.3 Uitingsvormen van satisficing ... 10
2.3.4. Oplossingen bij satisficing ... 11
2.4 Invloed van het ontwerp van online surveys ... 12
2.4.1. Lay-out van online enquêtes... 12
2.4.2. Visuele en interactieve kenmerken... 13
2.5 Hypotheses ... 15
3. Vooronderzoek ... 18
3.1 vergelijking online survey-tools ... 18
3.2 Hypotheses survey-tools ... 22
4. Methode ... 24
4.1 Methode van onderzoek ... 24
4
Opleidingsniveau ... 35
5.2. H1a: uitleg bij gesloten vragen ... 35
5.2.1 Eerste deel gesloten vragen ... 36
5.2.2 Tweede deel gesloten vragen ... 37
5.3. H1b: push bij open vragen ... 38
5.4 Lay-out van de online survey-tools ... 39
H2a: Gesloten vragen deel 1 ... 39
H2b: Gesloten vragen deel 2 ... 40
H3 en H4: de matrix ... 40
H5: progress indicator ... 40
6. Conclusie ... 42
6.1 Uitleg bij gesloten vragen ... 43
6.1.1. Eerste deel gesloten vragen ... 43
6.1.2. Tweede deel gesloten vragen ... 44
Conclusie gesloten vragen ... 44
6.2 Push bij open vragen ... 44
6.3 lay-out van de online survey-tools ... 45
6.3.1. Conclusie lay-out ... 46
6.3.2 Conclusie matrix ... 46
6.3.3 Progress indicator ... 47
6.4 Hoofdvraag ... 47
6.5 Discussie ... 48
Aanbevelingen voor vervolgonderzoek... 49
5
1. Inleiding
Op social media word je ermee gebombardeerd. Het invullen van een enquête hier, een vragenlijst daar. Voor vrienden vul je het vaak wel even (snel) in. Wanneer het vragenlijsten betreffen voor anderen, neemt de motivatie al snel af. Herkenbaar? Het invullen van enquêtes doet een (groot) beroep op het cognitieve vermogen van mensen. Je moet nadenken over de vragen, waar je eigenlijk helemaal geen zin in hebt. Daarom vul je de vragen snel en gemakkelijk in. Dit gedrag, wat veel voorkomt bij surveys, heet satisficing.
Voor de opkomst van het internet werden enquêtes op papier, persoonlijk of telefonisch afgenomen. In de jaren ‘50 tot en met ’90 van de vorige eeuw is hier veelvuldig gebruik van gemaakt bij het doen van onderzoek (De Leeuw, 2009: 9). Door nieuwe computertechnologie en ontwikkelingen in de communicatie, worden enquêtes nu vaak online ontworpen, online verspreid en online ingevuld door de respondent.
Verschillende onderzoekers, waaronder Dillman (1999), van Selm & Jankowski (2006) en Wright (1998), beschrijven dat het gebruik van online survey-tools enorm is toegenomen door veelvuldig gebruik van het. Vanaf 2002 zijn de eerste online survey-tools ontstaan en deze tools zijn in de jaren daarna meer en intensiever gebruikt (Evans & Mathur, 2005). Omdat de vraag naar online survey-tools groeide, beschikken we nu over een groot aantal verschillende online tools. De kwaliteit en mogelijkheden van de verschillende online survey-tools varieert aanzienlijk en bij het gebruik van online survey-tools is het van belang om rekening te houden met het ontwerp van de enquête in de tool. Couper, Traugot & Lamias (2001: 231) stellen dat er bij de ontwerpers van surveys weinig tot geen aandacht bestaat voor de mogelijke gevolgen van het ontwerp van de vragenlijst op de antwoorden van de respondenten. In deze scriptie wordt daarom onderzocht waar onderzoekers rekening mee moeten houden. Er worden verschillende online survey-tools met elkaar vergeleken met betrekking tot satisficing, omdat hier nog relatief weinig onderzoek naar gedaan is.
Bij het maken van enquêtes, komt satisficing regelmatig voor. Satisficing is bepaald soort gedrag waarbij respondenten minder nauwkeurig en uitgebreid antwoord geven. Satisficing treedt op wanneer respondenten weinig motivatie hebben om de vragen te beantwoorden, wanneer ze de vragen niet goed begrijpen of weinig kennis hebben over het desbetreffende onderwerp. Het beantwoorden van vragen doet namelijk, zoals eerder gezegd, een (groot) beroep op het cognitieve vermogen van de respondent, en het komt relatief vaak voor dat de respondent er daarom ‘geen zin in heeft’ en snel tevreden is met zijn gegeven antwoord. Dit is nadelig voor het onderzoek omdat het de resultaten op een negatieve manier beïnvloeden en de onderzoekers op deze manier geen goed beeld krijgen van de populatie die zij onderzoeken.
6
onderzoek gedaan naar het geven van uitleg bij antwoordopties van gesloten vragen. Daarom zullen de antwoordopties bij de gesloten vragen in dit onderzoek voorzien worden van een uitleg, om zo het begrip ervan bij de respondenten te kunnen vergroten.
Bij open vragen wordt na het beantwoorden aan de respondent gevraagd of hij nog meer redenen heeft of zijn antwoord kan motiveren, omdat uitgebreide antwoorden zeer op prijs gesteld worden. Zo wordt de respondent aangestuurd om zijn reeds gegeven antwoord aan te vullen. Oudejans & Christian (2011) hebben eerder onderzoek gedaan naar soortgelijke mededelingen en vervolgvragen om de respondent aan te sporen tot het geven van meer en uitgebreidere antwoorden.
Tot slot worden verschillende online survey-tools met elkaar vergeleken omdat hier relatief weinig onderzoek naar gedaan is. Ook wordt hierbij de invloed van de lay-out van online survey-tools onderzocht, in combinatie met satisficing, omdat in eerdere onderzoeken hier vrijwel nog geen aandacht aan is besteed. Dit is van belang omdat in de toekomst men nog meer en vaker gebruik zal maken van online survey-tools.
Bij gebrek aan eerder onderzoek, is het doel van dit onderzoek inzicht te krijgen in wat de oorzaak is van satisficing, hoe het tot stand komt, en op welke manier het verminderd kan worden, en daarnaast wat de invloed is van het ontwerp van online enquêtes in verschillende online survey-tools. Dit is belangrijk voor de praktijk, aangezien steeds meer surveys online worden gegeneerd in online survey-tools.
Op basis hiervan is de volgende onderzoeksvraag opgesteld:
In hoeverre wordt satisficing in enquêtes beïnvloed door vormgeving van de vraag en antwoordmogelijkheden van de vragenlijst en welke rol spelen de mogelijkheden van verschillende online survey-tools hierin?
7
2. Theoretisch kader
In het volgende hoofdstuk zal belangrijke theorie met betrekking tot survey-onderzoek en online survey-tools worden besproken. Er wordt gestart met een algemene theoretische achtergrond waarbij de voor- en nadelen, en redenen voor gebruik van online surveys worden besproken. Vervolgens wordt het fenomeen satisficing besproken, waarbij ook het ontwerp van enquêtes aan bod komt. Tot slot worden de visuele en interactieve kenmerken van online
survey-tools toegelicht.
2.1 Survey-onderzoek
Survey-onderzoek is het doen van onderzoek waarbij op systematische wijze vragen gesteld
worden aan een groot aantal mensen. Surveys kunnen worden ingezet bij wetenschappelijk onderzoek maar ook bijvoorbeeld bij markt- en tevredenheidsonderzoeken. Met de antwoorden uit een survey kunnen karakteristieken van een groep mensen in kaart gebracht worden (Bethlehem, 2014). Vervolgens kan er met deze kennis over de doelgroep onderzoek gedaan worden naar de populatie en kunnen conclusies worden getrokken omtrent het doel van de enquête. Een voorbeeld hiervan is het in kaart brengen van de meningen van mensen over Europa en hoe men over politiek denkt, zoals wordt bevraagd in de European Social
Survey (ESS).
2.2 Online surveys: redenen voor gebruik, voor- en nadelen
Door de toename van het internet komen er steeds meer gebruiksvriendelijke online
survey-tools met veel verschillende functies (Wright, 2006: 1). Voordat het internet bestond, was het
afnemen van enquêtes nog een tijdrovende klus. Van Selm & Jankowski (2006: 435) beschrijven in hun onderzoek dat het internet er onder andere voor heeft gezorgd dat surveys steeds gemakkelijker online gegenereerd kunnen worden, omdat het internet nieuwe uitdagingen biedt en het veel beperkingen voor de onderzoekers wegneemt.
2.2.1. Bereik
Één van de redenen waarom onderzoekers enquêtes online moeten uitvoeren, is omdat via het internet mensen makkelijk bereikt kunnen worden (van Selm & Jankowski, 2006: 436). Het grote voordeel van het internet is dat er toegang ontstaat tot individuen over de hele wereld, wat de mogelijkheid biedt om respondenten te bereiken waar anders geen contact mee plaats had gevonden (Wright, 2006: 2). Van Selm & Jankowski (2006) vullen dit nog aan met dat specifieke doelgroepen online gemakkelijk benaderd kunnen worden door op bepaalde kenmerken van een populatie te zoeken. Tegenwoordig zijn er allerlei verschillende social
media waarbinnen groepen ontstaan. Door middel van deze groepen kan er gericht gezocht worden naar mensen met dezelfde kenmerken, zoals leeftijd, of die dezelfde interesses en hobbies delen. Een kanttekening hierbij is dat dit kan leiden tot vertekende steekproeven omdat, wanneer alleen respondenten uit één groep benaderd worden, dan geen extern valide uitspraak gedaan kan worden over de populatie.
8
2006: 4).Op deze manier bieden online surveys toegang tot groepen respondenten, die anders wellicht nooit bereikt waren.
Een nadeel van enquêtes online genereren, is dat wanneer mensen geen internet hebben, deze niet mee kunnen doen aan online enquêtes. Een ander probleem is dat er geen duidelijk steekproefkader is, omdat niet iedereen een account op sociale media heeft. Het is daardoor mogelijk dat de steekproef niet representatief genoeg is. De resultaten zullen in dat geval wellicht anders uitvallen dan verwacht, en dus minder betrouwbaar zijn. Tenslotte kan het bij online enquêtes onduidelijk zijn wie elke individuele respondent is.
2.2.2. Ontwerp
In online surveys kunnen allerlei foto’s, afbeeldingen, symbolen en kleuren, maar ook geluid en video worden toegevoegd. Daarom zijn online surveys als onderzoeksmethode beter geschikt dan enquêtes op papier, vanwege het gemak van het toevoegen en veranderen van deze visuele elementen. Ook kunnen vragen en elementen gemakkelijk in willekeurige volgorde gezet worden. Daarnaast is het mogelijk surveys te ontwerpen met een wisselende mate van interactiviteit gebaseerd op de antwoorden van de respondent. Er kan gebruik gemaakt worden van skip logic (het overslaan van vragen indien dat gewenst is) en basic
piping (ook wel branching questions; dit houdt in dat eerder gegeven antwoorden door de
respondent later in de enquête gebruikt kunnen worden). Respondenten worden op deze manier beter door de enquête heen geleid. Tevens is er de mogelijkheid om bij de antwoordopties van de vragen uitleg te bieden. Er wordt dan opheldering of feedback gegeven aan de respondent. Tot slot kan antwoorden op de vragen verplicht gemaakt worden, zodat respondenten niet verder kunnen met de enquête wanneer zij vragen niet of onvolledig ingevuld hebben. Dit vermindert non-respons en verbetert de kwaliteit van de resultaten.
2.2.3. Gemak en tijdswinst
Wat Van Selm & Jankowski (2006) ook als voordeel benoemen, is dat het ontwerpen en uitzetten veel geld en tijd scheelt vergeleken met enquêtes op papier. Enquêtes kunnen door alle kenmerken in online survey-tools gemakkelijk aangepast worden aan de doelgroep. Ook kunnen de enquêtes gemakkelijker en sneller verspreid worden onder de doelgroep. Een bijkomend voordeel daarvan is het grote gemak voor de respondenten zelf, dat zij vanuit huis de enquête kunnen maken; het kost hen relatief weinig tijd. Tevens is het efficiënter om enquêtes online uit te voeren, omdat het tijd en moeite scheelt met betrekking tot het verzamelen van de resultaten en het verwerken van de gegevens (Van Selm & Jankowski, 2006: 437, Wright, 2006 en Couper et al., 2001).
9
het satisficing in de hand kan werken wanneer respondenten vragen op een klein beeldscherm gepresenteerd krijgen.
2.2.4. Interviewer
Wat Van Selm & Jankowski (2006) tenslotte nog als voordeel bestempelen, is dat de invloed van de interviewer afwezig is. Het scheelt tijd en kosten, en de respondent kan de enquête in zijn eigen tijd maken. Daarnaast kunnen de respondenten niet beïnvloed worden door de interviewer, zijn uiterlijk of gedrag (interviewer bias). Wat hiermee samen gaat, is dat mensen niet persoonlijk aangesproken worden. Hierdoor kunnen respondenten minder snel geneigd zijn mee te doen aan online enquêtes. Ook kan de afwezigheid van de interviewer de kans op
satisficing vergroten, omdat hij, in geval van onbegrip, de vragen of bepaalde definities niet
kan toelichten (Tourangeau et.al., 2013: 4.4). Dit gaat ten koste van de motivatie van de respondent en van de kwaliteit van de antwoorden (Conrad & Schober, 2000: 26). Het is lastig te achterhalen waarom en onder welke omstandigheden respondenten bepaalde vragen niet invullen of de enquête niet afmaken. In de volgende paragraaf zal satisficing worden toegelicht.
2.3 Satisficing
Veel meetfouten kunnen ontstaan door satisficing. In beginsel kan in elke survey of onderzoek een eventuele meetfout voorkomen. Meetfouten kunnen onderverdeeld worden in systematische fouten en willekeurige fouten. Systematische fouten (bias) zijn structurele fouten in de resultaten en zorgen ervoor dat deze resultaten niet representatief zijn voor de doelgroep. Willekeurige fouten verstoren de resultaten, maar blijven gemiddeld wel dezelfde uitkomst houden.
2.3.1 Theoretische achtergrond satisficing
Bosley, Fricker & Gillman (2012) beschrijven dat bij het beantwoorden van vragen het fenomeen satisficing een grote rol speelt. De term satisficing werd in 1957 al geïntroduceerd door H.A. Simon (Soegaard, 2004). Hij gebruikte deze term om bepaald gedrag uit te kunnen leggen, waarbij door de respondent niet naar ‘het beste antwoord’ gezocht wordt. Respondenten kiezen bij satisficing voor antwoordopties die goed genoeg zijn voor de betreffende vraag, om zo cognitieve inspanning zoveel mogelijk te beperken (Soegaard, 2004). Barge & Gehlbach (2011) stellen dat bij satisficing respondenten gebruik maken van bepaalde ‘besluitvormings-strategieën’ (Krosnick, 1999) om deze cognitieve inspanning zoveel mogelijk besparen. Respondenten vullen vragen gedeeltelijk, onnauwkeurig of snel met gemak in (door bijvoorbeeld haast of weinig motivatie) (Tourangeau et.al, 2013: 4.2). De Leeuw (2009: 12) omschrijft satisficing in haar onderzoek als ‘een snel suboptimaal antwoord geven dat op het oog voldoet’ en Soegaard (2004) vult dat aan met dat bij satisficing respondenten genoegen nemen met een toepasbaar antwoord dat voldoende is.
2.3.2. Oorzaken van satisficing
Uit het onderzoek van Barge & Gehlbach (2011) blijkt dat het merendeel van respondenten dat meedoet aan surveys, gedrag van satisficing vertoont. De Leeuw (2009: 12) stelt dat
10
respondentgedrag uitlokken. Lenzner (2011) komt in zijn onderzoek tot de conclusie dat vage en ambigue termen in de vraagstelling satisficing bewerkstelligen. Respondenten zijn dan namelijk geneigd ‘snel’ een antwoord te kiezen of te formuleren, omdat de cognitieve inspanning anders te groot wordt. De oorzaak hiervan is dat vage en ambigue termen in de vraagstelling vaak op verschillende manieren worden geïnterpreteerd door respondenten en daarom tot onbetrouwbare antwoorden kunnen leiden (Lenzner, 2011, Lind et.al, 2011: 6). Wanneer vragen moeilijk te begrijpen zijn, hebben respondenten geen zin of zijn ze niet in staat om extra cognitieve inspanning te leveren om de vraag alsnog goed te begrijpen. Respondenten kiezen in dat geval voor de makkelijkste weg en passen satisficing response
strategies toe (Krosnick, 1991). Dit leidt dan tot systematische fouten in de resultaten.
2.3.3 Uitingsvormen van satisficing
Krosnick (1991, in Barge & Gehlbach 2011) beschrijft het gedrag van respondenten waaraan
satisficing te herkennen is. Bij gesloten vragen wordt vaak door de respondent de eerste
antwoordoptie gekozen die redelijk van toepassing lijkt te zijn (Krosnick, 1999). Dit principe van ‘de eerste de beste’ wordt ook wel het primacy effect genoemd.
Het primacy effect treedt op wanneer de respondent moet kiezen uit verschillende antwoordopties, bijvoorbeeld bij een selectielijst. Wanneer de eerste optie enigszins van toepassing is op de respondent (het spreekt hem aan, komt hem bekend voor), wordt deze optie gekozen zonder naar de rest van de opties te kijken (Bishop & Smith, 1997: 1041). Met name wanneer respondenten de betekenis van enkele woorden niet goed kennen of begrijpen, zullen zij op basis van de volgorde of presentatie van de antwoorden een beslissing nemen over de opties die zij hebben (Gingery, 2009, Lavrakas, 2008). Tourangeau et.al. (2013) bespreken vijf verschillende algemene strategieën die door respondenten gebruikt worden bij het interpreteren van antwoordopties en antwoordschalen in online surveys. Elke strategie heeft betrekking op een visueel aspect van de antwoordschaal:
Strategieën visuele aspecten interpretaties antwoordschaal 1 Het midden betekent typisch of centraal.
2 Links en bovenaan betekenen eerst.
3 Dichtbij betekent gerelateerd.
4 Als je iets mooi of leuk vindt, staat het dichtbij.
5 Boven(aan) betekent goed.
Tabel 1. Strategieën visuele aspecten interpretaties antwoordschaal (Tourangeau et.al., 2013: 5.4).
Tevens zijn respondenten het relatief gauw eens (uit gemak) met beweringen en algemene stellingen die worden gesteld in een survey (acquiescence bias (Holbrook, Green & Krosnick, 2003: 85)). Daarnaast kiezen respondenten vaak uit gemak hetzelfde antwoord of dezelfde optie bij meerdere vragen met dezelfde antwoordschaal (straight-line responding; Krosnick, 1999). Respondenten kiezen dan bijvoorbeeld bij een vijfpunts-schaal elke keer ‘mee eens’, wanneer ze de keuze hebben uit “absoluut niet mee eens - niet mee eens -
neutraal - mee eens - absoluut mee eens”. Dit zijn beide passieve vormen van instemming,
namelijk acquiescence (Holbrook et.al., 2003: 79). Bij open vragen wordt er vaak zeer kort (één woord tot één zin) geantwoord. Tot slot is non-respons ook een uitingsvorm van
11 Non-respons
Non-respons leidt tot een geringer aantal waarnemingen dan gepland, maar dat hoeft in
principe niet te leiden tot onjuiste uitkomsten (Bethlehem, 2008: 4). Bij non-respons wordt er onderscheid gemaakt tussen unit non-respons en item non-respons. Item non-respons betekent dat de respondenten enkele vragen niet of niet volledig invullen (Tourangeau et.al, 2013: 7.5). Bij het ontwerpen van een vragenlijst moet de ontwerper er alles aan doen om ervoor te zorgen dat respondenten alle vragen zo volledig mogelijk invullen. Non-respons kan bijvoorbeeld ontstaan wanneer je als respondent niet terug kan gaan in de vragenlijst; zo heeft de respondent wellicht niet goed onthouden wat hij eerder heeft geantwoord. Hierdoor is het minder goed mogelijk om verdere vragen te beantwoorden. Ook kan non-respons veroorzaakt worden door te weinig informatie bij de vragen of antwoorden. Daarnaast kan het voorkomen dat sommige respondenten bepaalde vragen niet willen beantwoorden omdat deze naar gevoelige informatie vragen, of dat de vragenlijst te lang blijkt te zijn (item non-respons).
Unit non-respons is de meest extreme vorm van non-respons en houdt in dat de
respondent de vragenlijst helemaal niet invult (De Leeuw, 2009: 5). Het komt het voor dat de ingevulde vragenlijst niet terug komt bij de onderzoeker of dat sommige respondenten die wel benaderd zijn niet kunnen of willen antwoorden (unit non-respons). Dit laatste is de grootste oorzaak van non-respons (Bethlehem, 2008: 5).
2.3.4. Oplossingen bij satisficing
Verschillende onderzoeken hebben geconstateerd dat de formulering van vragen in enquêtes de antwoorden van de respondenten kunnen beïnvloeden. Lenzner (2011) stelt dat het aannemelijk is dat wanneer een vraag minder duidelijk is, de kwaliteit van het antwoord ook snel omlaag gaat. Hierdoor zullen respondenten minder correct of volledig antwoorden, en meer neutrale antwoorden geven omdat ze simpelweg de vragen niet helemaal goed (kunnen) begrijpen. De gegeven antwoorden van de respondenten zijn hierdoor niet volledig valide omdat het geen weerspiegeling is van de werkelijke gedachten van de respondent (Jaspers, 2014). Wanneer een vraag ‘minder’ duidelijk is, hangt van veel factoren af, maar zoals Lind, Schober & Conrad (2001) stellen, kan satisficing dus tegengegaan worden door middel van extra uitleg bij de vragen.
12
vragen als de antwoordopties in een enquête zeer duidelijk en begrijpelijk moeten formuleren zodat de respondenten hierbij relatief weinig cognitieve inspanning nodig hebben.
2.4 Invloed van het ontwerp van online surveys
Bij het ontwerpen van online surveys zullen onderzoekers de kenmerken, opties en mogelijkheden van de online survey-tools moeten kennen, en weten op welke manier dit toegepast kan worden. Een goed ontworpen enquête met een juiste lay-out draagt bij aan de resultaten van de enquête. Tourangeau et.al. (2013) stellen dat onderzoekers daarbij het doel van de enquête goed voor ogen zullen moeten hebben. Online surveys hebben veel verschillende kenmerken en eigenschappen die het ontwerp van de enquête beïnvloeden (en daarom beïnvloeden ze ook het resultaat ervan) (Tourangeau et.al., 2013: 4.6).
2.4.1. Lay-out van online enquêtes
De lay-out van online enquêtes kan op allerlei punten verschillen. Hierbij kan gedacht worden aan de presentatie van de vragen maar vooral de vormgeving van de antwoordopties en mogelijkheden. Ook spelen paging en scrolling een grote rol bij de weergave van de vragen. Antwoordopties – vormgeving van antwoorden
De verschillende antwoordopties in online surveys kunnen bij gesloten vragen bestaan uit onder andere radio buttons, dropboxes en selectielijsten. Bij open vragen kan de respondent zelf een antwoord formuleren in een tekstveld. Het doel hiervan is de respondent te stimuleren tot het geven een uitgebreid antwoord en (extra) redenen. Couper et. al. (2001) stellen dat alleen al het langer of groter maken van het tekstvak kan zorgen voor meer uitgebreide of betere antwoorden. Een gro(o)t(er) tekstvak impliceert immers dat er een uitgebreid antwoord gegeven kan of moet worden (wat respondenten – naar verwachting – een grote cognitieve belasting vinden). Van Selm & Jankowski (2006) benoemen dat onderzoekers niet terughoudend moeten zijn wat betreft het plaatsen van open vragen omdat is vastgesteld dat respondenten veel sneller geneigd zijn om open vragen te beantwoorden bij online enquêtes dan bij enquêtes op papier. Ook De Leeuw (2009) beaamt in haar onderzoek dat open vragen met betrekking tot het antwoord een duidelijk voordeel hebben omdat bij gesloten vragen het antwoord al (gedeeltelijk) voor geformuleerd is. Radio buttons zorgen vaak voor beter ingevulde vragen (minder item non-respons) maar open vragen verbeteren de kwaliteit van de antwoorden (Couper et.al., 2001, De Leeuw, 2009: 7).
Bij het gebruik van radio buttons wordt de respondent beperkt in de manier van antwoorden. Er is maar één antwoord mogelijk en dat antwoord is geformuleerd door de onderzoeker. Dit biedt als voordeel dat de onderzoeker een duidelijk antwoord krijgt van de respondent zonder eigen interpretatie, maar als nadeel brengt dit met zich mee dat de respondent beperkt wordt in zijn antwoorden en er geen ruimte is voor toelichting. Indien er gebruik gemaakt wordt van een schaal, kunnen alle antwoordopties benoemd zijn
(fully-labeled) of alleen de uiterste opties (end-(fully-labeled). Verschillende onderzoeken hebben
13
dan beter in staat is om een antwoord te kiezen (Alwin 2007; Krosnick & Fabrigar 1997; Saris & Gallhofer 2007 in Maitland, 2009).
Dropboxes of selectielijsten beperken de respondent ook in zijn antwoorden. Bij
selectielijsten kan de respondent kiezen uit een lijst met opties met voor geformuleerde antwoorden. Checkboxes bieden als voordeel dat de respondent meerdere, maar wel vooraf bepaalde, antwoorden kan kiezen.
Paging en scrolling
Met betrekking tot de lay-out van de online enquête is er ook het verschil tussen scrolling en
paging. Bij scrolling komen de vragen op één pagina te staan en dat betekent dat de
respondent naar beneden moet scrollen om de volgende vragen te lezen. Paging houdt in dat de vragen op meerdere pagina’s staan en in dat geval zal de respondent steeds op ‘volgende’ moeten klikken.
Uit onderzoek blijkt, zo schrijven Tourangeau et al. (2013), dat vragen onbeantwoord blijven wanneer respondenten naar beneden moeten scrollen. In dat geval mist er data waardoor de enquêtes onvolledig en dus onbruikbaar zijn. Paging heeft als bijkomend voordeel dat de onderzoeker meer controle heeft over de presentatie van elke vraag apart. Daarnaast kan er ook gemakkelijk gebruik gemaakt worden van skip logic of basic piping. Wat Van Selm & Jankowksi (2006: 441) belangrijk achten, is de lengte van een enquête en daarbij spelen paging en scrolling een belangrijke rol. Wanneer een enquête uit veel vragen bestaat die zijn uitgespreid over één pagina, zal de respondent veel moeten scrollen. Als een enquête te lang is (of oogt), zal deze veel minder vaak (volledig) ingevuld worden. Bij paging wordt vaak daarom een progress indicator toegevoegd, zodat de respondent een idee heeft van hoe lang de enquête is en hoe lang hij nog bezig zal zijn.
2.4.2. Visuele en interactieve kenmerken
Bij de lay-out spelen visuele en interactieve kenmerken een grote rol, zoals overzichten, matrices of een progress indiciator. Deze kenmerken kunnen effect hebben op de metingen en de uitkomsten van een enquête. Het is van belang om als ontwerper te weten in hoeverre deze kenmerken van invloed kunnen zijn op de antwoorden van de respondenten tijdens het maken van een enquête (Tourangeau et.al., 2013: 5.1).
Zichtbaarheid van visuele kenmerken
Ontwerpers van een enquête moeten rekening houden met het feit dat respondenten vaak op basis van incidentele cues een beslissing nemen. Respondenten richten zich eerder op tekst dan dat ze zich laten leiden voor visuele kenmerken (Tourangeau et.al., 2013: 5.12). Verbale en numerieke cues hebben voorrang op andere cues. Andere cues zoals bijvoorbeeld ruimte of kleur worden alleen gebruikt wanneer de verbale of numerieke cues afwezig of zeer zwak zijn (Tourangeau et.al., 2013: 5.11).
14
(de eigenschappen van een persoon) in één taak met verschillende onderdelen worden samengevoegd. Hierbij moet dan gedacht worden aan vragen als:
Ik vind persoon X:
Helemaal mee oneens Mee oneens Neutraal Mee eens Helemaal mee eens Leuk
Aardig Vriendelijk Prettig
Tabel 2. Voorbeeld vraag in matrix.
Uit onderzoek van Tourangeau et. al. (2013: 4.26) blijkt dat vragen die in matrices geplaatst worden voornamelijk leiden tot het sneller maken van de enquêtes en dat vragen minder snel worden overgeslagen. Dit geldt zowel voor de enquête in het geheel, als de vragen die in de matrix staan (ten opzichte van wanneer vragen niet in de matrix geplaatst zouden worden). De vragen kunnen wel oppervlakkiger worden ingevuld bij matrices en het levert meer straight-line responding op wanneer meerdere matrices in een enquête geplaatst worden (Dillman, Smyth & Christian, 2009: 180).
Interactieve kenmerken
Onder interactieve kenmerken worden dynamische kenmerken verstaan, die iets van beweging of verandering laten zien aan de respondent. Hiermee worden ook de opties bedoeld die inspelen op het gedrag van de respondent, en aspecten die attributen of gedragingen van mensen simuleren, zoals menselijke interactieve kenmerken (Human-like, Tourangeau et.al., 2013: 6.4).
Interactieve kenmerken kunnen bijvoorbeeld ingezet worden om satisficing tegen te gaan, bijvoorbeeld om ervoor te zorgen dat respondenten korte, nietszeggende antwoorden uitbreiden, om opengelaten antwoorden te vermijden (non-respons) of om opheldering van de vraag te bieden. Dit kan bijvoorbeeld door middel van een interviewer via video, waar de respondent op kan klikken als hij iets niet begrijpt. Ook kan de respondent er voor kiezen om uitleg bij bepaalde woorden te vragen. Door het geven van definities of een uitleg bij de vragen en antwoordopties kunnen de respondenten de vragen nauwkeuriger beantwoorden (Tourangeau et.al., 2013: 6.1).
Voortgangsindicatoren
15
korte enquête zónder progress indicator eerder stoppen dan wanneer er wel een progress
indicator was toegevoegd.
Villar et.al (2013) omschrijven drie soorten progress indicators, namelijk een tekstuele (pagina 3 van 6, 50%), een grafische (interactieve balk) en een grafische met tekst (interactieve balk met tekst of procenten). Grafische progress indicators hebben als voordeel dat ze automatisch meegaan met de vordering van de respondent, echter deze vordering op zichzelf is niet erg duidelijk voor de respondent. Slechts tekstuele progress indicators, zoals “pagina 3 van 6” zeggen niet zoveel over het aantal vragen of hoe ver de respondent gevorderd is in de enquête; in procenten kan het ook lastig in te schatten zijn of het gaat om het percentage van het aantal vragen, de pagina’s of de gemiddelde tijd.
De ervaring leert echter dat een progress indicator lang niet altijd zorgt voor het sneller of vollediger voltooien van de enquête, maar dat de enquête zelfs vaker wordt afgebroken (Tourangeau et.al., 2013: 6.5, Villar et.al, 2013: 744). Een bijzondere ontdekking is daarnaast dat wanneer de voortgangsindicator in het begin snel(ler) toeneemt, en op het einde minder snel, de respondent de enquête vaker zal afmaken dan wanneer deze synchroon met de respondent loopt, of juist in het begin langzaam en op het einde sneller gaat (Tourangeau et.al, 2013: 6:11, Villar et.al, 2013: 750). Villar et.al. (2013) stellen dat dit heeft te maken met het feit dat de respondent dan negatieve feedback krijgt van het interactieve kenmerk; de progress indicator ‘vertelt’ hem dat de enquête niet snel genoeg vordert. Wanneer een progress indicator in het begin sneller gaat en daarna minder snel, is dat ethisch niet helemaal verantwoord (Villar et.al. 2013: 750), maar in het ergste geval (vanuit het perspectief van de respondent) maakt hij de enquête helemaal af.
2.5 Hypotheses
Hieronder volgen de hypotheses die zijn opgesteld in dit onderzoek op basis van de besproken theorie. Met betrekking tot het fenomeen satisficing zal er een verwachting uitgesproken worden in welke mate dit gedrag op zal treden onder de gestelde omstandigheden.
Satisficing
Zoals uit de bovenstaande theorie is gebleken, betekent satisficing dat respondenten snel genoegen nemen met hun antwoord om op deze manier cognitieve inspanning te voorkomen. De antwoorden zijn dan vaak kort door de bocht, niet afgemaakt, snel geformuleerd of (te) snel gekozen (straight-line responding).
Satisficing kan gemeten worden door te kijken naar de variatie in de antwoordopties
en door de uitgebreidheid van antwoorden te analyseren. Hoe meer respondenten de tijd nemen voor het antwoorden, hoe kleiner de kans op satisficing.
Gesloten vragen
16
worden volledig benoemde antwoordopties (fully labeling) wel beter beantwoord dan deels benoemde antwoordopties (partially labeling) (Maitland 2009) omdat de respondent dan beter in staat is om een antwoord te kiezen. Toch kunnen er nog veel onduidelijkheden ontstaan bij de verschillende antwoordopties omdat deze vaak breed interpreteerbaar zijn door de ietwat vage of ambigue termen. Een voorbeeld hiervan zijn de antwoordopties nooit – zelden – af en
toe – neutraal – regelmatig – vaak – altijd. Wat voor de één vaak is, is voor de ander
misschien af en toe.
Omdat er nog weinig onderzoek naar gedaan is, zal in dit onderzoek een strategie toegepast worden, waarbij uitleg wordt gegeven bij de antwoordopties om zo het verschil in de verschillende antwoordopties te verduidelijken. De onderzoeker heeft bepaalde bedoelingen bij de antwoordopties, maar het kan gebeuren dat de respondenten deze heel anders interpreteren. De respondent kan door de uitleg bij de antwoordopties beter tot zijn antwoord komen.
Omdat verbale cues veel vaker dan visuele cues worden meegenomen in de overweging van de respondent tijdens het antwoorden (Tourangeau et.al., 2013: 5.11, 2004), zal er bij de antwoordopties van de gesloten vragen uitleg gegeven worden, om straight-line
responding tegen te gaan. Eventuele onduidelijke termen worden uitgelegd door de
antwoordopties te specificeren. Wanneer er bij de termen van de antwoordopties uitleg gegeven wordt, kan dit de respondent helpen bij het beantwoorden van de vragen. Het is dus aannemelijk dat respondenten in dat geval genuanceerder zullen antwoorden waardoor satisficing zal afnemen. Respondenten zijn dan immers beter in staat om een juist antwoord te kiezen. Hieruit vloeit de volgende hypothese voort.
H1a. Satisficing – zichtbaar in straight line responding - zal in mindere mate optreden
wanneer er uitleg gegeven wordt bij de antwoordopties van gesloten vragen dan wanneer deze uitleg zal ontbreken.
Open vragen
Zoals eerder uiteengezet, moeten open vragen in enquêtes niet vermeden worden (Van Selm & Jankowski, 2006, De Leeuw, 2009). Wanneer open vragen gesteld worden in een enquête kan daarna een vervolgvraag gesteld worden om extra motivatie of meer redenen te vragen. Op basis van het gegeven antwoord, wordt die vervolgvraag dan gesteld. Oudejans en Christian (2011) deden eerder onderzoek naar de invloed van interactieve kenmerken op het gedrag van respondenten. Zij onderzochten wat het effect is van een motivatie-mededeling en een vervolgvraag, en in hoeverre dit invloed heeft op de lengte en kwaliteit van de open vragen. Deze motivatie-mededeling lag in de richting van het belang van het onderzoek (“Deze vraag is erg belangrijk voor het onderzoek”), de vervolgvraag richtte zich op of er nog andere aspecten aan het eerder gegeven antwoord toegevoegd konden worden (Oudejans & Christian, 2011: 8). Uitkomst van dit onderzoek is dat het toevoegen van een dergelijke motivatie en vervolgvragen, meteen gevolgd op de betreffende open vraag, het aantal oningevulde vragen reduceert.
17
vervolgvragen wordt aan de respondent gevraagd of het gegeven antwoord volledig is en of hij nog een motivatie zou kunnen geven op het antwoord. Dit bewerkstelligt de kwaliteit van het antwoord. Deze ‘push’ moet er voor zorgen dat respondenten nog vaker, beter en vollediger zullen antwoorden.
Satisficing zal door deze aspecten afnemen omdat respondenten wordt gevraagd opnieuw na te denken over het antwoord. Daarmee zijn ze dus beter in staat en meer gemotiveerd om uitgebreider te antwoorden. Hieruit vloeit de volgende hypothese voort.
H1b. Satisficing - zichtbaar in beperkte antwoorden - zal in mindere mate optreden wanneer
bij open vragen vervolgvragen met een push worden gesteld, dan wanneer er geen push bij de vervolgvragen wordt vermeld.
18
3. Vooronderzoek
In dit hoofdstuk zullen de verschillende online survey-tools met elkaar vergeleken worden. Tourangeau et.al. (2013) constateren dat het ontwerp van een vragenlijst van groot belang is. Elk design heeft een ander doel en elk design moedigt een bepaald soort gedrag aan. Los van de soort vragen en formulering, is er een aantal elementen die een ontwerper sowieso in overweging moet nemen, zoals in het vorige hoofdstuk al aan bod kwam. Dit zijn de algemene lay-out (plaatsing van kaders e.d.), het gebruik van tabellen en overzichten en het gebruik van voortgangsindicatoren. Met betrekking tot het ontwerp van een vragenlijst beschrijven Van Selm & Jankowski (2006) en Dillman et.al (1999) dat het simpel, neutraal en compleet moet zijn zodat het relevant is voor de respondent. Het is belangrijk om de kenmerken van verschillende tools met elkaar te vergelijken zodat naar voren komt wat de relevantie is van de verschillende online survey-tools. Het doel van dit vooronderzoek is om te constateren welke online survey-tools het meest effectief zijn voor het plaatsen van enquêtes waarmee satisficing onderzocht wordt.
3.1 vergelijking online survey-tools
Er worden twaalf online tools beschreven (bijlage 3). Deze tools zijn geselecteerd op populariteit, bekendheid en gebruiksvriendelijkheid. Bij dit vooronderzoek zijn de kenmerken en opties van de online survey-tools gerapporteerd maar ook de mogelijkheden wat betreft lay-out zijn meegenomen. De volgende online survey-tools zijn onderzocht: SurveyMonkey, Zoomerang, SurveyGizmo, Questionpro, KeySurvey, PollDaddy, GoogleForms, SurveyWriter, LimeSurvey, SogoSurvey, ThesisTools en Qualtrics. Deze twaalf online
survey-tools zijn de meest populaire en meest gebruikte survey-tools op dit moment.
Daarnaast worden deze twaalf tools het vaakst genoemd in online reviews over dit onderwerp. ThesisTools en Qualtrics zijn reeds besproken in Dijkstra, Ongena en Loosveldt (2014) en staan daarom niet in de bijlage beschreven.
Hieronder volgt overzichtelijk in een matrix welke kenmerken en opties de online
survey-tools bevatten, en welke mogelijkheden er zijn. De tools worden vergeleken op een
19
het in willekeurige volgorde zetten van de vragen, op welke manier data gedownload kan worden en het toevoegen van opmerkingen bij vragen (een korte uitleg onder de vraag waar de respondent voor kan kiezen).
Na het onderzoek is uiteindelijk gekozen voor Sogo Survey, GoogleForms en
PollDaddy omdat deze drie online survey-tools de meest handige kenmerken bevatten in de
gratis versie en zeer gebruiksvriendelijk zijn voor de ontworpen enquêtes van dit onderzoek. Deze drie tools bieden in de gratis versie een groot aantal enquêtes, vragen en respondenten aan, en hebben ook verschillende vraagsoorten. Daarnaast is er de mogelijkheid tot het toevoegen van een progress indicator, het invoegen van afbeeldingen en kan de data gemakkelijk gedownload worden. Tevens liggen deze drie tools wat betreft lay-out dicht bij elkaar aangezien het is mogelijk om met dezelfde kleuren en hetzelfde lettertype te werken. Op deze manier is de kans op interferende variabelen het kleinst.
20 *In de gratis versie, ** alleen in de betaalde versie
Tabel 3 – vergelijking online survey-tools
Survey Monkey Zoomerang Survey Gizmo Questio n Pro Key Survey Poll Daddy Google Forms Survey Writer Lime Survey SoGo Survey Thesis Tools Qualtrics
Versies Gratis versie Ja Ja Nee Ja Nee Ja Ja Nee Ja Ja Ja Ja
Betaalde versie $17-65 PM $149 – 449 PM $19 -159 PM $15-99 PM $1950-5950 Per jaar $200-900 per jaar Nee $1,25-5000 per jaar Alleen kosten voor webhosting $12-40 pm Vanaf 3 euro Ja, prijzen op afspraak Mogelijk heden Aantal enquêtes On-gelimiteerd On-gelimiteerd On-gelimiteerd On-gelimiteerd On-gelimiteerd On-gelimiteerd On-gelimiteerd 1,25 per enquête On-gelimiteerd 15*- on-gelimiteerd On-gelimiteerd On-gelimiteerd Aantal vragen per survey Max. 10 * - on-gelimiteerd ** Max. 12* - on-gelimiteerd ** Beperkt - on-gelimiteerd Beperkt* - on-gelimiteerd Beperkt - on-gelimiteerd 10* - on-gelimiteerd On-gelimiteerd On-gelimiteerd On-gelimiteerd 75* - on-gelimiteerd On-gelimiteerd On-gelimiteerd Aantal respondenten Max. 100 *- on-gelimiteerd Max. 100* - on-gelimiteerd Max. 1000 Beperkt* - on-gelimiteerd Beperkt - on-gelimiteerd 100* - on-gelimiteerd On-gelimiteerd 200*- on-gelimiteerd On-gelimiteerd 200* - on-gelimiteerd 500* - on-gelimiteerd 1000 per survey
Lay-out Kleuren Ja Ja Ja Ja Ja Ja Ja Ja Ja Ja Nee Ja
Lettertype Nee Ja Ja Ja Ja Ja Nee Ja Ja Ja Nee Ja
Vraagsoorten Gelimiteerd (15) * - zelf ontwerpen ** Standaard format (15) * - zelf ontwerpen **
23 soorten Standaard* Standaard* - zelf ontwerpen ** Standaard* (10 soorten) - zelf ontwerpen 7 soorten Standaard vragen Standaard vragen Standaard vragen (8 soorten) Standaard vragen Standaard* - meer geavanceerd ** Matrix Ja Ja Ja Ja Ja Ja Ja Ja Ja Nee Ja Ja Progress Indicator Ja ja Ja Nee Ja Ja Ja Ja Ja Ja Nee Ja
21 *In de gratis versie, ** alleen in de betaalde versie
Tabel 3 – vergelijking online survey-tools
Survey Monkey Zoomerang Survey Gizmo Question Pro
KeySurvey PollDaddy Google Forms Survey Writer Lime Survey SoGo Survey Thesis Tools Qualtrics
Overig Basic Piping Nee Ja ** Ja Ja** Ja Nee Ja Ja Ja Ja* Ja ** Ja **
Skip Logic Ja ** Ja ** Ja Ja** Ja Nee Ja Ja Ja Ja** Ja** Ja
Vragen in willekeurige volgorde
Ja** Ja ** Ja Ja** Ja Ja Nee Ja Nee Nee Nee Ja
Opmerkingen bij vragen
Ja** Nee Ja Ja** Ja Ja** Nee Nee Nee Ja** Nee Ja **
Data downloaden PDF*, Excel, SpSS ** PDF*, in rapporten, statistische analyses uitvoeren** Ja en houdt de data automatisch bij in alle versies. Ja Excel *, maken van grafieken en analyses. ** Ja in Excel, word, SpSS, e-mail, grafieken en analyses ** Ja in Excel, PDF, GoogleDocs, CSV, XML** Ja in Google Spreadsheet (naar Excel) Data rapporten en analyseren in tool** Ja naar SpSS Ja in Excel* Ja in PDF en Excel Ja SpSS, CSV, Ecxel, XML en HTML
22
3.2 Hypotheses survey-tools
Naast de vergelijking van de drie versies van de enquête, zullen er ook drie verschillende online survey-tools met elkaar vergeleken worden. In eerdere onderzoeken is relatief weinig onderzocht wat de invloed is van de lay-out van online survey-tools in het licht van
satisficing.
Uit het vooronderzoek is gebleken dat met betrekking tot vormgeving en weergave van de vragen GoogleForms, SoGoSurvey en PollDaddy het dichtst bij elkaar liggen en het beste zijn voor de ontworpen enquêtes van dit onderzoek. In de gratis versie hebben deze drie tools de meest handige kenmerken en wat betreft lay-out (kleuren, lettertype) liggen deze drie tools dicht bij elkaar.
In elke tool worden de drie versies van de enquêtes geplaatst. Daarom zou het in beginsel zo moeten zijn dat de uitkomsten in alle drie de tools hetzelfde zijn, omdat in elke tool dezelfde enquêtes geplaatst worden. Indien er toch verschillen optreden, dan kunnen deze ontstaan zijn door de lay-out en vormgeving van de verschillende online survey-tools, en dus de weergave van de vragen in elke tool.
Om deze reden zijn de manipulaties van de gesloten vragen en de open vragen afhankelijk van de weergave in de tool. Elke tool zal namelijk de manipulatie op een andere manier weergeven, zoals bijvoorbeeld de weergave van vragen in matrices. Het effect van de manipulatie wat daarmee ontstaat op de resultaten hangt dus af van de weergave in de online
survey-tool. De verwachting is dat het effect van zowel de manipulatie van de gesloten
vragen, als de manipulatie van de open vragen zal afhangen van de weergave in de verschillende online survey-tools. Hierbij vloeien de volgende hypotheses voort.
H2a. Er wordt een interactie-effect verwacht voor hypothese H1a omdat het effect van de
uitleg afhankelijk zal zijn van de gebruikte tool.
H2b. Er wordt een interactie-effect verwacht voor hypothese H1b omdat het effect van push
afhankelijk zal zijn van de gebruikte tool.
Daarnaast zijn er nog drie hypotheses opgesteld met betrekking tot specifieke verschillen tussen online survey-tools. Wanneer meerdere vragen in een matrix worden ondergebracht tot één vraag (tabel 2), oogt een enquête minder lang. Bovendien zal het straight-line responding waarschijnlijk verminderen omdat het opvalt wanneer de respondent vaak hetzelfde antwoord geeft. De respondent zal dus beter nadenken over elk gegeven antwoord. De verwachting is dat satisficing in mindere mate op zal treden wanneer er gebruik wordt gemaakt van een matrix dan wanneer de vragen onder elkaar worden geplaatst (H3).
Hierbij wordt ook onderzocht wat het effect is van scrollen in de antwoordopties in de matrix. Scrollen in antwoordopties vormt een belemmering voor de respondent omdat de antwoorden niet in één oogopslag zichtbaar zijn (afbeelding 6). Deze hypothese geldt alleen voor de tools GoogleForms en PollDaddy, omdat alleen in deze twee tools een matrix is toegevoegd. De verwachting is dat satisficing in mindere mate zal optreden wanneer respondenten bij de matrix niet hoeven te scrollen in de antwoorden (H4).
23
dan alleen een grafische of alleen een tekstuele progress indicator. Op deze manier weet de respondent beter waar hij aan toe is en zal de enquête vaker (volledig) ingevuld en afgerond worden. Er wordt verwacht dat satisficing in mindere mate op zal treden bij een grafisch-tekstuele progress indicator (in plaats van alleen grafisch of tekstueel) (H5).
24
4. Methode
In dit hoofdstuk zal de methode van onderzoek besproken worden. Het ontwerp en gebruik van de enquête wordt beschreven, maar ook het gebruik van de drie verschillende tools wordt toegelicht. Dit onderzoek is erop gericht inzicht te krijgen in wat de invloed is van het geven van uitleg en stellen van vervolgvragen bij respectievelijk gesloten en open vragen, en daarnaast wat de invloed is van de lay-out van verschillende online survey-tools. Er zal in dit onderzoek een experiment worden uitgevoerd hoe het gedrag van de respondent kan worden beïnvloed en op welke manier de lay-out van invloed is op de resultaten van de enquête. Tot slot zal de procedure van het experiment worden uiteengezet en worden de statistische toetsen besproken.
4.1 Methode van onderzoek
Op basis van een ontworpen vragenlijst wordt het fenomeen satisficing (straight line
responding bij gesloten vragen en beperkt antwoorden bij open vragen) geanalyseerd, en in
hoeverre dat tegengegaan kan worden door middel van uitleg of doorvragen naar extra redenen bij vragen. De verschillende enquêtes bevatten zowel gesloten als open vragen die zullen worden gemanipuleerd per enquête. Er zijn uiteindelijk drie versies gemaakt: de standaard-versie (enquête 1), de gemanipuleerde versie (enquête 2) en de semi-gemanipuleerde versie (enquête 3). Dit is hieronder overzichtelijk in kaart gebracht:
Enquête versie 1 – standaard enquête
Enquête versie 2 – volledig
gemanipuleerd
Enquête versie 3 – semi
gemanipuleerd – controle versie
3 standaard vragen Geslacht, leeftijd en opleidingsniveau
Geslacht, leeftijd en opleidingsniveau
Geslacht, leeftijd en opleidingsniveau
7 gesloten vragen 7 gesloten vragen 7 gesloten vragen + uitleg 7 gesloten vragen
4 open vragen 4 open vragen + vervolgvraag
4 open vragen + vervolgvraag + push
4 open vragen + vervolgvraag + push
Tabel 4. Overzicht inhoud van de drie soorten enquêtes.
Op deze manier kan onderzocht worden of satisficing wordt verminderd door het geven van uitleg bij antwoordopties van gesloten vragen en het stellen van vervolgvragen met push bij open vragn waarbij expliciet naar extra motivatie en redenen wordt gevraagd (in enquête 2) (tabel 6 en 8). De derde versie is een semi-gemanipuleerde versie met gesloten vragen zonder uitleg en open vragen met vervolgvragen en ‘push’. Door middel van deze derde versie kunnen de manipulaties afzonderlijk van elkaar getoetst worden per enquête en kan er dus gecontroleerd worden in hoeverre de respondenten bij de open vragen niet beïnvloed zijn door de uitleg bij de antwoordopties van de gesloten vragen (zoals in versie 2). Omdat het stellen van vervolgvragen bij de open vragen waarschijnlijk geen invloed zal hebben op de gesloten vragen, is er geen vierde enquête toegevoegd met gesloten vragen met uitleg en open vragen met vervolgvragen zónder push.
25
4.1.1. Proefpersonen
Per enquête zijn ongeveer 25-30 respondenten geworven, om op deze manier een goed beeld te kunnen krijgen van de mate van satisficing en de verschillen per tool. In totaal hebben 264 respondenten meegedaan aan de enquêtes (tabel 12). Deze individuen zijn benaderd in de directe omgeving en daarmee is er sprake van een netwerksteekproef. Er is ingezet op studenten als doelgroep met een leeftijd tussen de 15 en 30 jaar. Hierdoor is de groep respondenten meer homogeen gebleven en is de interne validiteit groter.
4.1.2. Enquête
Er is een enquête ontworpen, bestaande uit veertien vragen (bijlage 1). Er is gezocht naar een bestaande vragenlijst om de ecologische validiteit zo hoog mogelijk te houden, daarom zijn de vragen gebaseerd op vragen uit de European Social Survey (ESS). De ESS is een vragenlijst die door heel Europa verspreid wordt om data te verzamelen. De gegevens worden gebruikt voor onderzoek naar bijvoorbeeld de levensstijl van mensen, inkomensongelijkheid en vertrouwen in instituties. De ESS beoogt met behulp van strikte methoden de wisselwerking tussen de veranderende instituties van Europa, haar politieke en economische structuren en de attitudes, overtuigingen en gedragspatronen van haar verschillende volken in kaart te brengen en te verklaren (Sociaal & Cultureel planbureau, SCP, 2014).
De vragen uit de ESS die gebruikt worden, zijn veranderd en aangepast aan de doelstellingen en doelgroep van dit onderzoek. Zo wordt er in de enquêtes ‘je’ in plaats van ‘u’ gebruikt, zijn er antwoordopties toegevoegd en zijn enkele vragen omgezet naar open vragen. De respondenten zullen in de vragen aangesproken worden met ‘je’ en ‘jij’, om op deze manier een informeel karakter te behouden. De verwachting is dat het overgrote deel van de respondenten studenten zullen zijn. Daarnaast is de gedachte erachter dat mensen zich eerder betrokken voelen bij het aanspreken met ‘je’ en ‘jij’ in plaats van ‘u’ en komt het vriendelijker over (Kalloe, 2008).
Open en gesloten vragen
Gesloten vragen
Binnen gesloten vragen zal er gekeken worden of het fenomeen straight-line responding zich voordoet. Dit houdt in dat respondenten bij gesloten vragen onder elkaar of in een matrix veel dezelfde antwoorden invullen (in één lijn naar beneden), als gevolg van satisficing. Dit gedrag kan ontstaan door het niet goed interpreteren of begrijpen van de antwoordopties. Wanneer uitleg bij de antwoordopties wordt gegeven, is de kans aannemelijk dat respondenten de antwoordopties beter begrijpen en dus beter in staat zullen zijn antwoord te geven op de vragen.
De vragen uit de ESS zijn uitgezocht op vormgeving van de vraag en van de antwoordopties, zodat de vragen gemakkelijk gebruikt konden worden ten behoeve van dit onderzoek. Bij de gesloten vragen zijn zeven vragen uitgezocht waarbij de vormgeving van het antwoord in de lijn ligt van de antwoordopties zoals die beoogd zijn in dit onderzoek. Deze vragen in de enquêtes krijgen antwoordopties als bijvoorbeeld helemaal niet
26
uit de ESS die omgezet zijn naar twee gesloten vragen. Deze antwoordopties bij de gesloten vragen zijn op zichzelf niet onduidelijk, maar er wordt geen referentiekader gegeven. Wanneer ben je wel of niet geïnteresseerd in politiek of wanneer voel je je wel of niet verbonden met een politieke partij? De antwoordopties bij enquête 2 zijn daarom voorzien van een extra uitleg. In tabel 5 is een voorbeeld te zien van een gesloten vraag uit enquête 2. Achter elke antwoordoptie staat een uitleg (tijdsbepaling) om zo het antwoord te verduidelijken of te nuanceren. Op deze manier heeft de respondent per antwoordoptie een beter referentiekader. Door het toevoegen van deze uitleg is de verwachting dat satisficing verminderd zal worden.
Originele vragen uit European Social Survey Aangepaste vragen voor de enquêtes
Gesloten vragen uit ESS Gesloten vragen uit de enquête B1-A Hoe geïnteresseerd bent u in de politiek? Bent u…
Heel erg geïnteresseerd – tamelijk geïnteresseerd – nauwelijks geïnteresseerd – helemaal niet geïnteresseerd – weet niet
4. Hoe geïnteresseerd ben je in politiek nieuws? Ben je…
Helemaal niet geïnteresseerd – nauwelijks geïnteresseerd – een beetje geïnteresseerd –geïnteresseerd – redelijk geïnteresseerd – echt geïnteresseerd – heel erg geïnteresseerd
Kunt u op een schaal van 0 tot 10 aangeven
Hoe tevreden u persoonlijk bent in elk van de volgende instellingen? 0 betekent dat u helemaal niet tevreden bent in een instelling en 10 dat u volledig tevreden bent.
B25 Hoe tevreden bent u in het algemeen met de huidige toestand van de economie in Nederland?
0-1-2-3-4-5-6-7-8-9-10-88
7. Hoe tevreden ben je in het algemeen met de huidige toestand van de economie in Nederland?
Zeer ontevreden – redelijk ontevreden – ontevreden – een beetje ontevreden – neutraal – een beetje tevreden – tevreden – redelijk tevreden – zeer tevreden
Tabel 5. Voorbeeld twee originele gesloten vragen uit ESS en twee aangepaste gesloten vragen Bron: European Social Survey, 2011
Enquête 2 Hoe tevreden ben je in het algemeen met de huidige toestand van de economie in
Nederland? Zeer on-tevreden (elke dag ontevreden) redelijk on-tevreden (paar keer per week ontevreden) Ontevreden (wekelijks ontevreden) een beetje ontevreden (maandelijks ontevreden)
neutraal een beetje tevreden (maandelijks tevreden) Tevreden (wekelijks tevreden) Redelijk tevreden (paar keer per week tevreden) Zeer tevreden (elke dag tevreden)
Tabel 6. Voorbeeld antwoordopties gesloten vraag enquête 2
Open vragen
Bij de open vragen worden er twee soorten vragen gesteld, de basisvraag en de vervolgvraag. Door het aanpassen van de formulering van de vraagstelling van de open vragen uit de ESS kunnen deze vragen zodanig gesteld worden, dat het mogelijk is om een vervolgvraag te stellen waarmee naar extra redenen, motivatie of uitleg gevraagd wordt. Deze vervolgvraag heeft dus als doel extra informatie te vergaren. Bij de open vragen zijn twee vragen uitgezocht waarbij om (extra) redenen, motivatie of uitleg gevraagd kan worden. In tabel 7 volgen voorbeelden van twee vragen uit de ESS die omgezet zijn naar twee open vragen. De vervolgvraag op de open vraag in de enquêtes verschilt; het betreft een ‘gewone’ vervolgvraag in enquête 1 en 3, en een vervolgvraag met ‘push’ in enquête 2. De vervolgvraag die volgt op de basisvraag is: “Heb je nog meer redenen waarom je wel of niet
27
De verwachting is dat de respondenten meer zullen antwoorden wanneer bij de vervolgvraag staat: ‘uitgebreide antwoorden worden zeer op prijs gesteld’. Satisfiscing zal in dat geval in mindere mate optreden wanneer deze zin toegevoegd is aan de vervolgvraag. Op basis van de uitgebreidheid van het antwoord, kan worden geconstateerd in hoeverre
satisficing zich voordoet. Indien er meer redenen of motivatie gegeven worden, is er in
mindere mate sprake van satisficing.
Originele vragen uit European Social Survey Aangepaste vragen voor de enquêtes
Open vragen uit ESS Open vragen uit de enquête B11 Sommige mensen stemmen tegenwoordig om de één of
andere reden niet. Heeft u tijdens de laatste Tweede Kamer verkiezingen in juni 2010 gestemd?
8. Sommige mensen stemmen (bewust) wel of niet bij verkiezingen (zowel landelijk als voor de gemeenteraad). Kun je een reden geven waarom je doorgaans juist wel of juist niet stemt?
B37 En wat is uw mening met betrekking tot mensen uit de armere landen buiten Europa? Het Nederlands beleid moet…
Velen toelaten om hier te komen wonen en leven Een aantal toelaten
Enkelen toelaten Niemand toelaten (Weet niet)
10. Wat is volgens jou de reden waarom Nederland mensen uit armere landen wel of niet moet toelaten tot Nederland?
Vervolgvraag: “Heb je nog meer redenen waarom…”
Tabel 7. Voorbeeld twee originele open vragen uit ESS en twee aangepaste open vragen Bron: European Social Survey, 2011
Basisvraag Vervolgvraag Enquête 1 Wat is volgens jou de reden waarom Nederland mensen uit
armere landen wel of niet moet toelaten tot Nederland? Nederland moet andere mensen in Nederland wel of niet toelaten, omdat…
Heb je nog meer redenen waarom Nederland mensen uit armere landen wel of niet moet toelaten tot Nederland?
Enquête 2 Wat is volgens jou de reden waarom Nederland mensen uit armere landen wel of niet moet toelaten tot Nederland? Nederland moet andere mensen in Nederland wel of niet toelaten, omdat…
Uitgebreide antwoorden worden zeer op prijs gesteld. Heb je nog meer redenen waarom Nederland mensen uit armere landen wel of niet moet toelaten tot Nederland?
Tabel 8. Voorbeeld open vragen: basis vraag en vervolgvraag enquête 2
4.1.3. Online survey-tools
Omdat er drie verschillende online survey-tools worden vergeleken, zal dit met drie verschillende soorten enquêtes uiteindelijk neerkomen op in totaal negen enquêtes van elk veertien vragen. De drie online survey-tools die worden gebruikt in dit onderzoek, namelijk
GoogleForms, PollDaddy en SoGoSurvey, liggen wat betreft lay-out, vormgeving van de
vragen, antwoordopties en andere kenmerken dicht bij elkaar. Zo zijn de onderlinge verschillen het kleinst.
GoogleForms PollDaddy SoGo Survey
Versie 1 - standaard Enquête 1 (versie GF 1) (enq1) Enquête 1 (versie PD 1) (enq4) Enquête 1 (versie SG 1) (enq7)
Versie 2 - gemanipuleerd
Enquête 2 (versie GF 2) (enq2) Enquête 2 (versie PD 2) (enq5) Enquête 2 (versie SG 2) (enq8)
Versie 3 – semi gemanipuleerd
28
De uitkomsten van de enquêtes per tool zullen met elkaar worden vergeleken. Het zou, in beginsel, zo moeten zijn dat de uitkomsten en resultaten van de enquêtes in alle drie de tools hetzelfde zijn. Het zijn tenslotte dezelfde enquêtes met precies dezelfde inhoud. De kans is echter aannemelijk dat er toch verschillen optreden. Deze verschillen zullen dan door de lay-out van de verschillende online survey-tools zijn ontstaan en door de verschillende mogelijkheden van de manipulaties bij elke tool (paragraaf 3.1).
Weergave enquête in de tools
De enquête bestaat in totaal uit veertien vragen. Het doel was om de enquêtes in de verschillende tools zo veel mogelijk op elkaar te laten lijken. Er is bij elke tool gekozen voor hetzelfde lettertype (Arial 12) en zoveel mogelijk dezelfde weergave van de vragen. Ook is bij elke tool een lichtblauw-thema gekozen. Elke enquête start met de tekst:
“Beste lezer,
Deze enquête kost je slechts 3 minuten. Er volgen enkele vragen met verschillende antwoordopties. Kies de antwoordoptie die op jouw situatie het beste van toepassing is. Alvast bedankt. Hartelijke groet, Marie-Rose Blokzijl”
De eerste drie vragen zijn standaard, die vragen naar geslacht, leeftijd en opleidingsniveau (zie afbeelding 1). De zeven gesloten vragen worden allemaal op één pagina weergegeven. De respondent moet naar beneden scrollen om de volgende vragen te zien. De eerste drie gesloten vragen hebben verschillende antwoordschalen en worden daarom als ‘losse’ vraag gepresenteerd. Op afbeelding 2 is een voorbeeld hiervan te zien bij de verschillende online
survey-tools.
De laatste vier gesloten vragen hebben dezelfde antwoordschaal en worden daarom in GoogleForms en PollDaddy weergegeven in een matrix (afbeelding 6) (bij SoGosurvey is er geen mogelijkheid voor een matrix dus blijven het vier losse vragen onder elkaar, zie afbeelding 2 midden). Er is bewust voor deze matrix in twee van de drie tools gekozen omdat hiermee optisch vier vragen in de vorm van één vraag worden gegoten. Hiermee lijkt de enquête minder lang voor de respondenten. Daarnaast kan er hiermee gekeken worden of de vragen anders beantwoord zijn in SoGoSurvey zonder matrix dan in GoogleForms of PollDaddy.
De vier open vragen (twee basisvragen en twee vervolgvragen) zijn allemaal op een aparte pagina gezet. Na elke vraag moest de respondent dus doorklikken naar de volgende open vraag. Het tekstvak bij de basisvraag is groter dan bij de vervolgvraag. Dit is in elke tool zo ontworpen. Het doel hiervan is de respondent te stimuleren tot het geven van nog een extra aanvullend antwoord, een korte reden. Een groot tekstvak impliceert een uitgebreid antwoord (wat respondenten – naar verwachting – een grote cognitieve belasting vinden). In afbeelding 3 en 4 volgen voorbeelden van de basis- en vervolgvraag uit enquête 2 in SoGoSurvey.
29
Afbeelding 1. Voorbeelden standaardvragen uit PollDaddy (links), SoGo Survey (midden) en GoogleForms (rechts).
30
Afbeelding 3. Voorbeeld open vraag 1 (basis-vraag) (vraag nr.11) uit SoGo Survey.
