Statistische toetsen

De kwantitatieve analyse moet uitwijzen of satisficing in mindere mate zal optreden wanneer er uitleg gegeven wordt bij de antwoordopties van gesloten vragen (H1a) en of satisficing inderdaad in mindere mate zal optreden wanneer bij open vragen vervolgvragen met een push worden gesteld (H1b). Daarnaast zal de analyse uitwijzen in hoeverre er een interactie-effect aanwezig is bij H1a en H1b (H2a en H2b). De effecten van de uitleg en push zullen namelijk afhankelijk zijn van de gebruikte tool. De verwachting is dat satisficing in mindere mate op zal treden wanneer er gebruik wordt gemaakt van een matrix dan wanneer de vragen onder elkaar worden geplaatst (H3). Ook is de verwachting dat satisficing in mindere mate zal optreden wanneer respondenten bij de matrix niet hoeven te scrollen in de antwoorden (H4) (zie afbeelding 6). Tot slot is de verwachting dat satisficing in mindere mate zal optreden bij een grafisch-tekstuele progress indicator (in plaats van alleen grafisch of tekstueel) (H5) (zie afbeelding 5).

Om de hypotheses te kunnen testen en aan te kunnen tonen of de resultaten tussen de online tools significant van elkaar verschillen, zullen er in dit onderzoek verschillende statistische toetsen worden gebruikt. Er kan zo per onafhankelijke variabele gekeken worden of de aspecten ‘uitleg bij antwoordopties van gesloten vragen’ en ‘vervolgvraag met push’ invloed hebben op het gedrag van de respondent. Ook kan er door middel van statistische toetsen vastgesteld worden in hoeverre elke tool invloed heeft op de resultaten van de enquêtes. Het significantie-niveau is α = 0,05.

32

Matrix Scrollen Progress Indicator

SoGo Nee Nee Grafisch en tekstueel Balk, % en pagina

GoogleForms Ja Naar rechts Grafisch en tekstueel Balk, % en pagina

PollDaddy Ja Nee Tekstueel Pagina

Tabel 12 hypothese 3, 4 en 5: matrix en progress indicator

Standaardvragen

Allereerst zal er gekeken worden naar het geslacht en de leeftijd. Hierin mag geen significant verschil optreden tussen de groepen. Indien dat wel het geval is, zal deze factor als interfererende variabele meegenomen moeten worden. De Chi-kwadraat test zal uitgevoerd worden om te kijken hoe het geslacht in de groepen verdeeld is. Om te kijken of de gemiddelde leeftijd van de groepen significant van elkaar verschilt, zal de one-way Anova test uitgevoerd worden.

Gesloten vragen

Op basis van hypothese 1A zal geanalyseerd worden in hoeverre straight-line responding in mindere mate voorkomt in enquête 2 dan in enquête 1 en 3. Straight-line responding kan worden vastgesteld door de standaard deviatie te berekenen op de gesloten vragen per respondent; hoe lager de standaarddeviatie, hoe minder gevarieerd is geantwoord en hoe meer

straight-line responding zich heeft voorgedaan. Bij een standaarddeviatie van 0 zijn er exact

dezelfde antwoorden gegeven op alle gesloten vragen door de betreffende respondent.

Per respondent zal van de antwoorden van de gesloten vragen het gemiddelde en de standaarddeviatie uitgerekend worden. De standaarddeviaties van de respondenten worden dan per enquête met elkaar vergeleken. Er zal vervolgens onderzocht worden in hoeverre de standaarddeviaties van de antwoorden van de gesloten vragen van enquête 2 afwijken van de standaarddeviaties van enquête 1 en 3. De eerste drie gesloten vragen zullen samengenomen worden, omdat deze dezelfde antwoordschaal hebben (een zevenpunts-schaal). Ook zullen de laatste vier vragen worden samengenomen omdat deze een schaal hebben van 1-9. De verschillende enquêtes zullen met elkaar worden vergeleken door middel van de one-way Anova en de two-way Anova test (de gesloten vragen ten opzichte van de enquête én de soort tool samen).

De laatste vier gesloten vragen staan in tool Google Forms en tool PollDaddy in een matrix. Bij GoogleForms moet er naar rechts gescrolled worden om alle antwoordopties te kunnen zien. Er wordt verwacht dat het totale gemiddelde van de standaarddeviaties van de gesloten vragen (per respondent genomen) lager ligt wanneer er gescrolled moet worden in de antwoorden. Indien de standaarddeviatie per respondent klein is, is er dus meer sprake van

straight-line responding omdat er veel dezelfde antwoorden op de gesloten vragen zijn

gegeven.

Open vragen

Bij de open vragen zal geanalyseerd worden of satisficing in mindere mate optreedt wanneer er vervolgvragen met een ‘push’ worden gesteld in plaats van zonder push (zie tabel 8). De open vragen van enquête 1 worden met enquête 2 en met enquête 3 vergeleken (2 niet met 3, omdat in deze enquêtes het dezelfde manipulatie van de open vragen betreft, tabel 4). Omdat

33

de manipulatie betrekking heeft op de vervolgvragen worden alleen de vervolgvragen meegenomen. Er zal vastgesteld worden of er wel of geen antwoord is gegeven, de precieze inhoud van het antwoord is niet relevant. Wanneer er een extra reden (of redenen) gegeven worden bij de vervolgvraag, wordt dit geclassificeerd als een ‘ja’ (1), wanneer die niet gegeven worden, wordt dit geclassificeerd als een ‘nee’ (0).

Indien de resultaten van enquête 2 en enquête 3 niet hetzelfde zijn, kan gesteld worden dat de antwoorden in enquête 3 mogelijk beïnvloed zijn door de uitleg bij de gesloten vragen. Het is mogelijk dat het feit dat bij eerdere vragen extra uitleg werd gegeven, dit de respondenten extra heeft gemotiveerd om meer informatie te geven bij de open vragen.

Wanneer respondenten bij de basis-vraag duidelijk en nadrukkelijk aangeven dat zij meerdere redenen hebben als antwoord, kan er vanuit gegaan worden dat ze bij de vervolgvraag geen extra informatie meer (kunnen) geven. In dat geval wordt de vervolgvraag dan toch geclassificeerd als ‘ja’(1). Wanneer respondenten bij de basis-vraag één reden geven en bij de vervolgvraag geen reden geven, wordt dit (dus) geclassificeerd als ‘nee’ (0).

Als er grote verschillen blijken te zijn tussen de basis-vragen, zullen de antwoorden hierop als covariate worden meegenomen in de analyse. Vervolgens zal hier de chi-kwadraat toets op toegepast worden.

Drie online survey-tools

Ook zullen de drie online survey-tools (GoogleForms, PollDaddy en SoGoSurvey) met elkaar vergeleken worden op basis van de uitkomsten uit de Anova-toets (gesloten vragen) en chi-kwadraat toets (open vragen). Er zal gekeken worden of de resultaten van de enquêtes uit de ene tool verschillen van de resultaten van de enquêtes uit de andere tool (de resultaten uit versie GF 1 zullen vergeleken worden met versie PD 1 en versie SG 1, en vice versa). Indien dat het geval is, kunnen de verschillen in de resultaten ontleend worden aan de eventuele verschillen in de lay-out van de drie tools.

GoogleForms PollDaddy SoGo Survey

Versie 1 - standaard Enquête 1 (versie GF 1) (enq1) Enquête 1 (versie PD 1) (enq4) Enquête 1 (versie SG 1) (enq7)

Versie 2 - gemanipuleerd

Enquête 2 (versie GF 2) (enq2) Enquête 2 (versie PD 2) (enq5) Enquête 2 (versie SG 2) (enq8)

Versie 3 – semi gemanipuleerd

Enquête 3 (versie GF 3) (enq3) Enquête 3 (versie PD 3) (enq6) Enquête 3 (versie SG 3) (enq9) Tabel 13. Soorten enquêtes in online survey-tools.

Tot slot is de verwachting dat de progress indicator enige invloed zal hebben op de respondenten. Hoe duidelijker de progress indicator aangeeft hoe ver de respondent in de enquête gevorderd is, hoe minder satisficing op zal treden. Respondenten zijn meer geneigd uitgebreider te antwoorden of preciezere antwoorden te geven op de vragen, wanneer zij weten waar ze aan toe zijn (Tourangeau et.al., 2013: 6.6). Een ‘slechte’ progress indicator kan het humeur van de respondent beïnvloeden en daarmee de resultaten.

34