Lay-out van de online survey-tools

De drie verschillende enquêtes zijn in drie verschillende tools geplaatst. De resultaten van dezelfde enquêtes zijn hierboven vergeleken per tool. Er is gekeken of het effect van de manipulatie van de vragen (gesloten vragen (H1a) en open vragen (H1b)) ontstaat door de verschillende online survey-tools die gebruikt worden, omdat per tool de weergave van de manipulatie verschilt (H2a en H2b).

In beginsel zou er geen significant verschil op moeten treden, omdat de enquêtes allemaal tenslotte precies hetzelfde zijn. Indien er verschillen optreden, valt dit toe te rekenen aan de lay-out van de drie verschillende tools. De analyse heeft uitgewezen welke invloed de lay-out van de drie online survey-tools en de specifieke kenmerken van elke tool hebben op de resultaten. De verwachting is dat satisficing in mindere mate op zal treden wanneer er gebruik wordt gemaakt van een matrix bij de gesloten vragen dan wanneer de vragen onder elkaar worden geplaatst (H3). Ook is de verwachting dat satisficing in mindere mate zal optreden wanneer respondenten bij de matrix niet hoeven te scrollen in de antwoorden (H4). De hypotheses 3 en 4 gelden alleen voor de tools GoogleForms en PollDaddy. Tot slot was de verwachting dat satisficing in mindere mate op zal treden bij een grafisch-tekstuele progress

indicator (in plaats van een grafische of tekstuele) (H5).

H2a: Gesloten vragen deel 1

De verschillende tools zijn per onderdeel van de enquête met elkaar vergeleken. Uit de one-way Anova blijkt dat voor het eerste gedeelte van de gesloten vragen de tools significant van elkaar verschillen (F (df = 2) = 3,069, p = 0,048). De gemiddelden van Sogo Survey en PollDaddy in tabel 20 verschillen duidelijk van elkaar, terwijl de gemiddelden van Sogo Survey en GoogleForms veel dichter bij elkaar liggen. In tabel 4.8 in bijlage 2 is te zien dat Sogo Survey significant verschilt van PollDaddy. GoogleForms verschilt van beide tools niet significant. Het gemiddelde van PollDaddy ligt het laagst, wat betekent dat er in PollDaddy meer sprake is van non-differentiatie. Er is minder verschillend geantwoord op de gesloten vragen in PollDaddy dan in de andere twee tools.

Enquête Aantal Gemiddelde Soort Aantal Gemiddelde

sogo1 30 ,6500 Sogo 87 ,7529 sogo2 29 ,9483 sogo3 28 ,6607 google1 26 ,6538 Google 79 ,6883 google2 26 ,8077 google3 25 ,6000 polldaddy1 39 ,5128 PollDaddy 98 ,5561 polldaddy2 27 ,7963 polldaddy3 32 ,4063 F-waarde: 2,758** F-waarde: 3,069*

Tabel 20 – gemiddelden van de standaarddeviaties tools eerste deel gesloten vragen – One way Anova *: p < 0,05. **: p < 0,01.

40

H2b: Gesloten vragen deel 2

Ook wat betreft het tweede gedeelte van de gesloten vragen, zijn er enige verschillen tussen de tools te zien. Over het geheel verschillen de drie tools significant van elkaar wat betreft dit onderdeel van de enquête (F (df = 2) = 16,929, p = 0,001).

Wanneer de tools met elkaar worden vergeleken, is te zien dat de gemiddelden van tool Sogo Survey en tool GoogleForms dicht bij elkaar liggen (tabel 21). Opvallend is dat PollDaddy ook voor het tweede gedeelte van de gesloten vragen erg sterk verschilt van de andere twee tools (zie tabel 5.8 bijlage 2). In de tools worden drie precies dezelfde enquêtes gegenereerd dus het zou logisch zijn als de tools niet significant van elkaar zouden verschillen, omdat er tenslotte dezelfde vragen worden gesteld.

Enquête Aantal Gemiddelde Soort Aantal Gemiddelde

sogo1 30 1,2640 Sogo 87 1,3333 sogo2 29 1,2993 sogo3 28 1,4429 google1 26 1,3262 Google 79 1,3517 google2 26 1,4338 google3 25 1,2928 polldaddy1 39 1,0923 PollDaddy 98 ,9891 polldaddy2 27 ,9259 polldaddy3 32 ,9167 F-waarde: 5,064** F-waarde: 16,929**

Tabel 21 – gemiddelden van de standaarddeviaties tools tweede deel gesloten vragen – One way Anova *: p < 0,05. **: p < 0,01.

H3 en H4: de matrix

Bij het tweede gedeelte van de gesloten vragen is bij tool GoogleForms en tool PollDaddy een matrix toegevoegd om de laatste vier gesloten vragen overzichtelijk in de enquête te plaatsen. Bij tool Sogo Survey zijn de vier open vragen onder elkaar geplaatst zoals bij het eerste gedeelte van de gesloten vragen. Tool Sogo Survey verschilt echter niet significant van tool GoogleForms (tabel 5.8 bijlage, p = 0,805), maar heeft wel significant andere verschillen dan PollDaddy (p = 0,000). Ook van alle enquêtes onderling (nr. 1 t/m 9) zijn er alleen significante verschillen te vinden tussen Sogo Survey en de enquêtes van PollDaddy (tabel 5.3, bijlage 2).

In tool GoogleForms moeten de respondenten scrollen (naar rechts) in de matrix om de laatste antwoorden te zien en eventueel aan te klikken. Tool GoogleForms en tool PollDaddy verschillen dan ook significant van elkaar wat betreft het tweede gedeelte van de gesloten vragen in de enquête (de vragen die in de matrix zijn opgenomen) (tabel 5.3, bijlage 2). Als er gekeken wordt naar de uitkomsten van alle enquêtes onderling, is te zien dat de gemiddelden van PollDaddy een stuk lager liggen dan de gemiddelden van Google (tabel 21). Bij PollDaddy is er dus meer sprake van non-differentiatie.

H5: progress indicator

Uit de theorie blijkt dat een progress indicator van invloed kan zijn op het gedrag van de respondent. Wanneer respondenten niet op de hoogte worden gehouden van de lengte van de

41

enquête, bestaat de kans dat zij eerder stoppen of de enquête helemaal niet invullen (Tourangeau et.al, 2013: 6.6, Villar et.al, 2013: 744).

Tool PollDaddy heeft als enige tool een afwijkende progress indicator, namelijk een tekstuele in plaats van een grafisch-tekstuele progress indicator (afbeelding 5). Er is bij de gesloten vragen van deze tool sprake van meer straight line responding dan bij de andere twee tools (tabel 17, 18, 20, 21) en bij de open vragen is het percentage respondenten dat extra redenen geeft meestal lager ten opzichte van het percentage in de tool Google en tool SoGo (tabel 19). De significantie-niveaus van de enquêtes van tool PollDaddy ligt ook continu veel lager op alle onderdelen dan de significantie-niveaus van de enquêtes uit de andere twee tools (bijlage 2: tabel 4.8, 5.2, 5.9, 6.9, 7.9).

42