Over het algemeen was het aantal handelingen hoger voor de CAPI-interviews (gemiddeld aantal 5.5, sd = 5.6) dan voor de CATI-interviews (gemiddeld 4.8, sd = 3.9). In de CAPI-interviews was de modus van het aantal handelingen twee; wat laat zien dat de meeste interacties bestonden uit de kortst mogelijke versie van de paradigmatische sequentie: het stellen van de vraag en het geven van een ant- woord. In de CATI-interviews was de modus drie handelingen, wat aantoont dat vaak een derde handeling, zoals het erkennen van het antwoord, noodzakelijk was. Echter, echt lange interacties komen met name vaker voor bij de CAPI-inter- views dan bij de CATI-interviews (zie figuur 1). In één CAPI-interview bestond de interactie uit maar liefst 88 handelingen (dit betrof de vraag B24: “Alles bij elkaar
genomen, hoe tevreden bent u vandaag de dag met uw leven in het algemeen?”). Het aantal handelingen was niet normaal verdeeld: noch in de CATI-interviews (Shapiro W = 0.65, p <0.01, Skewness 3.566) noch in de CAPI-interviews (W = 0.59,
p <0.01, Skewness 4.45) en logtransformaties voor het aantal handelingen lever- den geen verdelingen op die dicht genoeg bij de normaal verdeling lagen (W = 0.89, p <0.01, Skewness 0.94). Daarom werden bij het testen van verschillen tus- sen de modi niet-parametrische toetsen (Mann Whitney U) gebruikt.
Figuur 1 Aantal handelingen binnen VA-sequenties per afnamemethode
Bij een vergelijking van het aantal handelingen in een VA-sequentie per vraag, vin- den we enkele vragen met een groter aantal handelingen in de CATI-interviews dan in de CAPI-interviews, terwijl voor andere vragen het omgekeerde wordt gevonden. Bijvoorbeeld, item B32 toont een significant groter aantal handelingen voor CATI (gemiddeld 6 handelingen) terwijl voor CAPI het gemiddelde aantal handelingen dicht bij de verwachting ligt van maximaal drie handelingen voor paradigmatische sequenties (gemiddeld 3 handelingen, W = 2355, p <0.01). Zoals figuur 2 laat zien, heeft item B32 betrekking op een attitudevraag, waarbij de interviewer een stelling voorleest, waar respondenten op een vijfpunts-antwoordschaal moeten aangeven in hoeverre zij het eens zijn met de stelling.
6 Zoals berekend door R package e1071 0 200 400 600 800 1000
CAPI (n = 54 interviews, 3175 VA-sequenties) CATI (n = 60 interviews, 3786 VA-sequenties)
>40 30-39 20-29 10-19 9 8 7 6 5 4 3 2 aantal handelingen
B32. Politieke partijen die de democratie omver willen werpen moeten worden verboden.
• Helemaal mee eens • Eens
• Niet eens, niet oneens • Oneens
• Helemaal oneens
Figuur 2 Item B32 van de ESS-vragenlijst
Fragment 2 laat zien wat voor soort verwarring de vraagstelling van vraag B32 kan oproepen in CATI-interviews. De interviewer stelt de vraag precies zoals ver- woord in de vragenlijst en leest vervolgens de antwoordmogelijkheden op. De respondent geeft vervolgens met “Eh niet mee eens” een niet passend antwoord, waarop de interviewer een suggestie doet (“oneens doen?”), en na het uitblijven van een reactie nog een aantal opties voorlegt; steeds wanneer de respondent aarzelt komt er nog een optie bij. Aangezien er geen toonkaarten worden gebruikt in CATI, hebben respondenten in deze modus veel meer moeite om de vijfpunts- antwoordschaal te onthouden dan in CAPI, waar respondenten de antwoordalter- natieven van een toonkaart kunnen lezen.
Fragment 2 VA-sequentie ESS-item B32
I: Politieke partijen die de democratie omver willen werpen moeten worden verboden.
I: Bent u het hier helemaal mee eens, mee eens, niet eens niet oneens, oneens, of helemaal oneens.
R: Eh niet mee eens.
I: Even kijken, oneens doen? I: Of niet eens niet oneens R: Eh
I: In het midden?
R: Ik ben het er niet mee eens.
I: U bent het er niet mee eens, dus echt oneens of helemaal oneens? R: Oneens.
I: Oneens.
Item B35 (zie figuur 3) leverde juist langere interactie op in CAPI-interviews (6.8) dan in CATI-interviews (4.6, W = 2180, p <0.01). Dit betreft een vraag met een ordinale responsschaal.
B35. Nu volgen enkele vragen over mensen uit andere landen die in Nederland komen wonen. Gebruik deze kaart. In welke mate vindt u dat Nederland mensen van dezelfde huidskleur of dezelfde etnische groep als de meeste Nederlanders zou moeten toelaten om hier te komen wonen en leven? Het Nederlands beleid moet…
• Velen toelaten om hier te komen wonen en leven • Een aantal toelaten
• Enkelen toelaten • Niemand toelaten
B36. En wat is uw mening met betrekking tot mensen van een andere huidskleur of etnische groep dan de meeste Nederlanders? Het Nederlands beleid moet… Gebruik nog steeds deze kaart.
• Velen toelaten om hier te komen wonen en leven • Een aantal toelaten
• Enkelen toelaten • Niemand toelaten
Figuur 3 Items B35 en B36 van de ESS-vragenlijst
Zoals uit fragment 3 blijkt, veroorzaken de antwoordcategorieën in dit geval ver- warring omdat de tweede (enkele toelaten) en de derde (enkele toelaten) elkaar niet uitsluiten. In de eerste regel is te zien dat de interviewer hier een fout maakt door twee vragen (B35 en B36) door elkaar te lezen: “een andere huidskleur [B36] of dezelfde etnische groep [B35]”. Het laatste deel van de vraag (originele vraag- tekst ’Het Nederlands beleid moet…’) wordt door de interviewer ook anders gefor- muleerd. De respondent geeft vervolgens aan de twijfelen tussen de twee opties die lastig van elkaar te onderscheiden zijn.
Fragment 3 VA-sequentie ESS-item B35
I: Eh mm eh volgen enkele vragen over mensen uit an andere landen die in Nederland komen wonen.
I: En op kaart 6 eh
I: In welke mate vindt u dat Nederland mensen van andere huidskleur of met dezelfde etnische groep als de meeste Nederlanders zouden moeten toelaten om hier te komen wonen en leven?
I: Eh wat moet het Nederlands beleid doen? R: mm
andere landen erg eh in gevaar zijn I: Ja
R: moet je eigenlijk altijd toelaten. R: Dus eh
I: Wat zou u antwoorden? R: Eh doe maar eh een aantal.