Onderzoek naar de kwaliteit van marktonderzoeken

Marktonderzoek onderzocht

Onderzoek naar de kwaliteit van marktonderzoeken

door

K.E.M. Nijenhuis

Marktonderzoek onderzocht

Onderzoek naar de kwaliteit van marktonderzoeken

Groningen, mei 2006

Doctoraalscriptie Rijksuniversiteit Groningen Faculteit Bedrijfskunde

Afstudeerrichting Marketing

Naam: Kim E.M. Nijenhuis

Studentnummer: 1273280 Groningen, 2006

Afstudeerbegeleiders Rijksuniversiteit Groningen:

Eerste begeleider: dr. T.L.J. Broekhuizen Tweede begeleider: dr. N. Borgers

Quality is never an accident; it is always the result of

intelligent effort.

Voorwoord

Deze scriptie is het eindresultaat van mijn afstudeeronderzoek bij marktonderzoeksbureau Bedrijf X. Toen ik begon met mijn afstudeerstage werkte ik al bijna drie jaar bij dit bedrijf als enquêteur. Ik kende het bedrijf, haar werkzaamheden en de mensen dus al erg goed. Dit heeft mij erg geholpen, ik wist de weg en door het informele karakter van mijn stage had ik veel openingen om tot de benodigde bedrijfsinformatie te komen.

Toch had ik van tevoren niet kunnen bedenken dat er met zoveel facetten rekening moet worden gehouden bij het uitvoeren van marktonderzoeken en specifiek panelonderzoeken.

Met dank aan deze stage heb ik een dieper inzicht gekregen op het brede karakter van marketing. Dit zou niet mogelijk zijn geweest zonder de hulp van verschillende mensen. Als eerste wil ik graag alle medewerkers van Bedrijf X bedanken, en specifiek mijn bedrijfsbegeleidster Karen Blaakmeer. Met veel inzet en enthousiasme voor het vak heeft zij mij erg geholpen bij het uitvoeren van mijn onderzoek. Mede dankzij haar heb ik zes leuke en interessante maanden gehad waar ik even mocht ruiken aan het werkende leven.

Daarnaast wil ik mijn stagebegeleider Thijs Broekhuizen erg bedanken voor alle kritische feedback, nieuwe ideeën, adviezen en motiverende woorden. Dankzij zijn kennis over en ervaring met internetmarketing heb ik dit verslag naar volle tevredenheid kunnen afronden.

Ook wil ik mijn tweede begeleidster Natacha Borgers bedanken voor het mede beoordelen van dit afstudeerverslag.

Als laatste wil ik graag mijn ouders, familie en vrienden bedanken voor hun support en steun, zonder hen had ik deze opleiding niet zo snel kunnen afronden. Nu ik deze scriptie af heb rest mij het komende jaar nog maar één ding: de master arbeids- en organisatiepsychologie binnenhalen!

Kim Nijenhuis Groningen, mei 2006

Managementsamenvatting

Bedrijf X is een marktonderzoekbureau dat marktonderzoeken uitvoert voor verschillende organisaties. In de markt is een aantal belangrijke veranderingen gaande welke de werkzaamheden van Bedrijf X beïnvloeden. Er bestaat grote concurrentie tussen de vele onderzoeksbedrijven en de klant eist steeds meer tegen steeds lagere kosten. De kwaliteit van de marktonderzoeken is dus van groot belang om niet achter te komen op de concurrentie. Om te kijken hoe het is gesteld met de kwaliteit van de onderzoeken van Bedrijf X, is in opdracht van de eigenaren van Bedrijf X een onderzoek uitgevoerd om dit te bepalen. De volgende doel- en vraagstelling staan hierbij centraal:

Doelstelling:

Inzicht verkrijgen in de kwaliteit van de marktonderzoeken van Bedrijf X en bekijken welke factoren verbeterd kunnen worden om de kwaliteit van de onderzoeken te waarborgen en waar mogelijk te verbeteren.

Vraagstelling:

Wat is op dit moment de kwaliteit van de marktonderzoeken van Bedrijf X en op welke manieren kan deze kwaliteit gewaarborgd en mogelijk verbeterd worden?

In dit onderzoek wordt er van uit gegaan dat de kwaliteit van marktonderzoeken in te delen is in betrouwbaarheid en validiteit van de onderzoeken en de representativiteit van het panel van Bedrijf X. In dit onderzoek worden deze drie criteria gemeten om de kwaliteit van marktonderzoeken te bepalen. De betrouwbaarheid van de marktonderzoeken wordt weer door twee belangrijke factoren bepaald, te weten de onderzoeksmethode en het gedrag van panelleden.

Bedrijf X maakt gebruik van meerdere methoden om onderzoek te doen. Het panel kan op drie manieren worden benaderd, namelijk via online onderzoek (internet), offline onderzoek (telefonisch) en hybride onderzoek (beide methoden voor één onderzoek). Uit de literatuur blijkt dat er verschillen zijn in de antwoorden van panelleden die online en offline meedoen.

Bedrijf X maakt echter nog geen onderscheid tussen de twee methoden. De resultaten van beide methoden worden samengevoegd en naar de klant gestuurd. Bedrijf X wil weten of de soort methode invloed heeft op de kwaliteit van hun marktonderzoeken.

Daarnaast rijst bij Bedrijf X de vraag of het gedrag van haar panelleden invloed heeft op de kwaliteit van hun marktonderzoeken. Zo wil Bedrijf X weten of er enquêtemoeheid ontstaat bij panelleden naarmate hun lidmaatschap vordert en wat de invloed hiervan is op de kwaliteit van de marktonderzoeken. Tevens wil men weten of het gebruik van beloningen invloed heeft op de kwaliteit van hun marktonderzoeken.

Om de betrouwbaarheid, validiteit en representativiteit te meten is in dit onderzoek gebruik gemaakt van twintig, zowel online als offline, onderzoeken die Bedrijf X heeft uitgezet in Panel X. De volgende acht variabelen worden gebruikt om de betrouwbaarheid te bepalen, te weten online versus offline onderzoeken, lidduur van panelleden, deelnamemoment, non- respons, snelle versus niet snelle respondenten, responspercentages demografische groepen, benaderfrequentie en beloningsstructuur. Met behulp van SPSS en databases van Bedrijf X is het effect van deze variabelen gemeten op de kwaliteit van de Panel X.

Er kan een aantal opvallende conclusies getrokken worden naar aanleiding van het onderzoek. Als eerste is gebleken dat de duur van het lidmaatschap geen significante effecten heeft op de kwaliteit van Panel X wat betreft de variabelen die onderzocht zijn. Er treedt bij de panelleden namelijk geen enquêtemoeheid op naarmate men langer lid is.

Daarnaast is de interne samenhang binnen de onderzoeken onderzocht. De interne samenhang is voldoende hoog, dit zijn dus positieve punten voor Bedrijf X. Er zijn wel significante verschillen gevonden tussen de twee methoden met betrekking tot de antwoorden van offline en online panelleden. Online panelleden geven vaker het antwoord

‘weet niet/geen mening’, maar geven daarentegen wel meer antwoorden bij meerdere- antwoorden-mogelijk vragen. Wat betreft primacy en recency effecten kan geconcludeerd worden dat online panelleden wel meer eerste en laatste antwoorden geven, maar dit kan ook liggen aan het feit dat online panelleden sowieso meer antwoorden geven. Als we kijken naar de resultaten binnen beide methoden van onderzoek kan geconcludeerd worden dat offline panelleden meer laatste antwoorden geven en online panelleden meer eerste antwoorden. Dit is wel in overeenstemming met de hypothesen die vooraf gesteld zijn. Deze primacy en recency effecten kunnen opgelost worden door de antwoordschalen te randomiseren. Elk panellid krijgt de antwoorden dan in willekeurige volgorde. Een andere mogelijkheid is om de uitkomsten van beide methodes te scheiden in de rapportage. Op deze manier kan de klant de resultaten van beide methodes bekijken.

Uit de resultaten komt tevens naar voren dat het deelnamemoment (moment van de dag) geen invloed heeft op de antwoorden van panelleden. Wat betreft de achtergrondvariabelen zijn er significante verschillen in responspercentage van de verschillende leeftijdsgroepen.

Panelleden ouder dan 70 jaar hebben een lager responspercentage dan jongeren tot en met 29. Er zullen dus meer ouderen uitgenodigd moeten worden om het gewenste responspercentage te behalen. Het is aan te bevelen om het panelbestand met ouderen uit te breiden, zodat ouderen niet te vaak benaderd worden voor een nieuw onderzoek. In dit onderzoek is ook het effect van beloningen op de antwoorden van panelleden onderzocht.

Geconcludeerd kan worden dat panelleden die een extrinsieke beloning krijgen meer extreme antwoorden geven, meer antwoorden geven bij meerdere-antwoorden-mogelijk vragen en minder vaak het antwoord ‘weet niet’ geven. Panelleden van Panel X krijgen een extrinsieke beloning en het lijkt dus verstandig hier mee door te gaan. Een laatste belangrijke conclusie omvat het uitzetten van spoedonderzoeken. Uit onderzoek blijkt dat er geen significante verschillen zijn tussen panelleden die dezelfde dag nog de vragenlijst invullen en panelleden die dit op een later tijdstip doen. Bedrijf X kan dus door blijven gaan met het uitzetten van spoedonderzoeken.

In dit onderzoek is een begin gemaakt met het meten van de validiteit van de onderzoeken van Bedrijf X. In dit onderzoek is de convergente validiteit gemeten in twee onderzoeken. Dat wil zeggen dat er gemeten is of de items die een bepaald construct meten ook daadwerkelijk het construct meten. In beide onderzoeken was de validiteit voldoende, maar om met meer zekerheid hierover uitspraken te kunnen doen, zal Bedrijf X dit in de toekomst uitgebreider moeten meten. Het is belangrijk om de validiteit van de onderzoeken hoog te houden, aangezien een lage validiteit de kwaliteit kan aantasten.

Als laatste is in dit onderzoek gekeken naar de representativiteit van de panelleden van Bedrijf X. Bedrijf X heeft een goede representativiteit van haar panelleden als het gaat om demografische factoren (leeftijd e.d.). De hoeveelheden panelleden binnen elke demografische variabele zijn gekoppeld aan het CBS. Bedrijf X oefent hier ook veel controle op uit, ze hebben onder andere een stop op de aanmeldingen voor bepaalde groepen zodat deze groepen niet overbezet raken in het panel. Het grote voordeel van panels is dan ook dat je precies weet wie je benadert voor welke onderzoeken. Bedrijf X maakt nog geen

Daarnaast kun je in bepaalde gevallen met behulp van psychografische variabelen bevindingen beter verklaren. Bij een specifiek onderzoek heeft Bedrijf X bijvoorbeeld psychografische achtergrondgegevens nodig om de antwoorden van de panelleden goed te kunnen interpreteren. Je kunt dit in het onderzoek vragen, maar het is beter om dit voor het onderzoek al te weten. Je kunt op deze manier namelijk makkelijker de sample vaststellen.

Uit dit alles blijkt dat de kwaliteit van de Panel X al op een redelijk hoog niveau zit, maar dat er op een aantal punten nog verbeteringen mogelijk zijn.

Aanbeveling 1: verschillen tussen online en offline onderzoek minimaliseren bij hybride onderzoeken

Doordat er significante verschillen bestaan tussen de antwoorden van panelleden die offline en online aan de onderzoeken meedoen, kunnen er mogelijk primacy en recency effecten optreden. Deze effecten zijn te voorkomen door waarderings- en meerkeuzevragen te randomiseren. Daarnaast geven offline panelleden vaker hetzelfde antwoord bij waarderings- en rapportcijfervragen wat wellicht voorkomen kan worden door enquêteurs te instrueren door te vragen om de antwoorden te specificeren. Uit dit onderzoek is tevens gebleken dat offline panelleden meer sociaalwenselijke antwoorden geven. Bedrijf X kan proberen dit te voorkomen door haar enquêteurs instructies te geven zo neutraal mogelijk te blijven, zodat het voor panelleden niet vervelend is om eerlijke antwoorden te geven. Het is van belang, gezien de mogelijke verschillen tussen online en offline onderzoeken, een duidelijk onderscheid hierin te maken in de rapportages. Dit kost meer tijd, maar behoudt wel de voordelen van hybride onderzoeken.

Aanbeveling 2: effect van beloningen

Het is verstandig als Bedrijf X op dezelfde manier doorgaat voor wat betreft het belonen van haar panelleden. Panelleden van de Panel X blijken de meeste antwoorden te geven en het minst vaak het antwoord ‘weet niet’. Een beloning per vraag is dus gunstig in vergelijking met een vooraf gestelde beloning of zonder extrinsieke beloning.

Aanbeveling 3: responspercentages achtergrondgroepen

Het blijkt dat ouderen minder snel deelnemen aan een onderzoek. Om toch een voldoende hoge respons van panelleden ouder dan zeventig te krijgen, dient Bedrijf X in verhouding meer ouderen dan jongeren uit te nodigen. Dit kan het gebruik van reminders voorkomen.

Ook kan zij haar bestand mogelijk uitbreiden met betrekking tot deze doelgroep.

Aanbeveling 4: representativiteit panel

Op dit moment wordt er binnen de Panel X nog niet gekeken naar psychografische doelgroepen of gedragsgroepen. Bedrijf X doet er verstandig aan dit in de nabije toekomst verder te onderzoeken om sampling error te voorkomen.

Aanbeveling 5: enquêtemoeheid

Momenteel blijkt er bij Bedrijf X geen sprake te zijn van panelmoeheid onder haar panelleden. Belangrijke oorzaak voor deze enquêtemoeheid kan gelegen zijn in het stellen van te veel of te lange vragen. Het is dus van belang hier rekening mee te houden.

Aanbeveling 6: validiteit en interne samenhang

Er is nog weinig bekend over de validiteit van de onderzoeken van Bedrijf X. In dit onderzoek is een aanzet hiervoor gedaan en het is gebleken dat de validiteit in beide uitgevoerde onderzoeken voldoende is gebleken. Het is echter belangrijk de validiteit in de toekomst nader te onderzoeken, liefst bij onderzoeken die vaker uitgevoerd worden. Zodra Bedrijf X dan meer inzicht heeft in de validiteit van haar onderzoeken, kan zij wellicht een standaardvragenlijst opstellen voor bijvoorbeeld bepaalde bedrijfstakken. Ook dient er gekeken te worden naar de interne samenhang binnen de onderzoeken met behulp van bijvoorbeeld Cronbach’s alpha. Deze interne samenhang was voldoende hoog voor twee onderzoeken, maar Bedrijf X zal dit op grotere schaal moeten meten om dit te kunnen blijven waarborgen.

Aanbeveling 7: interviewer error

Uit de theorie is gebleken dat interviewer error grote invloed kan hebben op de kwaliteit van marktonderzoeken, voornamelijk bij sociaalgevoelige onderzoeken. In dit onderzoek is interviewer error niet aan bod gekomen, maar het is belangrijk dat Bedrijf X hier in de toekomst verder onderzoek naar doet. Bedrijf X kan haar enquêteurs bijvoorbeeld op verschillende manieren stimuleren en motiveren door het maken van specifieke instructies om zo interviewer error te voorkomen.

Aanbeveling 8: controle internetpanelleden

Het is voor Bedrijf X moeilijk om controle uit te oefenen op panelleden die via internet meedoen aan de onderzoeken. Een manier om controle uit te oefenen is door te kijken naar de invultijd. Bedrijf X kan een maximale invultijd invoeren; komt men daar overheen dan zal deze respons geschrapt worden uit het onderzoek.

Deze aanbevelingen om de kwaliteit van de marktonderzoeken te verbeteren brengen kosten met zich mee. Bedrijf X dient deze, aan de klant doorberekende extra kosten, goed te verklaren. Het moet aan klanten duidelijk worden gemaakt dat de voordelen van de maatregelen op langere termijn zullen opwegen tegen de extra kosten. Bedrijf X dient echter wel te kijken naar mogelijke minimalisering van deze extra kosten, door bijvoorbeeld standaardisatie van de controleprocessen, om zo concurrerend te kunnen blijven qua kostprijs.

Inhoudsopgave

Inleiding ... 11

Hoofdstuk 1 Bedrijfsomschrijving ... 12

§1.1 Omschrijving Bedrijf X... 12

§1.2 Omschrijving Panel X ... 12

§2.1 Aanleiding voor het onderzoek... 14

§2.2 Probleemstelling... 16

§2.3 Begrippenverklaring... 17

§2.4 Conceptueel model ... 18

§2.5 Randvoorwaarden ... 19

§2.6 Opbouw onderzoeksrapport ... 19

Hoofdstuk 3 Verschillen tussen online en offline onderzoek ... 20

§3.1 Tijd respondent... 20

§3.2 Snelheid ... 21

§3.3 Sociaal wenselijke antwoorden ... 21

§3.4 Open vragen ... 21

§3.5 Antwoorden respondenten (m.b.t. demografische factoren) ... 22

§3.6 Grafische mogelijkheden... 22

§3.7 Primacy / recency effecten ... 22

§3.8 Kosten (m.b.t. dataverzameling) ... 23

§3.9 Representativiteit... 23

§3.10 Mogelijkheden antwoordschalen... 24

§3.11 Responspercentages ... 24

§3.12 Interview bias ... 26

§3.13 Controlemogelijkheden ... 26

§3.14 Privacy ... 26

§3.15 Korte samenvatting ... 27

Hoofdstuk 4 Kwaliteit marktonderzoeken ... 28

§4.1 Indicatoren van betrouwbaarheid ... 28

§4.1.1 Sampling errror ... 30

§4.1.2 Non-sampling error ... 30

§4.1.3 Researcher error ... 31

§4.1.4 Interviewer error... 31

§4.1.5 Respondent error ... 32

§4.1.6 Panelgedrag ... 33

§4.2 Indicatoren van validiteit ... 36

§4.2.1 Face validiteit ... 36

§4.2.3 Criteria-gerelateerde validiteit... 37

§4.2.4 Construct validiteit ... 37

§4.3 Indicatoren van representativiteit ... 38

§4.4 Factoren die betrouwbaarheid, validiteit en representativiteit bepalen... 38

§4.4.1 Online vs. Offline onderzoeken (invloed methode) ... 39

§4.4.2 Lidduur panelleden (panelprofessionaliteit)... 39

§4.5 Maten... 41

Hoofdstuk 5 Analyse ... 43

§5.1 Toetsing betrouwbaarheid... 43

§5.1.1 Cronbach’s alpha... 43

§5.1.2 Online versus Offline ... 44

§5.1.3 Lidduur ... 49

§5.1.4 Deelnamemoment... 54

§5.1.5 Non response (reminders) ... 55

§5.1.6 Snelle respondenten... 58

§5.1.7 Achtergrondgroepen... 61

§5.1.8 Benaderfrequentie ... 64

§5.1.9 Beloningen ... 68

§5.2 Toetsing validiteit ... 71

§5.2.1 Onderzoek Intratuin... 71

§5.2.2 Onderzoek Zuid Limburg... 72

H6 Conclusies, aanbevelingen en evaluatie ... 73

§ 6.1 Conclusies met betrekking tot betrouwbaarheid ... 73

§ 6.2 Conclusies met betrekking tot validiteit ... 74

§ 6.3 Conclusies met betrekking tot representativiteit ... 74

§ 6.4 Antwoord op de hoofdvraag ... 75

§ 6.5 Aanbevelingen ... 75

Literatuur ... 79 Bijlagen ... Error! Bookmark not defined.

Bijlagen ... Error! Bookmark not defined.

Inleiding

Vandaag de dag worden inwoners van Nederland veelvuldig telefonisch benaderd voor marktonderzoeken, soms tot grote irritatie van de mensen. Er zijn echter veel meer soorten marktonderzoeken en er zijn veel manieren waarop men marktonderzoek kan doen. Dit onderzoek is gericht op één specifieke manier van marktonderzoek, namelijk panelonderzoek. Bedrijf X is een marktonderzoekbureau met een eigen panel, bestaande uit 10.000 panelleden. Het is een redelijk jong bedrijf met een groot groeipotentieel. De eigenaren van Panel X weten echter niet precies wat nu de kwaliteit van hun marktonderzoeken is. De kwaliteit van marktonderzoeken hangt van veel factoren af, onder andere van de methode van onderzoek en het panelgedrag. Dit zijn twee factoren waar Bedrijf X nog niet veel over weet, maar wel erg geïnteresseerd in is. Deze twee factoren bepalen namelijk voor een groot gedeelte de kwaliteit van hun marktonderzoeken en daarom vormen deze punten de basis voor dit onderzoek.

Over het gedrag van panelleden is nog niet veel onderzoek gedaan. De eigenaren van Bedrijf X hebben hier echter wel een mening over. Zij verwachten dat er op den duur mogelijk panelmoeheid kan ontstaan bij panelleden. Dit zou een negatieve invloed hebben op de kwaliteit van de onderzoeken. In dit onderzoek zal onder andere worden onderzocht of er binnen Panel X sprake is van panelmoeheid.

Tevens kan de methode van marktonderzoek invloed hebben op de kwaliteit van hun marktonderzoeken. Zij doen op twee manieren panelonderzoek, namelijk online (internet) en offline (telefonisch). Daarnaast doen ze hybride onderzoek, dat wil zeggen zowel de online als offline methode binnen één bepaald onderzoek. De resultaten van beide methoden worden bij elkaar gevoegd en in zijn totaliteit naar de klant opgestuurd. De vraag rijst nu of er geen verschillen zijn tussen online en offline onderzoek. Geven panelleden die via internet meedoen dezelfde antwoorden als dat ze zouden hebben gegeven als ze per telefoon waren benaderd?

In dit onderzoek zal dus de kwaliteit van Panel X gemeten worden met behulp van beide factoren. Voordat de onderzoeksopzet aan bod komt, zal er nu eerst een beschrijving van Bedrijf X en Panel X zelf aan bod komen.

Hoofdstuk 1 Bedrijfsomschrijving

In dit hoofdstuk zal als eerste het bedrijf Bedrijf X nader uiteengezet worden. Hierna zal uitgelegd worden hoe het panel van Bedrijf X, Panel X, precies werkt.

§1.1 Omschrijving Bedrijf X

Bedrijf X is een marktonderzoeksbureau gevestigd te Groningen en Amsterdam. Het is opgericht in 1992 door Steven Noordam en Ivo van den Brink. Bedrijf X ondersteunt bedrijven/instellingen bij hun marketingactiviteiten en marketingbeslissingen. B&N Marketing biedt een samenhangend pakket aan diensten, onderverdeeld in twee categorieën:

Marketinginformatie en Marketingsupport. Marketinginformatie omvat kwantitatief onderzoek, kwalitatief onderzoek, panelonderzoek, datamining en webmining. Marketingsupport bestaat uit ondersteunende diensten m.b.t. de praktische toepassing van marketinginformatie, zoals databases, DM-support, telesupport en marketingadvies.

Marketinginformatie

De filosofie van Bedrijf X is gericht op de lange termijn, terwijl hun aanpak naar snelheid streeft. Gericht op de lange termijn betekent in dit geval proberen een relatie op te bouwen met de klant. Zij geloven dat dit voor zowel de klant als voor Bedrijf X voordelen biedt.

Daarnaast streven zij naar volstrekte betrouwbaarheid, objectiviteit en openheid. Bedrijf X investeert veel in haar klanten en medewerkers, dit verdient zich op den duur terug is men van mening.

Bedrijf X werkt projectgericht, er zijn zeven projectmanagers. Zij zijn zelf verantwoordelijk voor de inhoud van het project waar zij aan werken. In het kantoor is naast de werkruimte voor de vaste medewerkers een ruimte voor alle enquêteurs, het callcenter. Bij Bedrijf X zijn ongeveer dertig enquêteurs werkzaam. Een aantal vaste klanten van Bedrijf X zijn de Leeuwarder Courant, het Financieele Dagblad, een aantal gemeentes in Nederland, Nationale Nederlanden, KPN, ANWB, ING Bank en Beckers.

De belangrijkste redenen die klanten aangeven waarom ze klant zijn bij Bedrijf X zijn de naar verhouding goedkope prijzen van de onderzoeken, de snelheid van de resultaten en de flexibiliteit met betrekking tot de mogelijkheden die er zijn. Klanten van Bedrijf X kunnen zelf bepalen welke vragen ze willen stellen en hoeveel vragen ze willen voorleggen aan de panelleden. De reden waarom Bedrijf X dit aanbiedt, is dat de klant vaak beter de branche kent waarin zij zitten dan Bedrijf X zelf. De klant kan daardoor ook beter bepalen hoe een finale consument en/of concurrent reageert als de klant iets verandert in haar beleid of aan haar producten. Bijkomend voordeel voor de klant zijn de lagere kosten. Doordat de klant zelf bepaalt hoe het onderzoek er uit komt te zien, hoeft Bedrijf X dit niet meer te doen en dit scheelt uiteraard in de kosten. Mocht een klant niet zelf willen bepalen welke vragen ze willen stellen, dan stelt Bedrijf X de vragen zelf op.

§1.2 Omschrijving Panel X

De Panel X is een consumentenpanel bestaande uit 10.000 panelleden, opgericht in 2002.

De Panel X heeft in de volgende landen panels: Nederland, Groot-Brittannië, Duitsland, Frankrijk, België en Italië. Het panel in Nederland is volgens Bedrijf X een precieze afspiegeling van de Nederlandse consumentenmarkt. Het panel is representatief op leeftijd, geslacht, regio, inkomen, gezinssamenstelling en arbeidsparticipatie. Panelleden hebben vooraf toestemming gegeven te worden benaderd voor een onderzoek, zij krijgen voor deelname tevens een vergoeding per vraag.

Panelleden moeten voor ze panellid worden een aantal gegevens invullen voor ze mee kunnen doen aan de onderzoeken. Deze achtergrondvariabelen zijn nodig om te bepalen of iemand in de juiste doelgroep valt en dus geschikt is voor een bepaald onderzoek. De Panel X is alleen geschikt voor B2C-marktonderzoek. Klanten van Bedrijf X kunnen zelf bepalen welke vragen ze willen stellen aan welke leden van het panel. Daarnaast kunnen ze zelf de onderzoeksmethode en analyse van de gegevens bepalen. Feit is dat de klant haar branche het beste kent, terwijl het Bedrijf X veel geld en tijd zou kosten om informatie in te winnen over de branche (en dit zou moeten doorberekenen aan de klant). Het is als het ware dubbel werk, aangezien de klant vaak al (bijna) alles over de branche weet. Marktonderzoek scheelt op deze manier veel tijd en geld voor de klant. Echter, als de klant hier om vraagt, doet Bedrijf X deze analyses zelf.

De Panel X kan gebruikt worden voor verschillende soorten marktonderzoek, zoals opinie- en naamsbekendheidsonderzoek, producttesting en concurrentieonderzoek. Er zijn tevens verschillende methodes mogelijk om het panel te benaderen, namelijk telefonisch, via internet, schriftelijk of face-to-face. De panelleden kunnen de onderzoeken online of telefonisch beantwoorden. Van de mensen die telefonisch worden benaderd, is geen emailadres beschikbaar en zij kunnen hierdoor niet via internet benaderd worden.

Zoals gezegd beoogt Bedrijf X een goede kwaliteit te leveren aan haar klanten tegen lage kosten. Dit betekent een hoge betrouwbaarheid en validiteit van de resultaten van de analyses en dus indirect een goede opzet van de marktonderzoeken. Zij baseren dit onder andere op de uitgebreide analyses die mogelijk zijn en de representativiteit van de panelleden. Wat betreft de analyses kan de klant zelf kiezen welke informatie ze allemaal willen hebben naar aanleiding van het onderzoek. Zo kunnen er diverse kruistabellen gemaakt worden van alle variabelen die zijn onderzocht.

Wat betreft de representativiteit heeft het management een specifiek Panel X-principe opgesteld: kwaliteit boven kwantiteit. Kort gezegd, de Panel X maakt gebruik van een kleiner panel dan veel andere panels, namelijk zo’n 10.000 panelleden. Bedrijf X vindt de kwaliteit en representativiteit van het panel belangrijker dan de hoeveelheid panelleden. De Panel X accepteert ook niet iedere aanmelding van potentiële panelleden; dit gaat oververtegenwoordiging van een bepaalde groep tegen. In verhouding melden zich namelijk meer jongeren dan ouderen aan en als Bedrijf X iedereen zou accepteren zou de verhouding niet meer in balans zijn. Daarnaast streeft Bedrijf X er naar een representatief panel te hebben doordat zij gebruik maken van meerdere methoden van marktonderzoek. Bij de Panel X is er sprake van een combinatie van online en telefonisch marktonderzoek, hierdoor kunnen alle bevolkingsgroepen worden vertegenwoordigd.

Na deze beschrijving van Bedrijf X en ‘Panel X’ zelf, zal nu de onderzoeksopzet uiteengezet worden.

H2 Onderzoeksopzet

In het vorige hoofdstuk is de organisatie Bedrijf X en hun product ‘Panel X’ uiteengezet. In dit hoofdstuk zal de onderzoeksopzet aan bod komen. Als eerste zal de aanleiding voor dit onderzoek beschreven worden, gevolgd door de probleemstelling. Naar aanleiding van de probleemstelling zullen het conceptueel model, een begrippenverklaring en de randvoorwaarden uitgewerkt worden.

§2.1 Aanleiding voor het onderzoek

Bedrijf X streeft er naar om een goede kwaliteit van hun marktonderzoeken te garanderen op basis van een representatief panel en de uitgebreide analyses. Met een aantal factoren dat de kwaliteit beïnvloedt wordt echter geen rekening gehouden. Om de kwaliteit van het onderzoek te bepalen worden vaak de volgende criteria in ogenschouw genomen:

betrouwbaarheid, validiteit en representativiteit.

Wat betreft de betrouwbaarheid van marktonderzoeken maakt Bedrijf X zoals eerder vermeld gebruik van verschillende methoden van marktonderzoek. Elke methode heeft een andere insteek, dus het is van groot belang om de opzet, die Bedrijf X gebruikt, van deze methoden te analyseren om de kwaliteit van de Panel X te maximaliseren. Uit meerdere wetenschappelijke studies is bijvoorbeeld gebleken dat personen verschillend reageren op dezelfde vragen bij verschillende methoden van onderzoek (Lehmann, 1979; Fricker and Schonlau, 2002; Dillman and Christian, 2005). Dit effect kan grote gevolgen hebben voor Bedrijf X, aangezien zij binnen Panel X zowel online als telefonisch marktonderzoek doen.

Op dit moment is de opzet voor beide methoden hetzelfde en Bedrijf X wil graag weten of dit gevolgen heeft op de kwaliteit van de gegevens die worden verkregen met de marktonderzoeken.

Aangezien panelgedrag (o.a. snelheid van antwoorden, moeite die panelleden doen om een vragenlijst in te vullen) tevens de kwaliteit van marktonderzoeken bepaalt, wil het managementteam van Bedrijf X graag meer inzicht in welke factoren het panelgedrag beïnvloeden. Bij aanvang van dit onderzoek was er weinig bekend over het gedrag van panelleden. Bedrijf X hoopt na dit onderzoek meer inzicht te hebben op het gedrag van panelleden.

Naast de betrouwbaarheid hebben tevens de validiteit van de marktonderzoeken en de representativiteit van de panelleden invloed op de kwaliteit van Panel X. De validiteit van de marktonderzoeken zegt iets over het feit dat men meet wat men beoogt te meten. De panelleden van Panel X zijn representatief op de volgende gebieden: geslacht, leeftijd, inkomen, regio en arbeidsparticipatie. Echter, het is misschien goed om tevens te kijken naar psychografische (hoe men over iets denkt) en/of gedragsvariabelen naast de demografische variabelen zoals leeftijd. Demografische variabelen zeggen niet altijd hoe iemand denkt en hoe iemand tegen bepaalde dingen aankijkt.

Samenvattend kan worden gezegd dat Bedrijf X meer wil weten over de validiteit en betrouwbaarheid van de onderzoeken die zij verrichten en de representativiteit van de panelleden, en met name de effecten van deze variabelen op de kwaliteit van Panel X. Dit is belangrijk vanwege een aantal factoren waar Bedrijf X rekening mee moet houden.

Zo is er momenteel een aantal veranderingen gaande in de omgeving van Bedrijf X. Het is daarom van groot belang up-to-date te blijven met betrekking tot bijvoorbeeld nieuwe technologieën om zodoende niet achter te blijven bij de concurrentie. Kennis over de

Belangrijke veranderingen in de omgeving zijn onder andere:

- Veel concurrentie van andere marktonderzoekbedrijven en interne marktonderzoeksafdelingen van organisaties

- Grotere vraag naar kwaliteit van klanten tegen lagere kosten

- Nieuwe technologieën om marktonderzoek te doen, bijvoorbeeld online kwalitatief marktonderzoek

De belangrijkste verandering die binnen de markt van Bedrijf X gaande is, is de hevige concurrentie die zij momenteel ondervinden. De belangrijkste concurrenten van Bedrijf X zijn TNS NIPO, De Vos en Jansen, No Ties, Bloomerce, Motivaction, Direct Research, Interview- NSS, GfK Panelservices, Intomart, Multiscope en Metrixlab.

Er zijn verschillende soorten concurrenten op de markt van Bedrijf X. Er zijn concurrenten die zich specifiek op één methode van marktonderzoek richten, bijvoorbeeld kwalitatief of kwantitatief onderzoek. Andere concurrenten doen verschillende soorten marktonderzoek.

Daarnaast zit er nog verschil in de soorten onderzoeken die concurrenten aanbieden. Zoals eerder gezegd kunnen bij Bedrijf X de volgende marktonderzoeken worden verricht:

naamsbekendheids-, tevredenheids- en opinieonderzoek, concurrentieonderzoek, campagnetests en nul- en éénmetingen Een aantal concurrenten richt zich specifiek op één of twee soorten marktonderzoeken en andere concurrenten hebben de mogelijkheid om ook meerdere soorten marktonderzoek te doen. Beiden worden gezien als belangrijke concurrenten voor Bedrijf X. De concurrenten die zich specifiek richten op enkele soorten marktonderzoek, kunnen zich hier volledig in specificeren. Zij hebben dan vaak ook meer kennis van deze soorten marktonderzoek. Aan de andere kant, concurrenten die veel verschillende soorten marktonderzoek aanbieden, zijn vaak grotere bedrijven en hebben meer geld te besteden om de kwaliteit van hun marktonderzoeken te maximaliseren.

De laatste jaren is er een enorme groei te zien in het aantal onafhankelijke marktonderzoekbedrijven. Door deze groei wordt het nog belangrijker voor Bedrijf X om een goede kwaliteit te leveren aan haar klanten. Er is tenslotte genoeg andere keuze voor organisaties die een marktonderzoek willen laten verrichten.

Een verandering die samenhangt met de toenemende concurrentie is de toenemende macht van de klant. Doordat er veel aanbieders zijn die een marktonderzoek kunnen uitvoeren, heeft de klant veel keus om een marktonderzoekbedrijf te kiezen. Klanten kunnen daarom hogere eisen stellen in de vorm van een vraag naar een hoge kwaliteit met lage kosten.

Onder deze kwaliteit wordt onder andere verstaan een hoge flexibiliteit met betrekking tot de mogelijkheden van marktonderzoek, een snelle afhandeling van de onderzoeken en een kwalitatief hoogstaand marktonderzoek (een hoge validiteit en betrouwbaarheid).

Een laatste belangrijke verandering welke in de markt van Bedrijf X gaande is, is de opkomst van vele nieuwe technologieën. Er komen steeds meer mogelijkheden om marktonderzoek te doen, zoals bijvoorbeeld het doen van online kwalitatief onderzoek. Voor Bedrijf X is het belangrijk om op de hoogte te blijven van deze technologische veranderingen, zodat ze niet achterblijven bij hun directe concurrenten.

Mede door deze veranderingen in de markt wil het management van Bedrijf X graag een kwaliteitsrichtlijn opzetten met betrekking tot haar marktonderzoeken. Om deze kwaliteitsrichtlijn op te stellen zijn aanbevelingen nodig. De kwaliteitsrichtlijn is nodig om de validiteit en betrouwbaarheid van de onderzoeken van Bedrijf X te waarborgen en, waar mogelijk, de kwaliteit van de Panel X te verbeteren.

Zoals hierboven is vermeld, probeert Bedrijf X de kwaliteit van haar marktonderzoeken te verhogen. In de literatuur wordt het begrip kwaliteit op veel verschillende manieren uitgewerkt. Voor dit onderzoek is het van groot belang te weten om welke kwaliteit het in dit onderzoek gaat; dit om de validiteit van dit onderzoek te waarborgen. In dit onderzoek wordt onder kwaliteit verstaan dat de onderzoeken betrouwbaar en valide zijn. Tevens zal de representativiteit van de panelleden onderzocht worden om ook deze soort kwaliteit te kunnen meten.

§2.2 Probleemstelling

Naar aanleiding van de aanleiding van het onderzoek kan de probleemstelling worden geformuleerd. De probleemstelling van een onderzoek bestaat uit een doelstelling, een vraagstelling en hieruit vloeiend de deelvragen.

Doelstelling:

Inzicht verkrijgen in de kwaliteit van de marktonderzoeken van Bedrijf X en bekijken welke factoren verbeterd kunnen worden om de kwaliteit van de onderzoeken te waarborgen en waar mogelijk te verbeteren.

Vraagstelling:

Wat is op dit moment de kwaliteit van de marktonderzoeken van Bedrijf X en op welke manieren kan deze kwaliteit gewaarborgd en mogelijk verbeterd worden?

Deelvragen:

Voor dit onderzoek zijn de volgende deelvragen opgesteld:

1. Wat zijn de verschillen tussen online en offline marktonderzoeken en wat zijn de voor- en nadelen met betrekking tot deze methoden?

2. Wat wordt verstaan onder de kwaliteit van een marktonderzoek en welke criteria kunnen gebruikt worden om de kwaliteit van marktonderzoeken te meten?

3. Welke factoren hebben invloed op de criteria die de kwaliteit van marktonderzoeken beoordelen?

4. Hoe is het gesteld met de huidige kwaliteit van de marktonderzoeken van Bedrijf X en op welke manieren is dit mogelijk te verbeteren?

5. Welke conclusies en aanbevelingen zijn te formuleren aan de hand van de eerder gestelde deelvragen?

Ad.1 Online en telefonisch marktonderzoek verschillen van elkaar op een aantal punten. Elke methode heeft zijn eigen voor- en nadelen die invloed kunnen hebben op de kwaliteit van de marktonderzoeken. De vraag is of de verschillen tussen beide methoden van belang zijn bij het analyseren en mogelijk verbeteren van de kwaliteit van de marktonderzoeken. Het gaat met andere woorden om de vraag of voor elke soort methode een andere manier van aanpak gehanteerd moet worden om de kwaliteit van elke soort methode te maximaliseren.

Ad. 2 Er zijn veel verschillende manieren waarop kwaliteit is te definiëren. De kwaliteit van marktonderzoeken is op te splitsen in verschillende variabelen die tezamen leiden tot een bepaalde kwaliteit van een onderzoek. In dit onderzoek zal een drietal aspecten uiteengezet worden die de kwaliteit van onderzoeken beïnvloeden. Deze aspecten zijn betrouwbaarheid, validiteit en representativiteit.

Ad.3 Deze deelvraag hangt nauw samen met deelvraag twee; vandaar dat deze twee deelvragen in één hoofdstuk besproken zullen worden (hoofdstuk vier). In de vorige

Er kan vanuit worden gegaan dat er meerdere manieren zijn waarop de kwaliteit van marktonderzoeken gemeten kan worden. Tevens bestaan deze manieren vaak ook weer uit een aantal onderdelen en soorten, deze zullen in deze deelvraag behandeld worden.

Ad.4 Bij deze deelvraag wordt de theorie in de praktijk gebracht. De kwaliteit van Panel X zal gemeten worden aan de hand van de uitkomsten van deelvraag twee en drie.

Ad.5 Deze deelvraag vormt een samenvatting van de uitkomsten uit de eerder gestelde deelvragen. Deze deelvraag vormt een belangrijk begin voor het management van Bedrijf X, aan de hand hiervan valt af te leiden hoe het op dit moment gesteld is met de kwaliteit van Panel X en op welke manieren deze kwaliteit nog mogelijk valt te verbeteren.

§2.3 Begrippenverklaring

In deze paragraaf zullen enkele begrippen worden uitgelegd die vaak in dit onderzoek terugkomen.

Betrouwbaarheid

De definitie van betrouwbaarheid luidt als volgt: de mate waarin metingen vrij zijn van random fouten en daarom consistente data leveren (McDaniel and Gates, 2006). Bij betrouwbaarheid gaat het om de consistentie van variabelen (Shermis, 1999). De resultaten moeten precies en reproduceerbaar zijn en daarnaast representatief voor de totale populatie.

Het begrip ‘betrouwbaarheid’ zal in hoofdstuk vier verder uiteengezet worden.

Validiteit

In de literatuur is veel te vinden over het begrip validiteit. Er zijn verschillende soorten validiteit en er zijn verschillende manieren om de validiteit van een marktonderzoek te meten.

MacDaniel en Gates (2006) hebben het begrip validiteit uitgebreid onderzocht. Zij hebben de volgende definitie van validiteit: de mate waarin de onderzoeker heeft gemeten wat hij/zij daadwerkelijk wilde meten. In dit onderzoek betekent dit dat de vragenlijsten voor online en telefonisch marktonderzoek zodoende zijn opgesteld dat ze meten wat de klant wil weten.

MacDaniel en Gates (2006) onderscheiden 4 soorten validiteit, die gedeeltelijk ook gesplitst kunnen worden in verschillende soorten validiteit:

• Face validiteit

• Content validiteit

• Criteria-gerelateerde validiteit - predictieve validiteit - concurrent validiteit

• Construct validiteit

- convergent validiteit - discriminant validiteit

In hoofdstuk vier zal het begrip validiteit uitgebreid uitgelegd worden en in hoofdstuk vijf zal specifiek worden ingegaan op de validiteit van de marktonderzoeken van Bedrijf X.

Representativiteit

Bij representativiteit gaat het om de juiste samenstelling van het panel ten opzichte van de doelpopulatie. Dit is vaak moeilijk te bepalen, aangezien er moeilijk een beeld van de doelpopulatie gevormd kan worden. In een aantal gevallen is het belangrijk dat er niet alleen wordt gekeken naar de juiste samenstelling met betrekking tot de bevolking (zoals leeftijd), maar tevens naar de representativiteit van de mensen die in dezelfde psychografische doelgroep of gedragsgroep vallen.

Mensen met uiteenlopende leeftijden kunnen bijvoorbeeld op dezelfde politieke partij stemmen, terwijl mensen met dezelfde leeftijd heel anders stemmen. Het ligt aan het type onderzoek welke soort representativiteit moet worden gebruikt. Zodra men het gedrag van mensen wil verklaren, zullen psychografische achtergrondvariabelen gebruikt moeten worden. Mensen van dezelfde leeftijd kunnen heel verschillend gedrag vertonen, terwijl mensen van verschillende leeftijden juist wel hetzelfde denkpatroon hebben en zich hetzelfde gedragen. Als je gedrag wilt meten is het daarom beter om respondenten in te delen naar psychografische en/of gedragsvariabelen in plaats van naar demografische variabelen zoals leeftijd. In hoofdstuk 4 zal hier dieper op worden ingegaan.

§2.4 Conceptueel model

Kwaliteit Panel X:

Uitleg conceptueel model

In het conceptuele model staat één begrip centraal, namelijk de kwaliteit van Panel X. De kwaliteit van Panel X bestaat uit drie criteria en deze criteria worden weer beïnvloed door en hebben invloed op twee variabelen, te weten panelgedrag en methode van onderzoek.

In dit onderzoek zijn er drie criteria die de kwaliteit van Panel X bepalen; de betrouwbaarheid van Panel X, de validiteit van Panel X en de representativiteit van de panelleden. Deze drie variabelen worden gebruikt om de kwaliteit van Panel X te toetsen. De drie variabelen zijn onderling aan elkaar gerelateerd. Een voorbeeld hiervan is dat als er een representatieve steekproef wordt getrokken, de kans op een betrouwbaar onderzoek groter is en vice versa.

Daarnaast is betrouwbaarheid van een onderzoek een vereiste voor een valide onderzoek (Zegers & Barelds, 2004). Onbetrouwbare data leidt tot minder valide antwoorden.

Betrouwbaarheid Panel X

Validiteit Panel X

Representativiteit panelleden (selecteren juiste

panelleden) Methoden

van onderzoek

Panelgedrag

De verschillen tussen online en telefonisch marktonderzoek kunnen zowel invloed hebben op de betrouwbaarheid als validiteit van de marktonderzoeken, er van uitgaande dat de verschillende methoden dezelfde uitgangspunten hebben voor een onderzoek. Voor aanvang van dit onderzoek worden bij Bedrijf X, voor beide methoden, bijvoorbeeld dezelfde vragen gebruikt. Dit kan invloed hebben op de betrouwbaarheid van de kwaliteit van de beide methoden van marktonderzoek en dus Panel X. De representativiteit wordt tevens beïnvloed door de verschillen tussen online en offline onderzoek. Representativiteit kan in het geding komen door kenmerken van de online en offline panelleden. Online panelleden zijn voornamelijk jongere personen en bij online onderzoek kan dit de representativiteit aantasten als de onderzoeker een afspiegeling van de Nederlandse bevolking wil.

Het panelgedrag heeft ook invloed kan op de kwaliteit van onderzoeken. Met panelgedrag bedoelen we het gedrag van de panelleden met betrekking tot de marktonderzoeken van Bedrijf X. Panelgedrag omvat verschillende variabelen; in dit onderzoek bestaat het uit het al dan niet bestaan van panelmoeheid (m.b.t. lidduur en de benaderfrequentie) en de invloed van beloningen.

§2.5 Randvoorwaarden

De randvoorwaarden geven de beperkingen aan waaraan onderzoeksresultaten en methoden onderhevig zijn. In dit onderzoek zijn de volgende randvoorwaarden van kracht:

• Het onderzoek heeft alleen betrekking op kwantitatief marktonderzoek. Kwalitatief onderzoek wordt wel door Bedrijf X verricht, maar valt buiten dit onderzoek. Dit vanwege het feit dat dit onderzoek anders te tijdsintensief is.

• Het onderzoek richt zich alleen op Panel X, niet op andere panels.

§2.6 Opbouw onderzoeksrapport

Het onderzoeksverslag is als volgt opgesteld. Hoofdstuk 3 zal dieper ingaan op de verschillen tussen online en offline marktonderzoek. Dit is nodig om te kunnen bepalen waar de nadruk op moet worden gelegd in dit onderzoek. In hoofdstuk 4 zal het theoretisch kader van dit onderzoek uiteengezet worden. Dit hoofdstuk zal opgesplitst worden in de drie criteria om de kwaliteit van een onderzoek te beoordelen, respectievelijk betrouwbaarheid, validiteit en representativiteit. In hoofdstuk 5 wordt de validiteit, betrouwbaarheid en indirect de representativiteit van Panel X daadwerkelijk gemeten met behulp van twintig bestaande onderzoeken van Bedrijf X. In het laatste hoofdstuk zal de eindconclusie aan bod komen en zullen aanbevelingen worden gedaan om de kwaliteit van Panel X te verbeteren.

Hoofdstuk 3 Verschillen tussen online en offline onderzoek

In de tabel hieronder is weergegeven welke verschillen er tussen online en telefonisch onderzoek zijn. Onderstaande tabel is samengesteld door diverse theorieën uit diverse artikelen en boeken met elkaar te integreren. Onder de tabel zullen de variabelen uit de tabel verder worden uitgelegd. In deze uitleg zal ook de literatuur aan bod komen die is gebruikt om tot deze criteria te komen. Tevens zal er een link gelegd worden tussen de onderstaande criteria met de eerdergenoemde drie criteria (betrouwbaarheid, validiteit en representativiteit).

Criteria CATI (computer-assisted telephone interviews)

Online onderzoek 1. Tijd respondent Wanneer interviewer belt Wanneer respondent wil

2. Snelheid Redelijk snel Zeer snel

3. Sociaalwenselijke antwoorden

Hoog Laag

4. Open vragen Respondent reageert met korte antwoorden

Respondent reageert met lange antwoorden

5. Antwoorden respondenten

over demografische factoren Realistische antwoorden Minder realistische antwoorden (meer

tevreden/hoger inkomen etc)

6. Grafische mogelijkheden Niet Veel

7. Primacy/Recency effecten Recency effecten Primacy effecten 8. Kosten dataverzameling Gemiddeld Laag

9. Representativiteit Vaak hoog Vaak laag 10. Mogelijkheden

antwoordschalen

Simpel Complex 11. Responspercentage bij

panels

Gemiddeld Hoog 12. Interviewer bias Grote kans Kans nihil

13. Controlemogelijkheden Gemiddeld Laag 14. Onzekerheid over privacy Laag Hoog

Tabel 3.1 Verschillen offline en online onderzoek

§3.1 Tijd respondent

Als een panellid via internet aan de marktonderzoeken van Bedrijf X meedoet, kan de respondent zelf bepalen wanneer hij of zij het onderzoek doet (Lehmann, 1979).

Daarentegen zijn panelleden die worden opgebeld om mee te doen met een onderzoek meer gebonden aan de tijd waarin de interviewer werkt. Bij Bedrijf X wordt alleen tussen 17.30 tot 21.00 uur gebeld; dit betekent dat er meer kans is op non-respons bij telefonische interviews.

Als een panellid drie keer is gebeld en er is nog geen respons geweest, dan wordt dit panellid niet meer gebeld voor dat specifieke onderzoek. Als het aantal non-respondenten te groot is, is het responspercentage te laag en dit heeft invloed op de betrouwbaarheid en validiteit van het onderzoek. Een ander punt dat met de tijd van een onderzoek heeft te maken is de duur van het invullen van een onderzoek. Online onderzoeken kunnen over het algemeen langer zijn dan telefonische onderzoeken. Bij telefonische onderzoeken valt sneller de concentratie van de respondent weg (Lehmann, 1979). Een reden hiervoor is dat de respondent de vragen en antwoorden niet kan zien en afhankelijk is van de interviewer.

Dit kan leiden tot recency effecten; dit zal onder punt 7 nader worden uitgelegd.

§3.2 Snelheid

Online onderzoeken gaan sneller dan telefonische onderzoeken. Dit heeft te maken met de beperkingen die gelden voor telefonische onderzoeken (Schaefer and Dillman, 1998). De hoeveelheid afgenomen vragenlijsten wordt beperkt door het aantal beschikbare telefoons en aantal beschikbare interviewers die het onderzoek kunnen afnemen. Daarnaast gaat de dataverzameling online sneller dan telefonisch (Ilieva, Baron and Healey, 2002). De snelheid van antwoorden kan invloed hebben op de representativiteit van het onderzoek. Als een (flinke) groep personen die wel tot de doelgroep behoort te laat antwoordt, dan kunnen deze antwoorden niet meegenomen worden in de rapportage. De klant heeft daardoor minder betrouwbare gegevens, aangezien het aantal panelleden dat meedoet aan het onderzoek te klein is. Bedrijf X stuurt in dit geval een reminder en dit kost veel tijd. Om de representativiteit te garanderen is het belangrijk om na te gaan of de respondenten nagenoeg dezelfde antwoorden geven als wat de non-respondenten zouden antwoorden. In het volgende hoofdstuk wordt hier specifieker op ingegaan en wordt er een oplossing aangedragen om te kunnen bekijken of dit het geval is binnen Panel X.

§3.3 Sociaal wenselijke antwoorden

In de literatuur komt het begrip ‘sociaalwenselijke antwoorden’ vaak voor, bijvoorbeeld in een artikel van Fricker en Schonlau (2002). Bij telefonische marktonderzoeken is er, naast de respondent, altijd een tweede persoon bij het interview betrokken, namelijk de interviewer zelf. Door de aanwezigheid van de interviewer kan de respondent andere antwoorden geven dan wat hij/zij daadwerkelijk denkt/vindt. Dit komt met name voor als het om gevoelige onderwerpen gaat; de respondent zal niet snel ‘negatieve’ emoties uiten en zal sneller een antwoord geven dat maatschappelijk geaccepteerd wordt en als ‘normaal’ wordt gezien.

Mensen vinden het over het algemeen makkelijker om het met anderen eens te zijn dan tegen mensen in te gaan (Dillman and Christian, 2005). Sociaalwenselijke antwoorden zijn een voorbeeld van modaliteiteffecten (Roster, Rogers, Albaum and Klein, 2004). Dit zijn antwoordverschillen op individueel niveau die samenhangen met de methode van datacollectie, of hoe respondenten omgaan met de vragenlijst.

Respondenten die via internet meedoen aan onderzoeken hebben niet te maken met een interviewer, hij/zij zal hierdoor minder snel sociaalwenselijke antwoorden geven. Echter, als de respondent die aan online onderzoeken meedoet bijvoorbeeld een (geldelijke) beloning krijgt, kan de respondent geneigd zijn antwoorden te geven die positiever zijn. De respondent heeft als het ware de neiging iets terug te doen voor de geldelijke beloning die hij of zij krijgt.

Als een respondent sociaalwenselijke antwoorden geeft, dus niet de antwoorden die de werkelijkheid beschrijven, gaat dit ten koste van de betrouwbaarheid en validiteit van de onderzoeken. De onderzoeker meet niet wat hij eigenlijk wil meten, namelijk de mening van de populatie. Daarnaast zijn sociaalwenselijke antwoorden ook niet betrouwbaar, als de respondent de vragen via internet zou hebben beantwoord, zou hij of zij misschien wel heel andere antwoorden geven aangezien er in dat geval geen interactie is met de interviewer.

Bedrijf X wil meer informatie over sociaalwenselijke antwoorden; worden deze gegeven binnen Panel X en wat zijn de effecten?

§3.4 Open vragen

Onderzoeken die per e-mail worden beantwoord hebben langere antwoorden bij open vragen dan bij telefonische onderzoeken (Ilieva, Baron and Healey, 2002; Schaefer and Dillman, 1998). Tussen online en offline respondenten zijn er verschillen wat betreft de inhoud en lengte van de antwoorden op open vragen; online panelleden doen meer moeite om open vragen te beantwoorden.

Open vragen zijn voor de klant vaak belangrijk, omdat dit de meeste informatie geeft over hoe de populatie over iets denkt. Bedrijf X wil graag meer inzicht welke groepen respondenten wat voor soort antwoorden geven op open vragen.

§3.5 Antwoorden respondenten (m.b.t. demografische factoren)

Volgens Lehmann (1979) hebben respondenten die aan online onderzoeken meedoen de neiging ‘hogere’ antwoorden te geven, zoals een hoger inkomen en een hogere tevredenheid. Dit is in tegenstelling tot resultaten uit onderzoeken over sociaalwenselijke antwoorden. Deze onderzoeken wijzen juist uit dat mensen die telefonisch vragen beantwoorden zichzelf beter voordoen omdat er direct contact is met de interviewer. Uit een aantal onderzoeken, zoals van Roster e.a. (2004), blijkt tevens dat antwoorden van webrespondenten betrouwbaarder zijn dan die van telefonische panelleden. De reden hiervoor is dat de respondenten alle antwoorden rustig kunnen bekijken en zo realistischer kunnen antwoorden (Roster, Rogers and Albaum, 2004). Dit zou moeten leiden tot een hogere betrouwbaarheid van online onderzoeken. Verwacht wordt daarom dat online panelleden meer extreme antwoorden geven. Zij kunnen ongedwongen hun mening geven, er is in dit geval geen sprake van sociaalwenselijke antwoorden. Echter, als het om een gevoelig onderwerp gaat, zoals inkomen, dan hoeft de betrouwbaarheid bij online onderzoeken zeker niet hoger te zijn in verband met privacyissues die spelen bij online onderzoek.

§3.6 Grafische mogelijkheden

Alleen bij online onderzoeken zijn er veel grafische mogelijkheden om de vragen en antwoorden van het onderzoek te ondersteunen. Dit kan een oplossing zijn voor onduidelijkheden in de vraag. Bij sommige onderzoeken zijn grafische mogelijkheden uitermate geschikt, bijvoorbeeld als een klant een nieuw product wil lanceren en benieuwd is naar de mening van de consument over de verpakking. De respondent heeft niet de mogelijkheid om uitleg te vragen, maar de grafische tekeningen kunnen hierbij hulp bieden.

Hierdoor sluipen er minder fouten in de antwoorden bij online onderzoeken en kan de betrouwbaarheid van het onderzoek gemakkelijker gewaarborgd blijven. Voor Bedrijf X is dit echter niet van toepassing, zij gebruiken geen extra grafische mogelijkheden bij hun online onderzoeken om de vragen en antwoorden te ondersteunen. De vragen zijn simpel qua opzet, zodat figuurlijke ondersteuning niet nodig is.

§3.7 Primacy / recency effecten

Bij het uitvoeren van marktonderzoeken kunnen er ongewenste effecten optreden met betrekking tot de antwoorden die panelleden geven (Dillman and Christian, 2003). Ten eerste bestaat er de kans op primacy effecten; deze effecten komen voornamelijk voor bij de online onderzoeken. Dit effect houdt in dat respondenten voornamelijk kijken naar én kiezen uit de eerste antwoorden waar ze uit kunnen kiezen. In het geval van recency effecten gaat het juist om het omgekeerde en dit komt voornamelijk voor bij telefonische marktonderzoeken. Panelleden die telefonisch meedoen met de marktonderzoeken van Bedrijf X kunnen maar een beperkt aantal antwoorden onthouden die de interviewer opleest.

Vaak onthouden de respondenten alleen de laatste antwoorden, omdat ze die als laatste gehoord hebben (zie grafiek 3.1). Deze soorten neveneffecten kunnen voor Panel X worden onderzocht om zo de betrouwbaarheid en validiteit te kunnen bepalen. Dit zal in hoofdstuk 5 verder worden uiteengezet.

0%

10%

20%

30%

40%

50%

60%

70%

80%

90%

Offline Online

antw. 1 antw. 2 antw. 3 antw. 4 antw. 5

grafiek 3.1 Voorbeeld primacy en recency effecten voor online en offline onderzoeken

§3.8 Kosten (m.b.t. dataverzameling)

Kosten hebben geen direct verband met de betrouwbaarheid en validiteit van een onderzoek, maar indirect wel. De kwaliteit van interviewers en ICT-medewerkers kan de kwaliteit van de onderzoeken beïnvloeden; werknemers van een hogere kwaliteit zijn duurder, maar ze kunnen een positief effect hebben op de kwaliteit van marktonderzoeken.

Dit is de reden dat kosten in dit hoofdstuk worden meegenomen. In de meeste literatuur staat beschreven dat de kosten van online onderzoeken lager zijn dan telefonische onderzoeken. Een grote kostenpost bij telefonische onderzoeken zijn de arbeidskosten van de interviewers (Ilieva, Baron and Healey, 2002). Echter, in een artikel van Fricker en Schonlau (2002) staat uitgelegd waarom online onderzoeken niet zoveel goedkoper zijn als men denkt. De kosten om het systeem up-to-date te houden zijn erg hoog en door de technologische veranderingen die momenteel veelvuldig voorkomen ontstaan er veel kosten.

Het gebruik van nieuwe technologieën is echter wel nodig om niet achter te blijven bij de concurrentie. Daarnaast zijn er hoge arbeidskosten, aangezien het vrij lang duurt om de onderzoeken in het systeem te zetten. Het uurloon van deze medewerkers is veel hoger dan het uurloon van interviewers. Het kostenaspect zal in dit onderzoek niet verder uitgewerkt worden, aangezien er geen vergelijkingsmateriaal is (zoals de kosten van een ander panel).

§3.9 Representativiteit

Over het algemeen zijn de resultaten van online marktonderzoeken niet representatief voor de gehele doelpopulatie. Er is een hogere coverage error dan bij telefonische onderzoeken (MacDaniel and Gates, 2006). Dat wil zeggen dat niet iedereen toegang heeft tot e-mail of internet; met name ouderen en allochtonen hebben deze toegang niet. Zoals al eerder is uitgelegd zijn geslacht en leeftijd niet altijd even goede representativiteitsmeters, tevens moet er in sommige gevallen rekening worden gehouden met psychografische en/of gedragsvariabelen (Roster, Rogers, Albaum and Klein, 2004). Een oplossing voor het probleem met betrekking tot coverage error is om verschillende methoden van marktonderzoek te gebruiken, zoals Bedrijf X nu ook al doet. Online onderzoeken alleen kunnen overigens wel representatief zijn, het gaat er om over welke populatie je uitspraken wilt doen. Wil je namelijk uitspraken doen over jongeren, dan kan internetonderzoek wel degelijk representatief zijn in termen van socio-demografische kenmerken, zoals geslacht en leeftijd.

Zoals al eerder uitgelegd heeft representativiteit invloed op de betrouwbaarheid en validiteit van marktonderzoeken. Als je geen representatieve sample hebt, doe je geen onderzoek bij je doelpopulatie; dit betekent dat de validiteit van dat onderzoek laag is.

Een lage representativiteit leidt tevens tot een lage betrouwbaarheid; als het onderzoek opnieuw zou worden gedaan met een ander (wel representatief) sample, dan leidt dit naar alle waarschijnlijkheid tot andere resultaten. In het volgende hoofdstuk zal het begrip

‘representativiteit’ nogmaals aan bod komen, maar dit keer gedetailleerder.

§3.10 Mogelijkheden antwoordschalen

Bij online marktonderzoeken kunnen complexere antwoordschalen gebruikt worden dan bij telefonische marktonderzoeken. De vragen mogen bij telefonische onderzoeken niet te moeilijk zijn aangezien de respondent de vraag moet onthouden (Sudman and Blair, 1998).

Daarnaast moeten de vragen bij telefonische marktonderzoeken zonder visuele voorwerpen worden beantwoord (Lehmann, 1979). De antwoorden moeten daarom simpel qua opzet zijn, anders bestaat de kans dat de respondent de vragen niet snapt. Hoewel bij internetonderzoeken de antwoordschalen complexer kunnen, mogen ze niet te ingewikkeld zijn. De respondenten die via internet aan het onderzoek meedoen, kunnen namelijk niet aan een interviewer vragen hoe de vraag wordt bedoeld. Er moeten in het geval van complexe vragen adequate instructies worden gegeven, zodat er geen onduidelijkheden bestaan bij de respondenten. Als dit niet gelezen wordt, kan dit ten koste gaan van de betrouwbaarheid van de antwoorden en daarmee de resultaten van het onderzoek. Voor Panel X is dit verschil niet van groot belang; de vragen die zowel online als telefonisch worden gesteld zijn simpel qua opzet, dus het is niet te moeilijk voor de respondent om de vraag te onthouden (telefonische onderzoeken) dan wel te snappen (online onderzoeken).

§3.11 Responspercentages

Met responspercentage wordt het percentage panelleden bedoeld dat is gevraagd mee te werken aan een onderzoek en ook daadwerkelijk hier aan deelneemt. Het responspercentage van een marktonderzoek kan de betrouwbaarheid van dat onderzoek beïnvloeden. Als het responspercentage te laag is, gaat dit ten koste van de representativiteit van het onderzoek (Pondman, 1998). In dit onderzoek wordt gekeken of de responspercentages van verschillende demografische groepen panelleden (met betrekking tot hun demografische achtergrondvariabelen) significant van elkaar verschillen. Echter, er kan een probleem ontstaan bij het analyseren van responspercentages; het non-respons probleem (Lehmann, 1979). Pondman (1998) noemt twee soorten non-respons: item- nonrespons en unit-nonrespons. Met item-nonrespons wordt bedoeld dat respondenten één of meerdere vragen overslaat en unit-nonrespons betekent dat de respondent in het geheel niet meedoet met het onderzoek. Er zijn drie soorten unit-nonrespons: de persoon is niet te bereiken, de respondent kan geen antwoorden geven op de vragen bijvoorbeeld vanwege taalbarrières en weigering van de respondent. Taalbarrières zijn bij Panel X niet aan de orde;

panelleden moeten zichzelf eerst opgeven voor het panel en beheersen dus de Nederlandse taal. Er zijn verschillende redenen waarom een respondent kan weigeren; respondenten vinden het onderzoek te lang, de interviewer belt op een ongeschikt moment, gebrek aan interesse van de respondent en te weinig tijd. Uit het onderzoek van Pondman (1998) blijkt dat oudere mensen vaker weigeren mee te werken aan een onderzoek. Een andere conclusie is dat hoger geschoolde mensen vaker meedoen aan onderzoeken dan lager geschoolden. In het volgende hoofdstuk zal verder worden uitgewerkt of dit binnen Panel X het geval is.

Uit de literatuur blijkt dat telefonisch onderzoek in het algemeen een lagere item-non-respons en totale non-respons heeft dan online interviews (Fricker and Schonlau, 2002). Een mogelijke reden dat unit-nonrespons bij telefonische panelleden lager is, is dat zij sneller ‘ja’

zeggen tegen een onderzoek omdat ze iemand persoonlijk aan de telefoon hebben. Als een

Er is ook niemand aanwezig om het panellid aan te moedigen de vragen te beantwoorden (Lehmann, 1979). Aan de andere kant is het mogelijk dat het responspercentage van internetonderzoeken juist hoger is, aangezien er meer kans is dat het panellid bereikt wordt.

De panelleden die via internet meedoen, zien in ieder geval de e-mail en kunnen zelf bepalen wanneer ze meedoen, terwijl er bij de panelleden die telefonisch meedoen meer kans is hen mis te lopen of hen op een ongelegen moment te bellen (MacDaniel and Gates, 2006). Volgens onderzoek van Fricker en Schonlau (2002) reageren respondenten binnen een dag of helemaal niet. De vraag is of het sturen van een reminder zin heeft; antwoorden respondenten die pas na een reminder meedoen wel op dezelfde manier als respondenten die bijvoorbeeld dezelfde dag nog meedoen? In hoofdstuk 5 zal het effect van een reminder onderzocht worden.

Er zijn verschillende manieren om het responspercentage te verhogen. Men kan bijvoorbeeld een reminder naar respondenten sturen die nog niet geantwoord hebben. Het is makkelijker om respondenten die meedoen aan online onderzoeken een reminder te sturen; er hoeft alleen maar een simpele mail gestuurd te worden met een herinnering er in. Bij respondenten die telefonisch benaderd worden, is dit moeilijker. Telefonisch kan geen reminder gestuurd worden. De enige manier om hen een reminder te sturen is via de post, maar dit duurt uiteraard langer en daarnaast is het bijna onmogelijk om een bepaalde tijd in de brief te zetten wanneer er gebeld wordt. Je kunt immers niet weten wanneer de respondent thuis aanwezig is. Pondman (1998) geeft nog een aantal andere mogelijkheden om het aantal weigeringen per telefoon te verlagen. Als eerste kan van tevoren aangegeven worden dat er zal worden gebeld voor een onderzoek. Interviewers kunnen proberen de respondent over te halen en er moet zo goed mogelijk getimed worden wanneer een respondent wordt gebeld, bijvoorbeeld niet rond etenstijd. Daarnaast kan de introductietekst gemanipuleerd worden; immers, vaak wordt in de eerste minuten door de desbetreffende persoon besloten mee te doen of niet. Dit geldt echter niet voor Panel X, panelleden hebben toegestemd om gebeld/gemaild te worden voor een onderzoek. Tevens kan men respondenten een incentive geven, dit kan een positieve invloed hebben op het responspercentage. Hier wordt later nog uitgebreider op terug gekomen. Zoals hierboven al eerder is geschreven, heeft de interviewer invloed op het aantal weigeringen en dus op het responspercentage (Pondman, 1998). Pondman is na onderzoek tot de conclusie gekomen dat vrouwelijke interviewers gemiddeld 6% meer respons hebben. 18 tot 21-jarigen hebben meer weigeringen dan interviewers ouder dan 21 jaar. Optimistische interviewers met een plezierige warme stem hebben een hoger responspercentage en hetzelfde geldt voor ervaren interviewers. Bij Bedrijf X werken zowel mannen als vrouwen, de meeste in de leeftijd van 18 tot 25 jaar. Alle enquêteurs die worden aangenomen hebben reeds ervaring in het bellen naar mensen.

Deutskens e.a. (2005) hebben responspercentages bij online onderzoeken onderzocht en conclusies getrokken hoe men het responspercentage kan verhogen. Allereerst is gebleken dat opeenvolgende onderzoeken die vlak na elkaar komen leiden tot een hoger responspercentage dan opeenvolgende onderzoeken waar langere tijd tussen zit. Het verschil in tijd tussen de verschillende onderzoeken heeft echter geen invloed op de responskwaliteit. In dit onderzoek zal worden gekeken of de benaderfrequentie invloed heeft op de kwaliteit van Panel X. Tevens heeft Deutskens aangetoond dat korte onderzoeken het responspercentage verhogen, maar dat dit verschil niet significant is met langer durende onderzoeken. Kort durende onderzoeken leiden daarnaast tot een hogere responskwaliteit wat betreft de compleetheid, maar er blijkt geen significant verschil te zijn wat betreft de accuraatheid (nauwkeurigheid van de antwoorden). Als panelleden van Panel X aan een onderzoek meedoen, weten zij van tevoren niet hoe lang het onderzoek zal duren. Van tevoren wordt namelijk niet aangegeven hoeveel vragen ze krijgen. Bedrijf X informeert haar panelleden hier met opzet niet over. Ze willen voorkomen dat panelleden afhaken omdat een onderzoek teveel dan wel te weinig vragen bevat.

Vragenlijsten die met plaatjes worden ondersteund hebben een lager responspercentage dan tekstuele onderzoeken (Deutskens, 2005). Er is echter geen verschil tussen de responskwaliteit van beide soorten onderzoeken. Bij de onderzoeken van Panel X wordt geen gebruik gemaakt van plaatjes, dit hoeft dus verder niet te worden onderzocht.

Bedrijf X heeft altijd wel een voldoende hoog responspercentage, gemiddeld zo’n 70%. Als het responspercentage in eerste instantie te laag is, wordt er een reminder gestuurd naar de respondenten die online meedoen zodat toch het beoogde responspercentage behaald kan worden. Het is echter niet bekend wat het responspercentage is van de verschillende demografische groepen die aan het onderzoek meedoen. In zijn totaliteit is het responspercentage dus wel hoog genoeg, maar het is onbekend wat het responspercentage is van de verschillende demografische groepen. Als de steekproef erg groot is, dan is het niet zo moeilijk om een representatieve steekproef te hebben. Is de steekproef echter klein, dan kunnen de resultaten een vertekend beeld geven. Hier zal in hoofdstuk vijf verder op worden gegaan.

§3.12 Interview bias

Bij telefonische onderzoeken is er een (grote) kans op interviewer bias; dit kan ten koste gaan van de kwaliteit van de data (Lehmann, 1979; Roster, Rogers, Albaum and Klein, 2004). In tegenstelling tot telefonische onderzoeken is de kans op interviewer bias bij online onderzoeken erg klein. De respondent heeft in dit geval geen direct contact met een interviewer. Bij telefonische marktonderzoeken zijn er verschillende soorten interviewer bias.

Als eerste kan de interviewer invloed uitoefenen op de antwoorden van de respondent. De interviewer kan bijvoorbeeld de vragen suggestief stellen zodat de respondent min of meer wordt aangemoedigd een bepaald antwoord te geven. Daarnaast kan de interviewer de antwoorden van de respondent verkeerd interpreteren. Als een respondent een onduidelijk antwoord geeft, kan de interviewer aannemen dat de respondent een bepaald antwoord bedoelt, terwijl de respondent eigenlijk iets anders bedoelt. Als laatste kan de interviewer valse antwoorden invoeren in de computer, bijvoorbeeld door een ander antwoord aan te vinken of in te typen dan de respondent zegt. Het moge duidelijk zijn dat dit de betrouwbaarheid en validiteit van het onderzoek negatief beïnvloedt. Bedrijf X probeert interviewer bias te voorkomen door ervaren enquêteurs aan te nemen en de enquêteurs op willekeurige tijdstippen te controleren. Het onderzoeken van interviewer bias binnen Bedrijf X is te complex en uitgebreid om in dit onderzoek te onderzoeken.

§3.13 Controlemogelijkheden

Respondenten die via online onderzoek meedoen aan marktonderzoeken kunnen moeilijk worden gecontroleerd (Ilieva, Baron and Healey, 2002). Het is bijvoorbeeld mogelijk dat iemand anders (in het huishouden) de vragen beantwoordt. Dit gaat ten koste van de betrouwbaarheid en validiteit van de resultaten. Dit heeft tevens te maken met de representativiteit (McDaniel and Gates, 2006). Het panellid is door Bedrijf X voor een bepaald onderzoek uitgekozen omdat hij of zij in de sample past die in totaliteit representatief is voor de doelpopulatie waarover men uitspraken wil doen; als een ander dan de vragen beantwoordt kan de representativiteit in het geding komen. Je mist dus als het ware de controle over het panellid en dus over de representativiteit. Dit is een belangrijk punt voor Bedrijf X, maar is te complex om bij dit onderzoek te betrekken.

§3.14 Privacy

De invloed van de variabele privacy zal niet verder onderzocht worden, omdat aangenomen wordt dat panelleden die meedoen aan onderzoeken bij Bedrijf X deze angst niet hebben. Zij hebben zich immers zelf opgegeven om aan online onderzoeken mee te werken. Uiteindelijk kan dit wel een effect hebben op de representativiteit van het panel; het panel bestaat alleen uit personen die deze angst niet kennen.

§3.15 Korte samenvatting

In dit hoofdstuk zijn de verschillen tussen offline en online onderzoek uitgewerkt. Uit de theorie blijkt dat er een aantal verschillen tussen deze twee methoden grote invloed kunnen hebben op de kwaliteit van Panel X. Ten eerste is er een verschil in responspercentages van respondenten met betrekking tot de soort methode. Volgens de theorie hebben online onderzoeken een hoger responspercentage. Daarnaast blijkt uit de theorie dat online respondenten meer sociaalwenselijke antwoorden geven. Een derde verschil betreft de representativiteit. Uit verschillende onderzoeken blijkt dat online respondenten geen representatieve sample vormen. Offline respondenten hebben tevens te maken met interviewer bias, iets wat nauwelijks een rol speelt bij online onderzoek. Bedrijf X kan weinig controle uitoefenen op online respondenten, iets wat ten koste kan gaan van de kwaliteit van Panel X. Uit de theorie blijkt ook dat online respondenten meer moeite doen om open vragen te beantwoorden en dat er bij online onderzoek primacy effecten optreden en bij offline onderzoek recency effecten. Of al deze verschillen ook binnen Panel X een rol spelen, zal in hoofdstuk vijf onderzocht worden met behulp van SPSS.