De betrouwbaarheid, representativiteit en validiteit van het koopstromenonderzoek volgens de surveymethode zijn hoofd- zakelijk vastgesteld op basis van de documentatie over de ge- bruikte methode van onderzoekbureau I&O Research, dat het onderzoek heeft uitgevoerd. Ook is het onderwerp ter sprake gekomen in de interviews die zijn gevoerd met de vertegen- woordigers van de bureaus die berokken waren bij het koops- tromenonderzoek van de Rabobank.
Het onderzoek is gebaseerd op de zogenoemde ‘yesterday’ me- thode. Er wordt in de vragenlijst gevraagd (per artikelgroep) waar men de laatste keer een bepaald artikel heeft gekocht. Als voordeel van deze methode wordt gezien dat recht wordt ge- daan aan alle potentiële aankooplocaties en aan online aankoop- gedrag. De ‘yesterday’ methode geeft een meer precieze schat- ting van het ruimtelijk koopgedrag dan de ‘everyday methode’ (‘meestal’ of ‘doorgaans’), omdat ook kleinere aankoop locaties
39 3 Representativiteit, betrouwbaarheid en validiteit van de methodieken
een kans krijgen in beeld te komen. Voorwaarde hiervoor is wel dat er sprake is van een omvangrijke steekproef.
Het geheugen van de consument is derhalve bepalend. Alle ge- interviewde respondenten geven aan vraagtekens te hebben bij de betrouwbaarheid van dit geheugen.
Bovendien is het vaak (te) kostbaar om dermate grote steek- proeven te krijgen dat voldoende recht wordt gedaan aan de betrouwbaarheidseisen voor de afzonderlijke gebieden. In de documentatie van I&O wordt aangegeven dat ten aanzien van de steekproefomvang voor het basisonderzoek met betrek- king tot de betrouwbaarheid bij de “light variant” uit 2018 de volgende randvoorwaarden zijn gehanteerd:
• de steekproef dient een representatieve afspiegeling te zijn van de bevolking van de in het onderzoek te onderschei- den gebieden. De gegevens dienen een betrouwbaarheid van 95 procent bij een nauwkeurigheidsmarge van 5 pro- cent te hebben. Dit resulteert in minimaal 385 enquêtes per gebied;
• bij de steekproeft rekking dient rekening te worden gehou- den met het aantal aankooplocaties per gebied, waarover het wenselijk is dat er betrouwbare uitspraken over kun- nen worden gedaan. Die gegevens dienen een betrouw- baarheid van 85 procent bij een nauwkeurigheidsmarge van 5 procent te hebben. Dit resulteert in minimaal 210 en- quêtes per aankooplocatie. Bij de reguliere meting uit 2016 zijn meer enquêtes afgenomen en was de betrouwbaar- heid groter en de onnauwkeurigheid lager.
Dit streven heeft volgens de documentatie van I&O uiteindelijk tot de volgende resultaten geleid:
In 135 gemeenten zijn uiteindelijk voldoende enquêtes afge- nomen om hiervan voldoende betrouwbare resultaten te kunnen presenteren. Eén gemeente heeft te weinig waarne- mingen (Haarlemmerliede en Spaarnwoude). Van de 135 zicht- bare gemeenten zijn er 106 gemeenten met een betrouwbaar-
40 Evaluatie methodiek koopstromenmeting in het prestatieonderzoek Metropool Regio Eindhoven heid van 95 procent/foutmarge van 5 procent (ergo minimaal 385 enquêtes). Er zijn 17 gemeenten met een betrouwbaarheid van 85 procent/foutmarge van maximaal 5 procent (ergo mi- nimaal 210 enquêtes) en 12 ‘indicatief’ met een betrouwbaar- heid van 75 procent/foutmarge van 5 procent (ergo minimaal 132 waarnemingen).
Daarnaast zijn er in totaal 323 aankooplocaties waarover van- uit de omvang van de respons betrouwbare uitspraken kun- nen worden gedaan. Daarvan zijn er 25 locaties, die niet apart gerapporteerd worden, omdat het om solitaire locaties gaat of omdat gegevens over het winkelaanbod ontbreken. Van de res- terende 298 locaties zijn er 205 ‘zeker’ met een betrouwbaarheid van 85 procent/ foutmarge van maximaal 5 procent (ergo mini- maal 210 waarnemingen) en 93 ‘indicatief’ met een betrouw- baarheid van 75 procent/foutmarge van 5 procent (ergo mini- maal 132 waarnemingen).
Met het oog op de representativiteit van de steekproef voor het onderzoeks- plus rand gebied, is door I&O in de eerste plaats een inwonertalweging uitgevoerd. De herweging naar inwonertallen is in het onderzoeksgebied op het niveau van vier posities postcode gedaan. In de randgemeenten is gebruik gemaakt van het gemeentelijke niveau. Omdat het bij koops- tromen in essentie gaat om personen die (mede) hoofd van een huishouden zijn, is bij de weging gebruik gemaakt van het aantal inwoners van 15 jaar en ouder. Vervolgens is gekeken naar hoe de respons zich wat betreft achtergrondkenmerken verhoudt tot de totale populatie, om te bepalen of aanvullende herweging naar persoonskenmerken nodig is.
Uit de analyse van de respons op basis van achtergrondkenmer- ken door I&O is gebleken dat de leeft ijdsverdeling en de huis- houdenssamenstelling binnen de respons afwijken van die in de populatie. Daarom is hierop herwogen op gemeentelijk niveau. Tabel 2 laat de verdeling op de betreff ende kenmerken in de po- pulatie, in de ongewogen respons en na weging op inwonertal, samenstelling huishouden en leeft ijd zien.
41 3 Representativiteit, betrouwbaarheid en validiteit van de methodieken
Tabel 2: Kenmerken respons, ongewogen en gewogen (onderzoeksgebied), KSO Randstad 2018. Kenmerk Populatie Ongewogen Respons Na weging inw. + hh. + leeft ijd Samenstelling huishouden
Eénpersoons 40% 24% 36%
Eénouder gezin 8% 4% 7%
Meerpersoons, zonder kinderen 27% 45% 27%
Meerpersoons, met kinderen 26% 27% 29%
Leeft ijd
15 tot 25 jaar 16% 3% 12%
25 tot 45 jaar 33% 22% 32%
45 tot 65 jaar 35% 42% 37%
65 jaar en ouder 17% 33% 19%
Uit de tabel kan worden afgeleid dat in de ongewogen respons bij de samenstelling van het huishouden met name sprake was van een ondervertegenwoordiging van de éenpersoons huis- houdens (24% om 40%) en een oververtegenwoordiging van de meerpersoonshuishoudens zonder kinderen (45% om 27%). Bij de leeft ijd was er met name sprake van een ondervertegen- woordiging in de leeft ijdscategorie 15 tot 25 jaar (3% om 16%) en een oververtegenwoordiging in de leeft ijdscategorie 65 jaar en ouder (33% om 17%).
Na de herweging is dit bij beide kenmerken recht getrokken. De vraag kan echter wel gesteld worden of een percentage van 3% in de jongste leeft ijdscategorie voldoende basis biedt voor een verantwoorde herweging. Als er zo weinig jongeren zijn, is de vraag of dit wel de gemiddelde jongere is en een ophoging van deze groep lost dit probleem niet op.
Van belang voor de validiteit is het gebruik van de zgn.
‘yesterday’methode in het onderzoek. In de documentatie
wordt dit door I&O toegelicht.
In de vragenlijst is per artikelgroep gevraagd waar men de laat- ste keer een bepaald artikel heeft gekocht. Deze methode heeft het voordeel dat alle potentiële aankooplocaties en online aan- koopgedrag worden meegenomen. De ‘yesterday’ methode geeft een meer precieze schatt ing van het ruimtelijk koopgedrag dan
42 Evaluatie methodiek koopstromenmeting in het prestatieonderzoek Metropool Regio Eindhoven de ‘everyday methode’ (‘meestal’ of ‘doorgaans’), omdat ook klei- nere aankooplocaties een kans krijgen in beeld te komen (mits er sprake is van een omvangrijke steekproef). Tevens wordt in het geval van frequente(re) aankopen (boodschappen, mode) ook gevraagd waar men deze artikelen de één na laatste keer kocht. De kans dat een toevallige aankooplocatie een te groot gewicht krijgt wordt hierdoor verkleind. Ook de mogelijke invloed op de resultaten door de specifi eke dag waarop wordt geënquêteerd of de enquête wordt ingevuld, wordt zo geringer.
De aankopen die in de ‘yesterday’ methode gemeten zijn, moe- ten vervolgens vertaald worden naar bestedingen op basis van landelijke gemiddelden. Hierna moeten ook deze resultaten nog gewogen en geijkt worden om een dekkend beeld van de betreff ende regio te krijgen. Deze bewerking is een potentiële foutenbron.
Verder bestaat de vragenlijst uit een kwantitatief en een kwa- litatief deel. Het doel van het kwantitatieve deel is om de ruim- telijke koopstromen in kaart te brengen. Het kwalitatieve deel brengt kenmerken van koopgedrag in beeld en draagt bij aan het ‘begrijpen’ van verschuivingen in het ruimtelijke koopgedrag. Als positieve aspecten kunnen met betrekking tot de validiteit worden aangemerkt:
- Koopmotieven, koopbeleving en waardering van consu- menten kunnen goed in beeld worden gebracht.
- Het onderzoek biedt op basis van schatt ingen inzicht in online bestedingen en het belang daarvan
- De methodiek kan zowel overal in Nederland als in het bui- tenland (bijvoorbeeld in de grensregio’s) worden toegepast. - Het stellen van aanvullende en meer kwalitatieve vragen
biedt de mogelijkheid tot een betere interpretatie van de resultaten van de koopstroomgegevens.
Als negatieve aspecten kunnen met betrekking tot de validi- teit worden aangemerkt:
- De gegevens zijn gebaseerd op het geheugen van de consu- ment. De gegevens zijn derhalve subjectief en kunnen tot vertekening leiden. Doordat consumenten, gevraagd naar
43 3 Representativiteit, betrouwbaarheid en validiteit van de methodieken
hun laatste aankoop (de yesterday methode), toch vaak ge- neigd zijn om te denken aan hun directe omgeving, bestaat de kans op hoge bindingscijfers en lagere toevloeiingscijfers dan werkelijk het geval is. Uit het Rabo-onderzoek is gebleken is dat de reikwijdte van bestedingen groter is dan op basis van traditioneel koopstromenonderzoek wordt verondersteld. - Er kunnen alleen uitspraken worden gedaan over het ge-
bied waar het onderzoek is uitgevoerd.
- Het onderzoek wordt in een beperkte periode uitgevoerd, uit- spraken over koopstromen gelden alleen voor deze periode.
3.3 Conclusies
De methodiek van koopstromenonderzoek op basis van pin- transacties is gebaseerd op daadwerkelijk geregistreerd ge-
drag en objectieve gegevens: pintransacties van Rabo-klanten (consumenten) naar Rabo-klanten (bedrijven). Het gaat hierbij derhalve om een deelpopulatie op basis van het marktaandeel van de Rabobank. Dit maakt ophoging naar de totale populatie en correcties noodzakelijk.
Geconcludeerd kan worden dat de bewerking van het basis- materiaal - om te kunnen voldoen aan eisen van betrouwbaar- heid en representativiteit - zeer complex is en veel tijd kost. De bewerking is op zich uitgebreid en onderbouwd door Panteia be- schreven. Hierbij is globaal aangegeven met welke beperkingen (bijvoorbeeld ten aanzien van de betrouwbaarheid bij een gede- tailleerde branche- en gebiedsindeling) de gebruiker rekening moet houden. Bij een zeer gedetailleerd gebieds x branche verde- ling ontstaat een tabel met zeer veel cellen en daardoor een hoog aantal vrijheidsgraden (df = (kolom-1) x (rij-1)) met per cel weinig of geen waarnemingen en een hoge onnauwkeurigheidsmarge. Hierdoor komt de betrouwbaarheid onder druk te staan. De noodzakelijke controle en bewerking van het basismateri- aal kent met name de volgende drie oorzaken:
• Beperkingen in het registratiesysteem van de Rabobank en de Kamer van Koophandel die gecorrigeerd moeten worden; • Het probleem van de ‘lege cellen, die noodzaakt tot het con-
44 Evaluatie methodiek koopstromenmeting in het prestatieonderzoek Metropool Regio Eindhoven • Alleen de beschikking hebben over transactiegegevens van
Rabo-klanten (consumenten) naar Rabo-klanten (zakelijke klanten) die opschaling en ijking noodzakelijk maken. In de documentatie van Panteia is niet op alle punten door- zichtig wat de invloed is van de gehanteerde correctiefactoren op de verschillende deelbestanden en het eindbestand. Ook is onbekend wat nu precies de betrouwbaarheid en representati- viteit van het uiteindelijke resultaat is.
Een en ander betekent ook dat bij gebruik van recentere data eenzelfde complexe, tijdrovende en kostbare bewerking weer noodzakelijk zal zijn. Dat zou een belemmering kunnen zijn voor de praktische uitvoerbaarheid van het gebruik van gege- vens van de Rabobank die up- to-date zijn.
Door de gedetailleerde uitsplitsing naar een laag geografi sch niveau en veel branches, kan er sprake zijn van een grote fout- marge (door de eerder genoemde lage vulling per cel en hoge aantal vrijheidsgraden in de tabel). De buitenlandse bestedin- gen worden niet meegenomen, hetgeen vooral in grensregio’s een probleem is van de externe validiteit (resultaat is niet ge- neraliseerbaar naar buitenlandse bestedingen).
In de methodiek van koopstromenonderzoek op basis van pin- transacties is sprake van een registratie van het daadwerkelij- ke betaalgedrag voor het gehele jaar. De data van de Rabo bank zijn tevens landelijk dekkend.
Vanuit een oogpunt van validiteit zijn dit positieve aspecten. De actualiteit van de data is een probleem, de meest recente cijfers die zijn gebruikt komen uit 2014. Een juiste duiding van de data zonder extra informatie/kennis is lastig.
Voor de validiteit zijn dit negatieve aspecten.
Het KSO Randstad 2018 is gebaseerd op enquêtes onder een
45 3 Representativiteit, betrouwbaarheid en validiteit van de methodieken
naar de populatie noodzakelijk. Er is tevens sprake van een selectieve respons, er zijn namelijk alleen gegevens over koop- gedrag bekend van de respondenten die hebben meegedaan aan het onderzoek. Van de circa 85.000 enquêtes is 41% via in- ternetpanels ingevuld en 59% online ingevuld op basis van een steekproef onder de gemeenten in het onderzoeksgebied. Ondanks het grote aantal van 85.000 enquêtes was bij een uit- splitsing naar aankooplocaties de betrouwbaarheid bij sommige locaties in het geding. In de respons bleken vanuit een oogpunt van representativiteit vooral de jongeren sterk ondervertegen- woordigd. Hiervoor heeft een herweging plaatsgevonden. Bij de groep jongeren die wel aan het onderzoek heeft meegedaan en die is opgehoogd kan echter de vraag worden gesteld of dit wel een goede afspiegeling is van de jongeren in de populatie. In het KSO Randstad 2018 komen de data voort uit enquêtes die gebaseerd zijn op het geheugen van de respondent. Hierbij kan er sprake zijn van een selectieve perceptie (welk beeld heeft een respondent van een aankoop, wat verstaat een respondent hieronder), een selectieve retentie (wat herinnert een respon- dent zich) en een selectieve registratie (wat neemt een respon- dent bewust niet mee bij het invullen van de enquête). Voor de validiteit zijn dit negatieve aspecten.
Daarentegen bieden de gegevens uit de enquêtes wel (kwalita- tieve) informatie over de beoordeling van winkelgebieden, de beleving van consumenten, de motieven van consumenten, (het aandeel van) de online aankopen en de achtergrondken- merken van de respondenten.
Voor de validiteit zijn dit positieve aspecten.
Samengevat:
Tabel 3: samenvatt ing representativiteit, betrouwbaarheid en validiteit voor de onderzoeksmethodes Methode: Representativiteit Betrouwbaarheid Interne validiteit Externe validiteit
Pin - - + -