Betrouwbaar- Betrouwbaar-heid van het
I.III Uitvoering van het onderzoek
In de telefonische selectiefase is de opinievraag gesteld, de juiste persoon is geselecteerd en uitgenodigd om aan het onderzoek mee te doen. Tevens is het e-mailadres genoteerd of gecontroleerd.
Personen die wilden deelnemen aan het online hoofdonderzoek, ontvingen een e-mail met een unieke link naar de online vragenlijst. Degenen die geen gebruik maken van internet, ontvingen een schriftelijke vragenlijst per post.
Alleen degenen die zelf wel eens zaken regelen m.b.t. het energiebedrijf en/of wel eens contact hebben met het energiebedrijf (bv. de factuur verwerken, mutaties doorgeven, klacht indienen, etc.) werden uitgenodigd om deel te nemen aan het hoofdonderzoek. De opinievragen in de voorselectie werden aan alle personen van 18 jaar en ouder gesteld. Het onderzoek is uitgevoerd binnen De Onderzoek Groep van MarketResponse. De Onderzoek Groep is het consumentenpanel van MarketResponse, bestaande uit circa 25.000 huishoudens/55.000 personen.
ß CATI
MarketResponse maakt in geval van telefonisch onderzoek gebruik van een CATI-systeem, hetgeen staat voor Computer Assisted Telephone Interviewing. Mede met behulp van het CATI-systeem wordt de voortgang van het onderzoek voortdurend gestuurd, gecontroleerd en eventueel gecorrigeerd. Het CATI-systeem garandeert een snelle en kwalitatief hoogwaardige uitvoering van het onderzoek.
Het CATI-programma, Bell/View genaamd, zorgt ervoor dat de vragen van het onderzoek automatisch op het scherm van een terminal verschijnen. De enquêteur zit voor dit scherm. Nadat er, automatisch, contact is gelegd met de respondent leest de enquêteur de onderzoekvragen vanaf het beeldscherm op. Het CATI-programma draagt er zorg voor dat de vragen in de juiste volgorde en onder de juiste selectie worden gesteld. De enquêteur voert de antwoorden via het toetsenbord van de terminal rechtstreeks in, hetgeen in een snelle verwerking van de gegevens resulteert.
Het veldwerk vindt plaats in één centrale ruimte, waar maximaal 65 enquêteurs tegelijk kunnen werken. Het veldwerk staat onder leiding van een supervisor die
verantwoordelijk is voor de voortgang van het veldwerk. Hiernaast wordt continu kwaliteitscontrole uitgevoerd. Dit houdt in dat gesprekken per individuele enquêteur op kwaliteitsaspecten worden beoordeeld, bijvoorbeeld ‘de wijze waarop vragen worden gesteld’, ‘het luisteren naar het antwoord van de respondent’, etc. Enquêteurs worden beoordeeld op basis van resultaten van deze controles. Nieuwe enquêteurs volgen bij
I.IV Steekproef
De onderzoekdoelgroep wordt gevormd door personen in Nederland van 18 jaar en ouder.
Ondervraagd zijn:
- telefonische selectie: willekeurig persoon van 18 jaar of ouder binnen het huishouden;
- hoofdonderzoek: personen die zelf wel eens zaken regelen met betrekking tot het energiebedrijf (bv. de factuur verwerken, mutaties doorgeven, informatie van het energiebedrijf lezen, etc.).
- Extra groep recente switchers (<1 jaar)
Het steekproefkader wordt gevormd door De Onderzoek Groep. Uit het steekproefkader werd een at random steekproef getrokken.
I.V Responseverantwoording
De volgende tabel geeft de responseverantwoording weer van de gesprekken die in het kader van dit onderzoek zijn gevoerd.
Absoluut
n=
Relatief in %
Bruto steekproef waarvan: 3149 100
- geen gehoor/ in gesprek/ max. belpoging 157 5,0
- Infotoon/ terminated 23 0,7
- bedrijfsnummer/fax/modem 1 0
- overige redenen 0 0
Aantal contacten waarvan: 2.968 100
- weigering 184 6,2
- tijdens veldwerkperiode geen afspraak mogelijk 371 12,5
- onderwerp niet gehad 5 0
- taalprobleem 2 0
- overige redenen 27 0,9
Geslaagde gesprekken waarvan: 2.379 100
- aantal personen dat aan het selectiecriterium voldoet en toe heeft gezegd om mee te werken:
1594 67,0
De volgende tabel geeft de responseverantwoording weer van het online onderzoek.
Absoluut
n=
Relatief in %
Bruto online steekproef waarvan: 1307 100
- internetlink ongebruikt 384 29,4
Aantal contacten waarvan: 923 100
- internet afgebroken 59 6,4
- overige redenen 14 1,5
De volgende tabel geeft de verdeling weer tussen het online onderzoek en het schriftelijke onderzoek. Absoluut n= Relatief in %
Bruto steekproef waarvan: 3149 100
- Bruto telefonische voorselectie 2379 75,5
Bruto telefonische voorselectie 2379 100
- Netto telefonische voorselectie 1594 67,0
Netto telefonische voorselectie: 1594 100
- Online 1307 82,0 - Schriftelijk 287 18,0 Netto hoofdonderzoek: 1037 100 - Online 850 82,0 - Schriftelijk 187 18,0
I.VI Veldwerk
De voorselectie is uitgevoerd in de periode van 7 mei tot en met 9 juni 2010. Het online veldwerk is uitgevoerd van 12 mei tot en met 22 juni en het schriftelijke veldwerk is uitgevoerd van 17 mei tot en met 22 juni 2009.
De gesprekken ten behoeve van de voorselectie hebben ’s avonds plaatsgevonden, vanuit de telefonische unit van MarketResponse.
De uitvoering van het veldwerk heeft plaatsgevonden conform de Nederlandse en Europese (Esomar) onderzoekrichtlijnen. Dit houdt onder meer in dat respondenten de garantie hebben gekregen dat hun anonimiteit wordt gerespecteerd (persoonsgegevens worden niet aan de opdrachtgever doorgespeeld of gekoppeld aan andere gegevens).
I.VII Weging
Om op basis van het steekproefonderzoek uitspraken over de populatie te kunnen doen, is het van belang dat de steekproef representatief is.
Dit betekent dat de steekproef qua samenstelling zoveel mogelijk moet overeenkomen met de populatie.
Door differentiële non-reponse wijkt de steekproef qua samenstelling af van de populatie. Om de invloed hiervan op de totaalresultaten te corrigeren zijn de resultaten gewogen.
MarketResponse maakt gebruik van een wegingsprogramma dat werkt met
wegingstargets. Dit houdt in dat aan het programma een aantal targettabellen (matrices of alleen randtotalen) met populatiekenmerken wordt aangeboden. Deze gegevens worden door het programma vergeleken met de ongewogen steekproef. Door het toekennen van gewichten (de zogenaamde weegfactoren) aan individuele respondenten zorgt het programma ervoor dat de steekproef qua samenstelling overeenkomt met de populatie (targets). Het programma ‘zoekt’ naar de optimale oplossing. Dit is de
oplossing waarbij de targets zo dicht mogelijk worden benaderd, terwijl de weegfactoren zo weinig mogelijk afwijken van het ‘ideaal’ (= weegfactor 1).
Door de weging tellen antwoorden van personen in ondervertegenwoordigde groepen (in de steekproef) relatief zwaarder mee in het totaalresultaat; de antwoorden van
oververtegenwoordigde groepen tellen juist minder zwaar mee.
In dit onderzoek is gewogen op randtotalen: geslacht, leeftijd, gezinsgrootte, positie in het huishouden, opleiding en regio.
De basis voor de wegingtargets wordt gevormd door de Gouden Standaard De weging is uitgevoerd op het gehele onderzoekbestand.
I.VIII Tabelopzet
De tabellen bevatten de volgende analyse-ingangen (‘kolommen’): 1. Meting 2. Geslacht 3. Leeftijd 4. Opleiding 5. Gezinsgrootte 6. Switch 2004 7. Switch van plan 8. Bekendheid NMa
9. Bekendheid Energiekamer
10. Zichtbaarheid maatregelen Energiekamer 11. Zoekt informatie
12. Vergelijkt energiebedrijven
Significante verschillen tussen gemiddelden/cellen en de totaalkolom worden aangeduid met:
a-b op 95% betrouwbaarheidsniveau A-B op 99% betrouwbaarheidsniveau