Met behulp van een pretest is onderzocht of de tweet en de klacht door de respondenten als geloofwaardig, realistisch en negatief beoordeeld werd. De groep respondenten was in vier condities verdeeld. Allereerst werden de respondenten verdeeld in de conditie waarbij ze werden blootgesteld aan de Twitter pagina van de profit organisatie Tony’s Chocolonely of aan de non-profit organisatie gemeente Utrecht. Vervolgens werden binnen de organisaties de groepen verder verdeeld in twee verschillende condities, waarbij de ene groep een persoonlijke reactie te zien kreeg met een conversational human voice en de andere groep een onpersoonlijk bericht te zien kreeg. De respondenten moesten allereerst de klacht beoordelen aan de hand van stellingen die beantwoord konden worden met een 7-Punts Likertschaal. Deze schaal liep van 1 = ‘Volledig mee oneens’ tot 2 = ‘Volledig mee eens’.
De toon van het bericht is negatief
Het bericht is geloofwaardig
Het bericht is realistisch
Ik heb veel affiniteit met de organisatie
Klacht
Profit organisatie: Tony’s Chocolonely
Non-profit organisatie: Gemeente Utrecht
klacht @TonyChocolonely Dit
klinkt als een marketingtruc om simpelweg meer geld in het laatje te brengen.
@GemeenteUtrecht Dit klinkt als een marketingtruc om simpelweg meer geld in het laatje te brengen.
Vervolgens kregen de groepen een reactie te zien van de organisatie waarbij ze waren ingedeeld. De ene groep werd ingedeeld in de conditie waarbij een persoonlijke reactie werd geplaatst en de andere groep kreeg een onpersoonlijke reactie te zien. Hieronder staat een tabel met daarin de persoonlijke webcare en de onpersoonlijke webcare, opgesplitst tussen de profit en non-profit organisatie.
Antwoord
Profit organisatie: Tony’s Chocolonely
Non-profit organisatie: Gemeente Utrecht
Persoonlijke webcare @Ron Met dit initiatief
hopen we, samen met de chocofans, ons steentje bij te dragen aan de strijd tegen mensenhandel.^Lot
@Ron met dit initiatief hopen we, samen met de inwoners van Utrecht, ons steentje bij te dragen aan de strijd tegen
mensenhandel.^Lot
Onpersoonlijke webcare @Ron Met dit initiatief
probeert Tony’s Chocolonely samen met de chocofans een steentje bij te dragen aan de strijd tegen mensenhandel.
@Ron Met dit initiatief probeert de gemeente Utrecht samen met de inwoners een steentje bij te dragen aan de strijd tegen mensenhandel.
Na het zien van deze reactie op de klacht moesten de respondenten deze beoordelen aan de hand van stellingen die beantwoord konden worden met een 7-Punts Likertschaal die varieerde van 1= ‘Volledig mee oneens’ tot 7 = ‘Volledig eens’.
Het is duidelijk welke medewerker van Tony’s Chocolonely/gemeente Utrecht reageert.
De reactie is persoonlijk.
De reactie komt van een ‘echt’ persoon.
De reactie komt vanuit Tony’s Chocolonely/gemeente Utrecht.
Je weet welke medewerker de reactie geschreven heeft.
Welk type organisatie is dit? Profit, wat betekent dat een organisatie winst moet maken om te blijven bestaan. Of: Non-profit, wat betekent dat de organisatie geen winst hoeft te maken om te blijven bestaan.
Resultaten pretest
Allereerst waren de respondenten in twee condities verdeeld, waarin de ene groep het Twitter account van de profit organisatie Tony’s Chocolonely (N= 10) te zien kreeg en de tweede groep het account van de non-profit organisatie gemeente Utrecht (N= 9). Beide groepen werd gevraagd om de klacht van Ron te beoordelen aan de hand van een 7-Punts Likertschaal (1= ‘Volledig mee oneens’ en 7 = ‘Volledig mee eens’). Zoals verwacht zagen zowel de profit als de non-profit groep het bericht als negatief (Mprofit = 5.00, SD = 1.56, t(9)
=10.11, p= 0.00; Mnon-profit = 5.33, SD = 1.73, t(8) = 9.24, p = 0.00).
Om te voorkomen dat respondenten afgeleid werden door het stimulus materiaal, moet de conversatie tussen consument en organisatie als geloofwaardig en realistisch overkomen. In de pretest was aan de respondenten gevraagd of ze de reactie van Ron geloofwaardig en realistisch vonden, aan de hand van een 7-Punts Likertschaal (1= ‘Volledig mee oneens’ en 7 = ‘Volledig mee eens’). Zowel de profit groep als de non-profit groep beoordeelden het bericht als geloofwaardig (Mprofit = 4.80, SD = 1.99, t(9) = 7.63, p= 0.00; Mnon-profit = 4.44, SD = 1.60, t(8) = 8.39, p = 0.00) en realistisch (Mprofit = 4.70, SD = 1.49,
t(9) = 9.95, p= 0.00; Mnon-profit = 5, SD = 1, t(8) = 15, p = 0.00).
Ondanks dat de respondenten Rons bericht beoordeelden als een negatieve reactie die werkelijk op Twitter kon staan, zagen zij het bericht niet specifiek als een klacht (Mprofit = 2.50, SD = 1.08, t(9) =7.32, p= 0.00; Mnon-profit = 3.78, SD = 1.86, t(8) = 6.11, p = 0.00). Het
is aannemelijk dat de respondenten de reactie van Ron meer als kritiek opvatten, dan een specifieke klacht. Op basis van deze resultaten werd het bericht niet aangepast, omdat men het bericht wel als negatief beoordeelde.
Om er zeker van te zijn dat respondenten het verschil kennen tussen profit en non- profit organisaties, was gevraagd of zij konden aangeven in hoeverre de organisatie wel of niet winstgevend moet zijn. Zoals verwacht werd Tony’s Chocolonely als profit organisatie gezien (Mprofit = 4.78, SD = 1.79, t(8) = 8.02, p= 0.00) en werd de gemeente Utrecht door de
meeste respondenten als non-profit organisatie beschouwd (Mnon-profit = 6.00, SD = 1.41,
t(8) = 12.73, p = 0.00).
De respondenten bleken met allebei de organisaties affiniteit te hebben
(Mprofit = 4.30, SD = 1.70, t(9) = 7.99, p= 0.00; Mnon-profit = 5.22, SD = 1.09, t(8) = 14.34, p = 0.00). De hoge score van affiniteit met de Gemeente Utrecht ging tegen de verwachtingen in. In eerste instantie werd verwacht dat de profit organisatie Tony’s Chocolonely populairder zou zijn, omdat uit een eerdere pretest bleek dat 88,5% van de respondenten (N= 26) Tony’s Chocolonely als een leuke en hippe organisatie zag. Daarentegen vond 60% van de respondenten tijdens de eerdere pretest dat de gemeente Amsterdam een suffe en saaie organisatie was. Op basis van de pretest is aangenomen dat mensen minder affiniteit hebben met een gemeente, dan met een chocolade fabrikant. Verwacht werd dat respondenten meer affiniteit met de gemeente Amsterdam zouden hebben, omdat het de hoofdstad is. Daarom was in deze pretest besloten om de gemeente Utrecht te testen.
Iets meer dan de helft van de respondenten van de pretest heeft in Utrecht gewoond of woont hier nu nog steeds (N=10). Dit kan een verklaring zijn waarom er onverwacht hoog werd gescoord op affiniteit met de gemeente. De gemeente werd echter niet aangepast, omdat de resultaten van de eerdere pretest lieten zien dat er ook minder affiniteit met een gemeente kan zijn. Ten tweede wordt het uiteindelijke experiment ingevuld door mensen die woonachtig zijn in verschillende delen van Nederland. De verwachting is dat hierdoor er ook minder affiniteit met de gemeente Utrecht zal zijn.
Zoals verwacht heeft de groep die was blootgesteld aan de onpersoonlijk webcare van Tony’s Chocolonely (N=4) niet het gevoel gehad dat de reactie van een ‘echt’ persoon kwam (Mprofit = 3.75, SD = 2.06, t(3) = 3.64, p = 0.036). Het was voor de respondenten niet
duidelijk welke medewerker de reactie geschreven had (Mprofit = 3.25, SD = 1.71, t(3) =
3.81, p = 0.032). Dit gold ook voor de onpersoonlijk conditie van de gemeente Utrecht (N=5). De respondenten vonden het onduidelijk welke medewerker heeft gereageerd (Mnon- profit = 1.60, SD = 0.55, t(4) = 6.53, p = 0.003), beoordeelden de reactie als onpersoonlijk (Mnon-profit = 3, SD = 2, t(4) = 3.35, p = 0.028) en vonden dat de reactie niet door een ‘echt’ persoon geschreven was (Mnon-profit = 3, SD = 1.41, t(4) = 4.74, p = 0.009). Wel vond de groep dat de reactie vanuit de gemeente Utrecht komt (Mnon-profit = 6.4, SD = 0.55, t(4) = 26.13, p = 0.000).
Tegen de verwachtingen in bleken de groepen die ingedeeld waren bij de conditie met persoonlijke webcare de human voice in het bericht niet te herkennen. De respondenten (N=5) waren het eens, noch oneens over welke medewerker van Tony’s Chocolonely reageerde (Mprofit = 4, SD = 0.71, t(4) = 12.65, p = 0.00) of wie de reactie geschreven had (Mprofit = 4, SD = 1.41, t(4) = 6.33, p = 0.003). De respondenten vonden wel dat de reactie vanuit Tony’s Chocolonely kwam (Mprofit = 5.60, SD = 1.52, t(4) = 8.26, p = 0.01), maar ze
waren het niet eens met de stelling dat het van een ‘echt’ persoon kwam (Mprofit = 3.60, SD =
1.67, t(4) = 4.81, p = 0.09). De respondenten die blootgesteld waren aan de conditie van de persoonlijke webcare door de gemeente Utrecht (N=4) herkenden de human voice ook niet in de Twitter berichten. Het was onduidelijk welke medewerker reageerde (Mnon-profit = 1.75,
SD = 0.5, t(3) = , p = 0.), en de reactie werd niet als persoonlijk gezien (Mnon-profit = 3.75,
SD = 2.63, t(3) = 7.0, p = 0.006). Wel vonden de respondenten dat de reactie vanuit de
gemeente kwam (Mnon-profit = 5.25, SD = 1.26, t(3) = 8.35, p = 0.004).
Conclusie pretest
Uit de resultaten van de pretest bleek dat de klacht als negatief, realistisch en geloofwaardig werd gezien. Echter werd het niet beoordeeld als klacht. Dit betekent dat de
wat betekent dat dit onderscheid duidelijk was voor de respondenten. De onpersoonlijke webcare reacties van de organisaties werd beoordeeld als onpersoonlijk en het was voor de respondenten onduidelijk wie het bericht geschreven had. Dit aspect van het materiaal hoeft verder niet aangepast te worden. Echter werd de persoonlijke webcare bij zowel de profit als de non-profit organisatie niet herkend als een persoonlijk bericht en was het onduidelijk wie de afzender was. Het verschil tussen de persoonlijke en onpersoonlijk webcare moet duidelijk van elkaar verschillen, wat betekent dat de persoonlijk reactie aangepast zal moeten worden.
Bijlage 2: Experiment
Introductie pagina
Bedankt voor uw deelname aan dit onderzoek!
Beste deelnemer,
U bent uitgenodigd deel te nemen aan een onderzoek dat wordt uitgevoerd onder
verantwoordelijkheid van onderzoeksinstituut ASCoR, onderdeel van de Universiteit van Amsterdam. ASCoR doet wetenschappelijk onderzoek naar media en communicatie in de samenleving.
Het onderzoek waarvoor wij uw medewerking hebben gevraagd, is getiteld ‘Bedrijven en Twitter’. Doel van het onderzoek is om inzicht te verkrijgen in hoe u denkt over bedrijven die gebruikmaken van Twitter.
Tijdens dit onderzoek wordt u gevraagd om uw mening te geven over berichten die geplaatst zijn op Twitter. Het onderzoek duurt ongeveer 7 minuten.
Omdat dit onderzoek wordt uitgevoerd onder de verantwoordelijkheid van ASCoR, Universiteit van Amsterdam, heeft u de garantie dat:
1. Uw anonimiteit is gewaarborgd en dat uw persoonsgegevens onder geen enkele
voorwaarde aan derden zullen worden verstrekt, tenzij u hiervoor van tevoren uitdrukkelijke toestemming hebt verleend.
2. U zonder opgaaf van redenen kunt weigeren mee te doen aan het onderzoek of uw deelname voortijdig kunt afbreken. Ook kunt u achteraf (binnen 24 uur na deelname) uw toestemming intrekken voor het gebruik van uw antwoorden of gegevens voor het onderzoek. 3. Deelname aan het onderzoek geen noemenswaardige risico’s of ongemakken voor u met zich meebrengt, en u niet met expliciet aanstootgevend materiaal zult worden geconfronteerd, 4. U uiterlijk 5 maanden na afloop van het onderzoek de beschikking over een onderzoek rapportage kunt krijgen waarin de algemene resultaten van het onderzoek worden toegelicht.
Vriendelijke groet, Merel Jongejan
Universiteit van Amsterdam
Introductie profit organisatie & stimulus materiaal
We zien hier een bericht op Twitter die geplaatst is door Tony's Chocolonely. Tony's
Chocolonely is een Nederlands chocolademerk die zich inzet voor de slaafvrije productie van chocolade. De consument Ron reageert op de tweet. Lees eerst zijn reactie door.
Onpersoonlijk
Tony's Chocolonely reageert via een tweet op het bericht van Ron. Lees de tweet goed door. Hierna volgen een aantal vragen over deze tweet.
Persoonlijk
Tony's Chocolonely reageert via een tweet op het bericht van Ron. Lees de tweet goed door. Hierna volgen een aantal vragen over deze tweet.
Introductie non- profit organisatie & stimulus material
Tony's Chocolonely reageert via een tweet op het bericht van Ron. Lees de tweet goed door. Hierna volgen een aantal vragen over deze tweet.
Onpersoonlijk
Gemeente Utrecht reageert via een tweet op het bericht van Ron. Lees de tweet goed door. Hierna volgen een aantal vragen over deze tweet.
Persoonlijk
Gemeente Utrecht reageert via een tweet op het bericht van Ron. Lees de tweet goed door. Hierna volgen een aantal vragen over deze tweet.
Social presence
De volgende stellingen gaan over de reactie (tweet) van Tony’s Chocolonely / de gemeente Utrecht. Geef aan in hoeverre u het eens bent met de volgende stellingen:
(1= volledig mee oneens en 7= volledig mee eens)
Ik had het gevoel dat de consument een gesprek voerde met een echt persoon
Het is eenvoudig om de verzender van de tweet van Tony’s Chocolonely / gemeente Utrecht levendig voor te stellen
Ik had het gevoel dat Tony’s Chocolonely/ de gemeente Utrecht rechtstreeks met Ron sprak
De verzender van de tweet is:
gevoelig
warm
persoonlijk
Coversational human voice
De volgende stellingen gaan over het gevoel dat u bij Tony’s Chocolonely / gemeente Utrecht. Geef aan in hoeverre u het eens bent met de volgende stellingen:
(1= volledig mee oneens en 7= volledig mee eens) Tony’s Chocolonely/de gemeente Utrecht…
Nodigt uit tot conversatie
Staat open voor dialoog
Gebruikt een gespreksstijl om van communiceren
Probeert te communiceren op een menselijke manier
Probeert interessant te communiceren
Gebruikt humor in de communicatie
Biedt links naar concurrenten aan
Probeert het gesprek aangenaam te maken
Gaat in op kritiek zonder dit opvallend te doen
Behandelt consumenten als mensen
Zou een fout toegeven
Elektronische nabijheid
In het gesprek waren Ron en Tony’s Chocolonely/de gemeente Utrecht…
Van elkaar verwijderd… dichtbij
Samen…afzonderlijk
Op afstand … nabij
Niet verbonden…verbonden
Tweeweg communicatie
Geef aan in hoeverre u het eens bent met de volgende stellingen: (1= volledig mee oneens en 7= volledig mee eens)
Het is als consument mogelijk om een gesprek aan te gaan met Tony’s Chocolonely/ de gemeente Utrecht
De communicatie tussen Ron en Tony’s Chocolonely/de gemeente Utrecht verloopt als tweerichtingsverkeer
Het is makkelijk om Tony’s Chocolonely /de gemeente Utrecht feedback te geven
Tony’s Chocolonely/ De gemeente Utrecht geeft mij het gevoel dat het bereid is om naar consumenten zoals ik te luisteren
Geef aan in hoeverre u het eens bent met de volgende stellingen: (1= volledig mee oneens en 7= volledig mee eens)
Tony’s Chocolonely/gemeente Utrecht behandelt mensen eerlijk en rechtvaardig
Je kunt erop vertrouwen dat Tony’s Chocolonely/gemeente Utrecht zich aan beloftes houdt
Ik geloof dat ze rekening houden met de mening van mensen zoals ik wanneer besluiten worden gemaakt
Relatiekwaliteit: tevredenheid
Geef aan in hoeverre u het eens bent met de volgende stellingen: (1= volledig mee oneens en 7= volledig mee eens)
Ik zou tevreden zijn over Tony’s Chocolonely/de gemeente Utrecht
Ik ben positief over de communicatie van Tony’s Chocolonely/de gemeente Utrecht
Tony’s Chocoloney/de gemeente Utrecht faalt erin om mensen zoals ik te beantwoorden
Relatiekwaliteit: verbondheid
Geef aan in hoeverre u het eens bent met de volgende stellingen: (1= volledig mee oneens en 7= volledig mee eens)
Ik zie dat Tony’s Chocolonely/de gemeente Utrecht een langdurige relatie wilt opbouwen
Ik zie dat Tony’s Chocolonely/de gemeente Utrecht een relatie probeert te onderhouden
Affiniteit
Ik denk dat…
(1= volledig mee oneens en 7= volledig mee eens)
Ik een goed gevoel heb over Tony’s Chocolonely/de gemeente Utrecht
Ik tony’s Chocolonely/ de gemeente Utrecht respecteer en bewonder
Ik Tony’s Chocolonley/de gemeente Utrecht vertrouw
eWOM intentie
(1= zeer onwaarschijnlijk en 7= volledig mee eens)
Ik zou op een positieve manier over Tony’s Chocolonely/de gemeente Utrecht praten met anderen
Ik zou Tony’s Chocolonely/de gemeente Utrecht aanraden bij anderen
Ik zou de reactie van Tony’s Chocolonely/de gemeente Utrecht delen met anderen via sociale media
Ik zou de reactie van Tony’s Chocolonely/de gemeente Utrecht doorsturen naar anderen
Manipulatiecheck
Geef aan in hoeverre u het eens bent met de volgende stellingen: (1= zeer onwaarschijnlijk en 7= volledig mee eens)
Het is duidelijk welke medewerker van Tony’s Chocoloneley/de gemeente Utrecht reageert
De reactie van Tony’s Chocolonely/de gemeente Utrecht was gepersonaliseerd.
Controle vragen
Wat is uw geslacht?
man
vrouw Wat is uw leeftijd?
Wat is je hoogst gevolgde opleiding?
Geen onderwijs / basisonderwijs
LBO / VBO / VMBO (kader- en beroepsgerichte leerweg)
MAVO / eerste 3 jaar HAVO en VWO / VMBO (theoretische en gemengde leerweg)
MBO
HAVO en VWO bovenbouw / WO en HBO propedeuse HBO / WO-bachelor of kandidaats
WO-doctoraal of master
Wat vind je van de toon waarop Ron wordt aangesproken? (1 = Volledig mee oneens en 7 = Volledig mee eens)
Ik vind de toon van het bericht gepast
Ik vind het gepast dat consumenten met jij en je worden aangesproken
Heb je zelf een Twitter account?
Ja
Nee
Afsluitende pagina
Hartelijk dank voor uw deelname!
In dit onderzoek hebben we u een fictieve klacht van een bedrijf laten zien. Het doel hiervan was te testen hoe mensen reageren op verschillende type klachten op Twitter.
Aangezien dit onderzoek nog loopt, willen we u vragen het doel van dit onderzoek niet te delen met anderen.
Als ik meer informatie wil, nu of in de toekomst, dan kan ik me wenden tot Merel Jongejan (mereljongejan@gmail.com).
Mocht u nog opmerkingen/vragen hebben naar aanleiding van dit onderzoek, dan kunt u deze hieronder geven/stellen: