Sentiment op Twitter in relatie tot
tv-kijkcijfers bij de ‘Talkshowoorlog’
Afstudeerproject Bachelor Informatiekunde
Stijn van Geene 11915234 25 juni 2020
Begeleider: L. Stolwijk 2e Examinator: R. Pankow
Bachelorscriptie Informatiekunde
Faculteit der Natuurwetenschappen, Wiskunde en Informatica Universiteit van Amsterdam
3
Abstract
Dit afstudeerproject onderzoekt de ondersteuning die data van Twitter kan bieden bij het bepalen en beoordelen van tv-kijkcijfers. Ten eerste wordt de huidige methode voor het bepalen van de kijkcijfers geanalyseerd. Dat leidt tot een nieuwe presentatie van de kijkcijfers zoals Stichting KijkOnderzoek (SKO) ze nu meet, waarbij de betrouwbaarheidsintervallen van de dagelijkse steekproef in acht worden genomen. Vervolgens is voor twee vergelijkbare dagelijks uitgezonden late-night talkshows het sentiment op Twitter vergeleken. De resultaten van de sentimentanalyse laten zien dat er voor de talkshow van RTL significant hoger wordt gescoord op positieve emotie ten opzichte van de talkshow van de NPO.
Introductie
Relevantie
In het Nederlandse medialandschap wordt veel waarde gehecht aan de kijkcijfers. Het bepaalt het voortbestaan van tv-programma’s en carrières van tv-persoonlijkheden. Bovendien is het een van de belangrijkste graadmeters voor het bepalen van tarieven voor advertenties (Ster Reclame, 2018).
Volgend voorbeeld illustreert het belang van de kijkcijfers bij tv-omroepen. Onlangs deed Diederik Ebbinge, presentator van het programma ‘Promenade’, een oproep in ‘De Wereld Draait Door’ aan alle mensen met een zogenaamd ‘kijkcijferkastje’ om te kijken naar zijn programma. Dat deed hij uit angst zijn programma na één seizoen te verliezen vanwege tegenvallende kijkcijfers. Het werkte. De laatste uitzending werd, volgens de kijkcijfers zoals Stichting KijkOnderzoek ze publiceert, door ongeveer twee keer zoveel mensen bekeken in vergelijking met de voorgaande uitzendingen. Niet veel later werd bekend gemaakt dat ‘Promenade’ zich mocht gaan opmaken voor een tweede seizoen (Redactie Spraakmakers, 2020)
Kijkcijfers
De kijkcijfers worden in Nederland berekend en gepubliceerd door Stichting KijkOnderzoek. Iedere ochtend om 7.30 uur worden de kijkcijfers van de 25 best bekeken programma’s van de dag ervoor gepubliceerd (zie Figuur 1). Dat gebeurt op basis van een steekproef van tenminste 1.250 huishoudens, die uit 2.700 à 2.800 respondenten bestaat (Stichting KijkOnderzoek, 2018). SKO zorgt ervoor dat deze huishoudens tezamen een representatieve weergave creëren van de Nederlandse samenleving. Dat gebeurt op basis van de MOA Gouden Standaard, die is gebaseerd op de populatiecijfers van het CBS (“Gouden standaard - MOA Expertise Center voor Marketing-insights, Onderzoek en Analytics”, z.d.). Er worden ook fictieve huishoudens toegevoegd die de Nederlandse huishoudens die geen tv in huis hebben vertegenwoordigen.
4
Figuur 1 Eerste 10 van Top 25 woensdag 10 juni 2020 (screenshot website SKO, 2020)
Kijkcijferkastje
SKO verzamelt haar data met behulp van het zogenaamde kijkcijferkastje. De TARiS 5000 meter om precies te zijn (Stichting KijkOnderzoek, 2018). Op iedere (smart) tv, videorecorder, DVD speler, set-top box en andere tv-gerelateerde apparaten in het huishouden van de steekproefdeelnemer wordt een meter aangesloten. Registratie van wat er gekeken wordt vindt plaats op basis van Enhanced Audio
Matching (EAM). De audio output van de tv wordt verbonden met de TAriS 5000 meter en opgeslagen
op het apparaat. De audio wordt vervolgens ’s nachts gematcht met de database van GfK, waardoor automatisch kan worden herkend wat er werd bekeken voor 116 tv-zenders (Stichting KijkOnderzoek, 2018). GfK (Growth from Knowledge) is een groot internationaal bedrijf in markt- en consumentenonderzoek (GfK, z.d.). Om te registreren wie er kijkt, wordt een speciale afstandsbediening gebruikt. Ieder lid van het huishouden moet door middel van een toegewezen knopje inloggen als ze kijken en weer uitloggen als ze stoppen met kijken. Iedere 15 minuten geeft de meter een melding om te checken of de ingelogde personen nog steeds aan het kijken zijn.
Deze methode zorgt ervoor dat het niet uitmaakt met welk apparaat (set-top box, streaming service, game console etc.) tv wordt gekeken (Stichting KijkOnderzoek, 2018). Dit maakt het ook mogelijk om het te registreren als een programma niet live wordt gekeken, maar op een later moment (Uitgesteld Kijken).
Rapportage kijkcijfers
De resultaten van de steekproef worden gepresenteerd in de eerdergenoemde top 25. De top 25 bevat verschillende waardes per tv-programma. Naast de titel, starttijd en zender waarop het tv-programma is uitgezonden worden de kijkdichtheid (KDH); het percentage van de bevolking van zes jaar en ouder dat heeft gekeken, het marktaandeel (MADL); het percentage van tv-kijkers dat op dat moment naar het programma kijkt; en de absolute waarde van het aantal kijkers van zes jaar en ouder (ABS). Zie de bijlage voor de definities die SKO hanteert.
Een belangrijk gegeven dat hierbij mist zijn de betrouwbaarheidsintervallen van de genomen steekproef. Bij de meeste programma’s ligt de onzekerheid voor de kijkdichtheid in de buurt van 1 procentpunt, volgens Casper Alberts, adjunct-hoogleraar Toegepaste Statistiek (Hinke, 2020). Dat houdt in dat bij een kijkdichtheid van 6 procent in de steekproef, in 95 procent van de steekproeven de populatiewaarde tussen de 5 en 7 procent zal liggen. Een belangrijke eis hierbij is dat de steekproef
5 representatief is voor de populatie. In absolute aantallen kijkers vertaalt een steekproefpercentage van 6 procent naar een waarde van tussen de ongeveer 800 duizend en 1,1 miljoen kijkers.
Talkshowoorlog
Met de overstap van talkshow-host Eva Jinek van de publieke omroep naar het commerciële RTL is in Nederland de zogenaamde ‘Talkshowoorlog’ ontstaan. Jinek presenteerde bij de publieke omroep, afgewisseld met Jeroen Pauw, een vergelijkbare talkshow op de late doordeweekse avond. Bij RTL doet ze exact hetzelfde, waarbij ze afwisselt met Beau van Erven Dorens. De publieke omroep is overgestapt naar een format met dagelijks wisselende duo’s onder de nieuwe naam ‘Op1’. Deze talkshows lijken veel op elkaar en worden op nagenoeg hetzelfde moment uitgezonden. Dat heeft ervoor gezorgd dat de kijkcijfers van beide programma’s dagelijks uitgebreid werden aangehaald en vergeleken in de media.
Voor de media zijn die cijfers interessant om over te berichten. Koppen in de trant van ‘Eva Jinek deelt rake klappen uit in talkshowoorlog’ (Heerkens, 2020), waren dagelijks te lezen in verschillende kranten en op online nieuwssites. De media houden echter zelden rekening met de eerdergenoemde betrouwbaarheidsintervallen van de kijkcijfers van SKO. Binnen de casus van de ‘Talkshowoorlog’ valt namelijk door de betrouwbaarheidsintervallen op dagelijkse basis (bijna) nooit een winnaar uit te roepen, omdat de betrouwbaarheidsintervallen overlappen. Zie Figuur 2, hierin staan per dag de kijkcijfers (ABS) van de talkshows van de NPO en RTL. De zwarte balkjes geven de onder- en bovengrens van het 95% betrouwbaarheidsinterval van de steekproef aan. In dit geval ligt iedere dag de bovengrens van de talkshow met een lagere ABS waarde boven de ondergrens van de talkshow met de hogere ABS waarde. Oftewel, de betrouwbaarheidsintervallen overlappen elke dag van week 11 2020.
6
Twitter is een social media platform waar gebruikers korte berichten kunnen posten van maximaal 280 tekens (voorheen 140 tekens). Twitter heeft in Nederland 2,8 miljoen gebruikers, waarvan ruim een derde (1,1 miljoen) dagelijks actief is (van der Veer, Boekee, & Hoekstra, 2020). Deze 1,1 miljoen gebruikers leveren een enorme hoeveelheid informatie die veel gebruikt wordt in wetenschappelijk onderzoek.
Twitter komt in verschillende wetenschappelijke artikelen naar voren als mogelijke ondersteunende meetmethode bij het bepalen van kijkcijfers. Twitter heeft volgens Wakamiya, Lee, & Sumiya (2011) enkele voordelen ten opzichte van de traditionele meetmethoden, waaronder de methode van SKO. Zo is het bij Twitter mogelijk om een veel grotere steekproefgrootte te realiseren, bevat een tweet vaak sentiment en/of een mening over de uitzending en bevat een tweet informatie over de locatie van de zender. Er zijn echter ook nadelen. Het is namelijk moeilijk om de karakteristieken van de Twitteraar te bepalen, waardoor het moeilijk te meten is in hoeverre de steekproef representatief is (Wakamiya et al. 2011).
Crisci et al. (2017), vonden met behulp van verschillende regressiemodellen dat de Twitteractiviteit - zoals het aantal tweets en retweets - maar ook het sentiment van tweets, een goede voorspellende waarde kan zijn voor de kijkcijfers. Zij richtten zich in dit onderzoek op Italiaanse realityshows, omdat de kijkers daarvan een relatief hoge betrokkenheid bij de uitzending hebben.
Ook Molteni & Leon (2016), onderzochten de relatie tussen het aantal kijkers van Amerikaanse tv series en Twitteractiviteit. Ze classificeerden handmatig, op basis van een Knime Decision Tree (Wakade et al., 2012) tweets als positief, negatief of neutraal en pasten lineaire regressie toe om een relatie aan te tonen tussen het sentiment op Twitter en de kijkcijfers.
Oh et al. (2015), onderzochten verschillende social media statistieken in relatie tot kijkcijfers van 38 verschillende tv-programma’s. Ze keken met name naar statistieken over de officiële accounts van de tv-programma’s. Zo bleek onder andere dat het aantal volgers van het officiële Twitter account van het programma correleerde met het gemiddeld aantal kijkers tussen de 18 en 49 jaar voor het programma. Een vergelijkbare relatie vonden ze voor het aantal vermeldingen op Facebook door gebruikers.
In Nederland vonden Sommerdijk et al. (2016) een hoge correlatie (0.82) tussen het aantal tweets met de officiële hashtag van het tv-programma verstuurd tijdens de uitzending en de kijkcijfers van SKO. Elf wekelijks uitgezonden programma’s uit de kijkcijfer top-25 van SKO werden onderzocht. Er werd niet gekeken naar de inhoud van de tweets.
In het onderzoek van Segijn, Maslowska, Araujo, & Viswanathan, (2019) is de Twitteractiviteit over een groot live tv-evenement geanalyseerd. Zij vonden een negatieve relatie tussen Twittergedrag en het kijkcijferverloop tijdens de uitzending, maar ze vonden wel dat de inhoud van de tweets van belang is. Er werd namelijk een positieve relatie gevonden tussen de kijkcijfers en de tweets waarin affectie getoond werd.
Volgens Buschow, Schneider & Ueberheide, (2014) is de Twitteractiviteit bij verschillende genres van tv-programma’s niet hetzelfde. Zij onderzochten verschillende genres van tv-programma’s en classificeerden bijbehorende tweets op uitgebreide wijze. Zo werd er bij talentenjachten vooral getweet met kritiek of lof voor de deelnemende kandidaten en bij talkshows werd er gedebatteerd over het onderwerp van het gesprek tijdens de talkshow.
7
Onderzoeksvragen
Het hoofdonderwerp van dit onderzoek is de toepassing van data van Twitter als ondersteuning bij het bepalen en beoordelen van tv-kijkcijfers. Daarbij is specifiek gekozen voor de casus van de ‘Talkshowoorlog’ vanwege de grote gelijkenis tussen de programma’s qua inhoud, setting en uitzendtijdstip. Om goed onderzoek te kunnen doen naar het hoofdonderwerp zullen ten eerste de twee domeinen, de kijkcijfers en Twitter, nader onderzocht moeten worden.
Hoofdvraag
:Kan de activiteit op Twitter over late-night talkshow uitzendingen dienen als ondersteuning bij het bepalen en beoordelen van de kijkcijfers van de betreffende uitzendingen?
Deelvragen
: Kijkcijfers:1. Welke alternatieve presentaties van de kijkcijfers van SKO die de betrouwbaarheidsintervallen in acht nemen, zijn realiseerbaar en welke heeft de voorkeur?
2. Wat zijn de verschillen in het sentiment op Twitter tussen de late-night talkshows van de NPO en RTL?
Methode
Deel 1: Kijkcijfers Stichting KijkOnderzoek
Met behulp van de documentatie van SKO, de methodologische beschrijving (Stichting KijkOnderzoek, 2018) en de calculatie- en rapportageregels (Stichting KijkOnderzoek, 2017), is de werkwijze van SKO geanalyseerd. Vervolgens is de data van SKO dagelijks geëxporteerd van de website van SKO (www.kijkonderzoek.nl) over de periode van 4 maart 2020 tot 14 juni 2020. Per dag zijn er drie bestanden gedownload: de eerdergenoemde top 25 (Figuur 1) en ook het dagelijkse zenderoverzicht voor NPO1 en RTL4, allen in CSV-formaat. Met behulp van Python en de Pandas module zijn al deze bestanden verwerkt en klaargemaakt voor analyse. De gebruikte Python code voor het verwerken van de data en het berekenen van de betrouwbaarheidsintervallen staat in de bijlage.
Voor het berekenen van de betrouwbaarheidsintervallen is gebruik gemaakt van onderstaande formule:
𝐶𝐼 = 𝑝 ̂ ± 𝑧 × √𝑝̂(1 − 𝑝̂) 𝑛
𝑝̂ is de kijkdichtheid (KDH) op één decimaal nauwkeurig
𝑧 is afhankelijk van de gewenste mate van betrouwbaarheid, in dit geval 95%, dus 𝑧 ≈ 1,96 𝑛 is het aantal steekproefdeelnemers, gezet op 2.750 (Stichting KijkOnderzoek, 2018)
8
Deel 2: Twitter
Data verzameling
Voor het verzamelen van tweets is gebruik gemaakt van de Twitter API. De ‘Sandbox’ versie van de
Premium Search Tweets API (Twitter, z.d.-b) is toegepast. De ‘30day’ variant stelt de gebruiker in staat
specifieke query’s uit te voeren voor het ophalen van tweets, met verschillende parameters. In dit geval zijn voor iedere doordeweekse dag gedurende een periode van vier weken de tweets met de officiële hashtags van de twee talkshows (#beau, #op1) opgevraagd, die vanaf één uur voorafgaand aan de uitzending tot 23.59 uur zijn verzonden. Voor de starttijd van de uitzendingen is de starttijd uit het SKO Zenderoverzicht gebruikt. Naast de hashtag van de talkshow is ook Twitters eigen taaldetectie toegepast, om enkel Nederlandstalige tweets te verkrijgen. Zie de bijlage voor een voorbeeld van een query en voor de volledige gebruikte code.
Data verwerking
De Twitter API geeft de tweets in objecten met informatie over de tweet. Met behulp van een Python script is enkel de datum en tijd van het versturen van de tweet en de volledige tekst van de oorspronkelijke tweet opgeslagen in een CSV-bestand. Zie de bijlage voor de gebruikte Python code.
Sentimentanalyse
De resulterende CSV-bestanden zijn geanalyseerd op sentiment met behulp van de Linguistic Inquiry
and Word Count software (LIWC). De software is gebaseerd op jaren van gedegen wetenschappelijk
onderzoek, (Pennebaker et al., 2015) en wordt veel gebruikt in verschillende domeinen. Zo gebruikten Tumasjan et al. (2010) het voor het voorspellen van verkiezingen via Twitter, De Choudhury et al. (2013) voor het voorspellen van depressies op sociale media en Pope & Griffith (2016) gebruikten LIWC om verschillen in Engels- en Duitstalige tweets over de vluchtelingencrisis te ontdekken. Daarnaast gebruikten Segijn et al. (2019) het onlangs in een onderzoek naar de relatie tussen Twitter sentiment en tv-kijkgedrag bij een groot internationaal tv-evenement.
Het principe van de LIWC-software is vrij eenvoudig. Het bestaat uit een verzameling van woorden die zijn gekoppeld aan 66 verschillende categorieën. Dit onderzoek richt zich op de categorieën over psychologische processen (bijv. ‘affection’, ‘sadness’). De software telt woorden en geeft per categorie het percentage van het aantal woorden in de tweet. De Nederlandse vertaling van de LIWC 2007 versie van Boot et al. (2017) is gebruikt. Per uitzending zijn vervolgens de gemiddelde waarden van de categorieën ’swear’, ‘affection’, ‘sadness’, ‘anxiety’, ‘anger’, ‘positive emotion’ (‘posemo’) en ‘negative emotion’ (‘negemo’) opgeslagen in een CSV-bestand. Zie Figuur 3: Voorbeeld tweets en bijbehorende LIWC-scoresFiguur 3 voor een voorbeeld van een aantal tweets en hun scores voor de LIWC-variabelen. De statistische analyse is vervolgens met behulp van SPSS uitgevoerd.
9 Tweet Talk sho w affe ction nege mo pose mo anxie ty anger sadn ess swea r
@RvanWouwe #Beau is beter dan #Op1
behalve op zondag Beau 11,1 0,0 11,1 0,0 0,0 0,0 0,0
Ik kan hier verschrikkelijk agressief van worden. 15 jaar en dan zo'n debiel zijn
#beau
Beau 20,0 20,0 0,0 6,7 13,3 0,0 0,0
Die Lul kleine blijft voor mij gewoon
een 12 jarig irritant jochie. #beau Beau 15,4 15,4 0,0 0,0 15,4 0,0 0,0 Wow prachtig gezongen door Nick en
Simon #op1 Op1 25,0 0,0 25,0 0,0 0,0 0,0 0,0
Ik heb echt medelijden met u. Triest dat u niet in staat bent kritiek niet onder
woorden te brengen zonder grof te worden. #op1
Op1 16,0 16,0 4,0 0,0 8,0 8,0 0,0
Femke Halsema bij #Op1 : De budgetvluchten vormen een gevaar
voor de volksgezondheid van Amsterdam. Dank #schiphol. Dank
@schiphol.
Op1 16,7 5,6 11,1 5,6 5,6 0,0 0,0
Figuur 3: Voorbeeld tweets en bijbehorende LIWC-scores
Resultaten
Deel 1: kijkcijfers
Dagelijkse top 25
De dataset beslaat de periode van 4 maart 2020 tot 14 juni 2020 en bestaat uit 103 CSV-bestanden gedownload van de website van SKO.
Het voornaamste en belangrijkste resultaat van dit gedeelte is onderstaand Figuur 4. Bij deze presentatie van de data van SKO is het duidelijk hoe de resultaten van de dagelijkse steekproef onder mensen met een kijkcijferkastje geïnterpreteerd moeten worden. De kleuren van de balken zijn toegevoegd om duidelijk onderscheid tussen de zenders te kunnen maken.
10
Figuur 4: Alternatieve presentatie kijkcijfers incl. betrouwbaarheidsintervallen (data van SKO, 2020)
De Talkshowoorlog
Zie Figuur 5 voor een overzicht van de kijkcijfers van de talkshows van NPO en RTL. Van de 72 weekdagen (RTL zendt geen late-night talkshow uit in het weekend) scoort ‘Op1’ van NPO 65 keer hoger dan ‘Beau’ of ‘Jinek’ van RTL. De overige zeven keer scoort RTL hoger. Van de 65 keer dat de NPO een hogere waarde heeft voor de kijkcijfers dan RTL, bestond er in 39 gevallen geen overlap tussen de betrouwbaarheidsintervallen van NPO en RTL. Ter verduidelijking: op 39 van de 72 uitzenddagen bleek de ondergrens van het 95% betrouwbaarheidsinterval van de uitzending van NPO hoger dan de bovengrens van het 95% betrouwbaarheidsinterval van de uitzending van RTL. Andersom gebeurde dat slechts één keer. Op 5 juni 2020 scoorde de uitzending van ‘Beau’ zijn hoogste waarde tot nu toe (1,41 mln. kijkers), waarmee de ondergrens van het 95% betrouwbaarheidsinterval ruim boven de bovengrens van het 95% betrouwbaarheidsinterval van de ‘Op1’ uitzending van die dag valt. Volgens Mediacourant (2020), komt dat door de finale van de populaire talentenshow ‘The Voice Kids’ die vlak voor ‘Beau’ werd uitgezonden op RTL4.
11 NPO* RTL gemiddelde 1100 835 std. Deviatie 183 171 minimum 615 469 maximum 1460 1410
Figuur 5: Kijkcijfers SKO late-night talkshows (in duizenden), 04-03-20 t/m 12-06-20. *Exclusief weekendduitzendingen
Deel 2: Twitter
Algemeen
In totaal zijn er 15.708 tweets meegenomen in de analyse, zie Figuur 6 voor een overzicht. Per zender en per uitzenddag zijn de tweets geanalyseerd met de software van LIWC. Figuur 6 toont de gemiddelde waardes van de LIWC-variabelen over alle waarnemingen. ‘Affection’ scoort relatief hoog, omdat dat een overkoepelende LIWC-variabele is voor alle andere, exclusief ‘swear’.
Zender N ∑ tweets tweets per dag σ tweets µ affection µ negemo µ posemo µ anxiety µ anger µ sadness µ swear NPO 24 8876 369,8 265,6 4,425 2,001 2,346 0,339 0,655 0,517 0,106 RTL 24 6832 284,7 181,1 5,001 1,862 3,031 0,228 0,742 0,400 0,127
Figuur 6: Overzicht Twitterdata
Statistische analyse
Een univariate analyse van de variantie van de variabelen per zender, met behulp van het General Linear Model, laat verschillende significante verschillen zien. Zie Figuur 7 voor het overzicht. De resultaten laten significante verschillen zien tussen de tweets over de talkshow van de NPO en die van RTL, voor de categorieën ‘positive emotion’ (posemo) en ‘anxiety’. De tweets over de talkshow van RTL scoren hoger in de categorie ‘positive emotion’, met een vrij hoge effect size en Power (F=11,201, p=0,002, Eta Squared=0,196, Power=0.906). RTL scoort ook significant hoger in de categorie ‘affection’, maar de effect size (0.094) en de Power (0.571) zijn te laag. De NPO scoort hoger in de categorie ‘anxiety’, maar ook hier met een lagere effect size (0.120) en Power (0.690).
Variabel e µNPO - µRTL sig. F Partial Eta Squared Observed Power affection -0,583 0,034 4,777 0,094 0,571 negemo 0,139 0,390 0,754 0,016 0,136 posemo -0,685 0,002 11,201 0,196 0,906 anxiety 0,111 0,016 6,292 0,120 0,690 anger -0,087 0,354 0,877 0,019 0,151 sadness 0,116 0,090 3,004 0,061 0,396 swear -0,020 0,368 0,827 0,018 0,145
12
Conclusie
Hoofdvraag
Het hoofddoel van dit onderzoek was om te onderzoeken of data van de Twitteractiviteit over late- night talkshow uitzendingen kan dienen als ondersteuning bij het bepalen en beoordelen van de kijkcijfers. Het is niet gelukt om een direct verband tussen de Twitteractiviteit en de kijkcijfers aan te tonen voor de casus van de ‘Talkshowoorlog’. Er is wel aangetoond dat er verschil zit in het sentiment op Twitter over beide talkshows. Er wordt meer positieve emotie geuit over de talkshow van RTL (‘Beau’), dan over de talkshow van de NPO (‘Op1’). Dat geeft aan dat er waarde zit in de Twitterdata en dat daar mogelijk andere toepassingen voor zijn.
Kijkcijfers
De huidige methode voor het bepalen van de kijkcijfers is in de basis statistisch gegrond. Het is de interpretatie van de media waar het fout gaat. Hiervoor is een alternatieve presentatie van de steekproefresultaten aangedragen die de betrouwbaarheidsintervallen in acht neemt (Figuur 4). Dat zorgt mogelijk voor een beter begrip en een betere interpretatie van de kijkcijfers van Stichting KijkOnderzoek.
Talkshowoorlog
Rekening houdend met de betrouwbaarheidsintervallen die bestaan bij de steekproef van SKO, is het op 40 van de 72 dagen mogelijk om met 95% betrouwbaarheid een ‘winnaar’ uit te roepen. Oftewel, in 40 gevallen ligt de ondergrens van het betrouwbaarheidsinterval van de hoger scorende talkshow op die dag boven de bovengrens van het betrouwbaarheidsinterval van de lager scorende talkshow. Daarvan wint ‘Op1’ van de NPO 39 keer en ‘Beau’/’Jinek’ van RTL slechts één keer. Dat leidt tot de conclusie dat de NPO de ‘Talkshowoorlog’ voorlopig lijkt te winnen.
Discussie
Kijkcijfers
De analyse van de kijkcijfers is enkel gebaseerd op de data die SKO openbaar publiceert op haar website. Daardoor missen een aantal relevante gegevens. De exacte samenstelling van de steekproefpopulatie is bijvoorbeeld niet bekend, waardoor de representativiteit van de steekproef niet gecontroleerd kan worden. Ook is het mogelijk om de betrouwbaarheidsintervallen van de steekproef nauwkeuriger te berekenen als de steekproefgrootte per dag beschikbaar zou zijn. De steekproefgrootte kan namelijk per dag verschillen vanwege bijvoorbeeld technische problemen bij respondenten (Stichting KijkOnderzoek, 2017).
Andere data die van waarde kan zijn binnen dit domein is de data van de telecombedrijven die de tv-abonnementen verkopen. Door het gebruik van de digitale set-top boxes zouden de telecombedrijven in theorie exact moeten kunnen meten hoeveel van hun klanten kijken naar welke zender en wanneer. De directeur van Stichting KijkOnderzoek zegt in Hinke (2020), dat een set-top box slechts meet op welke zender die staat ingesteld, niet wie er daadwerkelijk aan het kijken is. De methode van SKO meet daarentegen exact welke gezinsleden kijken en hoe lang (Stichting Kijkonderzoek, 2017). Een ander probleem bij het gebruik van de data van de telecombedrijven is privacy (Hinke, 2020).
Een onverwachte externe factor die een rol zou kunnen hebben gespeeld in de ’Talkshowoorlog’, is de uitbraak van het coronavirus. In een factsheet gepubliceerd door Stichting KijkOnderzoek (Stichting KijkOnderzoek, 2020) is terug te zien dat in de weken 11 tot en met 15 van 2020 ~12% meer live tv
13 gekeken is dan in dezelfde periode in 2019. Daarnaast blijkt dat met name de nieuws- en actualiteitenprogramma’s daarvan hebben geprofiteerd (Stichting KijkOnderzoek, 2020). Dit valt ook terug te zien in de kijkcijfers voor de late-night talkshows van de NPO en RTL, zie Figuur 8. Vanaf week 12, de week die begon met de historische toespraak van premier Rutte op de maandagavond (Ministerie van Algemene Zaken, 2020), is een duidelijke stijging van de kijkcijfers van beide talkshows waarneembaar. Met name de NPO lijkt te profiteren, maar ook de weekgemiddelden van RTL stijgen. In week 12 tot en met 15 heeft de NPO gemiddeld ~64% kijkers meer dan in de weken 9 tot en met 11. Voor RTL geldt over dezelfde periode een stijging van ~18%. Zie de bijlage voor Figuur 9 , een vergelijkbaar figuur, maar dan voor het NOS acht-uur journaal (NPO) vergeleken met het Half Acht Nieuws van RTL.
Figuur 8: Effecten corona op kijkcijfers late-night talkshows
De restricties van de gratis versie van Twitter API hebben de grootte van de Tweets dataset behoorlijk beperkt. De dataset is samengesteld met de gratis ‘Sandbox’ versie van de Premium API. In een ideale wereld, zou er onbeperkte toegang zijn tot de meest uitgebreide versie van de Twitter API, de Enterprise API (Twitter, z.d.-a). Dat stelt de gebruiker in staat alle tweets op te halen die beschikbaar zijn, met daarbij ook de cijfers over de engagement (aantal reacties, retweets, likes, etc.) op de tweets. Daarnaast bieden zowel de Enterprise API als de betaalde versie van de Premium API de mogelijkheid om op te vragen hoeveel tweets er in een bepaald tijdsbestek zijn verstuurd die voldoen aan de query (Twitter, z.d.-a). De gratis ’Sandbox’ versie heeft echter een beperking van 250 requests per maand met maximaal 100 tweets per request voor de ‘30day’ variant. Voor het volledige archief aan tweets, dat teruggaat tot 2006, geldt een maximum van 50 requests per maand. Ter referentie, de prijs voor
14 de Premium API start op $149 per maand en loopt tot $2.499 per maand. (Twitter, z.d.-b). De prijzen voor de Enterprise API zijn niet openbaar, daarvoor moet contact worden opgenomen met Twitter.
Sentimentanalyse
De sentimentanalyse is uitgevoerd met de software van LIWC, waarbij de Nederlandse vertaling van Boot et al. (2017) is toegepast. LIWC is een veelgebruikte en uitgebreid gevalideerde tool voor onderzoek naar sentiment op social media, maar er wordt ook getwijfeld aan de kwaliteit van de resultaten voor korte stukken tekst (Hutto & Gilbert, 2014). Een andere veelgebruikte tool, Vader (Hutto & Gilbert, 2014), is specifiek gericht op het analyseren van sentiment in teksten op social media en lijkt volgens een aantal onderzoeken beter te presteren (Antelmi et al., 2018). Vandaag de dag is deze tool echter niet beschikbaar in het Nederlands, dus is het niet bruikbaar bij deze casus.
Handmatige inspectie van de resultaten van de sentimentanalyse laat zien dat de software cynisch of sarcastisch bedoelde tweets niet als zodanig herkent. Deze tweet bijvoorbeeld: “Super interessant; lil kleine kon gewoon alcohol drinken in Dubai! Gelukkig maar goede vragen door #beau”, krijgt een relatief hoge score in de categorie ‘positive emotion’, terwijl die sarcastisch bedoeld lijkt te zijn. Andersom komt het ook voor: “Is er nog iemand die Jinek mist? #beau” krijgt een relatief hoge waarde voor ‘negative emotion’, terwijl het eigenlijk positief bedoeld is ten aanzien van #beau. Het is moeilijk te zeggen hoe groot de invloed hiervan is geweest op de resultaten. Dit zou handmatig gecontroleerd moeten worden. Dat de software van LIWC niet bij 100% van de tweets representatieve resultaten geeft is echter duidelijk.
Twitter in relatie tot tv-kijkcijfers
In andere onderzoeken waar wordt gezocht naar een relatie tussen tv-kijkcijfers en Twitteractiviteit (Crisci et al. (2017), Sommerdijk et al. (2016), Segijn et al. (2019), Molteni & Leon (2016), Oh et al. (2015)) worden verschillende Machine Learning technieken toegepast om de kijkcijfers te voorspellen aan de hand van de Twitterdata. Die onderzoeken lijken echter geen rekening te houden met de onzekerheid die in kijkcijferdata verscholen zit. De gebruikte kijkcijferdata komt namelijk tot stand op een vergelijkbare wijze als in Nederland. De representativiteit van een dergelijk Machine Learning model staat dus ter discussie.
Een andere factor die het leggen van een direct verband tussen het sentiment op Twitter en de kijkcijfers bij deze casus bemoeilijkt, heeft te maken met het genre van de programma’s. Buschow et al. (2014) vonden namelijk dat het (Duitse) Twittersentiment significant verschilt tussen de verschillende genres. Bij talkshows waar veel politieke en andere serieuze onderwerpen worden besproken, werd op Twitter met name het onderwerp van het gesprek aan tafel besproken. Er ontstond onderlinge discussie over de onderwerpen van de talkshows, niet over de talkshows zelf (Buschow et al., 2014). Uit handmatige inspectie van de verzamelde tweets voor dit onderzoek, lijkt het erop dat dit bij deze casus ook speelt.
Toekomstig onderzoek
Voor toekomstig onderzoek zou het relevant zijn om dit onderzoek uit te breiden en niet alleen te kijken naar het sentiment op Twitter, maar ook naar, onder andere, het exacte aantal tweets tijdens de uitzending en het aantal gebruikers dat tijdens een uitzending getweet heeft over de uitzending. Daarnaast zou het interessant zijn om dieper in te gaan op het verloop van de Twitteractiviteit binnen één uitzending, zoals Crisci et al. (2017) deden voor een groot live tv-evenement, maar dan op dagelijkse basis. Dat kan dan gekoppeld worden aan het besproken onderwerp of de gasten die worden geïnterviewd.
15
Referenties
Antelmi, A., Griffith, J., & Young, K. (2018). Towards a More Systematic Analysis of Twitter Data: A Framework for the Analysis of Twitter Communities. In AICS (pp. 303-314).
Boot, P., Zijlstra, H., & Geenen, R. (2017). The Dutch translation of the Linguistic Inquiry and Word Count (LIWC) 2007 dictionary. Dutch Journal of Applied Linguistics, 65-76. http://www.jbe-platform.com/content/journals/10.1075/dujal.6.1.04boo
Buschow, C., Schneider, B., & Ueberheide, S. (2014). Tweeting television: Exploring communication activities on Twitter while watching TV. Communications – European Journal of Communication
Research, 39(2), 129–149.
Crisci, A., Grasso, V., Nesi, P., Pantaleo, G., Paoli, I., & Zaza, I. (2017). Predicting TV programme audience by using twitter based metrics. Multimedia Tools and Applications, 77(10), 12203–12232. De Choudhury, M., Gamon, M., Counts, S., & Horvitz, E. (2013, June). Predicting depression via social media. In Seventh international AAAI conference on weblogs and social media.
GfK. (z.d.). About GfK. Geraadpleegd op 25 juni 2020, van https://www.gfk.com/about-gfk
Gouden standaard - MOA Expertise Center voor Marketing-insights, Onderzoek en Analytics. (z.d.).
Geraadpleegd op 1 april 2020, van https://www.moaweb.nl/gouden-standaard-expertise-center.html Heerkens, R. (2020, 1 februari). Eva Jinek deelt rake klappen uit in talkshowoorlog. Geraadpleegd op 22 maart 2020, van https://www.superguide.nl/nieuws/eva-jinek-deelt-rake-klappen-uit-in-talkshowoorlog-tv
Hinke, B. (2020, 3 februari). Het kijkcijfer kan maken of breken, maar hoe betrouwbaar is het nog? NRC. Geraadpleegd van https://www.nrc.nl
Hutto, C. J., & Gilbert, E. (2014, May). Vader: A parsimonious rule-based model for sentiment analysis of social media text. In Eighth international AAAI conference on weblogs and social media.
Mediacourant. (2020, 6 juni). Beau zet record neer dankzij finale The Voice Kids – Mediacourant.nl. Geraadpleegd op 15 juni 2020, van https://www.mediacourant.nl/2020/06/beau-zet-record-neer-dankzij-finale-the-voice-kids/
Ministerie van Algemene Zaken. (2020, 26 maart). TV-toespraak van minister-president Mark Rutte.
Geraadpleegd op 23 juni 2020, van
https://www.rijksoverheid.nl/documenten/toespraken/2020/03/16/tv-toespraak-van-minister-president-mark-rutte
Molteni, L., & De Leon, J. P. (2016). Forecasting with twitter data: an application to Usa Tv series audience. International Journal of Design & Nature and Ecodynamics, 11(3), 220-229.
Oh, C., Yergeau, S., Woo, Y., Wurtsmith, B., & Vaughn, S. (2015, April). Is Twitter psychic? Social media analytics and television ratings. In 2015 Second International Conference on Computing Technology
and Information Management (ICCTIM) (pp. 150-155). IEEE.
Pennebaker, J.W., Boyd, R.L., Jordan, K., & Blackburn, K. (2015). The development and psychometric properties of LIWC2015. Austin, TX: University of Texas at Austin. DOI: 10.15781/T29G6Z
Pope, D., & Griffith, J. (2016). An analysis of online twitter sentiment surrounding the european refugee crisis. In KDIR: PROCEEDINGS OF THE 8TH INTERNATIONAL JOINT CONFERENCE ON KNOWLEDGE
16
DISCOVERY, KNOWLEDGE ENGINEERING AND KNOWLEDGE MANAGEMENT-VOL. 1. SciTePress Digital
Library.
Redactie Spraakmakers. (2020, 7 mei). Tweede seizoen Promenade in augustus: “Onze handen jeuken”. Geraadpleegd op 24 juni 2020, van https://www.nporadio1.nl/cultuur-media/23616-diederik-ebbinge-bevestigt-nieuw-seizoen-promenade
Segijn, C. M., Maslowska, E., Araujo, T., & Viswanathan, V. (ter perse). Engaging with TV events on Twitter. Internet Research, of.
Sommerdijk, B., Sanders, E., & van den Bosch, A. (2016, May). Can Tweets Predict TV Ratings?. In Proceedings of the Tenth International Conference on Language Resources and Evaluation
(LREC'16) (pp. 2965-2970).
Ster Reclame: Tv, Radio en Online Adverteren bij NPO. (2018, 5 december). Geraadpleegd op 22 maart
2020, van https://www.ster.nl/
Stichting Kijkonderzoek. (2017). Het kijkonderzoek calculatie- en rapportageregels. Geraadpleegd van https://kijkonderzoek.nl
Stichting Kijkonderzoek. (2018). Dutch television audience measurement methodological description. Geraadpleegd van https://kijkonderzoek.nl
Stichting KijkOnderzoek. (2020). CORONA HOUDT NEDERLAND THUIS - UPDATE KIJKCIJFERS T/M WEEK
16 . Geraadpleegd van
https://kijkonderzoek.nl/images/Persberichten/2020/200421_Factsheet_Corona_houdt_Nederland_ thuis_-_UPDATE_-_kijkcijfers_tm_week_16.pdf
Tiezzi, J., Tyler, R., & Sharma, S. (2020, April). Lessons Learned: A Case Study in Creating a Data Pipeline using Twitter’s API. In 2020 Systems and Information Engineering Design Symposium (SIEDS) (pp. 1-6). IEEE.
Tumasjan, A., Sprenger, T. O., Sandner, P. G., & Welpe, I. M. (2010, May). Predicting elections with twitter: What 140 characters reveal about political sentiment. In Fourth international AAAI conference
on weblogs and social media.
Twitter. (z.d.-a). Docs. Geraadpleegd op 29 mei 2020, van https://developer.twitter.com/en/docs Twitter. (z.d.-b). Products Overview – Twitter Developers. Geraadpleegd op 17 juni 2020, van https://developer.twitter.com/en/products/products-overview
van der Veer, N., Boekee, S., & Hoekstra, H. (2020). Nationale Social Media Onderzoek 2020. Geraadpleegd van https://www.newcom.nl/
Wakade, S., Shekar, C., Liszka, K. J., & Chan, C. C. (2012). Text mining for sentiment analysis of Twitter data. In Proceedings of the International Conference on Information and Knowledge Engineering
(IKE) (p. 1). The Steering Committee of The World Congress in Computer Science, Computer
Engineering and Applied Computing (WorldComp).
Wakamiya, S., Lee, R., & Sumiya, K. (2011). Towards better TV viewing rates: exploiting crowd’s media life logs over Twitter for TV rating. Proceedings of the 5th International Conference on Ubiquitous
17
Bijlagen
Definities SKO
Allen genomen van Stichting KijkOnderzoek (2017)
Kijkdichtheid (KDH)
De kijkdichtheid (kdh) van een programma is gedefinieerd als het gemiddelde percentage kijkers per seconde dat naar dit programma heeft gekeken. De respondenten in de steekproef worden daarbij gewogen met een gewicht bepaald door de mate waarin ze voorkomen in de totale populatie van kijkers in Nederland. Formule:
𝑘𝑑ℎ𝑖 =
∑𝑅𝑟=1𝑊𝑟𝑝𝑟,𝑗
∑𝑅𝑟=1𝑊𝑟
∙ 100%
𝑘𝑑ℎ𝑖 : kijkdichtheid voor programma i
R : aantal respondenten in de steekproef 𝑤𝑟 : gewicht van respondent r
𝑝𝑟,𝑗 : kijkkans van respondent r voor programma i
Waarbij de kijkkans wordt gegeven door:
𝑝𝑟,𝑗=
𝐾𝑟,𝑗
𝑑𝑢𝑢𝑟𝑖
𝐾𝑟,𝑗 : kijkduur van respondent r voor programma i
𝑑𝑢𝑢𝑟𝑖 : duur van programma i
Marktaandeel (MADL)
Het marktaandeel is gedefinieerd als het percentage kijkers naar een uitzending of tijdvak, gebaseerd op het totale kijkerspubliek. Het marktaandeel wordt berekend door de kijkdichtheid van een
programma of tijdvak door de kijkdichtheid totaalzenders in het betreffende programma c.q. tijdvak te delen.
𝑚𝑎𝑟𝑘𝑡𝑎𝑎𝑛𝑑𝑒𝑒𝑙𝑧,𝑡 =
𝑘𝑑ℎ𝑧,𝑡
𝑘𝑑ℎ𝑧,𝑡
𝑚𝑎𝑟𝑘𝑡𝑎𝑎𝑛𝑑𝑒𝑒𝑙𝑧,𝑡 : marktaandeel voor zender z in tijdvak t
𝑘𝑑ℎ𝑧,𝑡 : kijkdichtheid voor zender z in tijdvak t
𝑘𝑑ℎ𝑧,𝑡 : kijkdichtheid totaalzenders gedurende tijdvak t
ABS
18
Python code
Ook beschikbaar op een private repository op GitHub: neem contact op met de auteur voor toegang.
Verwerken SKO data
import math import re import numpy as np import os import pandas as pd import datetime import locale import csv import searchtweets locale.setlocale(locale.LC_TIME, "nl_NL")
# function for confidence intervals def bet_interval(kdh,n):
p = kdh/100
b = 1.96*(np.sqrt((p*(1-p))/n)) return b
# translates single 'uitzenddag' .csv to df def makedf(path, directory):
# move to right directory os.chdir(directory) # read data df = pd.read_csv(path).dropna() df = df.reset_index() df = df.drop(0)
19 df['date'] = df.columns[6]
df['dag'] = df.columns[6].split()[0]
df['date'] = pd.to_datetime(df['date'],format="%A %d %B %Y")
df.columns = ['pos', 'tijd', 'titel', 'zender', 'kdh', 'madl', 'abs', 'date', 'dag']
# clean and convert
df['kdh'] = df.kdh.apply(lambda x : str(x).replace(',', '.')) df['madl'] = df.madl.apply(lambda x : str(x).replace(',', '.')) df['abs'] = df['abs'].apply(lambda x : str(x).replace('.', '')) df['abs'] = df['abs'].astype(int)
df['tijd'] = df['tijd'].astype(int) df['kdh'] = df['kdh'].astype(float)
# add confidence intervals n=2750
df['conf_int_min'] = round(((df['kdh']/100) - bet_interval(df['kdh'], n)) * (df['abs']/df['kdh'])*100).as type(int)
df['conf_int_max'] = round(((df['kdh']/100) + bet_interval(df['kdh'], n)) * (df['abs']/df['kdh'])*100).a stype(int)
df['conf_int'] = round(bet_interval(df['kdh'], n) * (df['abs'].mean() / df['kdh'].mean()) * 100).astype( int)
return df
# combine all .csv files in directory in one df def CombinedDf(directory):
df = pd.DataFrame()
# loop through all .csv files in directory # pd.concat them one by one
for root,dirs,files in os.walk(directory): for file in files:
20 if file.endswith(".csv"):
if df.empty == True:
df = makedf(file, directory) else:
df = pd.concat([df, makedf(file, directory)]) return df
Ophalen en verwerken Tweet via Twitter API
import math import re import numpy as np import os import pandas as pd import datetime import locale import csv import searchtweets locale.setlocale(locale.LC_TIME, "nl_NL")
# finds full text of (original) tweet def find_fulltext(tweet): # save timestamp created_at = tweet['created_at'] if 'retweeted_status' in tweet: # check if >140 characters if tweet['retweeted_status']['truncated']: fulltext = tweet['retweeted_status']['extended_tweet']['full_text'] else: fulltext = tweet['retweeted_status']['text'] else: if tweet['truncated']:
21 fulltext = tweet['extended_tweet']['full_text']
else:
fulltext = tweet['text'] return {created_at: fulltext}
# script to collect tweets from twitter API # stored in .jsonl file [filename]
# format dates YYYY-MM-DD HH:MM (hour and minutes optional) def collect_tweets(query, from_date, to_date, filename, max_results): API_KEY = 'API_KEY'
API_SECRET_KEY = 'API_SECRET_KEY'
DEV_ENVIRONMENT_LABEL = 'DEV ENV LABEL'
API_SCOPE = '30day' # 'fullarchive' for full archive, '30day' for last 31 days
SEARCH_QUERY = query
RESULTS_PER_CALL = 100 # 100 for sandbox, 500 for paid tiers
TO_DATE = to_date # format YYYY-MM-DD HH:MM (hour and minutes optional) FROM_DATE = from_date # format YYYY-MM-DD HH:MM (hour and minutes optional)
MAX_RESULTS = max_results # Number of Tweets you want to collect
FILENAME = filename # Where the Tweets should be saved
# Script prints an update to the CLI every time it collected another X Tweets PRINT_AFTER_X = 500
#--- STOP ---#
# Don't edit anything below, if you don't know what you are doing. #--- STOP ---#
22 config = dict( search_tweets_api=dict( account_type='premium', endpoint=f"https://api.twitter.com/1.1/tweets/search/{API_SCOPE}/{DEV_ENVIRONMENT_LA BEL}.json", consumer_key=API_KEY, consumer_secret=API_SECRET_KEY ) )
with open('twitter_keys.yaml', 'w') as config_file:
yaml.dump(config, config_file, default_flow_style=False)
import json
from searchtweets import load_credentials, gen_rule_payload, ResultStream
premium_search_args = load_credentials("twitter_keys.yaml", yaml_key="search_tweets_api", env_overwrite=False) rule = gen_rule_payload(SEARCH_QUERY, results_per_call=RESULTS_PER_CALL, from_date=FROM_DATE, to_date=TO_DATE ) rs = ResultStream(rule_payload=rule, max_results=MAX_RESULTS, max_requests=30, **premium_search_args)
23 with open(FILENAME, 'a', encoding='utf-8') as f:
n = 0
for tweet in rs.stream(): n += 1
if n % PRINT_AFTER_X == 0:
print('{0}: {1}'.format(str(n), tweet['created_at'])) json.dump(tweet, f)
f.write('\n') print('done')
# parse output of Twitter API
# strips tweet object, saves fulltext and creation timestamp to .csv def load_jsonl(input_file, output_file):
with open(output_file, 'w', encoding='utf-8') as f: writer = csv.writer(f)
with open(input_file, 'rb') as f:
for tweet in json_lines.reader(f, broken=True): created_at = tweet['created_at'] if 'retweeted_status' in tweet: # check if >140 characters if tweet['retweeted_status']['truncated']: fulltext = tweet['retweeted_status']['extended_tweet']['full_text'] else: fulltext = tweet['retweeted_status']['text'] else: if tweet['truncated']: fulltext = tweet['extended_tweet']['full_text'] else: fulltext = tweet['text']
24
writer.writerow([created_at, fulltext])
# collects and parses tweets
# combines the two functions above
def load_tweets(query, from_date, to_date, filename, max_results):
collect_tweets(query, from_date, to_date, filename+'.jsonl', max_results) load_jsonl(filename+'.jsonl', filename+'.csv')
# example query
# search tweets in dutch containing '#beau' send between 03-06 20:32-23:59 # save to .csv ('#beau-03-06') with created_at timestamp and full text of tweet
load_tweets('lang:nl #beau', '2020-06-03 20:32', '2020-06-03 23:59', '#beau_03-06', 2999)
