Methode: selectie van Tweets en beoordeling in vijf dimensies

Dit hoofdstuk beschrijft de manier waarop het onderzoek is uitgevoerd. In paragraaf 3.1 wordt uitgelegd hoe het multidimensionale codeersysteem van Reinemann et al. (2012) is toegepast en aangepast voor dit onderzoek. De steekproef wordt toegelicht in paragraaf 3.2. In paragraaf 3.3, 3.4, 3.5 en 3.6 wordt aan de hand van het codeboek per dimensie aangegeven hoe de analyse van de nieuwsberichten in zijn werk ging. In paragraaf 3.7 wordt de codering met additieve index toegelicht. Paragraaf 3.8 laat ten slotte de intercodeursbetrouwbaarheid zien.

3.1 Multidimensionaal codeersysteem

Deze thesis is een kwalitatief onderzoek naar de mate van hardheid van nieuwsberichten op sociaal medium Twitter. Om te ontdekken of studenten meer hard of zacht nieuws delen via Twitter wordt een multidimensionaal codeersysteem gebruikt. Zoals besproken in het theoretisch hoofdstuk, heerst er in het academisch discours collectieve ambiguïteit rond de begrippen hard en zacht nieuws. Om tot “collaborative, cumulative and comparative research” (Reinemann et al 2012, p. 223) te komen, hebben Reinemann et al. een standaarddefinitie opgesteld. Dit deden de onderzoekers op basis van een

systematische analyse van 24 onderzoeken naar hard en zacht nieuws. De onderzoeken bleken gericht op vijf verschillende dimensies van hardheid. Vanwege het multidimensionale karakter van nieuws, stelden Reinemann et al. een multidimensionaal codeersysteem op (Reinemann et al., 2012).

Om ook dit onderzoek wetenschappelijk vergelijkbaar te maken, wordt hardheid van nieuwsberichten gemeten volgens het codeersysteem van Reinemann et al. (2012). Het codeersysteem van Reinemann et al. is gericht op drie van de vijf nieuwsdimensies: de themadimensie, de stijldimensie en de

focusdimensie. Volgens de onderzoekers zijn de receptie- en productiedimensie van toepassing op meer kwalitatief onderzoek: “In order to measure them, surveys of journalists, participant observations in newsrooms or effects studies including ordinary recipients would be needed. And because our focus here is on characteristics measurable in actual news content, we concentrate solely on the topic, focus and style dimensions (...).” (Reinemann et al. 2012, p. 230-231)

Aangezien in deze thesis kwantitatief onderzoek wordt gedaan naar nieuwsberichten, is ook in dit geval gekozen om de berichten enkel op thema, focus en stijl te coderen en analyseren. Hiervoor wordt het originele coderingsmodel van Reinemann et al. (2012) gebruikt.

3.2 Steekproef

Dit onderzoek is een voorbeeld van inductieve statistiek, waarbij aan de hand van een steekproef uitspraken worden gedaan over de gehele populatie. Als populatie is gekozen voor ‘studenten op Twitter’. Om precies te zijn Nederlandse studenten die zichzelf in hun Twitter-biografie hebben geprofileerd als ‘student’. Via de online tool Followerwonk kon een lijst worden gemaakt van deze studenten. Er zijn handmatig 80 studenten uit verschillende Nederlandse regio’s geselecteerd die in de eerste helft van de maand oktober minstens een keer tweetten over een nieuwsonderwerp.

Vanwege de tijdspanne van dit onderzoek is gekozen om de Tweets te analyseren van 80 Nederlandse studenten in een periode van 15 dagen: 1 tot en met 15 oktober 2013. Deze Tweets zijn verzameld met Twitter Capturing and Analysis Toolset van het Digital Methods Initiative van de Universiteit van

Amsterdam (url: https://wiki.digitalmethods.net/Dmi/ToolDatabase?cat=DeviceCentric&subcat=Twitter). Deze verzameling resulteert in een totaal van 4.533 berichten. Van deze berichten bevat 18,9 procent een link naar informatie: 855 berichten. Dit is een werkbaar aantal voor de gestelde periode van deze thesis. Er is gekozen om alleen de inhoud van Tweets met een link naar informatie te kiezen, omdat van deze Tweets zeker is dat er informatie gedeeld wordt. Zo zijn persoonlijke updates (“Ik eet nu een boterham” of “Het is gezellig hier”) eruit gefilterd. Hoewel een Tweet van 140 tekens zonder link zeker nieuwswaarde kan hebben, is het lastig om onderscheid te maken in stijl of framing van zulke korte berichten. Bij de codering zal daarom in de eerste plaats gekeken worden naar hetgeen waarnaar de Tweet verwijst: de inhoud van de link. Deze inhoud kan een nieuwsbericht, column, blog, video of afbeelding zijn. Als er twijfel bestaat over de nieuwswaarde van een link, wordt ook de inhoud van de Tweet beoordeeld.

3.3 Wel of geen nieuws

Voordat het bericht (een tekst, foto, video of opiniestuk) wordt beoordeeld per dimensie, wordt bepaald of de inhoud van het bericht wel of geen nieuws betreft. Dit wordt in de eerste plaats bepaald aan de hand van de bron. In bijlage 3 staat een uitgebreid overzicht van welke bronnen wel en welke bronnen niet als nieuwsbron worden gezien. Websites van nieuwszenders als NOS of BBC News en kranten als Trouw en The New York Times worden gezien als nieuwsbron. Tracking apps (waarmee gebruikers hun locatie of route kunnen delen) zoals Foursquare of Runkeeper zijn geen bronnen van nieuws. Hetzelfde geldt voor gamesites of handelsplatformen zoals Marktplaats. De derde categorie bestaat uit bronnen

die soms wel, en soms geen nieuws bevatten. Een voorbeeld is Buzzfeed: een site die een sectie heeft met grappige plaatjes en een sectie met nieuws. Ook sociaal medium YouTube valt in deze categorie. Op dit videoplatform worden niet alleen muziekvideo’s en bloopers gedeeld, maar ook nieuwsitems. Of het geheel van Tweet en linkinhoud nieuws betreft, wordt in dit geval door de codeur beoordeeld aan de hand van de definitie van Stephens (2011): “new information about a subject of some public interest that is shared with some portion of the public.”

3.4 Themadimensie

In navolging van het onderzoek van Els Knaapen (2013) naar hard en zacht nieuws in het NOS-journaal is in dit onderzoek gekozen de themadimensie anders te coderen dan Reinemann et al. (2012) doen. Reinemann et al. coderen het thema op basis van vier factoren:

“(1) Two or more societal actors that disagree on a societal issue (e.g., two parties, a party and an NGO, voters and politicians, employers and trade unions). 0 = not present; 1 = present

(2) Decision-making authorities (legislative, executive, judiciary) that are or could be involved in the generally binding decision about that societal issue. 0 = not present; 1 = present

(3) The substance of a planned or realized decision, measure, programme that relates to the issue. 0 = not present; 1 = present

(4) The persons or groups concerned by the planned or realized decisions, measures, programmes. 0 = not present; 1 = present” (Reinemann et al. 2012, p. 237)

De onderzoekers kiezen niet voor een lijst met harde en zachte onderwerpen, maar meten de hardheid aan de hand van de politieke relevantie van het nieuwsbericht. Hoe hoger een nieuwsbericht scoort op basis van bovenstaand schema, hoe harder het is. Knaapen (2013) stuitte tijdens haar proefcodering op problemen: “Opmerkelijk is dat het topic van veel nieuwsitems die ogenschijnlijk hard zijn, niet als hard worden geclassificeerd volgens dit coderingsmodel” (Knaapen 2013, p. 31). Als voorbeeld noemt zij een nieuwsitem over werkloosheidscijfers, wat logischerwijs onder het thema economie valt:

“Een klassiek ‘hard’ onderwerp, waarover in de literatuur consensus bestaat. Volgens het codeboek van Reinemann et al., moet er in het item sprake zijn van onenigheid tussen twee partijen (punt 1 uit het coderingsmodel) en moeten er besluiten worden genomen met betrekking tot de werkloosheids- problematiek (punt 2), wil het item in aanmerking komen voor de classificatie ‘hard’. Dat hoeft bij een item over nieuwe werkloosheidscijfers echter niet het geval te zijn, maar het topic wordt desalniettemin als zacht geclassificeerd” (Knaapen 2013, p. 31).

Om dit probleem te voorkomen, wordt voor dit onderzoek het codeboek van Knaapen gebruikt voor de themadimensie. Op basis van de literatuur van De Swert (2007) en themalijsten uit een internationaal vergelijkend onderzoek van Brekken en Aalberg (2010) stelt zij vooraf inhoudelijke categorieën op, ondanks de kritiek van Reinemann et. al. Volgens Reinemann et al. is het misleidend om vooraf vast te stellen of thema’s hard of zacht zijn “because seemingly soft topics may be framed as socially relevant or hard news might be presented as light-hearted, entertaining and with a focus on their soft aspects” (Reinemann et al. 2012, p. 231). Knaapen weerlegt deze kritiek door te benadrukken dat deze aspecten worden gecodeerd in de focus- en stijldimensie (Knaapen 2013, p.31).

Zoals in de theorie besproken onderscheidt De Swert (2007) naast hard en zacht nieuws een derde categorie: sensationeel nieuws. Knaapen ziet dit als een vorm van zacht nieuws. “Zachte en sensationele topics krijgen in de codering dan ook het gelijke aantal punten mee (namelijk: 1).” Sensatie wordt wel als aparte inhoudelijke categorie gecodeerd, “zodat er bij een significante stijging of daling van zachte nieuwstopics geanalyseerd worden op welk topictype (‘zacht: algemeen’ of ‘zacht: sensationeel’) die verandering terug te voeren is” (Knaapen 2013, p. 31). In figuur 1 zijn de basiscategorieën

onderverdeeld. Valt het bericht waar de Tweet naar linkt in de categorie hard nieuws, dan wordt het getal 0 toegekend. Valt het in een van beide zacht-nieuwscategorieën, dan krijgt het bericht 1 punt. In bijlage 2 is het volledige codeerschema met subcategorieën te vinden. Tijdens het coderen van dit onderzoek bleek het schema uitgebreid genoeg om alle berichten onder te brengen.

Hard nieuws Zacht nieuws: algemeen Zacht nieuws: sensatie

Politieke thema’s buitenland / Politieke thema’s binnenland / Politieke praktijk Economische zaken

Kunst, cultuur, geloof / Sport & kansspelen / Lifestyle / Familie / Gezondheid Entertainment / beroemdheden / roddels

Ongelukken / rampen / Justitie & Veiligheid / Geweld /

Medische ophef

Figuur 1: Inhoudelijke categorieën van de themadimensie (Knaapen 2013, p. 31)

3.5 Focusdimensie

Volgens de codeerinstructies van Reinemann et. al wordt de focusdimensie onderverdeeld in twee subdimensies. De eerste gaat over persoonlijke of maatschappelijke relevantie, de tweede over episodische of thematische framing.

De eerste subdimensie heeft te maken met de persoonlijke of maatschappelijke relevantie van een bericht. Let wel, dit is geen publieksonderzoek: het gaat om waar de journalist het accent legt. Een bericht dat gericht is op persoonlijke relevantie benadrukt de persoonlijke, individuele betekenis of consequenties van het nieuws voor een deel van de samenleving. Een bericht met een maatschappelijke focus benadrukt de overkoepelende, algemene consequenties voor de maatschappij als geheel

(Reinemann et. al 2012, 237). Zo kan een bericht over een storing bij de bank benadrukken dat rekeninghouders die avond niet kunnen pinnen (persoonlijke focus) of het kan benadrukken welke gevolgen dit heeft voor de hele Nederlandse economie (maatschappelijke focus). Als het nieuwsbericht een geheel of voornamelijk persoonlijke focus heeft, krijgt het 2 punten. Benadrukt het bericht zowel persoonlijke als maatschappelijke consequenties of relevantie, dan krijgt het 1 punt. Een volledig of voornamelijk maatschappelijk gefocust bericht krijgt 0 punten.

De tweede subdimensie heeft te maken met het frame van het bericht. Een bericht kan thematisch of episodisch geframed zijn. Een thematisch frame plaatst een onderwerp in een brede context: de achtergrond van een ontwikkeling wordt belicht. Vaak worden er statistieken gebruikt en komen er experts voor die het nieuws duiden. Berichten met een episodische focus maken (of houden) het nieuws klein: het bericht gaat over een specifiek geval, casus of gebeurtenis zonder brede context. Het kan ook zijn dat het nieuws wordt gepersonaliseerd: er wordt een exemplarische persoon opgevoerd die wordt beïnvloed door het nieuwsthema (Reinemann et. al 2012, p. 238). Berichten met een

episodische framing krijgen het cijfer 2, berichten met een thematische framing krijgen een 0. Er zijn ook berichten die beide frames gebruiken. Het verhaal begint bijvoorbeeld met een illustratie van het nieuws (episodisch) en geeft daarna de achtergronden of zoomt uit naar de brede context (thematisch). Dit soort berichten krijgen het cijfer 1.

3.6 Stijldimensie

Om te bepalen of de stijl van een nieuwsbericht hard of zacht is, wordt het codeersysteem van

Reinemann et. al gebruikt. Ook stijl wordt in twee subdimensies gemeten: subjectiviteit van de journalist en journalistieke stijl.

De eerste substijldimensie meet de mate waarin de persoonlijke mening van de journalist naar voren komt. Denk aan opiniestukken, maar ook items waarin de eigen interpretatie of speculaties van de verslaggever duidelijk naar voren komen. Openlijk commentaar of een waardeoordeel zijn persoonlijke elementen. Reinemann et. al benadrukken dat het hier niet gaat om opinies van journalisten die niet de auteurs zijn van het item (maar die bijvoorbeeld als expert worden geciteerd). Als het bericht geheel of

voornamelijk subjectief of persoonlijk is, krijgt het cijfer 2. Bevat het item een mix van persoonlijke en onpersoonlijke elementen, dan wordt het gecodeerd met een 1. Geheel of voornamelijk onpersoonlijke, objectieve berichten krijgen het cijfer 0.

In de tweede subdimensie wordt de journalistieke stijl gecodeerd: de mate van emotionele presentatie van informatie. Nieuwsberichten met een emotionele stijl bevatten verbale, visuele of auditieve middelen om emotie op te roepen of te versterken bij het publiek. Gebeurtenissen worden gedramatiseerd: er wordt emotionele taal gebruikt (superlatieven en sterke bijvoeglijk naamwoorden), video’s bevatten overdadige, filmische editing of er wordt verslag gedaan van expressie of emotie. Hard nieuws wordt juist gepresenteerd in een feitelijke stijl, zonder opsmuk en emotieopwekkende middelen. In deze sub-stijldimensie krijgt een volledig of hoofdzakelijk feitelijk item 0 punten. Bevat het bericht een mix van emotionele en niet-emotionele elementen, dan krijgt het het cijfer 1. Berichten met een volledig of voornamelijk emotionele stijl krijgen 2 punten.

3.7 Additief puntensysteem

De nieuwsberichten waarnaar de Tweets linken worden op drie manieren gecodeerd. Om de

deelhypotheses te bewijzen of ontkrachten, wordt de hardheid per testvariabele (thema, stijl, focus) gemeten. Daarnaast wordt met een kruistabel gekeken in hoeverre stijl en focus verband houden met het thema. Om de hoofdvraag te beantwoorden wordt gecodeerd met een additieve index. Dit komt overeen met de codeerinstructies van Reinemann et al. (2012, p. 233). Het betekent dat de hardheid van het nieuws wordt gemeten aan de hand van drie verschillende dimensies. Voor iedere dimensie krijgt het bericht punten. Deze worden opgeteld tot een totaal waarbij geldt: hoe meer punten, hoe zachter het nieuws.

Reinemann et. al ontwikkelden bewust een puntensysteem zonder strikte scheiding tussen hard en zacht nieuws. Volgens de onderzoekers is er sprake van een continuüm, waarbij hard nieuws in het midden overgaat in zacht nieuws. “Using the dimensions and categories we suggest will allow for the

construction of a simple additive index representing the position of a news item on a continuum from harder to softer types of news” (Reinemann et. al 2012, p. 233).

3.8 Intercodeurbetrouwbaarheid

Om de betrouwbaarheid van de methode te bepalen, is 10,2 procent van het corpus door een tweede codeur opnieuw geanalyseerd. De mate van overeenstemming tussen de eerste en tweede codeur is bepaald met behulp van Krippendorff’s Alpha. De tweede codeur heeft 87 van de 855 Tweets van het

corpus gecodeerd. De tweede codeur maakte voor 100% hetzelfde onderscheid tussen wel of geen nieuws als de eerste codeur. Nadat dit eerste onderscheid was gemaakt, bleven 52 nieuwstweets over om te coderen aan de hand van de vijf dimensies. Een variabele is betrouwbaar, als die een waarde heeft van 0.67 of hoger. In tabel 2 zijn de Krippendorff’s Alpha-waarden terug te vinden. Daaruit blijkt dat het meetinstrument ruim voldoende betrouwbaar is om conclusies te kunnen verbinden aan de resultaten van de analyse (zie ook bijlage 6).

Variabele Krippendorff’s Alpha

Themadimensie 1

Focusdimensie 1 0.932

Focusdimensie 2 0.796

Stijldimensie 1 0.785

Stijldimensie 2 0.764

Figuur 2: Intercodeurbetrouwbaarheid per variabele