Robotjournalistiek

Media, Informatie en Communicatie

Afstudeerscriptie

Robotjournalistiek

Illustratie van Automated Insights

Afstudeeronderzoek

Naam: Kay Korevaar Profiel: Nieuws en Media

Studentnummer: 500637027 Groep: NM403

E-mailadres: kaykorevaar@quicknet.nl Telefoonnummer: 0648563112

Begeleidend docent: Binnert de Beaufort Eerste beoordelaar: Ronald Kroon Tweede beoordelaar: Gerard Verhoef

Nieuws en Media November 2015

Voorwoord

U leest momenteel mijn afstudeerscriptie over het ontstaan en de opkomst van de zogenoemde robotjournalist. Dit rapport is gemaakt ter afronding van de opleiding Media, Informatie en Communicatie (MIC) aan de Hogeschool van Amsterdam (HvA).

Mijn vader, Wilbert Korevaar, legde op 22 juli 2014 de mediabijlage van NRC Handelsblad op de hoek van mijn bureau. De voorpagina kopte in koeienletters: De robotjournalist komt

eraan, geschreven door Stijn Bronzwaer. Ik had toentertijd nog nooit over taalgeneratie in

de journalistiek gelezen of überhaupt van gehoord. Ik was weinig wijzer toen ik van diezelfde technologie mijn afstudeeronderwerp maakte. Ja, ik had me wel ingelezen. Maar die kennis viel in het niet bij wat ik nog zou ontdekken. De afgelopen maanden waren leerzaam. Het fenomeen robotjournalistiek bleek groter dan ik had verwacht.

Gedreven door persoonlijke interesse probeerde ik een zo waarheidsgetrouw mogelijk beeld van de robotjournalist te schetsen. Ik poogde zoveel mogelijk informatie te verzamelen, zonder het bredere kader uit het oog te verliezen. Want de centrale vraag was altijd leidend: in hoeverre heeft de robotjournalist zich in de afgelopen jaren in de Engelstalige media ontwikkeld tot een vervanger of digitale assistent van de menselijke journalist? Het onderzoek draaide uiteindelijk om die ene vraag.

Dit rapport is interessant voor een ieder die regelmatig, op welke manier dan ook, met teksten in aanraking komt. In de eerste plaats journalisten, maar denk eveneens aan communicatiemedewerkers, marketeers, bankiers, studenten, enzovoorts. Teksten zijn overal aanwezig en taalgeneratie is in opkomst in het (Engelstalige) bedrijfsleven. Ja, de ontwikkelingen vorderen in Nederland minder snel. Maar enige voorkennis is nooit een overbodige luxe. Heeft u ooit een gegenereerd nieuwsbericht gelezen en weet u dat zeker?

Mijn speciale dank gaat uit naar alle mensen die mij in dit proces hebben geholpen. In de eerste plaats mijn begeleiders op de HvA (in het bijzonder Huub van der Horst en Binnert de Beaufort) en mijn vader die tevens mijn sparringpartner was. Ik was zonder hem waarschijnlijk nooit tot dit onderwerp gekomen en dan had dit rapport niet bestaan. Hij stond altijd open voor vragen en was van onschatbare waarde in de afronding van dit onderzoek. Mijn laatste dankwoord richt ik aan de specialisten die op welke manier dan ook hun medewerking hebben verleend en aan alle respondenten van de enquête.

Met gepaste trots presenteer ik u mijn afstudeerscriptie. Ik heb met toenemend plezier aan dit onderzoek gewerkt. Ik heb veel geleerd over de sector waarin ik momenteel werk en wil blijven werken. De toekomst leert of taalgeneratiesystemen mijn weg gaan bemoeilijken. Ik beantwoord de centrale vraag in dit voorwoord nog niet. Maar ik verklap wel dat in dit voorwoord geen enkel woord door software is gegenereerd.

Kay Korevaar September 2015

Managementsamenvatting

Taalgeneratie is geen nieuw fenomeen. Onderzoekers houden zich al tientallen jaren met de technologie bezig. Maar veelal bleef het bij onderzoek en werden projecten nooit op grote schaal in de praktijk gebracht. Automated Insights en Narrative Science hebben in de Engelstalige media echter voor een ommekeer gezorgd. Onder meer het internationale persbureau Associated Press en het zakenmedium Forbes zijn computers gaan gebruiken om (korte) artikelen te genereren. Dat roept de eeuwenoude vraag op in hoeverre technologie een bedreiging is voor de mens op de arbeidsmarkt. Gaan mensen hun banen verliezen aan deze taalgeneratieprogramma’s? In deze scriptie wordt een antwoord gegeven op de vraag in hoeverre de zogenoemde robotjournalist zich in de afgelopen jaren heeft ontwikkeld tot een vervanger of digitale assistent van de menselijke journalist. Dit rapport is ontstaan aan de hand van literatuuronderzoek, kwantitatief (enquête) en kwalitatief (interviews) onderzoek. Dit onderzoek is uitgevoerd in een periode van januari 2015 tot en met oktober 2015. Er is voornamelijk gekeken naar de mogelijkheden en de beperkingen van taalgeneratiesoftware. Maar in het literatuuronderzoek en in de enquête is eveneens gekeken naar hoe mensen gegenereerde teksten beoordelen ten opzichte van traditionele artikelen en of mensen een gegenereerd bericht als zodanig herkennen. De belangrijkste conclusie van dit onderzoek is dat de technologie op dit moment de journalist van vlees en bloed niet kan vervangen. De vraag is zelfs of een computer ooit daartoe in staat zal zijn. Uit alle onderzoeksmethodes blijkt dat de mens unieke kwaliteiten heeft ten opzichte van zijn machinale tegenhanger, zoals creativiteit en iets simpels als het voeren van een gesprek. Een computer kan bijvoorbeeld niet een persoon interviewen. De taalgeneratieprogramma’s kunnen aan de andere kant een hoop dingen wel en soms zelfs beter dan de mens iets kan. Als er voldoende gestructureerde data beschikbaar zijn, kan een computer bijvoorbeeld met een aanzienlijk hogere snelheid artikelen produceren dan een mens dat kan. Taalgeneratieprogramma’s lijken momenteel vooral geschikt om de journalist van vlees en bloed werk uit handen te nemen en om de productie te vergroten. Een computer kan bepaalde onderwerpen behandelen, waar de mens geen tijd voor heeft. Een grotere rol lijkt er op dit moment niet voor de software weggelegd. De mens blijft, in ieder geval voorlopig, onmisbaar voor een groot deel van het totaalpakket.

Dat neemt niet weg dat een computer bepaalde dingen wel goed kan, zoals het genereren van relatief simpele sport- en kwartaalverslagen. James Kotecki, communicatievoorlichter bij Automated Insights, zegt dat journalisten die het gevoel hebben robotachtige werkzaamheden te verrichten, zich voorzichtig zorgen moeten maken over baanverlies door toedoen van software. Ryan Thornburg, universitair docent op UNC School of Media and Journalism’s (North Carolina, Verenigde Staten), geeft zijn studenten al mee dat ze de computer moeten leren programmeren of dat ze beter moeten leren schrijven dan de machine. Dat is vooralsnog de uitdaging voor de mens.

English summary

Natural language generation is not a new phenomenon. Researchers are already keeping track of the technology for decades. But often it remained in research projects and they were never put into practice on a large scale. Automated Insights and Narrative Science have led to a turnaround in the English-language media. Among others, the international news agency Associated Press and business medium Forbes are using natural language generation to create (short) articles. This raises the age-old question of whether this technology is a threat to humans. Will people lose their jobs because of the rise of natural language generation systems? This paper provides an answer to the question of whether the so-called robot journalist has become a replacement or a digital assistant to humans. This paper is made by doing literature, quantitative (survey) and qualitative research (interviews) and it was conducted in a period from January 2015 to October 2015. There is mainly looked at the possibilities and limitations of natural language generation software in journalism. But there is also looked at how people evaluate generated texts over traditional articles and if people recognize a generated text as such.

The main conclusion of this paper is that the human journalist currently can’t be replaced by technology. The question is whether a computer will ever be able to do so. All research methods show that humans have unique qualities compared to its mechanical counterpart, such as creativity and something simple as making a call. For example, at this moment a computer isn’t able to interview someone like a CEO of a large business company.

But natural language generation systems have a lot of opportunities as well. Sometimes the programs already do a better job at specific tasks than humans will ever be capable of. For example, if there is enough structured data available a computer can generate articles much faster than human can manually write those. At this moment natural language generation systems seems especially suited as digital assistants to humans. They can adopt less important tasks or increase the total production. A computer can address certain issues were people don’t have time for. But at this moment a larger role does not seem reserved for the software. The human journalist remains essential for certain jobs.

That does not mean that a computer can’t do certain things as well, such as generating relatively simple sports and quarterly reports. James Kotecki, head of communication at Automated Insights, says whose work feels like robotic should maybe be concerned about losing the job trough software. Ryan Thornburg, professor at UNC School of Media and Journalism's, tells his students the following: I tell my students that they must be able to

Inhoud

1.4.1 James Kotecki van Automated Insights 16

1.4.2 Mariët Theune van de Universiteit Twente 16

1.4.3 Frank Kaptein van de Technische Universiteit Delft 16 1.4.4 Ryan Thornburg van UNC School of Media and Journalism's 17

2 De geschiedenis van de robotjournalist 18

2.1 Ontstaan en ontwikkeling van de robotjournalistiek 18

2.1.1 Natural language generation 18

2.1.2 Het FOG-systeem 19

2.1.3 Spotlight 21

2.1.4 Taalgeneratie in de zorg 22

2.1.5 Automated Insights en Narrative Science 22

2.2 Deelconclusie 22

2.2.1 Natural Language Generation 22

3 De moderne robotjournalist 24

3.1 Wie of wat is de moderne robotjournalist? 24

3.1.1 Definities 24

3.1.2 Big Data-tijdperk 25

3.1.3 Welke bedrijven werken aan dergelijke technologie? 27

3.2 Hoe functioneert de moderne robotjournalist? 29

3.2.1 Wat is software? 29

3.2.2 De software achter robotjournalistiek 29

3.3 Mogelijkheden van de robotjournalist 32

3.3.1 Omvang gebruik 32

3.3.2 Snelheid 33

3.3.3 Betrouwbaarheid 33

3.4 Beperkingen en de rol als assistent van de robotjournalist 36

3.4.1 Beperkingen 36

3.4.2 Rol als digitale assistent 37

3.4.3 Tegengeluiden 41

3.5 Deelconclusie 42

4 Het oordeel van de lezer 44

4.1 Onderzoeksresultaten 44

4.1.1 Persoonskenmerken 44

4.1.2 Tekstbeoordeling 47

4.1.3 Mens of robot 49

4.2 Vergelijking met Enter the Robot Journalist (2014) 50

4.3 Conclusie 53

5 De expert vertelt 55

5.1 Interview met James Kotecki – Automated Insights 55

5.2 Interview met Mariët Theune – Universiteit Twente 57

5.3 Interview met Frank Kaptein 58

5.4 Interview met Ryan Thornburg 60

5.5 Deelconclusie 62

Conclusie 63

Robotjournalist als digitale assistent 63

Robotjournalist als vervanger van de menselijke journalist 64

Aanbevelingen 65 Evaluatie 66 Literatuuronderzoek 66 Kwantitatief onderzoek 66 Kwalitatief onderzoek 67 Relevantie beroepspraktijk 68 Literatuurlijst 69

Bijlage I: Vragenlijst enquête 72

Bijlage II: Transcript interview James Kotecki 78

Bijlage III: Transcript interview Mariet Theune 84

Bijlage V: Transcript interview Ryan Thornberg 96

Bijlage VI: Beroepsproduct 102

Bijlage VII: Plan van Aanpak 107

Inleiding

Wereldwijd hebben schrijvende media moeite om het hoofd boven water te houden in een sector die voortdurend verandert. Een combinatie van verschillende factoren heeft tot een inkomstendaling geresulteerd. Deze afname wordt zowel in Nederland (Dekker, 2015) als in het buitenland (Greenslade, 2014) vooral bij papieren edities waargenomen. Het internet heeft de mediabranche aanzienlijk veranderd. Mensen hebben op elk moment van de dag toegang tot vele nieuwsbronnen. Sommige media bieden al hun content kosteloos aan, zoals de populaire website en mobiele applicatie NU.nl dat in Nederland dat doet. Een krantenabonnement is in de moderne wereld geen vereiste om in de nieuwsbehoefte te worden voorzien. Nieuws is op internet in allerlei vormen te verkrijgen. Zo bestaat sinds 2014 in Nederland het platform Blendle: mensen kunnen losse artikelen uit kranten en tijdschriften kopen en lezen. Betalen gebeurt per artikel of per editie. Zeventig procent van het aankoopbedrag is bestemd voor de betreffende uitgever van de krant of het tijdschrift. Het resterende percentage gaat naar Blendle (Bronzwaer, 2014a). Door deze factoren is de noodzaak om een abonnement te nemen of zelfs een los exemplaar te kopen verdwenen. De economische recessie had in de afgelopen jaren ook invloed op de inkomstendaling van de schrijvende media (Laeven, 2013). De advertentiemarkt staat al jaren onder hoge druk, waardoor vooral gratis dagbladen in moeilijkheden kwamen. Spits verdween in 2014 en De Pers sloot daarvoor al de deuren. Hun voornaamste inkomstenbron verdween als sneeuw voor de zon. Metro is in Nederland het enig overgebleven gratis dagblad. De gekrompen advertentiemarkt ziet men als een belangrijke oorzaak (Benjamin, 2014). De wereld verandert en media mogen de boot niet missen. Ze proberen op uiteenlopende manieren het lek in het zinkende schip te dichten om niet te verdrinken. Er zijn allerlei oplossingen bedacht. Niemand weet welke op de lange termijn het meeste succes oplevert. Lapmiddelen blijken op de korte termijn wellicht effectief, maar het probleem is daarmee niet verholpen. Media experimenteren met verschillende aanbod- en verdienmodellen. Ze richten zich steeds vaker op de digitale markt. Nederlandse media compenseren met hun digitale inkomsten een deel van hun verliezen in de papieren sector. Maar sommige bedrijven zien de groei in de digitale markt alweer stagneren of dalen (Dekker, 2015). Engelstalige media experimenteren of werken al met een nieuwe technologie genaamd

natural language generation (nlg). Taalgeneratieprogramma’s kunnen in een hoog tempo

nieuwsberichten produceren. Computers kunnen door hun rekenkracht per dag duizenden artikelen genereren. Maar wat zijn de gevolgen van deze technologie voor journalisten? Associated Press en Forbes werken al met taalgeneratieprogramma’s. Heeft de software bij die bedrijven banen gekost of worden journalisten anders ingezet? De centrale vraag is: in hoeverre heeft de robotjournalist zich de afgelopen jaren ontwikkeld tot een vervanger of digitale assistent voor de menselijke journalist? Een andere belangrijke vraag is op welk punt de grens ligt tussen de vermogens van de software en de capaciteiten van de mens.

De onderstaande vragen worden in de komende hoofdstukken behandeld. Een antwoord op de centrale vraag volgt in de afsluitende conclusie. Dit onderzoeksrapport wordt echter begonnen met een verantwoording van de gebruikte onderzoeksmethodes en -technieken. U vindt in de bijlagen onder meer een literatuurlijst, de volledige enquête, transcripties van alle afgenomen interviews, het beroepsproduct en tot slot het Plan van Aanpak. 1. Hoe is de technologie achter robotjournalistiek ontstaan?

A. In welke tijdsperiode ligt de oorsprong van deze technologie? B. Op welke punten heeft deze technologie zich vervolgens ontwikkeld?

C. Op welk punt in dat proces sprak men voor het eerst over robotjournalistiek? D. Welke ontwikkelingen waren er sindsdien op het gebied van robotjournalistiek? 2. Wat wordt tegenwoordig met de term robotjournalistiek bedoeld?

A. Hoe spreken media over robotjournalistiek? B. Hoe spreken onderzoekers over robotjournalistiek? C. Hoe functioneert de robotjournalist op de werkvloer? D. Hoe functioneert de robotjournalist in technisch opzicht?

3. Wat zijn vandaag de dag de mogelijkheden van de robotjournalist? A. Waartoe is de robotjournalist precies in staat?

B. Wat kan de robotjournalist beter dan de journalist van vlees en bloed?

C. Wat kan de robotjournalist niet ten opzichte van de journalist van vlees en bloed? D. Bij welke handelingen is de robotjournalist afhankelijk van hulp van de mens? E. Voor welke doeleinden wordt de robotjournalist over het algemeen gebruikt? F. Op welke schaal wordt er met de robotjournalist gewerkt?

4. Hoe worden de artikelen van een robotjournalist door de lezer beoordeeld? A. Op welke punten scoort de robotjournalist beter dan de menselijke journalist? B. Op welke punten scoort de menselijke journalist beter dan de robotjournalist? C. Op welke punten doen de menselijke journalist en robot niet voor elkaar onder? 5. Wat zeggen experts over de mogelijkheden van robotjournalistiek?

A. Heeft de robotjournalist zich tot op heden effectief getoond? B. Wat zijn positieve punten van de robotjournalist gebleken? C. Wat zijn negatieve punten van de robotjournalist gebleken?

1 Verantwoording en technieken

In dit eerste hoofdstuk verantwoord ik mijn handelwijze en de keuzes die ik in dit onderzoek heb gemaakt. Dat gebeurt aan de hand van persoonlijke redenaties, adviezen van derden, onder wie van mijn begeleidend docent Binnert de Beaufort, en vakliteratuur.

1.1 Onderzoeksontwerp

Een opzet van dit onderzoek is in het Plan van Aanpak gemaakt. Dat bevat onder meer een hoofdstukindeling en een overzicht van de deelvragen. Echter, het Plan van Aanpak was niet altijd doorslaggevend. Ik beschikte naarmate het onderzoek vorderde over meer informatie, wat leidde tot nieuwe inzichten en vragen. In verschillende situaties is van het Plan van Aanpak afgeweken. De centrale vraag van dit onderzoek is niet veranderd: ‘in hoeverre heeft de robotjournalist zich in de afgelopen jaren in de Engelstalige media ontwikkeld tot een vervanger of digitale assistent van de menselijke journalist?’

Om de mogelijkheden en de beperkingen van de hedendaagse robotjournalist te begrijpen, keek ik eerst naar het verleden. Na de historie komt de moderne robotjournalist aan bod. Dat gebeurt door alle aspecten die invloed op de technologie hebben apart te behandelen, zie hoofdstuk 3. De resultaten van een door mij gehouden enquête worden in hoofdstuk 4 beschreven. In hoofdstuk 5 volgen de belangrijkste inzichten van vier diepte-interviews met experts. Ik kon door de laatste twee onderzoeksmethoden stellingen uit hoofdstuk 3 controleren en bevestigen of ontkrachten. In het laatste deel van dit rapport volgen onder meer de conclusies en een evaluatie. Dit onderzoek is gebaseerd op literatuuronderzoek, een enquête (kwantitatief onderzoek) en vier diepte-interviews (kwalitatief onderzoek).

1.2 Literatuuronderzoek

NRC Handelsblad-journalist Stijn Bronzwaer schreef het achtergrondartikel Dit stuk is

geschreven door een mens (2014b). Dat verhaal inspireerde mij tot deze scriptie. Naar mijn

idee had ik snel door wat de technologie was en hoe die precies werkte. Maar naarmate het onderzoek vorderde, beschikte ik over meer en meer informatie. Er verschenen nieuwe (achtergrond)artikelen en verder vond ik meer bronnen. De informatie die uit de deskresearch voortkwam, vormt een onmisbaar deel van dit onderzoek. In de volgende deelparagraaf komen de verschillende soorten gebruikte literatuur aan bod.

1.2.1 Vakliteratuur

Building natural language generation systems van Robert Dale en Ehud Reiter (2000) was

een van de belangrijkste boeken voor dit onderzoek. Het werd voornamelijk gebruikt om de historie van taalgeneratie te beschrijven, zie hoofdstuk 2. Dale en Reiter verzamelden en beschreven de meest belangrijke ontwikkelingen. Er wordt op het gebied van natural

1.2.2 Onderzoeksrapporten

Christer Clerwall publiceerde in 2014 het onderzoeksrapport Enter the Robot Journalist. Hij onderzocht de manier waarop mensen een gegenereerd artikel beoordeelden ten opzichte van een verhaal dat door een journalist van vlees en bloed was geschreven. Clerwall heeft de resultaten gebruikt om te beschrijven hoe taalgeneratieprogramma’s zich hebben ontwikkeld ten opzichte van de mens. Al zijn uitkomsten staan in hoofdstuk 3 van deze paper beschreven. Er waren naast het onderzoek van Clerwall enkele andere (vooral oudere) onderzoeken waardevol. Deze waren belangrijk om de geschiedenis van taalgeneratie uitgebreider te beschrijven. Dale en Reiter benoemden het bestaan van de onderzoeken, waarna ik zelf naar aanvullende informatie zocht. In deze rapporten worden de ontwikkelingen en implementaties van de vroege taalgeneratiesystemen beschreven. De uitkomsten van deze oudere onderzoeken worden in hoofdstuk 2 benoemd.

Aan het eind van dit onderzoeksrapport is een complete lijst met geraadpleegde literatuur opgenomen, zie p. 68. De genoemde onderzoeken zijn gevonden via databanken zoals Google Scholar en IEEE Computer Society Digital Library (CSDL).

1.2.3 Nieuwsberichten en achtergrondverhalen

De moderne robotjournalist bestaat pas enkele jaren. Associated Press (AP) is een van de grootste namen uit de journalistiek die met de technologie werkt, maar het bedrijf doet dat pas sinds 2014. Taalgeneratie bestaat al tientallen jaren, maar de term robotjournalistiek is relatief nieuw. De nieuwigheid van de technologie zorgt van een gebrek aan onderzoeken op dit gebied. Relatief veel informatie is afkomstig uit nieuwsberichten, interviews en achtergrondverhalen. Deze artikelen zijn vooral voor hoofdstuk 3 gebruikt. Een groot deel van de informatie is gebaseerd op artikelen van internetmedia, zoals Wired, Forbes en The Verge. Ik kan door mijn beroepsvoorbereidende stage bij Tweakers, de grootste technologie- en elektronicasite van Nederland, de websites als betrouwbare bronnen beoordelen. Daarnaast worden bronnen van meer traditionele media gebruikt, zoals The New York Times, The Guardian en CNN. De artikelen zijn via de websites van de betreffende media zelf en via databanken zoals LexisNexis gevonden. Aan het eind van dit onderzoeksrapport is een lijst met geraadpleegde literatuur opgenomen, zie p. 68.

1.3 Kwantitatief onderzoek

In hoofdstuk 3 van dit rapport wordt het onderzoek Enter the Robot Journalist van Christer Clerwall (2014) meerdere malen uitgelicht en aangehaald. De onderzoeker verspreidde een enquête met 46 (media)studenten als respondenten, waarna hij zijn uitspraken op de resultaten baseerde. De vraag is in hoeverre de resultaten betrouwbaar zijn. Leidt een herhaling van het onderzoek tot dezelfde resultaten? De validiteit is mogelijk in gevaar, omdat er een selectie van een kleine groep proefpersonen is. Er wordt immers alleen naar de mening van een select gezelschap (media)studenten gevraagd (Verhoeven, 2011). Deze vragen deden mij besluiten om zijn onderzoek te herhalen en verder aanvullende informatie te verzamelen. Op die manier kon ik de betrouwbaarheid en validiteit van zijn onderzoek controleren. De resultaten van deze enquête staan in hoofdstuk 4.

1.3.1 Doelgroep

Er werd een aantal zaken in ogenschouw genomen om de betrouwbaarheid en validiteit van dit onderzoek te waarborgen. De enquête moest minstens evenveel, bij voorkeur meer, deelnemers tellen als bij Clerwall het geval was. Hij gebruikte immers al een relatief kleine groep respondenten. Een verdere versmalling zou de betrouwbaarheid en validiteit van de enquête geen goed doen. Daarnaast bestond de groep respondenten bij Clerwall uit media(studenten). Dat is zoals gezegd een gevaar voor de interne validiteit. De enquête voor dit onderzoek richtte zich op de gehele bevolking. In alle bevolkingslagen wordt namelijk het nieuws gevolgd. De een doet dat wellicht meer en op een andere manier dan de ander. Feit blijft dat in alle bevolkingslagen het nieuws wordt gevolgd.

De enige voorwaarde voor deelname aan deze enquête was dat de respondenten in staat waren om een Engelse tekst te lezen en te beoordelen. Voor aanvang werd duidelijk aangegeven dat de enquête vier korte Engelste teksten bevatte. Een specifieke doelgroep was er verder niet, omdat mensen uit alle bevolkingslagen het nieuws volgen. De enige voorwaarde was dat de enquête voldoende (minstens 46) en verschillende respondenten trok om de betrouwbaarheid en de interne validiteit zoveel mogelijk te waarborgen (Verhoeven, 2011). De uiteindelijke steekproefomvang van 61 respondenten was te weinig om een representatief beeld van de bevolking te geven. Maar dat maakte de resultaten niet minder waardevol. Ik kon mijn resultaten namelijk wel vergelijken met die van Clerwall. Als mijn resultaten anders waren dan zijn resultaten kon ik concluderen dat zijn resultaten net zo min betrouwbaar waren als de mijne. In dat opzicht is de enquête zelfs met weinig respondenten waardevol. Een evaluatie volgt later in dit rapport, zie p. 65.

1.3.2 Respondenten werven

Het verspreiden van de enquête gebeurde in eerste instantie via Facebook, LinkedIn en daarnaast Twitter. In een later stadium benaderde ik personen individueel via e-mails of soms zelfs persoonlijk. In dergelijke gevallen wist ik dat die personen (zoals leraren en andere personen die door hun werk vaak met de Engelse taal in aanraking komen) door hun kennis van de Engelse taal een meerwaarde voor de enquête zouden zijn. Vrienden en kennissen verstuurden de enquête verder naar hun vrienden, kennissen en collega’s. 1.3.3 Opzet enquete

Ik wilde meten in hoeverre het onderzoek van Clerwall betrouwbaar was. Daardoor moest mijn vraagstelling overeenkomen met de zijne. Hij liet de respondenten twee teksten op de volgende twaalf punten beoordelen: aangenaam om te lezen, beschrijvend, betrouwbaar, bruikbaar, duidelijk, goed geschreven, informatief, interessant, nauwkeurig, objectief, saai en samenhangend. Eén tekst was geschreven door een mens, terwijl de andere tekst was gegenereerd door een computer. Logischerwijs diende ik dezelfde teksten als Clerwall te gebruiken om eenzelfde onderzoek te kunnen doen. Ik voegde daarnaast twee teksten toe. De enquête begon met een welkomsttekst waarin mogelijke respondenten werd verteld wat ze te wachten stond en wat met de resultaten werd gedaan. Ze moesten eenmaal gestart eerst enkele eenvoudige vragen beantwoorden. Zo kwamen zij rustig op gang. Moeilijke vragen in het begin kunnen respondenten afschrikken, waardoor ze stoppen of hun antwoorden in waarde afnemen. ‘Moeilijke of gevoelige vragen kun je het beste bij het begin van het tweede deel van de vragenlijst plaatsen’ (Verhoeven, 2011).

De respondenten moesten na de snelle, eenvoudige vragen vier korte teksten op de eerder genoemde twaalf punten beoordelen. Hen werd per onderdeel ook gevraagd of de tekst door een mens was geschreven of door een computer was gegenereerd. De respondenten werd voor aanvang verteld dat ze na afloop van de enquête de antwoorden op die vragen konden controleren. De intentie was om te meten of de respondenten een menselijk geschreven tekst van een gegenereerde tekst konden onderscheiden. Aan het eind van de enquete volgden drie demografische vragen: geslacht, leeftijdsgroep en opleidingsniveau. Deze vragen kunnen het best aan het eind van een enquête worden gesteld, omdat persoonlijke vragen in het begin kunnen afschrikken. ‘Vermijd confronterende vragen aan het begin van de vragenlijst’ (Verhoeven, 2011). Respondenten zouden verder moeilijke vragen op het eind welllicht afraffelen. Ik heb om deze redenen voor deze opzet gekozen. De enquête bestond uit verschillende soorten vragen en antwoordcategorieën. Er waren bij de demografische vragen enkelvoudige antwoorden. Bij de vraag hoe de deelnemers het nieuws volgen, was een meervoudig antwoord mogelijk. Om de teksten te beoordelen werd de meerpuntsschaal gebruikt. Respondenten moesten elke term een cijfer van 1 tot en met 10 geven. Een 8 op het punt ‘saai’ betekende dat de tekst saai was geschreven. De vragen met dezelfde antwoordcategorieën waren redelijk gegroepeerd opgesteld, al was er wel een afwisseling die antwoordpatronen moest voorkomen (Verhoeven, 2011).

Naast de vragen uit het onderzoek van Clerwall zijn er enkele vragen toegevoegd, zoals aan welke drie van de twaalf punten de respondenten de meeste waarde hechten. In het onderzoek van Clerwall werd de gegenereerde tekst beter beoordeeld op de punten nauwkeurigheid, objectiviteit en betrouwbaarheid. Dat zegt op zich weinig als lezers meer waarde hechten aan punten zoals aangenaam om te lezen, goed geschreven en samenhangend. Deze toegevoegde vraag moest daarover enig uitsluitsel geven. Er werden verder vier teksten beoordeeld in plaats van twee om de kans op toevallige fouten te verkleinen. De enquete is opgezet met Forms, een van de diensten van Google.

1.4 Kwalitatief onderzoek

Aanvullend op de deskresearch en het kwantitatieve onderzoek werden er voor dit rapport vier interviews met specialisten op het gebied van taalgeneratie gehouden. In die gesprekken werd naar allerlei informatie gevraagd. Zo kwam er in sommige gevallen nieuwe informatie boven. Andere keren zocht ik vooral naar een bevestiging voor de informatie die ik al had gevonden. Experts kunnen bijvoorbeeld wat op internet staat bevestigen of juist ontkrachten. In alle gesprekken ging het vooral om deze twee punten. De interviews staan in dit rapport geordend op de datum wanneer ze gehouden zijn.

1.4.1 James Kotecki van Automated Insights

James Kotecki is het hoofd van de communicatieafdeling van het Amerikaanse bedrijf Automated Insights. Hun taalgeneratieprogramma Wordsmith wordt onder meer door AP gebruikt. In het verleden heeft Kotecki zelf artikelen geschreven, video’s gemaakt voor media en en toespraken gegeven op gesponsorde bijeenkomsten van onder meer Google en Harvard. Het was voor dit onderzoek interessant om hem te spreken, omdat hij Automated Insights vertegenwoordigt. Dat bedrijf produceert immers een van de taalgeneratieprogramma’s waarover dit onderzoeksrapport gaat.

Topiclist:

- Hoe werkt Wordsmith

- Wat zijn de mogelijkheden van Wordsmith - Wat zijn de beperkingen van Wordsmith - Baanverlies door de komst van Wordsmith - Wordsmith in de toekomst

1.4.2 Mariët Theune van de Universiteit Twente

Mariet Theune is universitair docent op de Universiteit Twente en ze doet al bijna twintig jaar onder meer onderzoek naar taalgeneratie. Ze kon mij daardoor vertellen over de ontwikkelingen van taalgeneratie en wat de mogelijkheden en beperkingen van de technologie als geheel zijn. Theune sprak ik al eerder in de voorbereidende fase van dit onderzoek en ze gaf destijds aan open te staan voor verdere medewerking.

Topiclist:

- Ontwikkelingen van taalgeneratie door de jaren heen - Link opkomst computer en opkomst taalgeneratie - Mogelijkheden van taalgeneratie

- Beperkingen van taalgeneratie - Antwoord op centrale vraag - Toekomstbeeld

1.4.3 Frank Kaptein van de Technische Universiteit Delft

Frank Kaptein is in 2015 afgestudeerd op het onderwerp taalgeneratie op de Technische Universiteit Delft. Hij richtte zich niet zozeer op robotjournalistiek, maar op storytelling. Ondanks het verschil in onderwerp kon hij mij meer vertellen over de mogelijkheden en beperkingen van taalgeneratie. Storytelling is een andere tak binnen de technologie, omdat er in mindere mate met cijfers wordt gewerkt die als basis voor een tekst dienen.

Topiclist:

- Wat is storytelling precies - Zijn onderzoek en resultaten

- Welke ontwikkelingen zijn er gaande op het gebied van storytelling - Antwoord op centrale vraag

1.4.4 Ryan Thornburg van UNC School of Media and Journalism's

Ryan Thornburg is universitair docent op UNC School of Media and Journalism's (North Carolina, Verenigde Staten). Hij is vooral geïnteresseerd in online journalistiek en de toekomst van journalistiek. In het verleden heeft hij onder meer gewerkt bij de grote Amerikaanse krant, Washington Post. Thornburg vertelt zijn leerlingen op dit moment al dat ze de machine moeten leren programmeren of ze moeten beter leren schrijven dan de machine kan. Thornburg kon mij vanuit zijn specialisme eveneens meer vertellen over het gebruik van Big Data in de journalistiek en de bijbehorende technologieën.

Topiclist: - Big Data

- Robotjournalistiek - Opleiden van journalisten - Antwoord op hoofdvraag - Toekomstbeeld

2 De geschiedenis van de robotjournalist

In dit hoofdstuk wordt de ontstaansgeschiedenis en vervolgens de ontwikkeling van de robotjournalist beschreven. De nadruk ligt op de Engelstalige landen en media, omdat de robotjournalist vooralsnog vooral door Engelstalige media wordt gebruikt. Dit hoofdstuk behandelt een periode vanaf de jaren vijftig van de vorige eeuw tot en met de moderne tijd.

2.1 Ontstaan en ontwikkeling van de robotjournalistiek

Nederlandse media spreken tegenwoordig over robotjournalistiek en de robotjournalist. In Engelstalige media is een soortgelijke trend waarneembaar. NRC Handelsblad-journalist Stijn Bronzwaer zei eerder in een onderling gesprek (Bronzwaer, 2015) dat deze termen vooral lekker in de mond liggen. Onderzoekers gebruiken echter andere beschrijvingen. Mariët Theune van de Universiteit Twente sprak in een onderling gesprek (2015a) over het genereren van taal door een computer. Theune doet al jaren onder meer onderzoek naar de technologie. In dit rapport worden de termen robotjournalist en robotjournalistiek op advies van begeleidend docent Binnert de Beaufort wel aangehouden.

2.1.1 Natural language generation

Onderzoekers spreken in de Engelse taal over natural language generation (afgekort: nlg). De oorsprong van de robotjournalist ligt in de jaren vijftig en zestig van de vorige eeuw, alhoewel in die tijd slechts een basis werd gelegd. Men zocht in die tijd onder meer naar vertaalsystemen. Men poogde later een grammaticaal correcte zin te genereren. Dat waren de eerste stappen in een wereld die zich volop ontwikkelde. Onderzoekers keken in de jaren zeventig naar het kiezen van de juiste woorden om abstracte zaken te omschrijven. Een ander project probeerde een pc verslagen te laten genereren van spellen boter-kaas-en-eieren. De technologie was in ontwikkeling, maar nog lang niet klaar voor grootschalig gebruik. Robbert Dale en Ehud Reiter spraken desondanks in hun boek Building natural

language systems (2000) over pioniers uit die tijd. De onderzoekers uit de jaren zeventig

brachten in een vroeg stadium al verschillende problemen aan het licht. Het genereren van taal bleek een complexe opdracht. Maar onderzoekers lieten zich niet afschrikken.

In de jaren tachtig van de vorige eeuw deed men vooral onderzoek. De technologie van destijds had nog niet de gewenste vorm met voldoende mogelijkheden. Dale en Reiter noemden die jaren een overbruggingsperiode. Aan de andere kant werden er volgens het tweetal wel belangrijke stappen gezet. Voorbeeld: men nam afstand van het idee dat één systeem alles kon genereren. De focus verschoof naar aparte systemen die specifieke opdrachten moesten uitvoeren. Daarnaast won de technologie volgens hen in die periode aan interesse van een nieuwe groep onderzoekers. Dat waren de winstpunten van die tijd. Uiteindelijk verscheen in de jaren negentig van de vorige eeuw het eerste systeem dat in de buurt van de moderne systemen kwam. Dat was niet geheel toevallig. Op het gebied van taalgeneratie bleven onderzoekers actief en voor liefhebbers werden workshops gegeven. Naast de komst van het FOG-systeem, zie §2.1.2, noemden Dale en Reiter de toenemende

interesse een van de belangrijkste ontwikkelingen uit de jaren negentig op het gebied van taalgeneratie. Al concludeerden ze tegelijkertijd dat ze na verloop van tijd wellicht een ander oordeel zouden vellen. Hun boek verscheen in 2000 en op dat moment waren de jaren negentig pas net voorbij. De bron wordt desondanks wel benoemd, omdat op het gebied van taalgeneratie vaak naar de literatuur van Dale en Reiter wordt verwezen. 2.1.2 Het FOG-systeem

Het voorspellen van het weer was in de jaren negentig tijdrovend werk en daarnaast was scholing vereist. Weersvoorspellers moesten gegevens aflezen uit technische systemen, deze informatie interpreteren en vertalen in voor het publiek begrijpelijke tekstberichten. Weerstations hadden verschillende doelgroepen: burgers, bedrijven, maar ook het leger. De inhoud die een weersvoorspelling moest bevatten, was afhankelijk van de doelgroep. Door technologische ontwikkeling hadden weersvoorspellers steeds meer informatie tot hun beschikking. Dat was een vooruitgang, maar het werk werd wederom specialistischer (Driedger, Goldberg & Kittredge, 1994).

In Canada zocht men naar een oplossing om dit proces te vereenvoudigen. Destijds was het verzamelen en distribueren van informatie al geautomatiseerd. De winstmarge lag in het bijzonder in de productie van de weersberichten. Het Forecast Generator-systeem (ofwel: FOG) was ontworpen en werd vroeg in de jaren negentig in gebruik genomen. Het doel van de software was om Engels- en Franstalige (de spreektalen in Canada) weerberichten te genereren. Het idee was dat weersvoorspellers zo werden ontlast van tijdrovende en daardoor kostbare werkzaamheden. Zij konden zich richten op de weersontwikkelingen, terwijl het FOG-systeem de weersvoorspellingen in tekstvorm genereerde. De teksten waren volgens het artikel Using Natural-Language Processing to Produce Weather Forecasts niet te onderscheiden van geschreven tekstberichten, zie figuur 1 (Driedger et al, 1994).

Figuur 1: afbeelding uit Using Natural-Language Processing to Produce Weather Forecasts (Driedger et al, 1994). Twee voorbeelden van de gegenereerde weerberichten van het FOG-systeem uit de jaren negentig.

De onderzoekers noemden enkele uitdagingen: een uitvoertaal programmeren, informatie ordenen, de juiste termen kiezen, het genereren van teksten in meerdere talen en verder het juiste model kiezen voor de juiste doelgroep. Een tekst die was bestemd voor militaire doeleinden moest alle noodzakelijke informatie bevatten. Er werd een ‘krachtig taalmodel’ gebruikt die de verschillende soorten teksten kon genereren. Het proces kende twee fases. In de eerste fase, ofwel text planning, werd de beschikbare informatie globaal in zinnen ingedeeld en ook de zinvolgorde bepaald. In de tweede fase, ofwel text realization, maakte het systeem onder meer de zinnen grammaticaal in orde (Driedger et al, 1994).

FOG was gebaseerd op feitelijke informatie. Denk bijvoorbeeld aan de windsnelheid en de windrichting op een bepaald moment. Er was wel een mens nodig om de gegevens in het systeem te krijgen. Dat betekende niet dat een persoon een hele dag gegevens aan het invoeren was. Het systeem werkte met cyclussen (zie tabel 1). Dat er feitelijke informatie werd gebruikt, betekende overigens niet dat de berichten altijd correct waren. Soms moest de weersvoorspeller ingrijpen. Als een voorspelling bijvoorbeeld onvoldoende zekerheid bood, kon de weersvoorspeller besluiten om het bericht niet aan de buitenwereld te verzenden en bij weerswaarschuwingen was een bevestiging vereist. Een waarschuwing mocht immers niet zomaar de deur uit en aan de andere kant kon het systeem ook niet op eigen kracht een waarschuwing intrekken. (Driedger et al, 1994).

Tabel 1: afbeelding uit Using Natural-Language Processing to Produce Weather Forecasts (Driedger et al, 1994). Mensen voerden periodiek gegevens in, waarna het FOG-systeem een weerbericht genereerde.

Sinds de winter van 1991-1992 produceerde het FOG-systeem weerberichten voor de marine en een publiek weerstation. Alle systemen deelden een gelijk ontwerp en ondanks de verschillende uitkomsten was het productieproces vrijwel gelijk. Het systeem werd destijds cruciaal genoemd voor de operationele eisen van die tijd. Er waren wel enkele nadelen. Er was bijvoorbeeld minder stilistische variatie mogelijk, omdat de vormgeving al was voorgeprogrammeerd. De inhoud van een bericht was ook moeilijk te beïnvloeden en als een tekst handmatige aanpassing vereiste, moest de weersvoorspeller dat opknappen. Dat betekende dat hij of zij zowel de Engels- en de Franstalige versie moest verbeteren. Kennis van beide talen was vereist, wat geen ideale situatie was (Driedger et al, 1994).

Het FOG-systeem wordt als (een van de) eerste taalgeneratiesysteem gezien. Maar er waren destijds al meer projecten en er zijn sindsdien vele ontwikkelingen geweest. Als er bijvoorbeeld wordt gekeken naar de manier waarop teksten in elkaar staken (zie figuur 1), produceerde het systeem geen lopende zinnen, laat staan complete teksten. De berichten waren eerder een aaneenschakeling van losse woorden. Desondanks was het FOG-systeem vernieuwend voor zijn tijd en een stap richting de moderne robotjournalist.

2.1.3 Spotlight

In de jaren negentig zag men in meer vakgebieden mogelijkheden in de technologie. In de tijd van het FOG-systeem waren er ook al andere projecten in ontwikkeling. A.C. Nielsen Company ontwierp het zogenoemde Spotlight-systeem. Het programma moest grote hoeveelheden aan bedrijfsdata omzetten, zoals jaarverslagen, in overzichtelijke analyses. De ontwerpers claimden dat een werkzaamheid van twee tot vier weken door de software in vijftien minuten tot maximaal enkele uren werd uitgevoerd. Uit een database van een bepaald bedrijf vloeiden meerdere rapporten voort van ongeveer een A4 per stuk groot. Alle vellen bevatten overzichten met allerlei gegevens. Het ene rapport was bijvoorbeeld gevuld met overzichten van verkoopaantallen, terwijl het andere blad het succes van een reclamecampagne toonde. De software was eveneens in staat om verbanden te leggen. Bijvoorbeeld: op het moment dat het aandeel en de verkoopaantallen van een bepaald product waren gestegen, herkende het Spotlight-systeem volgens de ontwikkelaars een verband tussen beide factoren (Kahn, G & Anand, T, 1992).

Figuur 2: afbeelding uit Making Sense of Gigabytes: A System for Knowledge-Based Market Analysis (Kahn, G & Anand, T, 2002). Dit is een voorbeeld van een uitdraai van het Spotlight-systeem.

De rapporten die het Spotlight-systeem genereerde, waren een combinatie van teksten, grafieken en tabellen (zie figuur 2). De ontwikkelaars hadden verschillende stijlen en formats voorgeprogrammeerd. De software kon ongeveer zeventig verschillende zinnen en tien soorten grafieken en tabellen genereren die aangaven hoe producten presteerden en die prestaties vervolgens verklaarden. Het systeem van A.C. Nielsen Company kwam net als het FOG-systeem in 1991 op de markt. Gebruikers kregen trainingen die ongeveer een dag in beslag namen. De software was op normale pc’s te installeren. Nadat het programma de opdracht had voltooid, konden gebruikers de uitkomsten uit draaien en openen met Word Perfect, een voorloper van Microsoft Word (Kahn, G & Anand, T, 1992). Net als het FOG-systeem was het Spotlight-systeem een van de eerste stappen richting de moderne technologie. Desondanks waren de mogelijkheden in vergelijking met de kennis die men nu heeft relatief beperkt. Als wordt gekeken naar de zinnen in figuur 2 kan er nog niet over een volledige tekst worden gesproken. Maar er werd wel al taal gegenereerd. 2.1.4 Taalgeneratie in de zorg

Mary Dee Harris onderzocht (z.j.) aan het begin van de eenentwintigste eeuw in hoeverre taalgeneratie een rol in de medische wereld kon spelen. De technologie was volgens haar op dat moment inmiddels voldoende ontwikkeld om in het bedrijfsleven te functioneren. Het systeem moest elektronische patiëntendossiers in korte teksten samenvatten. Het was noodzakelijk dat dit met precisie gebeurde, zowel in het belang van de patiënt als in het belang van het ziekenhuis. In dit project was daarom geen sprake van teksten die zonder menselijke aanpassingen werden gebruikt. Harris koos voor menselijke ondersteuning, omdat dat de nauwkeurigheid en de stilistische elementen ten goede kwam.

2.1.5 Automated Insights en Narrative Science

In de afgelopen jaren werden weer belangrijke vooruitgangen geboekt. Bedrijven zoals Automated Insights en Narrative Science ontwikkelden eigen taalgeneratieprogramma’s. Wordsmith en Quill werden in het leven geroepen. Het woord robotjournalistiek viel voor de eerste keer. De eerste versies van hun systemen vereisten nog menselijke aanpassingen, maar lopende de jaren hebben beide bedrijven hun taalgeneratieprogramma’s ontwikkeld. In hoofdstuk drie van dit rapport worden deze bedrijven verder uitgelicht. Dit hoofdstuk is op het verleden gericht. Het ontstaan van de taalgeneratieprogramma’s van Automated Insights en Narrative Science was de laatste stap naar de toekomst, momenteel het heden.

2.2 Deelconclusie

2.2.1 Natural Language Generation

De eerste onderzoeken naar taalgeneratie werden al in de jaren vijftig en zestig van de vorige eeuw gedaan, zoals aangegeven in §2.1.1. Onderzoekers maakten weliswaar relatief kleine stappen, maar hun bevindingen vormden later wel een basis voor verder onderzoek. In de jaren negentig konden onderzoekers voortborduren op de eerdere bevindingen. In de jaren negentig ontstonden de eerste serieuze taalgeneratiesystemen. Het ging over een relatief simpele vorm van nlg, maar de technologie was in die periode vernieuwend.

Met de kennis en mogelijkheden van vandaag stond de technologie destijds slechts in de kinderschoenen. De weerberichten van het FOG-systeem waren bijvoorbeeld niet meer dan woorden die achter elkaar werden geplakt en het Spotlight-systeem had slechts zeventig zinnen in het totaalpakket. Er was geen sprake van complete teksten die tipten aan teksten van mensen. De vergelijking met een robotjournalist werd nog niet gemaakt. De motivaties achter die systemen zijn echter nog altijd actueel. Ze werden ontwikkeld om bijvoorbeeld de mens te vervangen of te ontlasten. Bepaalde taken waren misschien arbeidsintensief of dusdanig technisch dat er scholing was vereist. Vooral op het gebied van data zijn er nog vergelijkingen te maken. De robotjournalist van vandaag werkt eveneens voornamelijk met data. Meer daarover wordt in hoofdstuk 3 behandeld.

Een combinatie van de bovenstaande ontwikkelingen heeft de technologie gebracht tot het punt waarop die zich vandaag bevindt. Gezien de geschiedenis is het aannemelijk dat de technologie zich verder ontwikkelt. In hoeverre er nog winst is te boeken, komt echter pas later aan bod. Duidelijk is dat onderzoekers steeds meer kennis en mogelijkheden hebben.

3 De moderne robotjournalist

In dit hoofdstuk worden onder meer de mogelijkheden en de beperkingen van de moderne robotjournalist in kaart gebracht. Dit onderzoek richt zich specifiek op Engelstalige media. De taalgeneratieprogramma’s van Automated Insights (Wordsmith) en Narrative Science (Quill) staan centraal. Dit zijn op dit moment de bekendste spelers op het gebied van taalgeneratie, zie §3.3.1, en ze hebben bekende klanten in de journalistiek. Dit onderzoek richt zich immers op de media en bijvoorbeeld niet op de zorgsector. Echter, er wordt wel onderzocht in hoeverre andere bedrijven zich met taalgeneratie bezighouden. Dit hoofdstuk is vooral op het heden gericht met een voorzichtige blik op de toekomst.

3.1 Wie of wat is de moderne robotjournalist?

De mens en zijn omgeving zijn voortdurend in ontwikkeling. Sinds de industriële revolutie worden steeds meer werkzaamheden geautomatiseerd. Machines en computers vervangen de mens. Dat gebeurde eeuwen geleden al op het land en in de fabrieken en tegenwoordig ook in de moderne kantoren, zie §3.4. In 1840 was ongeveer zeventig procent van de Amerikaanse bevolking boer of landwerker. Rond het jaar 2000 was minder dan drie procent van de Amerikaanse bevolking boer of landarbeider, volgens een website van National Institute of Food and Agriculture (NIFA) en United States Department of Agriculture (USDA) (2014) over landbouw in de Verenigde Staten. In dit hoofdstuk wordt voor het eerst gekeken naar de mate waarin de robotjournalist zich de afgelopen jaren in de Engelstalige media heeft ontwikkeld tot een vervanger of digitale assistent van de menselijke journalist. Een overkoepelende conclusie volgt later in dit onderzoek.

Men moet allereerst weten wat een robotjournalist precies is om te kunnen begrijpen hoe deze technologie werkt en wat de mogelijkheden en beperkingen exact zijn. Het eerste punt ligt wellicht ietwat voor de hand, maar is voor de duidelijkheid evengoed belangrijk om te benadrukken. Een robotjournalist is geen fysiek mechanisme. De woorden robotjournalist en robotjournalistiek zijn termen die door de media zijn verzonnen en vooral lekker in de mond liggen (Bronzwaer, 2015). Een computer gebruikt software om teksten te genereren en software is niet tastbaar. Meer over dit onderwerp staat in §3.2. Men kan een dergelijk computerprogramma als een virtuele robotjournalist beschouwen. Maar in werkelijkheid wordt alles door normale computers uitgevoerd. Een zoektocht op internet leert dat er geen sluitende definitie bestaat voor het woord robot. De meeste definities doelen wel op een fysiek mechanische. Van Dale houdt er twee omschrijvingen op na. Allereerst: geheel van werktuigen en machines dat op een mens lijkt. Ten tweede: een

mens zonder individuele trekken die gedwee opdrachten uitvoert. De robotjournalist is met

beide definities niet te vergelijken. Er zit geen fysieke robot achter een computer of een laptop. Media doelen bij de woorden robotjournalist en robotjournalistiek op het gebruik van software om verschillende soorten teksten te genereren.

Onderzoekers spreken volgens Mariët Theune van de Universiteit Twente (Theune, 2015a) vooral over het genereren van taal door een computer. Ontwikkelaars creëren aan de hand van programmeercodes computerprogramma’s die opdrachten kunnen uitvoeren, zo ook op het gebied van robotjournalistiek. Ontwikkelaars creëren ontastbare software die aan de hand van verscheidene gegevens, zoals statistieken, artikelen kunnen genereren. 3.1.2 Big Data-tijdperk

De moderne robotjournalist genereert artikelen die op allerlei statistieken berusten. Het is allerminst toevallig dat robotjournalistiek juist in dit tijdperk doorbreekt. Zoals genoemd in hoofdstuk twee is de technologie al tientallen jaren in ontwikkeling. Computers winnen aan kracht en ontwikkelaars en onderzoekers aan kennis. Er zijn echter meer factoren die een rol spelen in de opkomst van de robotjournalist. Mariët Theune van de Universiteit Twente benoemt een van die factoren in het artikel Dit stuk is geschreven door een mens. (Bronzwaer, 2014). “We leven in het tijdperk van Big Data. We komen om in de gegevens die

niet zo toegankelijk zijn. Dat willen media nu beheersbaar maken.”

De vraag is wat er precies met Big Data wordt bedoeld. Een eenduidig antwoord op die vraag bestaat namelijk niet. Forbes-journalist Dan Woods beschrijft in het artikel Why Big

Data Needs Natural Language Generation to Work (2015) hoe men Big Data kan inbeelden.

“If your idea of big data is that you have a data scientist doing some sort of analysis and then

presenting it through a dashboard, you are thinking far too small. The fact of the matter is that big data really can’t be understood without machine learning and advanced statistical algorithms. While it takes skill and expertise to apply these methods, once you have them running, they continue to pump out the insights.”

Met Big Data bedoelt hij dusdanig grote hoeveelheden aan informatie dat een mens die onmogelijk allemaal kan analyseren, laat staan verwerken in teksten. Machines zijn nodig om dergelijke taken te kunnen uitvoeren. Die hebben immers meer rekenkracht dan de mens en werken met een hogere snelheid, zie §3.3.2. Het vergt ‘skills and expertise’ om een systeem zoals Wordsmith en Quill te maken en vervolgens te verbeteren. Maar als dat eenmaal is gelukt, leveren die grote hoeveelheden informatie volgens Woods constant nieuwe inzichten op. Deze omschrijving is echter relatief omslachtig.

Dimitri Tokmetzis heeft in 2013 voor het internetmedium De Correspondent onderzocht wat Big Data is. In zijn zoektocht vond de journalist een verscheidenheid aan omschrijvingen van Big Data. “De data kunnen van alles zijn als het maar digitaal is: video,

audio, tekst, cijfers. Sommigen scharen alle data die niet meer op één pc passen onder Big Data. Anderen vinden dat data pas Big worden als ze het niveau van meerdere servers ontstijgen. Grote bedrijven hebben enorme serverfarms om hun online diensten te hosten of om hun dagelijkse operaties te kunnen uitvoeren… De wereld komt vol te hangen met sensoren - toegangspoorten, camera’s, telefoons, meetapparatuur - die continu registreren en data opslaan, die wij vervolgens weer kunnen gebruiken. Maar steeds vaker hoor je dat Big Data geen omvang beschrijft, maar een ontwikkeling. Het bevat namelijk twee componenten. Allereerst de computertechnologie: de steeds geavanceerder hard- en software die het mogelijk maakt meer data te verzamelen, te bewerken en te bewaren. Het tweede component is de statistiek die het mogelijk maakt om in een verzameling losse data betekenis te vinden.”

Tokmetzis beschrijft in die laatste alinea een mogelijkheid van de robotjournalistiek. Allereerst is er de ontwikkeling van hardware en software, waardoor het mogelijk is om meer data te verzamelen. Maar die grote hoeveelheden data moeten vervolgens wel in teksten worden vertaald. Op een aantal gebieden is dat momenteel mogelijk. De omvang van het gebruik van deze software komt later aan bod, maar hieronder wordt alvast een voorbeeld gegeven. In Los Angeles bestaat de zogenoemde Quakebot, een systeem dat trillingen in het aardoppervlak waarneemt en vervolgens op basis van statistieken kleine teksten kan genereren. “A shallow magnitude 4.7 earthquake was reported Monday morning

five miles from Westwood, California, according to the U.S. Geological Survey. The temblor occurred at 6:25 a.m. Pacific time at a depth of 5.0 miles.” (Evans, 2015).

In de sportwereld wordt ook veel data bijgehouden en die hoeveelheid neemt toe. Zo is in de Major League Baseball-competitie, het hoogste Amerikaanse honkbalniveau, recent voor miljoenen dollars aan camera’s en sensoren geïnvesteerd. Bijna alle gebeurtenissen op het veld worden tegenwoordig waargenomen en gemeten. Een pitch, het gooien van de honkbal naar de slagman, wordt bijna tot en met de centimeter nauwkeurig digitaal in beeld gebracht. Het is mogelijk om op elk moment van het duel te zien waar spelers zich bevinden (Levy, 2012). Daarnaast worden de traditionele statistieken verzameld, zoals de uitslag, het scoreverloop, het aantal homeruns en slag- en gooigemiddelden. Deze sport is in geen enkel opzicht uniek met dergelijke technologie. American Football-spelers dragen vanaf het seizoen 2015-2016 een chip in hun schouderbescherming die verschillende soorten data verzamelen, zoals hun positie en de snelheid waarmee ze lopen of rennen. Kijkers kunnen de statistieken direct zien, zie figuur 3 (Moynihan, 2015).

Figuur 3: afbeelding van Microsoft (z.j.) Fans kunnen NFL-spelers op de voet volgen.

Ook in deze sport werd tot dusverre al veel data verzameld. Denk bij American Football aan het aantal touchdowns, het aantal gewonnen en verloren yards per speler en het aantal sacks. Maar statistieken beperken zich niet tot de sportwereld. In de financiële sector zijn ook al grote hoeveelheden data beschikbaar, zoals kwartaalrapporten en beurskoersen van verscheidene bedrijven. Als journalisten al die data moeten uitpluizen, kost dat relatief veel tijd en geld. Aantrekkelijker is voor bedrijven om naar (gedeeltelijke) automatisering te streven. Dat heeft voor- en nadelen, zie §3.3 en §3.4.

Toekomst

De komende jaren gaat de hoeveelheid data ongetwijfeld groeien. Steeds meer apparaten worden met sensoren uitgerust die allerlei variabelen meten. Denk onder meer aan smartphones en smartwatches die iedere dag gegevens van mensen verzamelen en verspreiden. Deze apparaten kunnen bijvoorbeeld meten hoeveel stappen een persoon zet of hoeveel keer per week hij sport of het aantal uren dat hij slaapt. Huizen krijgen steeds meer slimme apparaten die gegevens verzamelen, zoals wanneer iemand iedere dag thuis komt of hoe laat diegene ’s ochtends uit bed stapt. In de sportwereld worden ook steeds meer statistieken verzameld. Sinds 2015 worden na elke Touretappe gegevens over de wielrenners gepubliceerd, zoals hun snelheid en hun hartslag gedurende die dag.

Kortom, er zijn steeds meer statistieken beschikbaar. Uit die gegevens zijn mogelijk allerlei interessante ontwikkelingen te filteren. Tokmetzis eindigt zijn artikel met deze conclusie: “Dat onze informatiemaatschappij steeds meer data driven wordt, daar twijfel ik niet aan.

Dat die informatie-explosie ons dagelijks leven meer en meer zal beïnvloeden, neem ik zo aan. Maar de uitdaging voor Big Data-profeten wordt wel om aan te tonen dat er tussen die enorme hopen mest echt een gouden muntje ligt, en niet een paar koperen stuivers.

3.1.3 Welke bedrijven werken aan dergelijke technologie?

Zoals eerder al kort benoemd zijn Automated Insights en Narrative Science momenteel de bekendste bedrijven met hun moderne taalgeneratiesystemen. Automated Insights heeft met Associated Press (AP) een klant die op mondiaal niveau actief is. Narrative Science zou het verst zijn op het gebied van taalgeneratie. Dat zegt Dan Woods in het artikel Why Big

Data Needs Natural Language Generation to Work (2015). Het artikel verscheen op Forbes,

dat met de software van Narrative Science werkt. Onduidelijk is daardoor in hoeverre Woods objectief in zijn uitspraken is, al is Forbes een gerespecteerd medium. Wel is duidelijk dat Automated Insights en Narrative Science tot de grootste bedrijven in hun vakgebied behoren. Hun software kan in theorie duizenden berichten per seconde creëren. Automated Insights

Het hoofdkwartier van Automated Insights is gevestigd in Durham, North Carolina, in de Verenigde Staten. Het bedrijf heeft enkele jaren geleden het taalgeneratieprogramma Wordsmith ontworpen. De software genereert artikelen aan de hand van ruwe informatie, zoals statistieken. AP, Samsung en Yahoo! behoren tot hun bekendste klanten.

Automated Insights werd in 2007 opgericht door Robbie Allen. In eerste instantie richtte het bedrijf zich specifiek op sportstatistieken. Dat gebeurde toentertijd onder een andere naam: StatSheet. De naam veranderde in 2011 in Automated Insights, nadat in meerdere investeringsronden miljoenen dollars werden opgehaald. Met de naamsverandering wilde het bedrijf aangeven dat in op meer sectoren actief was dan alleen de sportwereld. Na een volgende investeringsronde werd Automated Insights in februari 2015 overgenomen door Vista Equity Partners. Dat bedrijf heeft ook STATS onder zijn hoede, een Amerikaans bedrijf dat allerlei content levert op het gebied van sport (Automated Insights, z.j.a)

Automated Insights is tegenwoordig op een groter gebied actief dan enkel de sportwereld. Ze zijn inmiddels eveneens bekend in de bedrijfswereld met onder meer webanalyses, productbeschrijvingen en gezondheids- en fitnessdiensten. Het bedrijf heeft door de jaren heen meerdere prijzen gewonnen voor zijn diensten op het gebied van taalgeneratie (Automated Insights, z.j.a). Dat wil niet zeggen dat de software van Automated Insights kwalitatief beter is dan de software van Narrative Science. Voor dit onderzoek is ook niet van belang welk bedrijf de betere software levert. Er wordt gekeken naar de ontwikkeling van robotjournalistiek als een geheel. Individuele bedrijven vormen slechts losse onderdelen binnen het grotere geheel. In §3.3 en §3.4 worden de mogelijkheden en de beperkingen van de technologie inhoudelijk dieper behandeld.

Narrative Science

Narrative Science is een Amerikaans bedrijf dat uiteindelijk in 2010 is opgericht door Stuart Frankel, Kris Hammond en Larry Birnbaum. Het hoofdgebouw is gelegen in Chicago in de Verenigde Staten. Narrative Science heeft verder vestigingen in Washington en New York. Het bedrijf heeft tientallen programmeurs en vormgevers in dienst. Samen werken zij aan de ontwikkeling van het taalgeneratieprogramma Quill (Narrative Science, z.j.) Het idee achter de Quill ontstond op Northwestern University. Een groep studenten van de opleidingen computerwetenschappen en journalistiek stonden aan de basis van het computerprogramma StatsMonkey. De software genereerde aan de hand van statistieken verslagen van honkbalwedstrijden. Hammond en Birnbaum waren werkzaam op de universiteit en adviseerden de studenten (Narrative Science, z.j.). Aan het eind van het semester werd het prototype gepresenteerd aan leidinggevenden van onder meer ESPN, een groot Amerikaans medium met de focus op sport. Frankel was een van de aanwezigen, die over het algemeen enthousiast waren. Al waren de mogelijkheden in vergelijking met moderne systemen relatief beperkt. De software kon alleen statistieken verzamelen en simpele verslagen genereren van honkbalwedstrijden op universitair niveau (Levy, 2012). Frankel sloot zich aan bij Hammond en Birnbaum. Het drietal geloofde in het idee achter het prototype van de studenten, maar zagen ruimte voor verbetering. Samen stonden zij in 2010 aan de voet van Narrative Science (Levy, 2012). Het bedrijf groeide naar eigen zeggen snel. Er werd afscheid genomen van het StatsMonkey-prototype, waarna een geheel nieuwe systeem werd ontwikkeld: Quill. De software wordt tegenwoordig voor allerlei doeleinden gebruikt (Narrative Science, z.j.). De mogelijkheden en de beperkingen van de technologie worden in §3.3 en §3.4 inhoudelijk dieper behandeld.

Concurrenten

Automated Insights en Narrative Science behoren zoals gezegd tot de grootste spelers op het gebied van robotjournalistiek. Maar er zijn meer bedrijven die meedingen in deze groeiende markt, waaronder Arria NLG en Yseop. Zij zijn minder regelmatig in het nieuws en hun raakvlakken met de journalistiek zijn minder groot. Daarom worden Automated Insights en Narrative Science als graadmeters voor de hedendaagse robotjournalistiek genomen. Daarnaast zou Narrative Science het verst zijn qua ontwikkeling (Woods, 2015).

Automated Insights en Narrative Science leveren hun software vooral in de Engelse taal, maar verschillende andere talen worden ook voorzien. Automated Insights heeft naar eigen zeggen al een project met de Duitse taal gedaan en verkent momenteel de Franse, Spaanse en zelfs Koreaanse taal (Automated Insights z.j.). De kleinere concurrent Yseop kan teksten in het Duits, Engels, Frans en Spaans genereren (Yseop, z.j.). Het is mogelijk dat soortgelijke projecten op termijn ook naar Nederland komen. Mariët Theune van de Universiteit Twente vertelde in een onderling gesprek (2015a) dat enkele Nederlandse bedrijven zich oriënteren op het gebied van taalgeneratie, al is dat nog in een vroeg stadium. In Duitsland is al het programma AX Semantics door aexea (volledig in kleine letters) ontwikkeld. De ontwikkelingen in niet-Engelstalige landen en media zijn voor dit rapport niet van belang, omdat dit onderzoek zich specifiek richt op ontwikkelingen en de invloed van de robotjournalist op de Engelstalige media en niet op anderstalige media.

3.2 Hoe functioneert de moderne robotjournalist?

In §3.1 staat beschreven wat er met de termen robotjournalist en robotjournalistiek wordt bedoeld, wat Big Data is en welke bedrijven een rol spelen op het gebied van taalgeneratie in de Engelstalige media. Wat rest is om te kijken hoe de robotjournalist in technisch opzicht in elkaar steekt en hoe die in de praktijk werkt. Die zaken volgen in deze paragraaf. 3.2.1 Wat is software?

In dit onderzoeksrapport wordt de term software veelvuldig gebruikt. De meeste mensen weten wat het woord betekent. Desondanks kan het geen kwaad om de definitie opnieuw te benoemen. Software is een oorspronkelijk Engels woord en de tegenhanger van het eveneens Engelse woord hardware. Met hardware doelt men op alle fysieke componenten die een computer of laptop bezit. De webversie van het woordenboek Van Dale vertaalt software als (computer)programmatuur, ofwel iets wat niet tastbaar is. Naast hardware en software is er firmware, waarmee men doelt op software die specifiek in hardware is geprogrammeerd. Al is dat voor dit onderzoek niet zozeer van belang om te weten.

Software is een combinatie van instructies in de vorm van regels en codes. Men kan computerprogramma’s zien als een soort virtueel bouwpakket. Al mist er een regel of een code, bestaat de mogelijkheid dat het hele systeem niet functioneert. Als een programma is gecreëerd, kan een computer aan de hand van de regels en codes de instructies lezen en taken uitvoeren. Men maakt over het algemeen onderscheid tussen twee soorten software: system software en application software. De systeemsoftware voert de primaire taken van een computer uit door onder meer het besturingssysteem te bedienen. Zonder deze vorm van software kan een computer niet functioneren. De applicatiesoftware laat gebruikers secundaire taken uitvoeren, zoals e-mailen en internetten en het genereren van teksten. Taalgeneratieprogramma’s behoren tot application software (Curley, z.j.).

3.2.2 De software achter robotjournalistiek

Automated Insights en Narrative Science proberen teksten van een dusdanig niveau te genereren dat ze niet onderdoen voor menselijk geschreven teksten. Beide bedrijven gebruiken daarvoor artificial intelligence (kunstmatige intelligentie). Er is geen exacte definitie van die term, maar gedoeld wordt op het creëren of nabootsen van intelligentie.

Steven Levy schrijft in het artikel Can an Algorithm Write a Better News Story Than a

Human Reporter (2012) over Quill van Narrative Science. De software heeft in eerste

instantie data van een hoge kwaliteit nodig, ofwel gestructureerde data die klopt. Quill kan niet controleren of Apple werkelijk vijf miljoen winst heeft gemaakt of dat het bedrijf dat cijfer verzint. Onderwerpen zoals sport en financiën zijn aantrekkelijk, omdat bij deze onderwerpen cijfers centraal staan: uitslagen, standen, kansenverhoudingen, fluctuaties in aandelenkoersen en kwartaalverslagen. Over dat soort data bestaat over het algemeen weinig twijfel en ze zijn daarnaast relatief eenvoudig voor een computer te verwerken. Er zijn zoals beschreven in §3.1.2 steeds meer data beschikbaar. Levy (2012) geeft een voorbeeld van honkbalfans die software hadden ontwikkeld die na elke slagbeurt de winstkansen voor een team kon berekenen. Als de winstkans plotseling van veertig naar zestig procent veranderde, herkende de software dat als beslissend punt in de wedstrijd. De software moet de beschikbare statistieken in context kunnen plaatsen. Als Nederland bijvoorbeeld tijdens een voetbalwedstrijd vier keer scoort en tegenstander IJsland slechts twee keer moet de computer begrijpen dat Nederland de winnaar van die wedstrijd is. Automated Insights en Narrative Science hebben hun software zo geprogrammeerd dat de programma’s dat soort zaken herkennen. Echter, de computer weet wat er is gebeurd, maar hoe wordt die kennis omgezet in taal? Narrative Science huurde enkele journalisten in die verschillende sjablonen maakten en een vocabulaire samenstelden. Zij werkten samen met de ontwikkelaars om computers zo verschillende zaken te laten herkennen (Levy, 2012). Wie won de wedstrijd? Was het een nipte overwinning waarbij het team terugkwam van een achterstand of was er een ruime overwinning? Wie was op basis van statistieken de meest opvallende speler? Naast de gegevens uit de database van die betreffende wedstrijd moet de technologie vergelijkingen met databases van andere wedstrijden kunnen leggen. Heeft het team na vijf nederlagen op rij weer eens gewonnen? Als de data zijn geanalyseerd, wordt eerst een structuur van het artikel bepaald. Een hoop nieuwsberichten hebben een voorspelbare opmaak. Sportverslagen beginnen vaak met zinnen zoals: Club X heeft zondagmiddag met 4-2 van club Y gewonnen. Club X heeft gisteren

goede zaken gedaan in de titelstrijd door met 4-2 van club Y te winnen. Club X heeft na vijf zes op rij weer eens verloren. Club Y was zondagmiddag met 4-2 te sterk voor Club Y..