• No results found

De Nederlandse Robotjournalist

N/A
N/A
Protected

Academic year: 2021

Share "De Nederlandse Robotjournalist"

Copied!
85
0
0

Bezig met laden.... (Bekijk nu de volledige tekst)

Hele tekst

(1)

De Nederlandse Robotjournalist

Een onderzoek naar de rol van kunstmatige intelligentie in de Nederlandse journalistiek Fatma Yalgin Studentnummer 10534008 Masterscriptie Journalistiek en Media Universiteit van Amsterdam 20 maart 2020 Begeleider: dr. Eline Huiberts Aantal woorden: 20.766

(2)

J O U R N A L I S T I E K V E R S L A G

De Nederlandse Robotjournalist: een onderzoek naar de

impact van automatisering op de Nederlandse journalistiek

Kunstmatige intelligentie krijgt een steeds grotere rol in onze samenleving. Deze subdiscipline van de informatica weet op vele facetten het werk te automatiseren en dus te vereenvoudigen. Tegenwoordig speelt kunstmatige intelligentie (AI) op diverse plekken een rol: er wordt in het ziekenhuis gebruik gemaakt van AI omdat het specifieke kankersoorten herkent, de zelfrijdende auto lijkt ook steeds dichterbij te komen en mensen worden middels AI-algoritmes steeds meer beïnvloed in hoe zij media consumeren. Ook in de journalistiek wordt de laatste jaren gekeken hoe kunstmatige intelligentie de journalist kan helpen. De laatste jaren heeft de ontwikkeling van automatisering binnen de journalistiek – ook wel robotjournalistiek genoemd – een enorme sprong doorgemaakt. Vooral in de nieuwsgenres sportverslaggeving en financieel nieuws blijkt veel mogelijk op gebied van automatisering, blijkt uit wetenschappelijk onderzoek. Internationaal gezien heeft de robotjournalist inmiddels zijn/haar plek verdiend op de redactie, terwijl deze ontwikkeling in Nederland nog relatief achterloopt. Context Dit onderzoek is uitgevoerd door Fatma Yalgin, student van de master Journalistiek en Media aan de Universiteit van Amsterdam. Zij heeft gekeken wat de situatie is rondom robotjournalistiek op de Nederlandse nieuwsredactie. De focus in dit onderzoek ligt op het perspectief van de journalist: hoe zien zij de ontwikkeling van automatisering binnen de journalistiek? Om daarachter te komen is Yalgin in contact gekomen met een tiental journalisten. Deze journalisten wisten in diepte-interviews te vertellen wat hun ervaring is met robotjournalistiek, hoe zij naar de ontwikkeling kijken en wat volgens hen de impact is van automatisering op het maken van nieuws.

(3)

Aanvulling In dit onderzoek is naar voren gekomen dat journalisten de toekomst van robotjournalistiek over het algemeen rooskleurig inzien. De journalisten die ervaring hebben met automatisering zijn van mening dat de artikelen dienen als aanvulling, zo hoeven journalisten ook niet bang te zijn dat zij vervangen gaan worden. Daarnaast is het een groot voordeel dat nieuws op deze manier veel persoonlijker kan worden. Dankzij AI kan worden bepaald wat de voorkeuren zijn van de nieuwsconsument en wordt het nieuws relevanter voor diegene die het leest. Meerdere redacties willen in de nabije toekomst meer gebruik gaan maken van deze technologie. De Nederlandse robotjournalist heeft tot nu toe een sporadische intrede gemaakt in het werkveld, dankzij dit onderzoek is er met enige zekerheid te zeggen dat dat de komende jaren zal veranderen. “De snelheid van nieuwsverspreiding voert steeds meer de bovenroon. Wanneer routinematig werk van de journalist geautomatiseerd kan worden, zal dat de handen vrij maken van de journalist. Zo kan deze zijn/haar tijd spenderen aan diepgravende journalistieke artikelen, iets waar de journalistiek veel baat bij heeft”, aldus de onderzoeker.

(4)

I N H O U D S O P G A V E 1. INTRODUCTIE 6 2. THEORETISCH KADER 11 2.1 Journalistiek 11 2.1.1 De rol van de journalist 2.1.2 Journalistiek onder druk 2.2 Digitale ontwikkelingen 14 2.2.1 Wat is AI? 2.2.2 Robotjournalistiek 2.3 Het automatiseren van nieuws – de genres 21 2.3.1 Financieel nieuws 2.3.2 Sportverslaggeving 2.3.3 Onderzoeksjournalistiek 2.4 Het automatiseren van nieuws – de gevolgen 28 2.4.1 Leesbaarheid 2.4.2 Objectiviteit 2.4.3 Betrouwbaarheid 2.4.4 Verantwoordelijkheid 3. METHODE 35 3.1 Selectie van journalistieke organisaties 36 3.1.1 Publicaties met robotjournalistiek 3.1.2 Overige media 3.2 Selectie van journalisten 38 3.3 De interviews 40 4. ONDERZOEKSRESULTATEN 43 4.1 Vormen van AI in de journalistiek 43 4.1.1 Recommender system 4.1.2 Moderatie 4.2 Robotjournalistiek in gebruik 48 4.2.1 Doel van het experiment 4.2.2 Reflectie op het proces

(5)

4.2.3 De toekomst van de Nederlandse robotjournalist 4.3 De voor- en nadelen van robotjournalistiek 55 4.3.1 Voordeel I: aanvulling 4.3.2 Voordeel II: snelheid 4.3.3 Voordeel III: routine 4.3.4 Nadeel I: context 4.3.5 Nadeel II: fake news 4.3.6 Nadeel III: vervanging 4.4 Verwachtingen van robotjournalistiek 62 4.4.1 Waar komt het wantrouwen vandaan? 4.4.3 Welke obstakels/limieten kent robotjournalistiek? 4.4.4 Waar liggen de kansen voor de toekomst? 5. CONCLUSIE 68 6. LITERATUURLIJST 72 7. BIJLAGEN 81 7.1 Bijlage 1 – Topic list journalisten 81 7.2 Bijlage 2 – Topic list NOS en RTL Nieuws 82

(6)

1. I N T R O D U C T I E ‘Journalism has always been shaped by technology.’ – John Pavlik, 2000 (academicus) Men is altijd op zoek naar een manier om het werk te verlichten. Of dat nu zwaar lichamelijk werk is, of herhalende, saaie klusjes: automatisering is in bijna alle gevallen welkom. Een van de manieren om automatisering mogelijk te maken is middels kunstmatige intelligentie (hierna AI genoemd, naar artificial intelligence). AI is een subdiscipline van de informatica, deze bestudeert in hoeverre apparaten taken van mensen over kunnen nemen en zelfstandig beslissingen kunnen nemen (Minsky, 1968). Tegenwoordig is kunstmatige intelligentie overal in de samenleving te vinden: er wordt in het ziekenhuis gebruik gemaakt van AI omdat het specifieke kankersoorten herkent (De Koe, 2017), de zelfrijdende auto lijkt steeds dichterbij te komen (Micron) en mensen worden middels AI-algoritmes steeds meer beïnvloed in hoe zij media consumeren (Marr, 2016). Ook binnen de journalistiek wordt er gekeken naar manieren om het werk van de journalist een stuk makkelijker te maken middels AI, veel internationale nieuwsredacties maken hier al jaren gebruik van (Verdonk, 2016). Er zijn verschillende manieren zijn waarop AI een rol kan spelen in de journalistiek – met programma’s als nieuws-chatbots (Seward, 2016) of “realtime computer factcheckers” (Babakar, 2016). Echter is dit onderzoek gericht op robotjournalistiek: het genereren van tekst met behulp van data. Hierbij wordt het mogelijk om nieuws volledig te automatiseren. In deze studie wordt onderzocht wat de impact is van robotjournalistiek op de werkgelegenheid van de journalist. In de academische wereld is tot nu toe nog niet veel onderzoek verricht naar robotjournalistiek op de Nederlandse redacties. In 2014 hebben Van der Kaa en Krahmer onderzoek gedaan naar de betrouwbaarheid van geautomatiseerde nieuwsartikelen ten opzichte van geschreven nieuwsartikelen. Dit experiment (met N=232 Nederlandse proefpersonen, waaronder N=64 journalisten) liet zien hoe betrouwbaar en geloofwaardig geautomatiseerde artikelen overkwamen. Nieuwsconsumenten zagen in deze studie nauwelijks tot geen verschil tussen een geschreven artikel en een geautomatiseerd artikel.

(7)

Bij de journalisten daarentegen, ging de voorkeur uit naar het geschreven artikel, omdat die het meest betrouwbaar overkwam (Van der Kaa en Krahmer, 2014). Met de kennis van dit onderzoek – dat inmiddels zes jaar oud is – krijgt men desalniettemin een systematische weergave van de potentie van deze technologie. Door de geloofwaardigheid te laten analyseren en vervolgens een differentiatie te maken in genres, komen de resultaten van het onderzoek helder over. Omdat de technologie van robotjournalistiek gebonden is aan taal, zijn studies binnen dit veld vaak aan landsgrenzen gebonden. Dit is spijtig, omdat onderzoek heeft uitgewezen dat verschillende Europese, Amerikaanse en Aziatische landen al ver zijn op dit gebied, en hoogstwaarschijnlijk tegelijkertijd aan dezelfde software hebben gewerkt (Parasie, 2012; Carlson, 2015; Clerwall, 2014; Mayr, 2017; Jung et al., 2017; Graefe, 2018; Waddel, 2018). Wölker en Powell zijn in 2018 een Europees onderzoek gestart naar de effecten van geautomatiseerd nieuws op de betrouwbaarheid en de selectie van nieuws. Hier deden driehonderd respondenten aan mee, uit 24 Europese landen. Elf van deze driehonderd respondenten waren Nederlands, en ruim tweehonderd waren Duits. De onderzoeksresultaten blijken overwegend overeen te komen met andere bevindingen (Van der Kaa en Krahmer, 2014; Clerwall, 2014; Graefe, 2018), namelijk dat de percepties van de geschreven artikelen, de geautomatiseerde artikelen en een combinatie daarvan, als even betrouwbaar werden ervaren. Op de Nederlandse redacties is in 2019 voor het eerst geëxperimenteerd met robotjournalistiek. De NOS en RTL Nieuws zijn naar buiten getreden middels publicaties, NU.nl zit nog in de productiefase (J. de Vries, 2019; Bunskoek, 2019; A.B. de Vries, 2019). Omdat deze ontwikkelingen vrij recent zijn, is er nog weinig onderzoek verricht naar het effect van deze cases op de journalistiek. Daarnaast focussen de reeds voltooide studies zich voornamelijk op het kortstondige effect van geautomatiseerd nieuws – hoe betrouwbaar of leesbaar het overkomt – in plaats van de langdurige gevolgen voor de journalist en de maatschappij. Een veel gehoorde angst is dat automatisering in de journalistiek de journalist op termijn zal vervangen (Carlson, 2014; Ford, 2015; Törnwall, 2017; Whitaker, 2019; Broussard en Diakonopolous, 2019). In dit kwalitatieve onderzoek zal worden gekeken hoe

(8)

Nederlandse journalisten naar robotjournalistiek kijken en wat voor rol het volgens hen zal spelen in de (nabije) toekomst. Om te begrijpen hoe robotjournalistiek kan worden toegepast, is het belangrijk eerst kort uit te leggen hoe automatisering werkt. Door middel van templates en algoritmes is een AI-software in staat tekst uit data te genereren. Algoritmes – een soort recepten om een wiskundig probleem stap voor stap op te lossen (Encyclo) – kunnen vandaag de dag dankzij behulp van sensors het nieuws herkennen en opschrijven, nog voordat een menselijke journalist de pen heeft gegrepen. Media als Reuters (Chua, 2018), The Los Angeles Times (Quakebot, 2019) en Guardian Australia (Reporter Mate, 2019) gebruiken geautomatiseerde software om bijvoorbeeld financiële verslagen of sportberichten mee te produceren. Zoals eerder is beschreven, hebben in 2019 de NOS en RTL Nieuws hier al mee geëxperimenteerd, een online tool over de Provinciale Staten (NOS) en ADAM (RTL Nieuws) zijn hieruit voortgekomen (J. de Vries, NOS; Bunskoek, RTL Nieuws). In 2020 wilt NU.nl middels robotjournalistiek verslag doen van regionale voetbalwedstrijden (A.B. de Vries, NU.nl). Dit roept verschillende vragen op voor de toekomst van het werkveld. Wat heeft automatisering in de journalistiek voor gevolgen voor het maken van nieuws? Gaan de robotjournalist en de journalist van vlees en bloed hand in hand? Dit onderzoek is maatschappelijk relevant omdat een dergelijke innovatie in de journalistiek niet onopgemerkt zal blijven en grote gevolgen zal hebben voor de samenleving. Niet alleen heeft automatisering in de journalistiek consequenties voor het werkveld van de journalist, het mediagebruik van de nieuwsconsument zal tevens drastisch veranderen. Digitale ontwikkelingen hebben de journalistiek altijd al gevormd en deze AI-revolutie blijft daarin niet achter. In tijden van continu mediagebruik, waar de concurrentie binnen mediabedrijven alomtegenwoordig is, is er een systeem nodig om overzicht te creëren voor de consument. Er is simpelweg te veel informatie beschikbaar, waardoor de vraag daarnaar meegroeit, en de vicieuze cirkel van informatie blijft draaien. Als gevolg van een oversaturatie aan informatie in combinatie met vele digitale mogelijkheden, bestaat de kans dat dit kan leiden tot nepnieuws (ofwel: fake news). Dit fenomeen is een mogelijke repercussie van nieuwsverspreiding via kanalen als sociale

(9)

media. Omdat dit zich razendsnel kan verspreiden, is het vaak al te laat voordat men doorheeft dat het nieuws daadwerkelijk nep is, en de rectificaties geplaatst zijn (Graefe, 2016; Beckett, 2019). Automatisering kan een rol spelen in de productie en verspreiding hiervan, maar hierover in het volgend hoofdstuk meer. Belangrijk om te benadrukken is de maatschappelijke relevantie van dit onderzoek in deze context. Voor nu, maar zeker voor de toekomst. Robotjournalistiek is een ontwikkeling waar niet aan te ontkomen valt, des te belangrijker is het om er op de juiste manier mee om te gaan. Naar aanleiding van de hierboven geschetste ontwikkelingen, is dit onderzoek gericht op de perspectieven op het journalistieke werkveld in Nederland. De focus ligt op de impact van robotjournalistiek voor de werkgelegenheid van de journalist. In dit onderzoek is de volgende centrale vraag opgesteld: Wat betekent de toevoeging van kunstmatige intelligentie voor de Nederlandse journalistiek? Om deze vraag te kunnen beantwoorden zijn de volgende deelvragen nodig: 1. Hoe wordt AI op dit moment ingezet op Nederlandse nieuwsredacties? 2. Wat zijn de gevolgen van deze nieuwe software (op de redactie en voor de toekomstige journalistiek) volgens de journalist? 3. Hoe ziet de journalist de ontwikkeling rond het gebruik van kunstmatige intelligentie in de journalistiek volgens de journalist? 4. Waar kan AI voor worden ingezet op de Nederlandse nieuwsredactie? 5. Hoe kijkt de journalist naar zijn/haar eigen positie in een werkomgeving waar steeds meer wordt geautomatiseerd? Om deze vragen te beantwoorden, is ervoor gekozen om diepte-interviews af te nemen bij verschillende journalisten. Deze journalisten beantwoorden de vragen vanuit hun perspectief en overtuiging, ervan uitgaande dat deze op hun ervaringen zijn berust. In dit onderzoek volgt na de inleiding een overzicht van artikelen en studies die houvast bieden aan dit onderzoek. Dit theoretisch kader bestaat uit vier delen. In deel één wordt kort besproken wat er wordt verstaan onder de term ‘journalistiek’. In het tweede deel worden de digitale ontwikkelingen besproken waar de journalistiek de laatste jaren

(10)

onderhevig aan is geweest, gevolgd door de huidige vierde ontwikkeling waar AI centraal staat. Deel drie zal verder ingaan op de combinatie van AI en journalistiek, hier worden de journalistieke genres toegelicht die geschikt zijn voor de automatisering van het nieuws. Tot slot bouwt het vierde deel voort op deze ontwikkeling, gezien vanuit een socio-cultureel perspectief. Welke gevolgen kent robotjournalistiek voor de kwaliteit van het nieuws? Deze – en meer – vragen worden beantwoord in het theoretisch kader. In hoofdstuk drie wordt de methode besproken die in dit onderzoek centraal staat: kwalitatieve diepte-interviews. Hierin zal de selectie van de journalisten ter sprake komen, evenals de vragenlijsten die hen gepresenteerd zijn. Daaropvolgend behandelt het vierde hoofdstuk de resultaten uit die interviews. Deze resultaten worden verweven met de thematiek uit het theoretisch kader, waar tot slot een voorlopige conclusie uit voortkomt.

(11)

2. T H E O R E T I S C H K A D E R ‘I think the introduction of automated reporting is the best thing to happen to journalists in a long time.’ – Kevin Roose, 2014 (techjournalist) Deze masterscriptie onderzoekt hoe de Nederlandse journalist kijkt naar de rol van kunstmatige intelligentie (AI) binnen de journalistiek. Om beter te begrijpen wat hiermee precies wordt bedoeld en hoe deze ontwikkeling internationaal gezien al in werking treedt, is dit theoretisch kader opgedeeld in vijf thema’s. Allereerst wordt de definitie van de journalistiek gegeven. De kernwaarden van de journalistiek komen aan bod en de maatschappelijke spanningen die daarbij gepaard gaan worden besproken. Vervolgens gaat het tweede hoofdstuk in op de digitale ontwikkelingen en hoe deze een rol kunnen spelen binnen de journalistiek. Zou kunstmatige intelligentie een oplossing kunnen zijn voor de genoemde spanningen? Hoe kan deze technologie inspelen op de gebreken van de hedendaagse journalistiek? De term ‘robotjournalistiek’ staat in dit hoofdstuk centraal en er zal worden uitgelegd wat dit inhoudt en hoe het werkt. Robotjournalistiek wordt verder uitvergroot in het derde subhoofdstuk, de vraag die hier centraal staat is: op welke nieuwsgenres in de journalistiek kan AI het beste worden toegepast? De genres ‘financieel nieuws’, ‘sportverslaggeving’ en ‘onderzoeksjournalistiek’ worden in dit hoofdstuk besproken. Het vierde hoofdstuk bouwt voort op de gevolgen van deze ontwikkeling in de journalistiek. Wat betekent de toevoeging van AI voor het nieuws? In dit gedeelte worden vier thema’s aangehaald, namelijk: leesbaarheid, objectiviteit, betrouwbaarheid en verantwoordelijkheid. 2.1 Journalistiek Er zijn meerdere definities te geven aan journalistiek. De journalistieke cultuur wordt opgevat als het geheel van denkbeelden en verhoudingen, stijlen en conventies, waarden en normen die zich doen gelden in de wereld van de schrijvende pers en de audiovisuele media en aldus richting geven aan de journalistieke praktijken (Bardoel, 2002; Deuze 2004; Teunissen, 2005). Hiermee kan worden beargumenteerd dat journalistiek een belangrijke rol

(12)

in de samenleving vervuld, zij het als ‘waakhond’ (Voorhoof, 2015) of als ‘opvoeder’ (Van Vree, 2002). Om te begrijpen hoe en waarom dit werkveld zich de laatste jaren heeft ontwikkeld, is het belangrijk om te kijken wat de algehele rol is van journalistiek. Het is te verwachten dat deze rol door de jaren heen is veranderd, maar men kan stellen dat het ten opzichte van vroeger dezelfde kernwaarden hanteert. 2.1.1 De rol van de journalist De rol van de journalistiek moet begrepen worden als een dubbele: aan de ene kant functioneert de Nederlandse journalistiek als ‘orkestleider’ in de mobilisatie van het volk in specifieke zuilen, aan de andere kant zijn nieuwsmedia ook debet geweest aan het proces van ontzuiling, secularisatie en fragmentering van de samenleving (Deuze, 2004; Bardoel et al., 2002). Zo staat journalistiek aan het hoofd van belangrijke kenteringen in de samenleving. Dat deze beroepstak veel teweeg kan brengen in de samenleving staat buiten kijf, toch staat de essentie van de rol van een journalist in deze scriptie centraal: het verzamelen van nieuws. Hieronder vallen: 1. het vinden van nieuws (met daarbij de bronnen die het nieuws verschaffen), 2. het selecteren van nieuws (de keuze maken wat aan de consument te laten zien) en 3. het presenteren van nieuws (de productie en alles wat daarbij komt kijken). Verschillende onderzoeken beargumenteren dat dit de belangrijkste zaken zijn van de journalistiek (Chalaby, 1998; McQuail, 2000; Örnebring, 2010). Daarnaast hebben journalisten uiteraard persoonlijke doelen, deze komen veelal overeen met de algemene ambitie van de ambacht: “Journalists face two goals they perceive as mutually exclusive: the pursuit of a mass audience and the aspiration to provide mission-driven reporting” (Nelson en Tandoc, 2019). Naast waarheidsgetrouwe verslaggeving van de actualiteiten streeft elke journalist ernaar dat het werk ook gelezen/bekeken wordt door zoveel mogelijk mensen. Om deze journalistieke taken te verrichten, wordt er altijd gekeken naar manieren om het werk van de journalist te vereenvoudigen. Technologische ontwikkelingen spelen daarin een grote rol (Carlson, 2015). Dankzij de komst van het internet is er voor de nieuwsconsument

(13)

en de journalist meer informatie beschikbaar dan ooit (Whitaker, 2019). Dit brengt drie grote gevolgen met zich mee, die hieronder in detail worden toegelicht. Ten eerste zorgt het internet – en daarbij enorme hoeveelheid aan informatie die het met zich meebrengt – voor een verschuiving in het rolbesef van de journalist. In plaats van ‘beschrijver’, is de journalist tegenwoordig meer een ‘duider’ geworden, die de consument voorziet van meer diepgang en context (Deuze 2004; Pleiter et al 2002). Naast het veranderlijk rolbesef, heeft de digitale revolutie er tevens voor gezorgd dat de computer een grotere rol inneemt binnen de ‘tools’ van een journalist. Dankzij de computer is het werk van een journalist minder arbeidsintensief geworden en zijn er verschillende technologieën waar de journalist vandaag de dag niet meer zonder kan, zoals de technologieën Computerized Typesetting System en Computer Assisted Reporting (CTS en CAR): “In the mid-1970s, Computerized Typesetting System (CTS) and Computer Assisted Reporting (CAR) as new technology have deeply affected journalism as labor. CTS have substituted the metal type in newspaper printing and CAR have substituted handwriting in reporting. The computer reduced the labor intensity of journalists in editing and reporting (Howard, 2014). These technologies also reduced the number of employees in the newsroom.” (Jung en Song, 2017, p.294) In andere woorden, technologieën hebben de journalistiek altijd gevormd. Door CTS is het drukwerk voor de kranten veranderd en CAR heeft ervoor gezorgd dat er door de verslaggever minder met de hand geschreven hoeft te worden. Desalniettemin hebben journalisten altijd de opvatting gedeeld dat zij de computer konden gebruiken als hulpstuk. Het helpt hen hun werk beter te kunnen uitvoeren (Jung en Song, 2017; Deuze, 2004). Het derde gevolg van de komst van het internet voor de journalistiek, manifesteert zich op de relatie tussen journalist en nieuwsconsument. Deze is de laatste jaren op verschillende manieren veranderd. Met de komst van allerlei soorten interactieve sociale media, is de journalist in staat dichter bij de consument te komen. Dat gaat in sommige gevallen zelfs zo ver dat de consument zelf een journalistieke taak op zich kan nemen, het zogeheten citizen journalism (Van Dijck, 2016; Törnwall, 2017). Deze ontwikkeling heeft ervoor gezorgd dat de journalistiek zich de laatste jaren efficiënter heeft kunnen opstellen,

(14)

omdat het de handen vrijmaakt voor journalisten om ander nieuws te vinden (Lowrey & Mackay, 2008; Singer, 2003, 2005; Steensen, 2011). Al deze praktijken betekenen dat er een zekere druk is ontstaan op de journalistiek. Het veranderend rolbesef, de samenwerking tussen mens en machine en de relatie tussen de journalist en de consument zijn bewijzen van het feit dat de journalistiek een veranderlijke wereld is. Deze druk resulteert in steeds forsere bezuinigingen (Takken, 2018; Benschop, 2018). 2.1.2 Journalistiek onder druk Twee jaar geleden, in de zomer van 2018, bleek uit het Jaarplan Radio 2018 dat de NPO fors moest bezuinigingen in de zendtijd van twee journalistieke programma’s: Argos en Reporter Radio (Van Dongen, 2017). Niet alleen binnen de onderzoeksjournalistiek moest er bezuinigd worden, sinds de komst van de digitale media staan alle genres van de journalistiek op scherp. Enerzijds wordt er naar aanleiding van verschillende onderzoeken vanuit gegaan dat de journalistiek en de media belangrijk zijn voor het functioneren van onze democratie, anderzijds worden deze ook continu bedreigd (of ten minste sterk beïnvloedt) door ontwikkelingen van buitenaf, of dat nou economische, politieke of technologische ontwikkelingen zijn (Deuze, 2004). Dat is precies waar AI haar intrede kan maken. Er zijn twee redenen om te kiezen voor het automatiseren van nieuws. Ten eerste worden veel mediaorganisaties gedwongen om minder journalisten aan te nemen, omdat daar – door de bezuinigingen – minder ruimte voor is. Zo kan AI ervoor zorgen dat nieuws sneller en efficiënter gemaakt kan worden, door diverse taken van de journalist over te nemen. Ten tweede is er tegenwoordig zoveel nieuws te vinden op online vlak, zodoende dienen mediaorganisaties zichzelf op unieke wijze te profileren. Een mogelijkheid om dit te doen is het nieuws door te toevoeging van AI te personaliseren en regionaler te maken. Maar om te begrijpen hoe media het beste gebruik kan maken van AI, is het eerst belangrijk te weten welke digitale ontwikkelingen de media de laatste jaren hebben gevormd. 2.2 Digitale ontwikkelingen Er zijn vier golven van digitale ontwikkelingen binnen de journalistiek. Na de online, mobiele en sociale media golf, is het nu tijd voor de golf waarin kunstmatige intelligentie de

(15)

boventoon voert (Ford, 2015; EBU, 2019; Whitaker, 2019). In dit hoofdstuk ligt de focus op deze laatste digitale ontwikkeling. Er wordt besproken hoe de journalistiek en technologie met elkaar verweven zijn, en wat daar de gevolgen van zijn. Sommigen zien de invloed van digitale ontwikkelingen op de journalistiek als een negatieve, omdat het voor “vervlakking van het nieuws zorgt” (Miroshnichenko, 2016). Andere bedrijven plukken er de vruchten van en weten het nieuws dankzij AI razendsnel bij de consument te krijgen (Roose, 2014; Törnwall, 2017). Bovenal is de overgrote meerderheid het met elkaar eens dat digitale ontwikkelingen de journalistiek enorm beïnvloeden. In het rapport The future of journalism in A Networked Society (Törnwall, 2017) schetst The Ericsson Networked Society Lab een toekomst waar digitale innovaties de journalist kunnen helpen. Dit ICT bedrijf beoogt unieke inzichten te verschaffen en ziet veel potentie in technologieën als automatisering: “Many reports discuss the dire straits of media – how the internet is killing off media companies, and the fact-free social media bubble – but let’s look beyond today’s crisis to a brighter future. We explore how technology can lead to new business models, enable reporters to do a better job, and produce content that wasn’t previously possible.” (Törnwall, 2017) Uit dit citaat blijkt dat de vooruitzichten naar de toepassing van nieuwe technologieën op de journalistiek vrij positief gekleurd zijn. De technologie is in staat om content te maken waar eerst geen tijd noch ruimte voor was. Vanuit deze optiek is vooruitdenken het doel en moet het werkveld zich aanpassen aan de technologische mogelijkheden. Academici hebben verschillende facetten bestudeerd en bediscussieerd als het gaat om de impact van technologische ontwikkelingen op de redactie (Cottle en Ashton, 1999), de effecten ervan op het journalistieke werkveld (Pavlik, 2000; Franklin, 2008) en de ervaringen van de nieuwsconsument (Clerwall, 2014). Het perspectief van de journalist is in sommige gevallen nog onbelicht gebleven. Van Dalen (2012) heeft ondervonden dat journalisten de komst van digitale ontwikkelingen niet geheel schuwen. Ze zien het als een kans om de journalistiek menselijker te maken, omdat door de hulp van technologische

(16)

innovatie, journalisten meer de handen vrij hebben hebben voor “in-depth reporting” (Van Dalen, 2012). Een nadeel van de derde digitale golf – de komst van sociale media – is dat het de zogeheten filterbubbel in de hand kan werken. Een filterbubbel is het verschijnsel waarbij websites en zoekmachines hun resultaten afstemmen op jouw (eerdere) online zoekgedrag (MediaWijsheid). Dat kan handig zijn, maar maakt het ook lastiger om andere meningen of diverse informatiebronnen te vinden (Graefe, 2016; Becket, 2019). Zoals Graefe in zijn studie aangeeft: “People would be less likely to encounter information that challenges their views or contradicts their interests, which could carry risks for the formation of public opinion in a democratic society” (Graefe, 2016, p. 46). In andere woorden, het is maatschappelijk belangrijk dat alle kanten van een verhaal gehoord worden, omdat de nieuwsconsument anders een te eenzijdig beeld krijgt. De vierde digitale golf (AI) kan dit proces versterken, maar daar is nog niet genoeg onderzoek naar gedaan. Het idee dat technologie en journalistiek nauw met elkaar verweven zijn is niet nieuw. Sommigen stellen zelfs dat journalisten technologieën niet gebruiken, maar dat de technologieën het werkveld in z’n geheel vormen (Pavlik, 2000; Örnebring, 2010). Er valt zeker wat voor te zeggen dat de technologieën in het verleden ervoor hebben gezorgd dat de journalistiek er nu zo uit ziet. Na de industriële revolutie zorgde automatisering ervoor dat het nieuws snel en in grote mate verspreid kon worden. Ook de overgang van papieren krant naar de digitale krant is te wijten aan technologische ontwikkelingen als de digitalisering (Örnebring, 2010, p. 62). De vraag is of hetzelfde kan worden gezegd over de rol van AI in het journalistieke werkveld. Nu is het nog een keuze voor redacties om een robotjournalist in dienst te nemen. Kunnen zij zich in de toekomst die keuze nog veroorloven, of wordt het een nieuwe line of work? In de vierde digitale golf die de journalistiek overspoelt, draait het om kunstmatige intelligentie, wat dat precies is, is te lezen in het volgende hoofdstuk. 2.2.1 Wat is AI? Kunstmatige intelligentie, machine learning, deep learning: er worden verschillende termen gebruikt wanneer men het heeft over deze nieuwe technologie, en elk begrip verschilt een beetje van elkaar. Maar in essentie is AI ‘een systeem dat autonome beslissingen kan maken,

(17)

een tak in de computerwetenschap waar computers zo zijn geprogrammeerd om dingen te doen waar menselijke intelligentie voor nodig is’ (EBU, 2019). Wanneer kunstmatige intelligentie wordt toegepast op de journalistiek, verstaat men hier meerdere zaken onder. De volgende drie varianten worden het meest gebruikt in de journalistiek: content personaliseren, content samenvatten en robotjournalistiek. Met ‘content personaliseren’ wordt middels kunstmatige intelligentie en algoritmes de inhoud aangepast, zodat het nieuws op maat kan worden gemaakt naar de wensen van de consument. Verschillende media-outlets maken hier inmiddels al jaren gebruik van, middels de website of via de nieuwsbrief (Beckett, 2018; Verdonk, 2016). Deze manier van nieuws personaliseren wordt veelal ingevuld door een recommender system te installeren. Dit is een tool wat ervoor zorgt dat je als als lezer/gebruiker artikelen aanbevolen krijgt op basis van leesgedrag (Tintarev en Masthoff, 2007; Beckett, 2018). Deze ontwikkelingen zorgen ervoor dat de consument leest wat hij/zij (waarschijnlijk) wilt lezen, zo wordt het engagement verhoogd. De tweede variant bestaat uit ‘content samenvatten’. Deze methode wordt voornamelijk gebruikt als hulpstuk voor journalisten, zodat zij er een artikel van kunnen maken. Hier is al wel sprake van Natural Language Generation (NLG), een technologie die in staat is om computer-gestructureerde data om te zetten naar begrijpelijke teksten (Torrijos, 2019). Het subhoofdstuk ‘Robotjournalistiek’ gaat hier verder op in. De toepassing van AI op de journalistiek om content samen te vatten wordt voornamelijk gebruikt in de financiële berichtgeving van de journalistiek. Een van de eerste programma’s die op geautomatiseerde wijze een tekst kon genereren was Quill van Associated Press (AP). AP verkocht deze technologie al snel aan financieel blad Forbes: “With its NLG tools having been refined enough to begin offering its resources to third parties, AI signed a deal with Associated Press in 2014 to begin automating corporate finance stories. In this, it was following the lead made by Narrative Science which provided its Quill software to Forbes in order to summarise earning reports. In an interview with Forbes in 2015, co-founder of Narrative Science, Kris Hammond, stood by his 2012 claim that the company’s software would write Pulitzer- prizewinning journalism within five years.” (Whitaker, 2019).

(18)

In andere woorden, door de verfijnde techniek van NLG werd het mogelijk voor Narrative Science om winstrapportages door een software samen te vatten. Daaropvolgend was het voor AP duidelijk dat dat nog een stap verder kon: financiële berichten konden geheel geautomatiseerd worden. In een interview met Kris Hammond geeft hij aan dat de software binnen vijf jaar in staat is prestigieuze journalistieke prijzen te winnen, en zijn enthousiasme blijft daar niet bij. Inmiddels is de medeoprichter van Narrative Science ervan overtuigd dat binnen vijftien jaar 90% van het nieuws door een algoritme geschreven zal zijn (Ford, 2015). Desalniettemin heeft deze schrijvende bot (nog) geen Pulitzer prijs gewonnen, zoals Hammond in het citaat voorspelt, maar het laat wel zien waar de technologie vandaag de dag toe in staat is. Ook het Financieel Dagblad in Nederland maakt gebruik van de samenvat-technologie: het computerprogramma Bloomberg wordt dagelijks gebruikt om opvallendheden in de beurs overzichtelijk te maken (Koot, 2019; Bressers, 2019). Hier zal in het vierde hoofdstuk verder op worden ingegaan. Na het samenvatten van de content, rest er feitelijk nog één stap: een coherent verhaal maken. Robotjournalistiek is de derde variant van de toepassing van AI op de journalistiek, en meteen de focus van deze these. Er is de laatste vijf jaar veel academisch onderzoek verricht naar deze ontwikkeling, om die reden zijn er verschillende termen aan gekoppeld. In het Oxford Dictionary of Journalism is het te vinden onder “algorithmic journalism”, waar het wordt gedefinieerd als “the use of computer software to transform data and other material into a story that resembles a piece of human journalist, by following a pre-programmed structure and formula” (Harcup, 2014). Van Dalen (2012) hanteert diezelfde term, maar Caswell en Dörr (2018) noemen het liever “automated journalism”. Carlson (2015) blijft bij de term “robot journalism” en omdat de laatste het meest tot de verbeelding spreekt, is er in dit onderzoek voor gekozen om de term robotjournalistiek te hanteren. In het volgende subhoofdstuk zal worden besproken wat het nut is van robotjournalistiek, en op welke genres het het beste toepasbaar is. 2.2.2 Robotjournalistiek Robotjournalistiek betreft de toepassing van een computerprogramma om vanuit bergen data teksten te genereren. Natural Language Generation (NLG), volgens Narrative Science is NLG: een “subfield of artificial intelligence (AI) which produces language as output on the

(19)

basis of data input”, is hierin de sleutelfactor. Dankzij NLG is het mogelijk om journalistieke artikelen te creëren door data te selecteren (figuur 1). Programmeurs van deze software maken algoritmes om teksten te maken die niet van ‘echt’ te onderscheiden zijn (Mayr, 2017). Zoals in deel 1 is duidelijk gemaakt, staat de journalistiek de laatste jaren onder druk. Hoe kan robotjournalistiek in dit geval helpen? Wanneer dit toegepast wordt kent het twee grote economische voordelen: het verhoogt de snelheid van produceren en het verhoogt de schaal van nieuwsproductie (Graefe, 2016). Deze voordelen gelden immers voor mediaorganisaties, omdat zij door deze investeringen tijd en geld winnen. Daarnaast biedt robotjournalistiek tevens voordelen voor de kwaliteit van het nieuws zelf. Ten eerste kunnen veel routinematige klusjes van de journalist overgenomen worden. Artikelen die volgens een eentonige opbouw geschreven zijn, kunnen geautomatiseerd worden, zodat de journalist zijn/haar handen vrij heeft voor andere – diepgaandere – artikelen (Clerwall, 2014; Graefe, 2016; Mayr, 2017; Carlson, 2015; Thurman, Dörr en Kunert, 2017). Ten tweede biedt robotjournalistiek de mogelijkheid om nieuws te maken wat eerder nog niet gemaakt werd. Men kan hier denken aan nieuws voor een niche-publiek, of superlokaal nieuws. Een medium heeft nooit genoeg journalisten in dienst om hun hele Figuur 1: Illustratie van het proces NLG bij Quill (Mayr, 2017).

(20)

doelgroep te voorzien van een artikel naar hun hart, terwijl een robot één keer ingezet hoeft te worden, om er honderden of wel duizenden artikelen te creëren (Van Dalen, 2012; Miailhe, 2017). Door deze personalisatie wordt het nieuws meer divers. Zoals Nicolas Miailhe in het rapport van The AI Initiative treffend stelt: “Artificial intelligence can automatize and prioritize routine administrative and operational tasks by training conversational robot software (‘bots’), which can then plan and manage interactions. Google’s Smart Reply software can already draft messages to respondents based on previous responses to similar messages. Newsrooms are increasingly using machine learning to produce reports and to draft articles. Similar technology can produce financial reports and executive briefings.” (Miailhe, 2017) Zoals hier wordt omschreven, maken veel bedrijven en organisaties al gebruik van AI. De toepassing van deze technologie kan in veel gevallen routinematig werk prioriteren en automatiseren. Nu deze software ook haar intrede maakt op de nieuwsredactie, kan het zeker in de toekomst de vruchten afwerpen. Wanneer journalisten de verhalen herkennen waarin patronen te vinden zijn en cijfers in te vullen zijn, kan de robotjournalist zijn/haar spreekwoordelijke pen pakken. Vooral routinematige artikelen, zoals nieuwsberichten over de beurs of een verslag van een voetbalwedstrijd, lenen zich daar uitstekend voor. Zo betoogt ook José Rojas Torrijos in zijn artikel over de automatisering van de sportverslaggeving: “As we will see later, NLG have been applied to journalism for news automation, i.e., the application of artificial intelligence to news-making, which implies the Figuur 2: Het proces van lexicalization: data omzetten in semantiek (Cremaschi, 2019)

(21)

identification of routine tasks that can be coded into algorithms that generate products that resemble those created by humans.” (Torrijos, 2019). In figuur 2 is te zien hoe het proces van automatisering precies werkt. De technologie die hierachter schuil gaat, lexicalization, is in veel gevallen simpeler dan het lijkt. Er worden woorden gelinkt aan de acties, en de acties zijn op te delen in codes. Veel softwareprogramma’s werken volgens een ‘als dit-dan dit’-principe (figuur 2). Een van de genres waarbij AI goed toepasbaar is op het schrijven van nieuws is dus sport, maar ook financiële berichtgeving en onderzoeksjournalistiek vallen hieronder. Waarom de keuze valt op deze genres, is in het volgende hoofdstuk te lezen. 2.3 Het automatiseren van nieuws – de genres Wanneer men spreekt over de automatisering van journalistiek, is dat toe te passen op specifieke genres. Op dit moment wordt het hoofdzakelijk gebruikt voor sportverslaggeving en financieel nieuws, omdat deze genres het meeste data bevatten (Mayr, 2017). Doordat deze artikelen doordrenkt zijn van data, is het vrij simpel om deze in een computer programma te implementeren. Het werkt als het ware als een “invuloefening” (J. de Vries, NOS), waarbij de programmeur in samenwerking met de journalist het programma ontwikkelt. De twee genres sportverslaggeving en financiële verslaggeving worden in dit derde subhoofdstuk uitvoerig besproken, ook zal er worden stilgestaan bij het genre onderzoeksjournalistiek. Dit laatste omdat de meeste bezuinigingen in de journalistiek hier plaatsvinden (Benschop en Willems, 2018; RTL Nieuws, 2019) en omdat dit genre aan het begin staat van de ontwikkeling om AI te implementeren. Om deze redenen is het interessant onderzoeksjournalistiek als genre mee te nemen. 2.3.1 Financieel nieuws Het eerste nieuwsgenre waar vaak aan gedacht wordt wanneer men denkt aan robotjournalistiek, is financieel nieuws. Dit genre leent zich er goed voor, omdat de verslaggeving enorm feitelijk is ingericht en de artikelen voornamelijk gestructureerd zijn in cijfers (zoals beursnoteringen, etc.) (Graefe, 2018, p. 601; Carlson, 2015, p. 427). Daarnaast wijst ook uit dat gestructureerde data over financieel nieuws het beste beschikbaar is voor journalisten (Fanta, 2017, p. 20).

(22)

Een voorbeeld van een internationaal medium die deze techniek succesvol geïmplementeerd heeft is Automated Insights. In 2014 heeft dit Amerikaanse bedrijf het platform Wordsmith gelanceerd en dankzij technologieën die naar aanleiding van data, tekst kan genereren, zijn zij een belangrijke sleutelspeler voor tal van bedrijven, waaronder persbureaus Associated Press (AP) en zoekmachine Yahoo (Whitaker, 2019, p. 110). AP heeft in november 2014, dankzij Wordsmith, het eerste geautomatiseerde artikel gepubliceerd (figuur 3). Deze ontwikkelingen worden op verschillende manieren ontvangen: de journalist denkt dat de automatisering van het nieuws de “newsroom jobs zullen elimineren”, terwijl onderzoekers en ervaringsdeskundigen van mening zijn dat de technologie “de potentie heeft om de kwaliteit van het nieuws te verbeteren” (Graefe, 2016). Whitaker (2019) onderstreept de heersende scepsis en angst in de samenleving, in “Tech Giants, Artificial Intelligence, and the future of journalism” is te lezen: “While the common fear among the public is of some kind of Frankenstein monster that will become evil or conscious, some observe that among AI researchers, the real worry is about AI Figuur 3: “Alcoa swings to 2Q profit of 138 $138M, revenue flat”

(23)

becoming competent with goals that diverge from our own” (p.34). Des te dichter de AI-robot komt bij menselijke intelligentie, des te argwanender men wordt. Dit is niet zo verrassend, geschiedenis laat zien dat in tijden van grote veranderingen, mensen in de ambachtelijke beroepssector meer dan eens worden vervangen door machines (Carlson, 2015). Om het bij de journalistiek te houden: dankzij de revolutie in drukwerk werden de klerken overbodig en dankzij de uitvinding van de telegraaf konden de postkoeriers en renbodes ander werk zoeken (Carlson, 2015, p. 422). Dit is het afgelopen decennium niet minder geworden wegens vele bezuinigingen in de journalistieke sector (RTL Nieuws, 2019; Van Bockxmeer, 2017). Daarnaast is de combinatie van termen in dit werkveld op het eerste gezicht niet iets waar velen enthousiast van worden: “Using the terms ‘robots’ and ‘journalism’ in the same sentence doesn’t always inspire good vibes among a tribe that’s seen more than its share of cut-backs and lay-offs over the past decade” (Carlson, 2015, p. 423). Daarnaast – zoals in veel gevallen van technologische verandering – is veel van de scepsis te wijten aan het gebrek aan kennis (Broussard en Diakonopolous, 2019, p. 687). De vraag of AI werkt in de journalistiek is vaak gesteld (Carlson, 2015; Mayr, 2017; Fanta, 2017; Broussard en Diakopoulos, 2019; Ford, 2015). Volgens Blankespoor, DeHaan en Zhu (2017) kan het wel degelijk een financiële meevaller betekenen voor veel journalistieke bedrijven. Automatisering wordt namelijk gezien als een investering, waar veel winst te behalen valt (Blankespoor, DeHaan en Zhu, 2017). Vooral wanneer de technologie wordt ingezet om verhalen te maken die eerst niet werden gemaakt. “[They] discovered,” wordt er geschreven over AP op pagina 5, “that there was a correlation between this increased reporting and the volume of trade taking place as more and more readers started to take interest in previously neglected companies.” Het kan dus in financieel opzicht in het voordeel spelen van het mediabedrijf, wanneer er gebruik wordt gemaakt van automatisering. 2.3.2 Sportverslaggeving Ook al bestaan de technologieën die nieuws kunnen automatiseren al sinds de jaren ’90 (Gatt en Krahmer, 2014), onderzoek heeft uitgewezen dat sportnieuws de laatste vier à vijf jaar op dit gebied enorm heeft ontwikkeld (Mayr, 2017; Galily, 2018; Yao, 2018; Torrijos,

(24)

2019). Wanneer men spreekt over automatisering en het gebruik van AI binnen dit genre, kan men denken aan twee dingen: een software die automatisch wedstrijden kan registreren en visuele samenvattingen genereert, of een ‘geschreven’ verslag van de sportwedstrijd in kwestie (Galily, 2018; Yao, 2018). In dit onderzoek ligt de focus op de tweede definitie, omdat in deze scriptie voornamelijk onderzocht wordt wat de rol is van AI op de journalistiek in het algemeen. Er wordt bij deze vorm gebruik van data-naar-tekst-productie, in plaats van een data-naar-beeld-productie (Van der Kaa, 2014; Gatt en Krahmer, 2014; Mayr, 2017; Whitaker, 2019; Cremaschi, 2019). Op deze manier zijn de bevindingen ook toe te passen op andere genres van nieuws. Nadat AP in juli 2014 aan de slag ging met het automatiseren van financieel nieuws, duurde het niet lang voordat dezelfde technologie gebruikt werd voor artikelen van een heel ander kaliber: sportverslaggeving. Dankzij de vele data in sportnieuws, leent dit genre zich namelijk ook goed voor automatisering (Mayr, 2017; Yao, 2018; Galily, 2018; Torrijos, 2019). In maart 2015 gebruikte AP soortgelijke templates voor het verslaan van sport, met name de NCAA Basketbal competitie van universiteiten in de buurt (Torrijos, 2019, p. 1732). Al snel legde AP de nadruk op het verder ontwikkelen van deze technologie en zo volgden er meer samenwerkingen, zo ook met zoekmachine Yahoo. Voor Yahoo’s Fantasy Footbal (een community waar rugbyfans hun eigen teams en wedstrijden kunnen opstellen) kan Wordsmith diverse artikelen schrijven, mét menselijke ondertoon (Gatt en Krahmer, 2018, p. 6; Latar, 2018, p. 32): “The stories are produced at a speed and scale that would be impossible for human writers, but McFarland says “[it’s] not especially obvious that they were generated by a computer.” In fact, Yahoo! asked AI to give its reports a particularly snarky tone.” (Automated Insights) Naast deze ontwikkelingen die zich voornamelijk in de Verenigde Staten afspelen, heeft China de afgelopen jaren ook veel geïnvesteerd in kunstmatige intelligentie (Bronzwaer, 2019; Meijer, 2019). In 2015 is Dreamwriter gelanceerd, een narrative writing platform. Dankzij haar calculerende en informerende zoekfuncties kan Dreamwriter binnen een minuut berichten van ruim duizend woorden creëren (Latar, 2018). Tijdens de Olympische Spelen in Brazilië in 2016 ging het platform in première, waar het met haar snelle en

(25)

feitelijke berichtgeving direct verslag deed van de sportevenementen. Dit experiment is succesvol gebleken en zijn in verschillende varianten vaker herhaald met andere sportevenementen (Latar, 2018, p. 37). Sportverslaggeving staat in de journalistieke wereld geregeld onder vuur omdat het soms niet gezien wordt als ‘serieus nieuws’ en al snel de stempel “speelredactie van het nieuws” krijgt (Rowe, 2007; Morrison, 2017). Desalniettemin blijft sportverslaggeving een van de meest verbindende en winstgevende redacties, dankzij hun populariteit onder publiek en adverteerders (Galily, 2018, p. 48). Breder gezien bekleedt sport in de media een belangrijke rol in de samenleving: “In many ways, sport matters because of what it tells us about aspects of society rather than specifically about the nature of sporting competition. At its most basic level, sport offers an insight into character, human nature (the best and worst of), and human creativity. It reveals aspects of individual and collective identity and its rich diversity of forms (when does a game become a sport?) allows us to project our own feelings and emotions through a cultural activity either at the ‘live’ event or through mediated sporting discourse.” (Boyle, 2013, p. 89). Wanneer AI wordt toegepast op dit nieuwsgenre, is het belangrijk te constateren wat de lezer verwacht van een nieuwsbericht over sport. Naast betrouwbaar – zoals elke vorm van een journalistiek verslag – dient een verslag ook leesbaar te zijn. De aantrekkingskracht van sportnieuws zit hem deels in de schoonheid van taal. Sommige academici beweren dat de algehele toon van geautomatiseerde berichtgeving al snel “saai en technisch” zou kunnen zijn (Graefe, 2016; Yao, 2018; Clerwall, 2014). Desalniettemin zijn deze verwachtingen niet altijd gegrond. Hoe geavanceerder de software, hoe leesbaarder de geautomatiseerde artikelen kunnen zijn. Om goed te begrijpen hoe ver deze technologie op het gebied van sportverslaggeving op dit moment is, is het goed dit argument toe te lichten met een voorbeeld. In Rise of the robots (2015), gebruikt Ford een voorbeeld van een verslag van een honkbalwedstrijd. De context van deze wedstrijd was belangrijk, omdat er vlak voor de wedstrijd een speler van de Los Angeles Angels was overleden ten gevolge van een auto-ongeluk. Het artikel zag er als volgt uit:

(26)

De software in kwestie (Stats Monkey) gebruikte twee technologieën om dit artikel te maken. Ten eerste was het in staat allerlei statistieken uit het honkbal toe te passen, door de data te analyseren kwamen er verhaallijnen uit waar een artikel uit kon worden opgebouwd. Ten tweede had het een bibliotheek aan andere voorbeelden van honkbalverslagen om narratieven uit te halen. De combinatie hiervan vormde de basiscomponenten van het artikel en zo was Stats Monkey in staat om er een coherent en leesbaar artikel van te maken (figuur 4). Wanneer we de situatie verplaatsen naar de Nederlandse media, is er overlap te zien in de gebruikte argumenten. De verwachting van onderzoek naar dit onderwerp is dan ook Figuur 4: Honkbalverslag in de New York Times door Stats Monkey, 11 oktober 2009

(27)

dat Nederlandse geautomatiseerde sportberichten weinig kunnen toevoegen aan de beschikbare media. In hoeverre dat waar is, is in het hoofdstuk Resultaten de lezen. 2.3.3 Onderzoeksjournalistiek Er zal nader stil worden gestaan is de rol van kunstmatige intelligentie bij het signaleren van nieuws. Vooral het creatieve aspect van de werkzaamheden van een journalist, kunnen meermaals over het hoofd worden gezien. Hoe kies je je onderwerp, welke invalshoek past daarbij en wie worden de hoofdpersonen? Vooral in de onderzoeksjournalistiek, waar je je als journalist door bergen aan cijfers heen moet slaan, kan het enorm veel tijd en energie schelen wanneer er een ‘robot’ is die dat voor je doet. Wanneer AI kan worden toegepast, zou het in een fractie van de tijd relevante culturele patronen kunnen vinden, verschillende datasets behandelen en misschien zelfs die informatie in tekst kunnen verwerken (Hansen, 2017; Marconi en Siegman 2017). Daarnaast is er de laatste jaren binnen de journalistiek een overschot aan online media-aanbod. Met als gevolg dat verschillende platforms met elkaar de strijd aangaan om de lezer tot zich te binden. Onderzoek heeft uitgewezen dat artikelen in de onderzoeksjournalistiek een grote waarde hebben in de markt. Wanneer het proces van research doen versneld kan worden, levert dat een significant resultaat op: “High-impact investigative stories can take a tremendous amount of time to conceive and report, a timeline that is the opposite of the current market imperative. A software tool to accelerate the investigative process can add significant value to the newsroom.” (Broussard en Diakopoulos, 2019, p. 829). Wat hieruit blijkt, is dat het van grote waarde kan zijn wanneer de onderzoeksfase versneld kan worden. Dit is specifiek van toepassing voor onderzoeksjournalistiek, waar er potentie huist in de technologie van AI om zaken in de productie van het artikel voor te bereiden: “The biggest near-term potential for AI in investigative journalism lies in data preparation tasks, such as data extraction from diverse documents and probabilistic cross-database record linkage.” (Stray, 2019)

(28)

Dit toont aan dat tijd voornamelijk kan worden gereduceerd in het onderzoeksproces van het artikel. Hierin dient AI voornamelijk als hulpstuk voor de journalist. In het geval van onderzoeksjournalistiek wordt robotjournalistiek dus vooral gebruikt om de journalist van dienst te kunnen zijn. In het kader van datajournalistiek kan een geautomatiseerde software de journalist helpen om sneller het overzicht te vinden in het nieuws, of aan te kaarten wat nieuwswaardig is. Een directe link met het publiek is er in dit geval nog niet. 2.4 Het automatiseren van nieuws – de gevolgen Naast de praktische gevolgen voor de nieuwsgenres, heeft de toepassing van AI op de journalistiek in breder opzicht een grote invloed op onze samenleving. De maatschappelijke relevantie van dit onderzoek is groot, aangezien AI in de journalistiek vele socio-culturele gevolgen met zich meebrengt in hoe men naar nieuws kijkt en het nieuws consumeert. In dit vierde subhoofdstuk ga ik nader in op de thema’s leesbaarheid, objectiviteit, betrouwbaarheid en verantwoordelijkheid. Hoe objectief is de robot, wanneer deze geprogrammeerd is door mensen? En wie is er eindverantwoordelijk voor het uiteindelijke geschreven artikel? Deze vragen zijn van groot belang voor het beantwoorden van de hoofdvraag. 2.4.1 Leesbaarheid Of robotjournalistiek ‘werkt’, kan worden beargumenteerd door verschillende facetten in het proces te bespreken. In een van de eerste stadia van de uitgevoerde experimenten komt de term ‘readability’ als eerst voor. Leesbaarheid schijnt in onderzoeken de belangrijkste graadmeter te zijn voor de uitvoering van robotjournalistiek (Graefe, 2016; Caswell en Dörr, 2018). Het uiteindelijke doel is dat het geautomatiseerde artikel niet van handgeschreven werk te onderscheiden is (Mayr, 2017; Thurman, Dörr en Kunert, 2017; Montal en Reich, 2017; Waddel, 2018). Dit wordt onder andere bereikt door synoniemen te gebruiken en zo veel mogelijk emotie na te bootsen in de tekst:

(29)

“Its goal is to pick key facts out of a set of data to create a text resembling human writing as much as possible. As well as being able to use more emotive language, it varies diction and syntax to make its work more readable.” (Jenkin, 2016) In andere woorden, om de tekst zo leesbaar mogelijk te maken, probeert men variatie na te boosten in geautomatiseerde artikelen. Bij de software Quill van Narrative Science wordt hier ook gebruik van gemaakt. Hoofd van technologie Kris Hammond legt uit dat de software feedback krijgt, en hiervan leert, tot het geen of nauwelijks feedback meer nodig heeft: “Hammond’s collapse of human and computer learning speaks to the sophistication of Narrative Science’s technology, but it also underscores how much journalistic writing is standardized to exclude individual voice. This characteristic makes at least a portion of journalistic output susceptible to automation.” (Carlson, 2015, p. 425) Deze standaardisatie in de journalistiek staat symbool voor de ruimte die vrij wordt gemaakt voor automatisering. Veel artikelen zijn inmiddels invulwerk geworden, waardoor de menselijke toon in een verhaal verloren is gegaan. De geautomatiseerde artikelen worden hierdoor goed leesbaar, en zijn in sommige gevallen zelfs beter leesbaar dan geschreven artikelen (Graefe, 2016). 2.4.2 Objectiviteit Objectiviteit in de journalistiek is altijd een onderwerp van discussie geweest. Waar sommige deskundigen stellen dat “afstandelijke en onafhankelijke waarheidsvinding het principe van de journalistiek zou moeten zijn” (Kovach en Rosenstiel, 2001), zijn anderen van mening dat objectiviteit in de journalistiek niet bestaat, omdat media altijd afhankelijk zijn geweest van de personen die ze zouden moeten controleren (Deuze, 2004, p. 91). Desalniettemin zijn veel journalisten van mening dat hun interpretaties en analyses op de actualiteiten, niet haaks staan op het begrip van neutraliteit en objectiviteit. Door deze interpretaties toe te schrijven aan officiële bronnen (zoals politici, bedrijfsleiders en deskundigen), behoudt de journalistiek haar aura van waardenvrije waarnemer (Deuze, 2004, p. 93).

(30)

Naast leesbaar, dienen de geautomatiseerde artikelen – net als handgeschreven artikelen – tevens objectief te zijn. Om een journalistiekwaardig artikel te produceren middels de software, zou deze in theorie los moeten staan van diverse frames en denkkaders waar journalisten mee werken. “Automated content is seen more often by people as more trustworthy because it doesn’t have a built-in bias – for the most part, not always, data doesn’t lie”, een argument wat correspondeert met de aangehaalde voordelen van automatisering (Montal en Reich, 2017). Onderzoek heeft uitgewezen dat de vooroordelen van de menselijke journalist uit software kunnen worden gehaald, maar de vraag is of er ook geen bias zit in het opzetten van de software, aangezien de developers toch vaak een vrij homogene groep mensen zijn (Thurman, Dörr en Kunert, 2017). Daarnaast gaat het er bij het schrijven van een artikel vaak om het vinden van de balans tussen de aspecten objectiviteit en leesbaarheid. Wanneer een tekst zakelijk is opgeschreven, kan het als saai worden ervaren wanneer men het leest. Maar wanneer een artikel bol staat van meningen en/of emotie, wordt het vaak als minder betrouwbaar ervaren, zo stellen Yao en Salmon in hun studie uit 2018: “This depicts the general trade-off between sounding like jargon-thick financial papers that nevertheless report the truth, and smooth-talking tabloids that may not be as credible, with objectivity as the lever that is being adjusted. Thus, a balance has to be struck in the composition of any article in terms of tonal objectivity. While it might seem desirable to be as objective as possible all the time, it comes at the expense of readability, at least for sports news. The same applies vice versa.” (Yao en Salmon, 2018) Hieruit blijkt dat het soms een grijs gebied kan zijn als het gaat om objectiviteit in een artikel. Objectiviteit dient als pook die elke keer in een andere versnelling kan staan, afhankelijk van het genre waarvoor geschreven wordt. Wanneer dat toegepast wordt op automatisering van artikelen, wordt er meermaals wat “kleurrijker taalgebruik” aan toegevoegd, om de leesbaarheid te verbeteren. Daardoor daalt de mate van objectiviteit, en zo ook de betrouwbaarheid (Yao en Salmon, 2018, p. 7).

(31)

Op de redacties waar robotjournalistiek reeds wordt toegepast, reageren journalisten over het algemeen positief op de ontwikkeling (Örnebring, 2010; Van Dalen, 2012). Ze zien automatisering als een relevante technologie, die hen over hun eigen vaardigheden laat nadenken: “Responding to automated news content, journalists highlight analytical skills, personality, creativity and the ability to write linguistically complex sentences as important skills defining journalism, rather than factuality, objectivity, simplification and speed. Journalists see ‘‘robot journalism’’ as an opportunity to make journalism more human. When routine tasks can be automated, journalists will have more time for in-depth reporting.” (Van Dalen, 2012) Wat Van Dalen in zijn studie heeft kunnen laten zien, is hoe journalisten zelf kijken naar de ontwikkeling van robotjournalistiek. Ze zien robotjournalistiek als een kans om journalistiek menselijker te maken, omdat routinematig werk vervangen kan worden, hebben journalisten de handen vrij om diepgaandere artikelen te schrijven. 2.4.3 Betrouwbaarheid Een van de belangrijkste ijkpunten in de journalistiek is betrouwbaarheid (Deuze, 2004; Bardoel, 2002). Journalisten hebben de taak om waarheden in de samenleving te verkondigen, om zo hun functie als duider en waakhond te kunnen beklijven. De nieuwsconsument heeft jarenlang vertrouwen opgebouwd jegens de journalist, en zou ervan uit kunnen gaan dat de journalist – en het medium waar deze voor schrijft – betrouwbaar is. Wanneer dit werk wordt overgenomen door een computer of software, is het de vraag of dat iets af doet aan het vertrouwen van de lezer. De autoriteit van het nieuws zal verschuiven, aangezien het niet meer een gevolg is van creatief denkwerk en nauwkeurig onderzoek van de mens (Carlson, 2015), maar van software. Dat doet de vraag rijzen: is een computer net zo betrouwbaar als een mens? “The core concern with authority is how a particular set of discursive practices sustains itself as an accepted way of knowing about the world (Zelizer 1992). The conditions of authority cannot be wholly regulated by practitioners, as the legitimacy

(32)

of journalism rests on the wider cultural acceptance of these practices as worthy of being listened to.” (Carlson, 2015, p. 418) In dit citaat probeert Carlson duidelijk te maken dat de legitimiteit van de journalistiek op bredere schouders rust dan alleen die van de personen die weten hoe de software werkt. Aan de hand van een casus waarin Narrative Science (een journalistieke start-up in Chicago) wordt onderzocht, probeert men de vraag over betrouwbaarheid te beantwoorden. Deze samenwerking tussen een journalistieke opleiding en diverse programmeurs leidde tot het experiment waar uit ruwe data verschillende narratieve lijnen werden gedestilleerd. Deze casus toont veel overeenkomsten met de casus van NOS Lab, waar uit data ook verschillende persoonlijke artikelen werden gecreëerd. Sinds er geëxperimenteerd wordt met robotjournalistiek, wil men vaak als eerste weten of er verschil te zien is tussen een geautomatiseerd artikel en een geschreven artikel. Er zijn genoeg onderzoeken in het verleden uitgevoerd om voorlopige conclusies over te trekken. Een onderzoek (Graefe et al., 2016) stelt dat geautomatiseerd nieuws als betrouwbaarder wordt ervaren dan geschreven content. Terwijl andere studies juist zien dat geselecteerd nieuws door een machine wat positiever uitvalt dan handmatig geselecteerd nieuws (Sundar and Nass 2001). Dat gezegd hebbende, andere onderzoeken beargumenteren weer dat de nieuwsconsument helemaal geen verschil ziet tussen geautomatiseerd nieuws en nieuws wat geschreven is door een menselijke journalist (Clerwall 2014; Edwards et al. 2014). Soms worden de artikelen door een computer als minder betrouwbaar gezien dan geschreven artikelen (Van der Kaa en Krahmer, 2014). Tot slot is er zo nu en dan verschil op te merken in de genres, zo stellen Wölker en Powell dat alle geautomatiseerde berichtgeving als even geloofwaardig wordt opgevat, behalve sportnieuws. De sportartikelen geschreven door een software komen geloofwaardiger over dan de door mens-geschreven berichten (Wölker en Powell, 2018). Zo stellen de onderzoeken verschillende dingen, en is het aan de lezer om zelf een conclusie te trekken (Waddel, 2018). In dit onderzoek zal betrouwbaarheid een belangrijk thema vormen, vooral omdat de geautomatiseerde berichtgeving de paden vrijmaken voor de verspreiding van nepnieuws. Er wordt gekeken naar in hoeverre er een verband is tussen deze ontwikkelingen, en hoe daarnaar gekeken wordt.

(33)

2.4.4 Verantwoordelijkheid Wanneer een artikel door software geschreven is, is het de vraag wie de uiteindelijke verantwoordelijkheid draagt. Wanneer artikelen foutloos zijn geproduceerd is het vaak de software – of ‘de robot – die zijn naam ontleent aan het artikel. Pas als er fouten zijn gemaakt, wijst de schuldige vinger verder (Jung et al., 2017; Montal en Reich, 2017). De autoriteit is een onderwerp van discussie: de software is gemaakt door een persoon, of een team… Zijn zij de auteur? Of draagt het medium in dat opzicht de verantwoordelijkheid? In 2017 schreven Tal Montal en Zvi Reich het artikel I, Robot. You, Journalist. Who is the Author? In dit artikel stelt het tweetal de vraag wie het auteurschap draagt, wanneer het artikel door een software geschreven is. Zo weten zij goed te verwoorden hoe het algoritme te werk gaat op pagina 831: “Automated journalism algorithms (1) locate and identify relevant data in databases and other data sources; (2) “clean” and categorize the raw data; (3) identify key facts, while prioritizing, comparing and aggregating the data; (4) organize it in a semantic structure of a narrative; (5) distribute and publish journalistic output of textual (and occasionally visual) content, available in various styles, languages and levels of grammatical complexity.” (Montal en Reich, 2017) Aan de verschillende respondenten (zeven sleutelpersonen uit de wereld van de geautomatiseerde journalistiek) werd in dit onderzoek gevraagd wie de uiteindelijke verantwoordelijkheid draagt voor een artikel van dergelijk kaliber. Opvallend was dat in eerste instantie vrijwel voor iedereen hetzelfde antwoord geldt: “in ieder geval niet het algoritme.” In veel gevallen gaat het om een collaboratief proces tussen journalist en developer. Het auteurschap zit verborgen in de organisatie die daarachter schuilgaat. Maar een ding is hierin wel belangrijk: als de instantie in kwestie er maar transparant over is. In dit theoretisch kader zijn de belangrijkste bevindingen besproken die handvatten bieden voor deze these. De meest recente studies geven een overzicht waar de technologie vandaag de dag toe in staat is en de oudere werken laten zien hoe de ontwikkeling van automatisering tot stand is gekomen. Er is besproken wat de rol is van de journalistiek in de

(34)

samenleving en wat de impact is van diverse digitale ontwikkelingen in de journalistiek. Vervolgens is beargumenteerd welke genres zich het beste lenen voor robotjournalistiek en welke gevolgen robotjournalistiek met zich meedraagt op de korte én lange termijn. In dit onderzoek ligt de focus op de laatste twee onderdelen: de nieuwsgenres die zich goed lenen voor automatisering en de consequenties die robotjournalistiek hebben voor de maatschappij. Deze twee facetten worden in het hoofdstuk Resultaten extra goed belicht, omdat er op deze manier een uitspraak kan worden gedaan over de situatie op de Nederlandse nieuwsredacties. Zijn er plannen voor de redacties om de genres sportnieuws, financieel nieuws en onderzoeksjournalistiek te automatiseren? En wat is het perspectief van de journalist als het gaat om de aangestipte socio-culturele thema’s? Wanneer de leesbaarheid, de objectiviteit en de betrouwbaarheid kan worden gereproduceerd door een software, maakt dat de journalist overbodig?

(35)

3. M E T H O D E “For every argument on what robots can’t do, there is a more convincing argument for what humans can’t do. This competition of capabilities has just begun, but it’s a tie already.” – Andrey E. Miroshnichenko, 2016 (wiskundige) In dit hoofdstuk wordt de kwalitatieve onderzoeksmethode besproken die centraal staat in deze scriptie. Dankzij de diepte-interviews met professionele journalisten uit het werkveld, valt er een conclusie te trekken over het beeld wat journalisten hebben over robotjournalistiek. Deze methode is het best geschikt om inzicht te geven in de ethische afwegingen die journalisten maken wat betreft technologische innovaties in hun werkveld – met name kunstmatige intelligentie – en zorgt de ruime selectie van journalisten ervoor dat dit onderzoek empirische waarde kent. Met behulp van de methoden van Boeije (2005), Koetsenruijter (2018) en Gioia (2013) kunnen er thema’s verbonden worden aan de antwoorden van de respondenten, om zo tot een concrete conclusie te komen waar de onderzoeksvraag mee beantwoord wordt. De onderzoeksvragen van deze studie zien er als volgt uit: Onderzoeksvraag: Wat betekent de toevoeging van kunstmatige intelligentie voor de Nederlandse journalistiek? Deelvragen: a. Hoe wordt AI op dit moment ingezet op Nederlandse nieuwsredacties? b. Wat zijn de gevolgen van deze nieuwe software (op de redactie en voor de toekomstige journalistiek)? c. Hoe ziet de journalist de ontwikkeling rond het gebruik van kunstmatige intelligentie in de journalistiek? d. Waar kan AI voor ingezet worden op de Nederlandse nieuwsredactie? e. Hoe kijkt de journalist naar zijn/haar eigen positie in een omgeving waar steeds meer wordt geautomatiseerd?

(36)

3.1 Selectie van journalistieke organisaties Aangezien verschillende mediaplatforms in Nederland de afgelopen jaren AI-projecten hebben ontwikkeld, was 2019 een bewogen jaar voor de robotjournalistiek. In dit onderzoek wordt de tweedeling gemaakt binnen de nieuwsinstanties: media die ervaring hebben met robotjournalistiek en media die nog geen ervaring hebben met robotjournalistiek. In 2019 zijn de NOS en RTL Nieuws naar buiten getreden met tools waarin AI een rol heeft gespeeld bij het maken van de nieuwsartikelen. Die worden in detail hieronder besproken. 3.1.1 Publicaties met robotjournalistiek De NOS heeft met NOS Lab (het experimenteer-platform van de NOS) rond de Provinciale Statenverkiezingen van 2019 een project ontwikkeld om automatisch nieuwsberichten te genereren, met als doel de nieuwsconsument persoonlijk nieuws op maat te bieden. Dit experiment met kunstmatige intelligentie stond al sinds 2018 op de agenda (J. de Vries, NOS). Er werd gekeken naar voorbeelden uit de VS en Finland, en na meerdere oefeningen met spraak- en videosoftware, is geconcludeerd dat een tool rond de Provinciale Staten het meest realistisch en efficiënt bleek te zijn (J. de Vries, NOS). Met de tool van NOS kan in de zoekbalk je eigen woonplaats opzoeken, om te zien wat de regionale resultaten zijn van de verkiezingen. Elk artikel wat daaruit verschijnt, is ‘geschreven’ door een automatische AI-software. Over het algemeen is deze tool goed in de smaak gevallen bij de consument en de journalist. De nieuwsredactie van de RTL heeft de afgelopen jaren gekeken hoe de technologische ontwikkeling bij kan dragen aan het personaliseren van nieuws. Sinds 2016 is Buurtfacts gelanceerd, een online-tool dat de focus legt op de data van verschillende onderwerpen (zoals zorg, onderwijs, criminaliteit, etc.). Zo kan de lezer middels een oogopslag aan de hand van visuele diagrammen en interactieve kaarten zien wat het nieuws is in de buurt waar hij/zij woont (Bunskoek, 2019). Hierop voortbordurend wilde de redactie verder met de vele data die beschikbaar is, en in samenwerking met Google TNI is in 2018 gekeken naar het automatisch genereren van nieuwsartikelen. Daaruit is redactierobot ADAM ontstaan. Dankzij ADAM kan de lezer nauwkeurig nagaan hoe het gesteld is met de verkeersveiligheid in zijn/haar woonplaats. Naar aanleiding van de data die beschikbaar is via politieregistraties van Rijkswaterstaat, heeft ADAM ruim 2400 artikelen gegenereerd. In

(37)

de interviews bespreek ik – net als bij NOS Lab – het proces van de tool in drie delen: totstandkoming, terugkoppeling en toekomst. 3.1.2 Overige media Naast de NOS en RTL Nieuws voeren verschillende andere kranten en online media projecten uit met kunstmatige intelligentie. De media die hier de grootste stappen in hebben gemaakt worden kort toegelicht, omdat een groot gedeelte van de journalisten die zijn benaderd voor een interview, werkzaam zijn bij deze instanties. NU Het online nieuwsplatform NU.nl is al geruime tijd bezig de vruchten te plukken van kunstmatige intelligentie. Naast de tool Utopia – een software waarin de reacties van bezoekers automatisch gemodereerd worden – en een gepersonaliseerde recommender system, is NU.nl ook bezig om het schrijven van artikelen te automatiseren. In samenwerking met het Zweedse United Robots wilt het platform de kunst van het genereren van sportberichten verfijnen (A.B. de Vries, NU.nl). Volgens de planning zal dit project in april 2020 gelanceerd worden, dit is helaas te laat om mee genomen te worden in dit onderzoek. FD Het Financieel Dagblad gebruikt een software programma om de journalist te helpen opvallendheden te signaleren. Het FD is nog niet in staat gehele geautomatiseerde berichtgeving te produceren. De software die het FD gebruikt – afkomstig van het bedrijf Bloomberg – helpt de journalist in kwestie aan een opsomming aan beurs-gerelateerde feiten, waarmee de journalist verder een verhaal kan schrijven (Koot, FD; Bressers, FD). Daarnaast test het data intelligence team van het FD op dit moment een personal recommender system (Graus, FD), deze tool riep eerst weerstand op, maar schijnt bijna in gebruik te kunnen gaan. AD Tot slot is ook het Algemeen Dagblad een samenwerking aangegaan met het FutureMediaLab (FML) van Fontys Hogescholen Tilburg. FML is een samenwerking tussen verschillende opleidingen, waaronder journalistiek, communicatie en economie. Met elkaar

Referenties

GERELATEERDE DOCUMENTEN

Eerst moet het management van XCompany succes hebben met de producten die gemaakt zijn met StudioX, namelijk de applicaties Budgetbeheer en Oefenbeheer. Voor StudioX is dan ook

• Supervised network paradigms: perceptron, of weights for each input and assuming zero linear network, backpropagation, Levenberg–.. Marquardt (LM) and reduced LM algo- 1 Matlab

Bozkurt, 2009; Albayrak, Albayrak & Kilic, 2009; Albayrak, Kurtoglu & Bicakci, 2009); this study observes the possible impact of company-wide factors on the type of

A check whether the loaded configuration file matches the current configuration of the control can be performed using the Commands - Compare parameter file or Commands - Compare

Zhang, “Diagnostic tools in PEM fuel cell research: Part I Electrochemical techniques,” International Journal... van Wylen, Fundamentals of Thermodynamics,

Het nieuwsbericht Grote fouten ontdekt in wiskundige software (NRC Handelsblad, 14 novem- ber) meldt dat er softwarefou- ten in Mathematica zitten, een programma dat vooral

Daarnaast dient de Inspectie Caribisch Nederland te beschikken over meer wettelijke instrumenten voor goed toezicht en handhaving6. Wat is het

Het uitgangspunt van de trekproef is de the- oretische kiepcurve van Wessolly, die heeft uitgevonden dat een boom die bij 40 procent van de maximale kracht meer dan 0,25° wordt