Crowdsourcing en Games in Cultureel Erfgoed: mix voor de toekomst?

Crowdsourcing en Games in Cultureel

Erfgoed: mix voor de toekomst?

Conall Sleutel 10673091

Scriptiebegeleider: dr.ir J. Kamps Tweede lezer: dr. K. Beelen

Master Thesis Archival and Information Studies Universiteit van Amsterdam

Datum van voltooiing: 2 maart 2018 Aantal woorden: 21.799

INHOUDSOPGAVE

ABSTRACT 4

HOOFDSTUK 1: INLEIDING 5

HOOFDSTUK 2: CULTUREEL ERFGOED EN CROWDSOURCING 9

2.1 Verandering in het culturele erfgoed: online worden 9

2.2 Cultureel erfgoed en crowdsourcing 13

2.2.1 Crowdsourcing 13

2.2.2 Verschillende vormen van crowdsourcing 16

2.2.3 Participatie van gebruikers 17

HOOFDSTUK 3: GAME ELEMENTEN 21

3.1 Gamificatie 21

3.2 Games with a purpose 24

3.3 Toepassingen van game elementen 29

HOOFDSTUK 4: HET PROCES VAN ONDERZOEK 34

4.1 Achtergrond 34

4.2 Objecten en het design 37

4.2.1 De objecten 38 4.2.2 Het proces 41 HOOFDSTUK 5: RESULTATEN 47 5.1 Beschrijvingen 47 5.1.1 Laagste kwaliteitsniveau 47 5.1.2 Middelste kwaliteitsniveau 53 5.1.3 Hoogste kwaliteitsniveau 60 5.2 Tags 65

5.2.1 Toekennen van tags 65

5.2.2 Tags door een game element 66

5.3 Gebruikers 70

HOOFDSTUK 6: CONCLUSIE & DISCUSSIE 75

APPENDIX 83

Deel 1 Kort overzicht van de schilderijen 83

ABSTRACT

In mijn beleving kunnen erfgoedinstellingen veel meer doen met games of game elementen dan nu het geval is. Deze masterscriptie gaat daarom over het gebruik van game elementen en crowdsourcing waarbij ik gebruik maak van een empirisch onderzoek van de crowdsourcing website Crowdflower. De onderzoeksvraag is als volgt: in hoeverre kan de kwaliteit van crowdsourcing projecten van erfgoedinstellingen toenemen door de toepassing van game elementen en bewerking van amateurs? In het onderzoek worden gebruikers gevraagd om schilderijen te beschrijven en tags toe te kennen. Vervolgens worden de resultaten van de gebruikers vergeleken met de professionele informatie van musea om een oordeel te vellen over de kwaliteit van de gebruikers. Uit de resultaten van het onderzoek zal naar voren komen dat er een zekere overeenkomst is tussen de gebruikers en de professionals, wat betekent dat crowdsourcing bruikbaar is. De kwaliteit van de gebruikers is wel afhankelijk van enkele factoren die verwerkt worden in het design van het onderzoek. Tenslotte zou het gebruik van game elementen waarschijnlijk wel kunnen helpen om de resultaten van crowdsourcing te verbeteren.

Sleutelwoorden

Crowdflower, crowdsourcing, gamificatie, games with a purpose, human computation, amateurs, professionals, semantic gap, cultureel erfgoed

INLEIDING

In onze tijd van het world wide web (internet) is op diverse gebieden veel veranderd. Deze ontwikkeling heeft ook gevolgen voor andere delen van de samenleving. De tijdsbesteding van mensen is veranderd, zo wordt er meer tijd besteed aan online activiteiten en toepassingen die door de online wereld mogelijk wordt gemaakt. Zo is er een toename in het gebruik van games en sociale media. Een factor die hierbij een rol speelt is de interactie met de gebruiker: op deze manier wordt de gebruiker meer betrokken bij de betreffende activiteit, waardoor hij meer plezier krijgt.

Bedrijven spelen op deze ontwikkeling in door gamificatie, waar game elementen worden toegevoegd aan niet-game contexten, en games with a purpose, waarbij gebruikers

(spelenderwijs) informatie toekennen aan materiaal dat de computer niet herkent. De reden om dit te doen is simpel: maak activiteiten voor mensen leuker om te doen door game elementen toe te voegen. Op deze manier zouden mensen meer gemotiveerd raken om een taak uit te voeren of ze krijgen er in ieder geval meer plezier in.

De erfgoedsector heeft het de laatste tijd moeilijker. Dit komt onder meer door teruglopende subsidiering vanuit de overheid. De grotere erfgoedinstelling, bijvoorbeeld het Rijksmuseum, hebben daar geen last van. Het zijn vooral de kleine en middelgrote erfgoedinstellingen die last hebben van teruglopende subsidiering. Gevolg hiervan is dat ze meer inkomsten moeten halen uit bijvoorbeeld entreegelden, winkels en sponsorovereenkomsten. Het is echter niet altijd mogelijk om teruglopende subsidie te herfinancieren, waardoor er gesneden moet worden in de kosten, wat weer gevolgen kan hebben voor de collectie van de erfgoedinstelling of voor het verrichten van onderzoek.

Een oplossing hiervoor is crowdsourcing, waarbij een erfgoedinstelling gebruik maakt van de kennis van willekeurige mensen die bereid zijn om te helpen bij een taak. Op deze manier kan een museum kosten besparen, terwijl vrijwilligers het werk doen. Het is hierbij van belang dat erfgoedinstellingen gebruik maken van gamificatie of van andere game elementen om mensen enthousiast te krijgen en hen een plezierig gevoel te geven bij het uitvoeren van het vrijwillige werk. Op dit punt is er echter een probleem bij erfgoedinstellingen: er wordt nauwelijks aandacht besteed aan het toepassen van gamificatie of game elementen.

Kernbegrippen in deze scriptie zijn crowdsourcing, gamificatie en games with a purpose. Crowdsourcing is het uitbesteden van een functie van een bedrijf of institutie aan een netwerk

van mensen in open vorm. Deze mensen komen uit het publiek en voeren taken of

werkzaamheden uit die oorspronkelijk door het personeel werd uitgevoerd. Gamificatie is het gebruiken van game elementen, zoals een leaderboard of een tijdslimiet, in een niet-game context. Bij games with a purpose wordt gebruik gemaakt van kennis van mensen voor werk dat een computer niet kan uitvoeren. Er wordt een game ontwikkeld en doordat mensen de game spelen, leveren ze op een natuurlijke manier informatie aan die de ontwikkelaars of de opdrachtgevers nodig hebben. Gamificatie en games with a purpose worden in deze scriptie verder gezamenlijk aangeduid als game elementen.

Bij Nederlandse crowdsourcing projecten van erfgoedinstellingen gaat het bijvoorbeeld om het digitaliseren van handschriften of om het beschrijven van objecten, zoals bijvoorbeeld te zien is op het Nederlandse crowdsourcing platform Vele Handen. In deze gevallen heeft de betreffende instelling voordeel, want er wordt werk verricht dat niet door de computer gedaan kan worden. De informatie die een instelling geeft over een object is vaak anders dan de informatie die gebruikers zouden toekennen aan het object. Op deze manier kan de gebruiker meer informatie krijgen over het object en zou hij tot nieuwe inzichten kunnen komen. Bij erfgoedinstellingen is gebleken dat men conservatief is voor aanpassingen en vernieuwingen. Als gevolg hiervan zou het wel eens voor kunnen komen dat

erfgoedinstellingen kennis van mensen verzamelen maar daar niets mee doen. Er is namelijk discussie in hoeverre kennis van amateurs kan bijdragen aan de kennis van professionals (Keen, 2006). Door gebruik te maken van kennis van amateurs zou het enerzijds juist een stap kunnen zijn om zowel de instelling te promoten als om anderzijds bekendheid te genieten bij het publiek. Op deze manier kan er meer interactiviteit ontstaan tussen gebruikers en

bezoekers.

Het is interessant om te onderzoeken op welke manier game elementen binnen crowdsourcing worden toegepast en hoe erfgoedinstellingen kunnen profiteren van deze ontwikkeling, zowel in financieel als in interactief opzicht. Daarnaast zullen er verschillen zijn tussen de

toegekende informatie verschillen van de ‘professionele’ informatie van de instelling en de informatie die gebruikers geven aan objecten. Vanuit dit oogpunt is het interessant om de verschillen te onderzoeken en te kijken hoe deze verschillen tot uiting komen en hoe het gebruik van game elementen hieraan zou kunnen bijdragen.

In dit licht heb ik de volgende hoofdvraag: In hoeverre kan de kwaliteit van crowdsourcing projecten van erfgoedinstellingen toenemen door de toepassing van game elementen en

bewerking van amateurs? Om tot een antwoord te komen op deze vraag heb ik de volgende deelvragen.

- Hoe maken culturele erfgoedinstellingen gebruik van online crowdsourcing? - Welke doeleinden zijn er om gebruik te maken van game elementen?

- Welke invloed hebben de methodologische keuzes tijdens het proces op het onderzoek naar de verschillende beschrijvingen tussen amateur en professional?

- In hoeverre zijn de resultaten van het crowdsourcing onderzoek van gebruikers te vergelijken met de resultaten van professionals?

De methode die ik in dit verkennende onderzoek zal gebruiken is als volgt. In het tweede en derde hoofdstuk zal ik, via Google Scholar, literatuuronderzoek doen naar concepten en onderwerpen die van belang zijn. Het tweede hoofdstuk zal gaan over erfgoedinstellingen en crowdsourcing in de erfgoedsector, waarbij het internet een steeds belangrijkere rol speelt. Het zal gaan over het gebruik, de verschillende soorten crowdsourcing en over de motivatie van gebruikers om deel te nemen aan crowdsourcing projecten. Het derde hoofdstuk zal ingaan op de begrippen games with a purpose en gamificatie. Hierbij zal ik ook kijken op welke manieren deze gebruikt worden en ik zal kijken naar enkele toepassingen van

voorbeelden. In het vierde hoofdstuk verricht ik empirisch onderzoek naar de vraag of en op welke manier informatie van amateurs verschillen met de informatie van professionals. Om dit te onderzoeken worden er verschillende taken met schilderijen online gezet op

Crowdflower, waarbij de gebruikers van Crowdflower beschrijvingen geven en tags toekennen aan de objecten. Enkele elementen van de literatuur uit de voorgaande twee hoofdstukken zal hierin verwerkt worden. In het vijfde hoofdstuk zullen de gebruikte voorbeelden geanalyseerd worden en tenslotte zal geconcludeerd worden in hoeverre gecrowdsourcede informatie van amateurs bruikbaar is voor cultureel erfgoedinstellingen. Theoretisch kader

Dit onderzoek vindt plaats in de traditie van de human computation. Bij traditional computation wordt de computer gebruikt om problemen op te lossen en algoritmes te berekenen. Dit in tegenstelling tot human computation waar er juist wordt gestreefd om mensen werk te laten doen wat computers op zichzelf niet kunnen uitvoeren. In dit paradigma worden mensen in feite als computers gebruikt om deel uit te maken van massive

computation (Von Ahn, 2008, p.11). Met behulp van de menselijke bijdragen werken computers verder met de verzamelde informatie. Er werd meer onderzoek gedaan en er

werden slimme systemen ontworpen voor het implementeren van human computation

onderdelen om goedkoper en sneller gelabelde data te ontvangen. Door human compuation te combineren met kunstmatige intelligentie kunnen er grotere systeemcapaciteiten bereikt worden (Lease en Alonso, 2014, p. 304). Human computing kan op verschillende wijze uitgevoerd worden bijvoorbeeld door vrijwilligers, games with a purpose (waar Luis von Ahn een belangrijke onderzoeker is) of het geven/krijgen van erkenning voor het geleverde werk. Een andere vorm van human computation is crowdsourcing, in dit onderzoek wordt

crowdsourcing behandeld bij het cultureel erfgoed. Het gebruiken van platformen is een onderdeel van crowdsourcing en is tevens een populair middel om informatie te verzamelen. De gebruikers van platformen kunnen vrijwilligers zijn, maar het is ook mogelijk dat

gebruikers een kleine financiële vergoeding (bijvoorbeeld Amazon Mechanical Turk) krijgen voor het werk. Dit onderzoek zal dus verschillende gebieden van human computation

HOOFDSTUK 2: CULTUREEL ERFGOED EN CROWDSOURCING

Dit hoofdstuk gaat over crowdsourcing in cultureel erfgoed. Het literatuur onderzoek is dan ook gericht op het geven van een algemeen beeld van crowdsourcing in cultureel erfgoed. Er zullen daarom geen studies tegenover elkaar komen te staan, maar de studies zullen juist als aanvulling op elkaar worden gebruikt. In dit hoofdstuk ga ik in op de deelvraag: hoe maken culturele erfgoedinstellingen gebruik van online crowdsourcing? Om tot een antwoord te komen op deze vraag zal ik in de eerste paragraaf kijken hoe erfgoedinstellingen online zijn geworden en hoe ze hier gebruik van maken. In de tweede paragraaf zal ik het vervolgens hebben over crowdsourcing in erfgoed en in de sub paragrafen zullen de beweegredenen van participanten en vormen van crowdsourcing besproken worden.

2.1 Verandering in het culturele erfgoed: online worden

In deze paragraaf zal ik ingaan op de subdeelvraag: wat voor gevolgen heeft het internet voor erfgoedinstellingen? Er zal kort gekeken worden naar de houding van erfgoedinstellingen en verder zal het belang van het gebruik van sociale media besproken worden.

In de huidige tijd is het vrijwel onmogelijk om als bedrijf, instelling, winkel of een andere dienst door het leven te gaan zonder website of sociale media. Wanneer een van deze mogelijkheden ontbreekt, komt al snel de gedachte op van ‘ga met je tijd mee’ of ‘is dit wel betrouwbaar’. Zo’n tien tot vijftien jaar geleden hadden erfgoedinstellingen niet allemaal een website, en als ze er een hadden, dan was hij vaak informatief van aard.

Het gevolg hiervan was dus dat musea niet massaal meededen aan de automatisering die zich wel verspreidde over andere sectoren van het land. De achterstand van de automatisering was niet alleen van toepassing op de websites van musea, maar ook op het digitaliseren van collecties. In 2008 was slechts 26% van de Nederlandse museumcollecties gedigitaliseerd (Lensink, 2013, p. 2). Het probleem lag niet zozeer aan de middelen die musea hadden, maar nog meer aan het conservatieve karakter van musea. Er was namelijk twijfel over het nut van (massa)digitalisering. Hier kwam de laatste jaren verandering in: door diverse ontwikkelingen en de toenemende populariteit van digitalisering is deze twijfel afgenomen en ziet men naast de voordelen ook de toegevoegde waarde in van digitalisering.

In de beginperiode van het internet (web 1.0) was het onderhouden van een website niet ingewikkeld, het voornaamste doel was het informeren van gebruikers. Het toevoegen van informatie en ander materiaal was alleen mogelijk voor de websitebeheerder en niet voor gebruikers. Dit veranderde in 2004 toen web 2.0, ook wel het sociale web, geïntroduceerd werd. Er kwamen steeds meer websites waar gebruikers zelf content konden maken en toevoegen op het web. Hierdoor ontstond er veel interactiviteit op het web, hetgeen slechts een begin was van deze ontwikkelingen.

Bij de overstap naar online worden is het belangrijk om te weten wie de doelgroep is. Op deze manier kan er beter worden ingespeeld op de wensen van de doelgroep. Er zal bij het bereiken van de doelgroep een onderscheid gemaakt moeten worden tussen mensen die gebruikmaken van digitale technologieën en tussen degenen die geen gebruikmaken van digitale

technologieën. Volgens een Brits onderzoek van MTN zijn er diverse groepen te

onderscheiden die online culturele betrokkenheid hebben zie figuur 1. De eerste groep heeft interesse in cultuur, maar is niet actief op het internet, omdat deze groep geen toegevoegde waarde ziet van digitale technologie voor cultuur. De meeste mensen uit deze groep zijn ouder dan 65 jaar hetgeen dit standpunt kan verklaren. In de tweede groep vallen de volgers, mensen die regelmatig musea bezoeken. Deze mensen zijn in tegenstelling tot de eerste groep wel actief op het internet, maar ze zijn niet zelfverzekerd genoeg om optimaal gebruik te maken van online mogelijkheden. Zij geven aan wel meer gebruik te maken van online

mogelijkheden, als er eventuele hulp zou zijn. Een blijvend bezwaar voor deze groep is de bezorgdheid over de online veiligheid. De derde groep is de vaste kern en wordt omschreven als mainstream internetters: ze ontdekken, plannen, leren, netwerken en gamen online. De leeftijd is tussen de 16 en de 44 jaar en ze hebben vaak een bovengemiddelde opleiding. Het is dan ook niet verwonderlijk dat zij kapitaalkrachtig zijn en dat zij dus ook vaak aanwezig zijn bij verschillende vormen van kunst en cultuur. De vierde groep zijn de voorlopers, die veel kennis van het internet hebben. Naast de online activiteiten van de voorgaande groepen, zijn de voorlopers actief in het creëren, delen en uploaden van culturele content (MTN, 2010, p. 26-27). Enkele conclusies uit het rapport waren onder meer dat men zorgvuldig moet zijn om een nieuwe doelgroep aan te spreken, door middel van een investering in digitale

technologieën. Van de ene kant worden ouderen niet aangesproken en van de andere kant worden mensen uit de derde en de vierde groep sowieso wel gestimuleerd om naar een museum te gaan.

Figuur 1 Online culturele betrokkenheid

Bron: https://avaminzhang.files.wordpress.com/2013/02/use.jpg

Het hebben van een actuele en mobiele website kan ervoor zorgen dat musea in contact kunnen komen met (nieuw) publiek. De website hoeft niet geavanceerd en spectaculair te zijn, maar het geven van basisinformatie over het museum en de collectie is wel een vereiste. Met sociale media kan het museum daarnaast de doelgroep bereiken en materiaal online zetten om mensen te bereiken en enthousiast te maken voor een bezoek. Voorwaarde is wel dat de sociale media actueel is en dat er voldoende tijd aan besteed wordt (Kidd, 2011, p. 69). Wanneer dit niet het geval is, verdwijnt de (eventuele) toegevoegde waarde alsook de kans om meer mensen te bereiken. Via sociale media kunnen erfgoedinstellingen makkelijk contact houden met hun publiek. Behalve het makkelijk uitwisselen van informatie met het publiek, is er ook de mogelijkheid om snel en eenvoudig te communiceren met het publiek. Op deze manier blijft de instelling in contact met het publiek en kan deze, dankzij het publiek, worden aangeraden aan mensen die niet met de erfgoedinstelling bekend zijn. Door veelvoudig te communiceren kan beter voorzien worden in de behoeften van mensen en kunnen mogelijke problemen of klachten snel opgelost worden. Wanneer mensen te lang op een antwoord moeten wachten wordt dit vaak als negatief beschouwd. Daarnaast is het een goede manier om feedback te krijgen en om andere informatie of meningen te krijgen vanuit het publiek. Het toevoegen van video’s of discussies kan daarnaast de interactie verbeteren. Het doel is, naast het informeren van mensen, ook om een community op te bouwen op sociale media. Op deze manier kan duidelijk gemaakt worden dat er interactie is tussen de instelling en het publiek, waardoor steeds meer mensen de sociale media van de instelling gaan volgen. Uit diverse onderzoeken, zoals Media: Tijd in kaart, is gebleken dat mensen steeds meer tijd besteden aan sociale media. Hierdoor is het internet steeds meer een communicatiemedium

geworden. Er wordt minder gebruik gemaakt van zoekmachines en er worden steeds meer websites indirect gevonden via sociale media. Door verschillende websites te volgen of te liken wordt men op de hoogte gehouden van nieuws of acties. Deze berichten zijn ook zichtbaar voor vrienden en die kunnen eventueel belangstelling krijgen of ze klikken op de link. Op deze manier worden websites steeds vaker indirect bezocht door mensen.

Een andere belangrijke ontwikkeling in het online worden, is de komst van de smartphone. Via de smartphone is de toegankelijkheid van het internet verbeterd. Het gevolg hiervan was dat mensen steeds vaker hun smartphone erbij pakken om iets op te zoeken en geen desktop gebruiken. Daarnaast zijn de kosten van mobiele data goedkoper geworden en is op steeds meer plekken (bedrijven of winkels) wifi aanwezig of door wifi hotspots zijn zelfs hele gebieden online te bereiken. Naast de verbeterde toegang tot het internet, is de smartphone in feite een computer in het klein waar zeer veel functies aan gelijk zijn, zeker als het gaat om nieuws, entertainment en vermaak. Sinds 2010 zijn er verschillende onderzoeken (zoals Correa et al, 2010 en Lenhart et al, 2010) geweest over het gebruik van smartphones, sociale media en over de tijdbesteding van mensen. Uit deze onderzoeken blijkt dat mensen een aanzienlijke tijd besteden aan de smartphone en de verwachting is dat dit alleen maar zal toenemen. Het gevolg zou zijn dat het internet het vaakst gebruikt zou worden via een smartphone. Bij Google overstijgen de mobiele zoekopdrachten de desktop zoekopdrachten zodanig, dat Google besloten heeft een aparte mobiele index te ontwikkelen, die leidend zal zijn voor zoekopdrachten op zowel desktop als mobiel (Mediaweb). Door een mobiele index te ontwikkelen, zullen algoritmen aangepast worden aan de mobiele versie in plaats van de desktop versie. Bij sociale media is dezelfde ontwikkeling waar te nemen tussen desktop en mobiel gebruik. Alleen al het percentage van inkomsten uit mobiele advertenties van zowel Facebook (84%) als van Twitter (86%) maakt duidelijk hoe belangrijk een mobiele website of app is. Het is dus steeds belangrijker geworden dat de website van een erfgoedinstelling ook mobiel goed bereikbaar en leesbaar is om mensen van dienst te zijn. Sociale media zijn daarnaast noodzakelijk om goed bereikbaar te zijn voor het publiek en het is een goede en snelle manier om informatie te verspreiden onder mensen.

In deze paragraaf is gebleken dat erfgoedinstellingen aanvankelijk niet bepaald welwillend stonden tegenover het internet en de digitalisering van materiaal. Het succes van het internet en bijbehorende mogelijkheden hebben er echter voor gezorgd dat erfgoedinstellingen

noodgedwongen mee moesten doen om niet achterop te raken. Door zorgvuldig de doelgroep vast te stellen kunnen erfgoedinstellingen ervoor dat zij aandacht trekken op sociale media, meer interesse krijgen en op deze manier meer gebruikers kunnen bereiken.

2.2 Cultureel erfgoed en crowdsourcing

De subdeelvraag van deze paragraaf is: op welke manier kan crowdsourcing voordelig zijn voor erfgoedinstellingen? In deze paragraaf zal eerst inhoudelijk worden ingegaan op het begrip crowdsourcing. Daarna zullen de verschillende soorten crowdsourcing en de motivatie van gebruikers besproken worden.

2.2.1 Crowdsourcing

De meerderheid van erfgoedinstellingen heeft niet genoeg middelen tot hun beschikking om de collectie te digitaliseren en informatie toe te kennen. Voor musea geldt dit in mindere mate, omdat zij na de Tweede Wereldoorlog de herkomst moesten weten van elk item. Dit had vooral te maken met eventuele gestolen objecten van burgers tijdens de oorlog, die nadien in een museum terechtkwamen en weer terug zouden gaan naar hun oorspronkelijke eigenaar. Bovendien zijn verschillende musea, zoals het Rijksmuseum, een periode gesloten geweest voor publiek vanwege renovatie. In die tijd is er door het museumpersoneel onder andere gewerkt aan het digitaliseren van de collectie en het toekennen van metadata. Archieven en bibliotheken hebben dit niet gedaan, waardoor een groot deel van hun collectie niet online beschikbaar is met de betreffende metadata. Crowdsourcing, waarbij de erfgoedinstelling hulp vraagt van mensen uit de samenleving, zou in deze een goede oplossing kunnen zijn.

De term crowdsourcing werd in 2006 genoemd door Jeff Howe en Mark Robinson, toen ze de term outsourcing beschreven als het uitbesteden van een functievan een bedrijf of institutie naar een netwerk van mensen in een open vorm. Er was kritiek op het betrekken van de menigte bij het uitbesteden van taken die gewoonlijk uitgevoerd worden door medewerkers van erfgoedinstellingen. Het probleem zou zitten in welke taken, zowel in grootte als in compositie, de vrijwilligers zouden doen en wat voor gevolgen de digitalisering zou hebben voor de dreigende vervanging van geschoold personeel voor vrijwilligers. De term was desalniettemin geschikt voor een zeker type werk waarvoor participatie nodig is vanuit de

menigte. Door deze definitie wordt crowdsourcing vaak uitgebreid met andere samenwerkingsactiviteiten waar ook internet voor nodig is. Voorbeelden zijn human

computation, social computing en collective intelligence. Tegelijkertijd wordt crowdsourcing soms gemengd met user generated content projecten op online platforms of interactiviteiten in de instelling, wat soms verwarrend kan werken om de motivatie te begrijpen van

participanten. Daarnaast is het vaak een probleem welke waarde gehecht kan worden aan de informatie uit user generated content activiteiten en projecten. Bij crowdsourcing worden alleen taken aangeboden die een duidelijke bijdrage toevoegen aan het doel van het project. Dit is niet het geval bij user generated content. Het is zeker mogelijk dat er bruikbare

informatie aanwezig is, maar het is ook een zekerheid dat een gedeelte van de informatie niets zal toevoegen. Het gevolg is dat er niets gedaan wordt met de meeste user generated content projecten. Het is dus belangrijk dat erfgoedinstellingen van te voren goed beseffen wat ze gaan doen en wat doel het is. Er moet onderscheid gemaakt worden tussen enerzijds social engagement, waar gebruikers de mogelijkheid hebben om te communiceren met de

erfgoedinstelling, en anderzijds crowdsourcing, waar een groep mensen samenwerkt om een gedeeld en groot doel te bereiken. Samenvattend kan crowdsourcing gezien worden als een opkomende vorm van engagement met cultureel erfgoed, dat bijdraagt aan een gedeeld, significant doel of onderzoeksgebied door mensen uit het publiek te vragen om taken uit te voeren, die niet automatisch gedaan kunnen worden en waar een eventuele beloning inherent is voor participatie (Ridge, 2013, p. 436-437).

Mensen uit de menigte, kortweg gewone en geïnteresseerde mensen, hebben een lange geschiedenis als het gaat om het bijdragen aan het publieke goed. Dit was al zo in de tijd voordat er internet was, toen erfgoedinstellingen mensen vroegen om te helpen met het toevoegen van waarde aan collecties (Owens, 2013, p. 121). Amateurs hebben vaak een passie voor het onbetaalde werk dat ze doen. Het gaat er dan ook meer om mensen de mogelijkheid te geven om te participeren in de productie, ontwikkeling en verfijningen van het publieke goed. Er zijn een paar belangrijke componenten die van belang zijn bij crowdsourcing: human computation, wisdom of the crowd, het denken aan tools/software als stijgers en de psychologie van motivatie van participanten. Het principe van human computation is dat mensen in staat zijn om verschillende soorten informatie te verwerken om daaropvolgend te oordelen op een manier die niet mogelijk is voor een computer. Bij deze vorm van

crowdsourcing worden mensen in feite gebruikt als verwerkers van informatie. Een bekend voorbeeld hiervan is ReCaptcha, waarbij gebruikers een vervormd woord moeten overtypen

om te bevestigen dat ze een persoon zijn en geen computer. De woorden die voor ReCaptcha gebruikt worden, zijn veelal woorden uit gedigitaliseerde teksten of boeken. De kwaliteit van het digitaliseren van teksten is verschillend en om fouten eruit te halen wordt dit systeem gebruikt. Wanneer een woord een x aantal keer juist ingevoerd wordt door gebruikers, dan wordt het gedigitaliseerde woord goedgekeurd door de computer (Owens, 2013, p. 123). Verschillende professoren en onderzoekers spreken van de wisdom of the crowd. Bij dit verschijnsel zouden mensen met elkaar in discussie gaan en er zou onderlinge interactie plaatsvinden op (internet)fora. Op deze manier zou informatie kunnen worden toegevoegd aan bestaande kennis en kan de informatie van iemand anders werk aangepast worden om het te verbeteren en completer te maken. Het ideale voorbeeld hiervan is Wikipedia, waar gebruikers informatie kunnen toevoegen aan onderwerpen en ook informatie kunnen bewerken. Paul Ford is het eens met Owens dat kennis van het publiek waardevol kan zijn, maar hij bekijkt het vanuit een ander perspectief. Vooral op het web zijn er mogelijkheden om jezelf te profileren en Ford vindt dat de vraag ‘why wasn’t I consulted?’ een fundamentele vraag voor het web is. Hij ziet deze wisdom of the crowd meer als de natuur van mensen om kennis te delen, zodat andere mensen merken dat een persoon kennis heeft en de daar bijhorende macht (Ford, 2011). Het doel is hier om te zorgen dat mensen een verlangen hebben om hun mening te delen, boven het doel om mensen te gebruiken als verwerkers van informatie zoals bij human computation. Bij bepaalde werkzaamheden zijn tools nodig om voortgang te boeken. Bij andere werkzaamheden, zoals bij scaffolding, vergeten mensen wat hen aanmoedigt om het werk te doen en doen ze het werk zonder na te denken welke tools hiervoor nodig zijn. Ze gebruiken de tools die zij achten nodig te hebben (Owens, 2013, p. 125). In relatie tot

crowdsourcing wordt bijvoorbeeld gevraagd hoe we het gebruikers zo makkelijk mogelijk kunnen maken en wat er nodig is om optimaal resultaat te krijgen. Aan de hand van de beschikbare tools wordt dan gekeken wat mogelijk is.

Het online zetten van digitale collecties heeft verschillende redenen. Het kan dienen om (potentiële) bezoekers nieuwsgierig te maken naar de collectie en natuurlijk is het een

minpunt voor de instelling wanneer er niks van de collectie online te vinden is. Behalve voor het publiek zijn digitale collecties ook zeer interessant voor onderzoekers, docenten, studenten en andere mensen die werkzaam zijn in de erfgoedsector. Door digitale collecties aan te bieden kunnen er doelen bereikt worden en gebruikers kunnen het materiaal hergebruiken. Hierdoor zal er meer en betere data beschikbaar komen over objecten door crowdsourcing projecten. De toegankelijkheid zal als gevolg daarvan verbeteren wat zou kunnen leiden tot

meer aandacht en publiek. Door crowdsourcing projecten hebben gebruikers niet alleen toegang tot meer informatie, ze kunnen ook zelf betrokken zijn bij de bijdrage aan het publiek geheugen. Het speciale aan crowdsourcing is dat gebruikers daadwerkelijk betekenis geven aan taken, iets wat een computer niet kan doen. Er is een verschil in hetgeen wat

crowdsourcing te bieden heeft ten opzichte van digitale collectie platforums. En er is een verschil in de mogelijkheid om gebruikers meer te bieden dan slechts het consumeren van informatie, er kunnen betekenisvolle manieren gebruikt worden door gebruikers om bij te dragen aan het publieke geheugen. Een ander positief gevolg van crowdsourcing is het maken van connecties met gebruikers die hebben meegewerkt aan het project. Op deze manier krijgt de instelling veel mee van de gebruikerservaring, die weer gebruikt kan worden om het project of toekomstige projecten te verbeteren. Daarnaast kunnen gebruikers meer interesse krijgen in het onderwerp en kunnen er activiteiten worden georganiseerd om meer verbonden te worden met het publiek (Owens, 2013, p. 128).

2.2.2 Verschillende vormen van crowdsourcing

Crowdsourcing kan verdeeld worden in een aantal groepen namelijk de collectie, beschrijving, transscriptie, specialistische digitalisering van diverse materialen en documenten. Deze groepen kunnen vervolgens weer onderverdeeld worden in drie

hoofdcategorieën. De eerste categorie is de ‘contributory projects’, waarbij professionals het ontwerp ontwikkelen en mensen de data verzorgen. De tweede categorie is de ‘collaborative projects’. Ook hier wordt het ontwerp door professionals ontwikkeld en dragen mensen bij door voor data te zorgen en deze vervolgens te analyseren. Na analyse kan het ontwerp verfijnd worden of bevindingen verspreid worden. In de derde categorie, ‘co-created projects’, wordt het ontwerp wederom door professionals ontwikkeld. Hier werken mensen echter samen en sommige van deze mensen zijn actief betrokken bij verschillende stappen van het proces van het project (Oomen en Aroyo, 2011, p. 3).

Er zijn verschillende vormen van crowdsourcing en de mate van vaardigheden van mensen uit het publiek neemt vanzelfsprekend toe, naarmate zij meer interactie hebben met de organisatie van het project en de moeilijkheid van het crowdsourcing type. Zo moet men bij correctie en transscriptie taken de digitale output controleren, terwijl er bij contextualisering juist

gevraagd wordt om kennis toe te voegen aan objecten die van belang zijn. Bij het aanvullen van de collectie gaat men juist actief op zoek naar objecten die geschikt zijn of passen bij een

tentoonstelling of een collectie. Bij classificatie wordt gezocht naar beschrijvende metadata die gerelateerd zijn aan objecten in de collectie. Een bekend en populair voorbeeld hiervan is social tagging, waarbij mensen trefwoorden invoeren voor het object. Tags kunnen

onderverdeeld worden in drie groepen. De eerste groep zijn subjectieve tags, waarbij

meningen en interpretaties vaak genoemd worden. De tweede groep wordt gevormd door de persoonlijke tags, die vaak gebruikt worden om de inhoud van het object te beschrijven. De laatste groep zijn de feiten tags, waar er feiten over het object vermeld worden (Ridge, 2013, p. 438). Voor co-curatie worden ideeën opgedaan door professionals aan de hand van

inspiratie van niet-professionals. Door deze ideeën kan vervolgens een (web)tentoonstelling ontstaan.

Vaak worden de grotere taken binnen crowdsourcing gesplitst in kleinere taken die

makkelijker te managen zijn. Voor gebruikers die meehelpen is dit makkelijker, ze hoeven immers minder tijd te besteden om een bepaalde taak af te maken. Dit werkt ook weer motiverend, want hoe meer taken men doet hoe beter het gevoel is. Daarnaast kan het

motiverend werken, omdat langere taken veel tijd in beslag nemen en gebruikers dan echt tijd moeten vrijmaken om deze te voltooien. Een ander voordeel met kortere taken is dat meerdere gebruikers bereikt zullen worden (Ridge, 2013, p. 437). Volgens McGonigal gaat het erom dat de microtaken makkelijk te voltooien zijn en dat de taken minimale inspanning kosten. Hierdoor worden er meerdere potentiële gebruikers aangesproken, die niet bereid zijn om complexe of tijdrovende taken uit te voeren. Volgens de pyramid of participation is een klein deel van de gebruikers zeer actief terwijl de meerderheid van de gebruikers een lagere

activiteit heeft. Voor bedrijven of instellingen is het daarom aantrekkelijk om zich te richten op de topgebruikers en ze daarbij goed te ondersteunen. Effectief gezien is het echter beter om de gehele gemeenschap te ondersteunen door het gewicht te accepteren van de meerderheid van de bijdragen (McGonigal, 2008, p. 14-16). Door de kleine taken te combineren wordt het doel van het project duidelijk.

2.2.3 Participatie van gebruikers

Voor erfgoedinstellingen is het belangrijk te weten waarom gebruikers participeren in

crowdsourcing. Door dit te weten te komen, kunnen zij inspelen op het design van een project om mensen te rekruteren en om ze daarna te behouden. Uit diverse onderzoeken bleek dat gebruikers plezier vonden in het beoefenen, zowel collectief als intrinsiek plezier. Andere

redenen die genoemd worden zijn de gemeenschap, het participeren in echte wetenschap en erkenning voor hun participatie in het project. Een belangrijke motivatiereden is bijvoorbeeld de interactie tussen de gemeenschap onderling.

In tegenstelling tot commerciële vormen van crowdsourcing is erfgoed crowdsourcing gericht op het plezier van mensen en niet op geld of andere voordelen. Zoals ik heb aangetoond, hebben gebruikers verschillende soorten motivaties om te participeren in crowdsourcing projecten. Deze motivaties kunnen onderverdeeld worden in drie groepen, namelijk de altruïstische, de intrinsieke en de extrinsieke motivaties (Ridge, 2013, p. 441). Vaak geven crowdsourcing projecten in de erfgoedsector een gevoel van altruïsme, hoogstwaarschijnlijk vanwege het feit dat de participant er zelf niet beter van wordt, maar dat dit wel het geval is voor het publieke goed. Door de interface van crowdsourcing projecten professioneel over te laten komen, versterkt dit de indruk van onbaatzuchtigheid van gebruikers. Trant is dan ook van mening dat het (voorlopige) resultaat van de verzamelde data zichtbaar moet zijn voor gebruikers. Op deze manier krijgen zij een beeld van hun bijdrage (Trant, 2009, p. 100). Voor intrinsieke motivatie geldt dat mensen vooral plezier hebben in hetgeen wat ze doen, als ze worden aangemoedigd door een persoonlijke interesse in het onderwerp. Dat ze daarbij nieuwe kennis leren, hun vaardigheden verbeteren en erkenning krijgen is meegenomen. Ze hebben immers een passie voor het onderwerp en hebben plezier van de gemeenschap. Bovendien kunnen zij vaak niet aanwezig zijn tijdens de reguliere openingstijden van erfgoedinstellingen om vrijwilliger te worden.

Voor sommige instellingen kan de anonimiteit van gebruikers een probleem zijn omdat men niets van hen af weet. Als gevolg hiervan werken instellingen vaak met gebruikers die al een connectie hebben met een instelling of ze gaan in hun eigen gemeenschap zoeken naar

mensen, wat ook wel community-sourcing genoemd wordt. Een andere optie is nichesourcing, waarbij taken verdeeld worden onder een kleine groep van amateur experts. In sommige gevallen zijn niet alle crowdsourcing projecten even open voor alle gebruikers omdat gebruikers soms niet de gevraagde vaardigheden bezitten voor een specifieke taak. De deelnemers aan crowdsourcing projecten hoeven niet alleen maar amateurs te zijn die weinig met erfgoedinstellingen hebben: het kunnen ook geïnteresseerde professionals zijn uit een relevant veld of ze kunnen het doen als hobby in hun vrije tijd (Ridge, 2013. P. 441). Een andere motivatie om mee te werken aan crowdsourcing projecten is het krijgen van een financiële beloning. Bij elke taak die een gebruiker voltooit, krijgt hij in de meeste gevallen

een zeer lage financiële beloning. Zoals gezegd komt het betalen van gebruikers niet vaak voor bij crowdsourcing projecten van culturele instellingen. De bekendste crowdsourcing website is Amazon Mechanical Turk, een afgeleide website van Amazon.com, die in 2005 publiekelijk gelanceerd werd. Op deze website kunnen gebruikers zowel taken online zetten om informatie te krijgen als wel het verwerken van taken om geld te verdienen. De taken zijn vaak simpel en divers. De beloning voor deze taken is vaak variërend tussen de 0,01-0,05 dollarcent, waarbij er voor langere of complexere taken een hogere beloning wordt uitgekeerd. De laatste motivatie om deel te nemen aan een crowdsourcing project is om bekend te worden door iets te ontdekken of iets te vinden. Het krijgen van bekendheid is echter bij de meeste crowdsourcing projecten niet mogelijk, omdat het design van het project niet van die aard is. De verschillende soorten motivaties voor crowdsourcing staan ook wel bekend onder de 4F’s van crowdsourcing: fame, fortune, fun en fullfilment.

Het design van crowdsourcing projecten kan het best makkelijk gemaakt worden. Het hoeft niet perse uitdagend of interessant te zijn om gebruikers te trekken, het gaat gewoon om eenvoud. Door de ervaring van verschillende crowdsourcing projecten is gebleken dat eenvoud de beste manier is om zo’n project toegankelijk te maken voor gebruikers en tevens succesvol voor het bereiken van het beoogde doel. Wanneer het design te complex is of als er teveel specifieke kennis nodig is om de taak te voltooien, dan zijn projecten minder of niet succesvol (Ridge, 2013, p. 439). Van te voren moet het doel en de werkwijze van het project goed besproken worden om succesvol te zijn. Het design kan ook in de vorm van een game zijn om meer mensen te bereiken. Dit zijn dan zogenaamde crowdsourcing games of games with a purpose. Door deze games doen gebruikers useful computation, terwijl ze plezier hebben van de gameplay. Uit onderzoek van verschillende crowdsourcing games is gebleken dat vele gebruikers gebruikmaken van deze games en dat ze computerproblemen oplossen, zoals het toevoegen van tags aan afbeeldingen of geluid (Ridge, 2013, p. 440). De meest succesvolle crowdsourcing games zijn die games die hun focus leggen op microtaken, zoals taggen en het beschrijven van objecten. De games zouden het format moeten hebben van casual games, door het feit dat ze makkelijk te leren zijn, ze hebben veelal simpele controls en ze zijn bovendien vaak verslavend. De kosten van het ontwikkelen van casual games valt relatief gezien mee, waardoor het aantrekkelijk kan zijn om deze games te gebruiken. In het volgende hoofdstuk zal ik verder ingaan op het gebruik van games en van game elementen. In deze paragraaf is gebleken dat crowdsourcing gebruikt wordt om informatie te verzamelen door gewone mensen mee te laten helpen aan projecten. De crowdsourcing projecten zijn

divers en de mate van moeilijkheid of betrokkenheid is per project verschillend. De motivatie van mensen is verschillend en kan uiteenlopen van pure interesse tot het krijgen van een kleine financiële beloning. Door crowdsourcing kan werk relatief snel en goedkoop uitgevoerd worden.

Dit hoofdstuk ging over de veranderende rol van erfgoedinstellingen in de online wereld en de kansen die crowdsourcing biedt. Ten eerste is duidelijk geworden dat de online activiteiten van erfgoedinstellingen belangrijker worden in de communicatie naar gebruikers toe om ze te bereiken. Ten tweede is crowdsourcing een manier om snel en goedkoop informatie te

verzamelen die niet door de computer verzameld kan worden. Ten derde is het design van crowdsourcing projecten belangrijk om optimaal resultaat te halen. Ten vierde kan er ingespeeld worden op de verschillende motivaties van mensen om deel te nemen aan

crowdsourcing projecten of om hun interesse te wekken. Het volgende hoofdstuk zal ik verder ingaan op het gebruik van game elementen en hoe ze gebruikt kunnen worden bij

HOOFDSTUK 3: GAME ELEMENTEN

Het literatuuronderzoek zal in dit hoofdstuk gaan over het gebruik van game elementen en dan specifiek over gamificatie en games with a purpose. De literatuur zal gebruikt worden om een algemeen beeld te geven over deze concepten, de technische aspecten zullen achterwege gelaten worden. In dit hoofdstuk zal ik antwoord geven op de deelvraag: welke doelstellingen zijn er om gebruik te maken van game elementen? In de eerste paragraaf zal ik ingaan op gamificatie en in de tweede paragraaf op games with a purpose. Dit zijn twee veelgebruikte methoden om game elementen toe te voegen aan activiteiten zodat gebruikers deze

activiteiten met meer plezier uitvoeren. In de derde paragraaf zullen de voordelen besproken worden met uiteraard het gebruik van game elementen bij crowdsourcing.

3.1 Gamificatie

De subdeelvraag die in deze paragraaf besproken wordt is: wat is het doel van gamificatie? Er zal worden ingegaan op de verschillende definities van gamificatie en er zullen voorbeelden genoemd worden van succesvolle game elementen.

In 2002 werd er voor het eerst gesproken van gamificatie door Nick Pelling. Hij beschreef gamificatie als volgt: ‘applying game-like accelerated user interface design to make electronic transactions both enjoyable and fast’ (Pelling, 2011). Het concept sloeg niet direct aan, mogelijk omdat de tijd er nog niet rijp voor was. Dit veranderde in 2010 toen gamificatie een wijdverspreid concept werd. Tegelijkertijd werden er ook parallelle termen geïntroduceerd, zoals productivity games. Er is bovendien ook kritiek op de term omdat niet alleen elementen versimpeld worden maar ook omdat er verschillende negatieve interpretaties van de term zijn bedacht.

Over het concept gamificatie is echter geen eenduidige definitie, dit komt gedeeltelijk omdat gamificatie zich niet beperkt tot een gebied, maar toegepast kan worden op verschillende gebieden zoals educatie. Sebastian Deterding gebruikt de volgende definitie: gamification is the use of game design elements in non-game contexts (Deterding et al, 2011, p. 10). In deze definitie wordt duidelijk gemaakt dat gamificatie gerelateerd is aan games en niet dat het invloed heeft op play of de playfullness van games. Bij games wordt onderscheid gemaakt tussen de concepten paidia en ludus. Bij paidia (playing) heeft de gebruiker een zekere vrijheid binnen de game. Hij maakt verschillende keuzes binnen de game die resulteren in

vrijwillige acties waarbij de gebruiker ‘oneindig’ op hetzelfde punt kan blijven gamen. Er is hier geen sprake van een rule-based game proces waarbij de gebruiker niet terug kan gaan of in hetzelfde gebied kan blijven in de game. In dit geval wordt er gesproken van ludus

(gaming), waarbij de gebruiker gedwongen is om gestructureerde regels te volgen in games om doelen te bereiken zodat de game uitgespeeld kan worden. Het verschil tussen deze twee concepten is dus het spelen met vrijheid (paidia) tegenover het gestructureerd gamen om doelen te bereiken (ludus) (Deterding et al, 2011, p. 11). De game elementen worden

doorgaans gedefinieerd als karakteristieke elementen die vaak in games voorkomen. Reeves en Read beschrijven in Ten Ingredients of Great Games (2010) de elementen die zeer succesvol zijn in games. De game elementen die hierin beschreven zijn, worden niet

uitsluitend voor games gebruikt maar ook voor andere doeleinden. Als gevolg hiervan is het discutabel om elementen te noemen die uitsluitend voor games worden gebruikt. Wanneer er wel een lijst gemaakt zou worden met elementen die uniek zijn voor games, zou dit zeer beperkt zijn. Als gevolg hiervan wordt gekozen voor een vrije interpretatie van elementen. Hierdoor worden game elementen beschouwd als: elementen die karakteristiek zijn voor games die veelvoorkomend zijn en die geassocieerd worden met games. Hoewel Reeves en Read deze elementen niet direct beschouwen als exclusieve en unieke game elementen, zijn dit juist elementen die typisch aan games zijn. Bij de meeste succesvolle games zijn een of meerdere elementen aanwezig en zijn dit de ideale elementen om plezier en fun toe te voegen en het gebruik van enkele van deze game elementen zijn dus zeker een vereiste om een game meer kans op succes te geven. Dit is het geval met deze tien elementen: zelfrepresentatie met avatars, driedimensionale omgevingen, vertellende context, feedback, reputaties, leaderboards (zie figuur 2), levels, een marktplaats (voor het ruilen van goederen of voor het (ver)kopen van benodigdheden) en competitie. Daarnaast zou een (beperkt) communicatiesysteem beschikbaar moeten zijn en voor sommige games is het toevoegen van een tijdslimiet wel zo nuttig voor de game.

Figuur 2 Leaderboard van de populaire game Clash of Clans

Bron: https://bothgunsblazingblog.files.wordpress.com/2016/07/coc_leaderboard.png

In het algemeen wordt duidelijk dat gamificatie wel gaat over het betrekken van mensen of gebruikers bij game-directed wegen van verschillende doelen. Dit komt ook naar voren in definities die andere wetenschappers hanteren, zoals Roth beschrijft (2015, p. 301).

Zichermann en Cunningham (2012) zien gamificatie als ‘The process of using game-thinking and mechanics to engage users.’ In twee andere definities komt de engagement ook naar voren. Bunchball (2012): ‘When used in a business context, gamification is the process of integrating game dynamics (and game mechanics) into a website, business service, online community, content portal, or marketing campaign in order to drive participation and engagement.’ Ook bij Gartner Study (2012) is dit terug te vinden in : ‘The use of game mechanics and game design techniques in nongame contexts to design behaviors, develop skills or to engage people in innovation’. Desalniettemin wordt gamificatie gebruikt bij twee gerelateerde concepten. De eerste is de toenemende adoptie, institutionalisering en

alomtegenwoordigheid van games in het alledaagse leven. Het tweede is dat games primair ontwikkeld zijn voor entertainment en dat gebruikers dusdanig gemotiveerd raken en

zodoende volledig in beslag genomen kunnen worden door de intensiteit en de duur. Hierdoor zouden game elementen voor meer plezier moeten zorgen bij niet-game producten of

diensten. Dit werd overgenomen door mensen buiten de game industrie. Zij beschreven gamificatie als voordelig voor de cliënt: het proces van het gebruiken van game thinking en game mechanismen om tot oplossingen te komen van problemen zodat gebruikers met meer toewijding het werk gaan doen. In het artikel ‘Does Gamification Work? – A Literature Review of Empirical Studies on Gamification’ (2014) deden Hamari, Koivisto en Sarsa onderzoek naar verschillende empirische studies om te kijken of gamificatie daadwerkelijk werkt. Uit het onderzoek bleek dat gamificatie werkt, maar dat de context waarin gamificatie

gebruikt wordt evengoed belangrijk is voor eventueel succes. In 1938 verscheen een zeer invloedrijk werk over de relatie tussen mens en spel, namelijk Homo Ludens van Johan Huizinga. In dit werk stelt Huizinga dat ‘spel’ een zinrijke functie is en dat in de handeling een nuttigheid legt (1938, p. 28). Het spelelement is daarmee een belangrijk en onmisbaar element in het leven van mensen. Door het boek heen laat Huizinga zien dat het spelelement in verschillende onderdelen van de samenleving gebruikt wordt en onderdeel uitmaakt van cultuur.

Het idee om het design van de gebruikersinterface aan te passen is overigens niet nieuw. Dit was er al in de jaren tachtig van de vorige eeuw toen er nog sprake was van de eerste

populaire golf van videogames. Sindsdien werd er veel nagedacht om routine werk

interessanter te maken en om de motivatie van gebruikers te verhogen. Een van de vondsten die hieruit ontstonden waren bijvoorbeeld de besproken games with a purpose. Er kwam meer onderzoek en het werd steeds belangrijker om een ‘plezierige ervaring’ toe te voegen aan het design. Daarnaast werd er ook meer aandacht besteed aan het evalueren van de

gebruikerservaring en aan modellen die werkten aan componenten van games en de game ervaring.

In deze paragraaf is duidelijk geworden dat er geen vast of eenduidig concept is van gamificatie. In de verschillende definities die besproken zijn, komt wel naar voren dat het gebruik van game elementen het doel heeft om meer plezier en verbintenis te brengen in activiteiten of werkzaamheden. Door gebruik te maken van de tien game elementen van Reeves en Read is de kans groter om meer plezier en verbintenis te bewerkstelligen in de game.

3.2 Games with a purpose

In deze paragraaf wordt de subdeelvraag: wat zijn games with a purpose? besproken. De achtergrond en verschillende soorten vormen van games with a purpuse zullen hierbij behandeld worden. Daarbij wordt ook aandacht besteed aan keuzes die gemaakt worden tijdens het ontwikkelingsproces van de game.

Over de hele wereld worden in toenemende mate games gespeeld. Waar men tien jaar geleden nog een computer of een game console nodig had om games te spelen, is dat vandaag de dag niet meer nodig sinds de komst van de smartphone en de appstore. Op de oude mobiele telefoons zaten ook spelletjes, maar die waren zeer beperkt in design als ook in de beleving van het speelplezier. In de appstore zijn talloze apps te downloaden, waar men een ruime keuze heeft uit het assortiment games. Door de jaren heen is het aanbod uitgebreider geworden en de games van de grotere en bekendere ontwikkelaars werden steeds beter. Dit had tot gevolg dat er steeds meer gebruikers mobiel gingen gamen.

Computertechnologie heeft vele mogelijkheden die vaak accurater, beter en sneller is dan mensen. Er worden dan ook veel werkzaamheden door computers verricht die vroeger door mensen werden uitgevoerd. Echter, computers hebben ook hun beperkingen omdat niet alles leesbaar is voor de computer. Het gaat dan bijvoorbeeld om het toekennen van informatie aan afbeeldingen of video’s. Daarnaast worden boeken en handgeschreven teksten gedigitaliseerd door Optical Character Recognition (OCR). De kwaliteit van de OCR is wisselend, waardoor de computer veel letters verkeerd digitaliseert met als gevolg dat mensen dit moeten

controleren om een beter resultaat te krijgen.

Het human computation paradigma zou dit moeten oplossen. Hierbij wordt de kennis van mensen gebruikt als processors in een systeem, dat een klein deel uitvoert van taken van de computer. Op deze manier kunnen computers problemen oplossen en kunnen zij leren van mensen. Het nadeel is wel dat mensen hier meestal niet zomaar aan meewerken, zij hebben een prikkel of een aansporing nodig om deel uit te maken van collective computation. Het gebruik van games is hiervoor een methode. Voor het spelen van games worden mensen ‘gedwongen’ om een proces te volgen, zodat zij verder kunnen spelen. Door mechanismen in de game te bouwen, worden er problemen opgelost door gebruik te maken van kennis die alleen mensen bezitten. Op deze manier kunnen ontwikkelaars games ontwikkelen die bepaalde informatie opslaan. Deze informatie kan vervolgens geanalyseerd en gebruikt worden om kennis toe te voegen aan computers die zij zelf niet kunnen verkrijgen. Dit soort games worden games with a purpose genoemd, waarbij het primaire doel is om informatie te verkrijgen door middel van een game (Von Ahn, 2006, p. 92).

Bij games with a purpose wordt gebruik gemaakt van genetwerkte kennis van mensen. Het bekendste voorbeeld hiervan is Wikipedia, waar gebruikers informatie kunnen toevoegen en bewerken om de kwaliteit zo hoog mogelijk te houden. Het netwerken van mensen is echter

niet nieuw om ‘werk’ voor elkaar te krijgen. Al in de zestiger jaren van de vorige eeuw waren er open-source software ontwikkelingsprojecten, waar programmeurs wereldwijd aan

meewerkten. Het voordeel van genetwerkte projecten, is dat zij veel sneller voltooid worden dan wanneer een groep of persoon het werk zou doen (Von Ahn en Dabbish, 2008, p. 60). De volgende design principes worden gebruikt bij het maken van deze games. Als eerste moet er een plezierige en intellectuele uitdaging zijn die bijdraagt aan de gebruikerservaring. Games worden vaak voor het plezier gespeeld en door een intellectuele uitdaging toe te voegen kan de game interessanter worden. Het tweede principe is consensus. Door games te maken die gericht zijn op de wisdom of the crowd, is het nodig dat gebruikers divers en geografisch verspreid zijn. Op deze manier kunnen zij elkaar niet beïnvloeden en is de kans groter dat er een consensus ontstaat die breed gedragen wordt. Het derde principe is massive content generation. De intelligentie van groepen kan goed getoond worden door grote

participatie. Door massieve content generatie ontstaat er genoeg content om veel gebruikers te bereiken. Bij games with a purpose gaat het er puur om dat mensen vermaakt willen worden (Siorpaes en Hepp, 2008, p. 52). Onbaatzuchtigheid en financiële stimulansen spelen hierbij geen rol in tegenstelling tot (commerciële) crowdsourcing. Het feit dat mensen helpen met het verkrijgen van informatie tijdens het gamen is een neveneffect. Er moet niet rechtstreeks om informatie gevraagd worden maar de informatie moet op een natuurlijke manier gegeven worden door middel van playing. Op deze manier zijn gebruikers eerder geneigd om

informatie te geven dan dat het meteen gevraagd wordt. Een eigenschap van games is dan ook dat het aantal menselijke speeluren definieert in hoeverre een game succesvol is of niet. Het is dan ook de uitdaging om de gewenste output te krijgen bij een game design wat aantrekkelijk en plezierig genoeg is voor zijn gebruikers. De situatie is namelijk dat er meer output vrijkomt als de gebruikers de game leuk vinden en dus blijven spelen (Von Ahn en Dabbish, 2008, p. 61).

Er zijn bij het ontwikkelen van games with a purpose ook uitdagingen voor de ontwikkelaar. Zo moet er duidelijkheid zijn over welke taken relevant zijn voor de game en vervolgens moet er gekeken worden of het mogelijk is om deze taken uit te voeren. Niet alle taken zijn immers geschikt voor games of voor een breed publiek. Tijdens het conceptuele design wordt dit besproken en daarbij wordt er ook gekeken naar de haalbaarheid van zowel de doelen als het speelplezier. Het design moet daarnaast een attractieve interface hebben zodat gebruikers ervoor kiezen om de game te gaan spelen. Er moet bovendien genoeg data beschikbaar zijn in de game. Zo wordt voorkomen dat gebruikers regelmatig dezelfde uitdaging keer op keer

moeten aan gaan wat een negatief effect teweeg kan brengen voor de game ervaring. Het is echter niet de bedoeling om alle uitdagingen tegelijkertijd beschikbaar te stellen voor

gebruikers. Het is veel beter om eerst de uitdagingen beschikbaar te maken, waarvan de data het eerst nodig is en vervolgens de andere uitdagingen op deze manier verder beschikbaar te stellen. Voor de betrouwbaarheid van de data van gebruikers, is het noodzakelijk om de kans op valsspelen zo moeilijk en zo miniem mogelijk te maken. Maatregelen zijn onder andere dat gebruikers anoniem zijn in de game, zodat er geen afgesproken fouten gemaakt kunnen worden met anderen. Daarnaast kunnen testuitdagingen gehouden worden. Alleen wanneer deze correct beantwoord worden, worden de resultaten van gebruikers gebruikt. Bovenal gaat het echter om het design van de game, zodat gebruikers voldoende gemotiveerd zijn om goede antwoorden te geven. Wanneer de game loopt, is het belangrijk om gebruikers te behouden waarbij het bevorderen van de gebruikersparticipatie een belangrijk onderdeel is. Dit kan bereikt worden door nieuwe uitdagingen of nieuwe functies toe te voegen (Siorpaes en Hepp, 2008, p. 52-53).

De drie meest voorkomende templates bij human computation games zijn output-agreement games, inversion-problem games en input-agreement games volgens Von Ahn en Dabbish (2008, p. 61-62). De auteurs beschrijven deze templates als volgt. Bij output-agreement games worden twee willekeurige spelers aan elkaar gekoppeld die output geven aan de hand van de gegeven input. De spelers weten niets van elkaar af dus is er ook geen mogelijkheid tot communicatie om eventueel vals te spelen. Is de output hetzelfde, dan kan geconcludeerd worden dat de input correct begrepen wordt. Bij inversion-problem games worden er wederom twee willekeurige spelers aan elkaar gekoppeld zonder enige

communicatiemogelijkheden. Het idee achter deze template is dat speler A een input opgeeft en op basis hiervan worden er aanwijzingen gemaakt die speler B vervolgens te zien krijgt. Wanneer speler B de input juist raadt, dan is de game geslaagd. Het doel van deze template is om zoveel mogelijk informatie te krijgen over de gekozen input zonder het direct te vragen. Om de game geslaagd te maken is men ook afhankelijk van speler A want als de output te weinig of te onduidelijk is, dan is het voor speler B moeilijk om de input correct te raden. Bij input-agreement games worden ook twee willekeurige spelers aan elkaar gekoppeld. Beide spelers krijgen een input in beeld die door de game is gekozen. Deze input kan hetzelfde zijn. De spelers moeten de input beschrijven en ze zien vervolgens elkaars output. Wanneer zij dezelfde output hebben, wordt de game als geslaagd beschouwd. In figuur 3 is een voorbeeld te zien van het ontwikkelingsproces van een game with a purpose.

Figuur 3 Het ontwikkelingsproces van een game with a purpose

Bron: https://image.slidesharecdn.com/acmsg14uncommented-141124090941-conversion-gate01-

141124102006-conversion-gate01/95/matching-game-mechanics-and-human-computation-tasks-in-games-with-a-purpose-17-638.jpg?cb=1416824512

De basisstructuur van games with a purpose wordt gevormd door de bovengenoemde

templates. Er kunnen vanzelfsprekend ook andere game mechanismen toegevoegd worden om meer plezier of meer uitdagingen in de game te brengen. Voorbeelden hiervan kunnen zijn het toevoegen van een tijdslimiet, leaderboards en ranks. Door leaderboards toe te voegen krijgen gemotiveerde spelers de kans om te bewijzen dat ze bij de beste spelers horen van een game. Voor spelers die de game al een tijd spelen, kan dit motiverend werken. Voor

beginnelingen werkt dit in het begin demotiverend maar wanneer zij de game leuk vinden en meer gaan spelen zal dit mogelijk motiverend werken. Immers, de meeste spelers hebben niet de ambitie om in de top van een leaderboard te staan maar willen gewoon gamen zonder plichtmatigheid. Door een puntensysteem toe te voegen, wordt een verband gelegd tussen de inspanningen, de uitvoering en de output van de game. Het toevoegen van een tijdslimiet werkt motiverend wanneer spelers beloond worden als ze binnen de tijd het doel bereiken. Voor de uitdaging van een game is dit erg belangrijk, want wanneer een game geen of weinig uitdaging biedt, dan kunnen spelers afhaken of stoppen met de game. Het toevoegen van nieuwe levels of (te makkelijke) doelen is voor de gemotiveerde speler minder belangrijk dan het aangaan van een uitdaging. Het enige waar men voor moet oppassen is om de uitdaging haalbaar te maken en niet onmogelijk. Is dit laatste het geval, dan haken spelers alsnog af. Het toevoegen van ranks is een ander motivatiemiddel. Immers, hoe hoger de rank van de speler,

hoe beter hij is. Tegelijkertijd geeft een hoge rank prestige weer wat motiverend kan werken voor andere spelers. Als een game gebruikt maakt van een multiplayer mode, is het aan te raden om randomness toe te voegen in de game. Hierdoor ontstaan er constant unieke game sessies die het aantrekkelijk en gevarieerd maken voor de spelers. Wanneer men tegen een andere speler speelt, kan men een beeld krijgen van de vaardigheden van de tegenstander. In geval de speler denkt dat hij beter is, dan zal deze gedachte de motivatie verhogen om dit ook nog te kunnen bewijzen (Von Ahn en Dabbish, 2008, p. 63-64).

Dus games with a purpose zijn games die primair gericht zijn op het verzamelen van informatie. Om zulke games succesvol te maken is het nodig om tijdens het design beslissingen te nemen die de game interessant maken voor gebruikers zodat zij de game blijven spelen en niet afhaken door eentonigheid of gebrek aan uitdaging. Door populaire game elementen toe te voegen kan ervoor gezorgd worden dat deze games uitdagend en competitief blijven voor gebruikers.

3.3 Toepassingen van game elementen

In deze paragraaf wordt gekeken naar enkele voorbeelden van toepassingen met betrekking tot gamificatie of games with a purpose. Het gebruiken van deze methoden met games kan dus voordelen hebben voor zowel bedrijven/instellingen als voor gebruikers/werknemers. Ik zal nu iets dieper ingaan op verschillende gebieden waarbij de voordelen genoemd worden en hoe die worden toegepast.

Business

Uit diverse artikelen blijkt dat innovatie in het businessmodel een positieve impact heeft op de uitvoering van bedrijven. Gudiksen verkende dit door gebruik te maken van op game

gebaseerde reflectie processen om het innovatieve businessmodel design te faciliteren. Er werden workshops gegeven over hoe groepsreflectie de businessmodellen kan ondersteunen waarbij verschillende game-based methoden gebruikt werden. Uit het onderzoek bleek dat de methoden bruikbaar waren en dat ze businessmodellen een ‘playfull and intuitive reference frame’ gaven (Roth, 2015, p. 302).

Bij innovatie moet er eerst een design bedacht worden van hoe de innovatie toegepast kan worden. Tijdens het design komen mensen vaak problemen tegen waar oplossingen voor gevonden moeten worden. Er kan op verschillende manieren naar design gekeken worden: soms is prototype belangrijk en bij andere projecten gaat het juist om het bedenken van strategieën. In het onderzoek lieten de auteurs de proefpersonen van Lego Serious Play een fysieke representatie bouwen van voorgevormde materiaalartefacten en een volgorde van geleidingsprocessen. Het doel was om te kijken of dit de creativiteit en gedachten bevorderde tijdens de vroege stadia van innovatie. Uit de resultaten bleek dat het succesvol was en dit kwam mede door het feit dat de proefpersonen met ander materiaal werkten en zo konden zij op een lossere en vrijere manier nadenken en experimenteren met hun idee (Roth, 2015, p. 303).

Onderwijs

Gamificatie wordt in het onderwijs voor verschillende doeleinden gebruikt. Met gamificatie is het mogelijk om de betrokkenheid van leerlingen te verbeteren en om ze meer te motiveren. Daarnaast kan de leerling zelfstandiger worden tijdens het werken in de klas. Het idee is om gamificatie te gebruiken om een soort competitie te vormen waar leerlingen, in de ideale situatie, zo goed mogelijk proberen te presteren om hoog te eindigen in de competitie. In de praktijk is echter niet iedereen gemotiveerd om de beste te zijn, waardoor gamificatie slechts op een deel van de leerlingen effectief zal zijn. De leerpiramide van Bales (zie figuur 4) bestaat uit twee delen die verdeeld wordt in passieve leermethoden en actieve leermethoden. Deze twee delen zijn onderverdeeld in verschillende groepen, die elk een percentage

weergeven van de kans waarbij informatie wordt behouden. In het passieve deel neemt de leerling het minst op, bijvoorbeeld bij een hoorcollege. De leerling neemt meer informatie op naarmate hij gaat lezen over de leerstof, audiovisuele voorbeelden ziet en als er demonstraties gegeven worden over de leerstof. Op dit moment zit de leerling aan dertig procent van de opslag. Door actieve leermethoden toe te voegen zoals een groepsdiscussie, de praktijk en de leerstof uitleggen aan anderen, kan het percentage van kennisopslag verhoogd worden naar negentig procent (Peer en Gernot Stoeglehner, 2013, p. 88). Door game elementen toe te voegen worden enkele groepen van de piramide geraakt.

Figuur 4 Leerpiramide van Bales

Bron: http://acrlog.org/wp-content/uploads/2014/01/learningpyramid4.jpg ESP Game

Een van de eerste en tevens bekendste voorbeelden van games with a purpose is de ESP Game (2003), ook wel de Google Image Labeler genoemd. Bij deze game zien gebruikers een webafbeelding op het scherm verschijnen die zij vervolgens moeten beschrijven met

trefwoorden, zoals te zien is in figuur 5. Door het aangename en competitieve karakter werd de game een groot succes met meer dan vijftig miljoen labels. De labels worden vervolgens gebruikt om het zoeken van afbeeldingen op het web te verbeteren en de ruis te verminderen bij de zoekresultaten.

Figuur 5 ESP game

Bron: https://image.slidesharecdn.com/odctutorial-120113081729-phpapp01/95/crowdsourcing-for-online-data-collection-6-728.jpg?cb=1326443119

Een andere succesvolle game is Smorball van ontwikkelaar Tiltfactor. Het doel van deze game is om woorden correct over te typen. De woorden die in beeld verschijnen zijn afkomstig van gedigitaliseerde boeken (figuur 6). De gedigitaliseerde boeken zijn eerst gescand en dus niet mogelijk om de hele tekst te doorzoeken. Door de game te spelen worden deze boeken wel doorzoekbaar.

Figuur 6 Smorball

Bron: https://i.ytimg.com/vi/rnokvdkcVKM/maxresdefault.jpg

Andere gebieden waar games with a purpose voor gebruikt wordt is bijvoorbeeld urbanologie (Celino et al, 2012) en er zijn vanzelfsprekend case studies zoals TagATune (Law en Von Ahn, 2007) en Foldit (Good en Su, 2011). Kristen Dergousoff en Regan L. Mandryk schreven ‘Mobile Gamification for crowdsourcing data collection: Leveraging the Freemium Model (2015)’. Hier gebruikten zij gamificatie en het Freemium model om een data collectie op te bouwen door middel van crowdsourcing.

Uit bovenstaande voorbeelden worden verschillende toepassingen besproken van game elementen. Door het toevoegen van game elementen is de kans aanwezig dat de productiviteit van gebruikers omhoog gaat alsook de plezierbeleving in de betreffende activiteit. Door het voorbeeld van Smorball wordt bijvoorbeeld duidelijk dat erfgoedinstellingen games of game elementen kunnen gebruiken om succesvol gebruik te maken van crowdsourcing.

In dit hoofdstuk is dus duidelijk geworden dat games en game elementen bruikbaar zijn om de motivatie van mensen te verbeteren. Ten eerste komt dit door het gebruik van game

elementen, waarbij gebruikers over het algemeen meer plezier krijgen in de activiteiten die ze doen. Ten tweede komt dit door de alomtegenwoordigheid van het spelen van games. Ten derde zijn uit de toepassingen van game elementen gebleken dat deze het gedrag van gebruikers vaak positief beïnvloedt. Het gaat dan om zowel het krijgen van meer plezier als het (in enkele gevallen) toepassen van enige competitie. Het volgende hoofdstuk zal ik de

opzet en het proces van het onderzoek beschrijven. Dit zal zijn met de kennis die ik heb opgedaan in de afgelopen twee hoofdstukken.

.

In de voorgaande twee hoofdstukken zijn het gebruik van game elementen en crowdsourcing onderzocht. Hieruit bleek onder andere dat het doel van het project duidelijk moet zijn en dat er voor en tijdens het design van een crowdsourcing project goed nagedacht moet worden over verschillende onderdelen van het project. Het design moet voor de gebruiker duidelijk zijn terwijl tegelijkertijd de doelstelling van het project gehaald moet worden. In dit hoofdstuk zal ik de opgedane kennis toepassen om een empirisch onderzoek te ontwerpen waarin de kwaliteit van crowdsourcing onderzocht zal worden.

In dit hoofdstuk zal ik ook antwoord geven op de deelvraag: welke invloed hebben de methodologische keuzes tijdens het proces op het onderzoek naar de verschillende

beschrijvingen tussen amateur en professional? In de eerste paragraaf zal ik de achtergrond tussen amateurs en professionals bij crowdsourcing beschrijven. In de tweede paragraaf worden het doel en het proces van het onderzoek besproken, waarbij ik ook zal ingaan op de schilderijen die gekozen zijn.

4.1 Achtergrond

In deze paragraaf zal ik de subdeelvraag: waarom is het interessant om het verschil te onderzoeken tussen amateurs en professionals? bespreken. Er zal gesproken worden over de gevolgen van het internet die van invloed zijn op de autoriteit en het verschil in taalgebruik tussen amateurs en professionals.

In de voorgaande twee hoofdstukken is duidelijk geworden dat crowdsourcing waardevol is voor erfgoedinstellingen. Erfgoedinstellingen maken de laatste tijd steeds meer delen van de collectie digitaal toegankelijk, als een distributed network. Door collecties digitaal

toegankelijk te maken, krijgt iedereen de mogelijkheid om de collectie online te delen met andere gebruikers, bijvoorbeeld bij online gemeenschappen. Deze gemeenschappen kunnen vervolgens helpen om de informatie te verbeteren door met elkaar in discussie te gaan of met medewerkers van de instelling zelf. De Reciprocal Research Network is hier een voorbeeld van, waarbij professionals van musea online samenwerken met gemeenschappen om extra context toe te voegen aan de collectie (Phillips, 2014, p. 254). Phillips verwacht dat dit vaker zal voorkomen omdat collecties gratis en open gemaakt zijn op het web. Door het sociale en het mobiele web zijn de mogelijkheden en kansen groter geworden zodat musea bezoekers

steeds meer gezien worden als gebruikers en deelnemers dan alleen maar als publiek. Dit heeft als gevolg dat musea comfortabeler worden in autoriteit.

Het internet heeft de notie van autoriteit veranderd. Er is zo veel meer informatie beschikbaar gekomen op het internet van zowel experts als van amateurs. David Weinberger schreef al in verschillende publicaties hierover. Autoriteit op het web wordt opgebouwd door het geven van links van webpagina’s of citaties naar de herkomst van informatie. De context van de informatie is belangrijker geworden en de gebruiker kan de informatie zelf beoordelen op basis van de bronnen. Weinberger zegt zelf: ‘Links are visible manifestation of the author giving up any claim to completeness or even sufficiency; links invite the reader to browse the network in which the work is enmeshed, an acknowledgement that thinking is something that we do together’ (Weinberger, 2008, p. 113). Hierin zegt Weinberger dat een

gecontextualiseerde vorm van autoriteit het pad moet volgen van gemeenschappen die verbonden, open en transparant zijn. Door deze herconceptualisering van autoriteit moet de focus liggen op contextual authority. Hier hebben gebruikers het over hun eigen,

gepersonaliseerde ervaringen en zitten zij niet vast in autoritaire controle van

erfgoedinstellingen. Phillips vindt dan ook dat bijvoorbeeld musea moeten overwegen om creatiever te worden met context door nieuwe wegen te vinden bij de representatie van context door henzelf (musea) en door andere gebruikers (Phillips, 2008, p. 256).

Er is echter ook kritiek op erfgoedinstellingen die ‘de autoriteit/controle uit handen geven’. Deze kritiek komt meestal van professionals uit de instellingen die redelijk conservatief zijn en autoriteit nog steeds hoog in het vaandel hebben staan. Erfgoedinstellingen worden van oudsher gezien als autoriteit voor hun hoge standaarden van kwaliteit, originaliteit en authenticiteit. Daarnaast is er niet altijd even veel vertrouwen in de menigte, aangezien er nogal laatdunkend gedaan wordt over de bijdrage van gebruikers aan het web. Door de overvloed aan informatie op het web zouden erfgoedinstellingen zich juist moeten profileren als autoriteit. Er wordt dan ook gesproken over een veranderende rol van curatoren. De nieuwe rol zou meer van een platform provider zijn, waarbij hij deelnemers zou moeten helpen binnen de gemeenschap. Curatoren zouden verbonden moeten worden met gebruikers om de huidige digitale platformen succesvol te maken. Het zijn de online samenwerking en het uitwisselen en combineren van ideeën door zowel professionals als gebruikers, die ervoor zorgen dat er constant meer kwaliteit toegevoegd kan worden aan de collectie. De

erfgoedinstelling zou hierbij de controle houden over de kwaliteit en de curatoren kunnen zich bezighouden met de nieuwe verzamelde informatie.