Ik ben dit onderzoek gestart met de hoofdvraag: In hoeverre kan de kwaliteit van
crowdsourcing projecten van erfgoedinstellingen toenemen door de toepassing van game elementen en bewerking van amateurs? Hieronder zal ik per hoofdstuk mijn deelvraag bespreken om vervolgens tot een overstijgende conclusie te komen.
In het tweede hoofdstuk ging ik in op de deelvraag: welke doelstellingen zijn er om gebruik te maken van game elementen? Uit het hoofdstuk blijkt dat game elementen, zoals gamificatie
en games with a purpose, gebruikt worden om de motivatie van mensen te verhogen en als zodanig voor meer plezier in het werk of de bezigheid te zorgen. Het design speelt hier een rol, want bij gebrek aan een goed design is de kans groter op het niet optimaal benutten van game elementen. Het gevolg is dan dat het effect van game elementen langzaam verdwijnt of dat het sowieso niet aanslaat. Door een goed plan te maken voor het design, kunnen er verschillende populaire game elementen gebruikt worden zodat gebruikers plezier aan de taak kunnen beleven waardoor de motivatie ook zal toenemen. Dit leidde tot de volgende
deelvraag over game elementen en crowdsourcing.
De deelvraag in het derde hoofdstuk luidde: hoe maken culturele erfgoedinstellingen gebruik van online crowdsourcing? Het doel van crowdsourcing is om informatie te verzamelen door gebruikers die zelf beslissen om te helpen bij projecten. Het voordeel daarbij is dat de
verzamelde informatie vaak goedkoop en snel bemachtigd wordt, vanuit de overtuiging dat de gewone mens kan bijdragen aan diverse projecten. Een belangrijk onderdeel bij
crowdsourcing is de motivatie van gebruikers, dus door gebruik te maken van sociale media en andere online mogelijkheden kan de interesse van gebruikers worden gewekt. Met de kennis van deze deelvraag kon begonnen worden aan het opzetten van een empirisch onderzoek.
Het vierde hoofdstuk behandelde de deelvraag: welke invloed hebben de methodologische keuzes tijdens het proces op het onderzoek naar de verschillende beschrijvingen tussen amateur en professional? Culturele erfgoedinstellingen maken steeds meer gebruik van crowdsourcing, maar dit kan verbeterd worden door beter gebruik te maken van het internet. Er is echter een discussie tussen professionals over de toegevoegde waarde van informatie van amateurs. Om dit te onderzoeken besloot ik een empirisch crowdsourcing onderzoek te doen naar de kwaliteit en de verschillen tussen amateurs en professionals. In het crowdsourcing onderzoek worden gebruikers, via de crowdsourcing website Crowdflower, gevraagd om beschrijvingen en tags te geven van schilderijen. Door de informatie te vergelijken van amateurs met de informatie van professionals, kan vervolgens gekeken worden naar de kwaliteitsverhouding en de verschillen. Tijdens het proces van het onderzoek werd mij duidelijk dat de instructie een belangrijke rol speelt bij de kwaliteit van de resultaten. Dit leidde tot de resultaten in de volgende deelvraag.
In het vijfde hoofdstuk werden de resultaten besproken en de deelvraag luidde: in hoeverre zijn de resultaten van het crowdsourcing onderzoek van gebruikers te vergelijken met de
resultaten van professionals? De gemiddelde overeenkomst van alle schilderijen tussen de beschrijvingen van gebruikers en professionals was 59,07%. Het gemiddelde laat zien dat er een zekere overeenstemming is tussen amateurs e professionals, maar dat er tegelijkertijd een verschil is. In deze ruimte liggen kansen om de beschrijving te verbeteren of te verduidelijken door amateurs. Het gemiddelde van betekenisvolle schilderijen lag lager met 56,66%, terwijl de gemiddelde overeenkomst van de normale schilderijen op 61,48% lag. Op basis van de gemaakte beschrijving van de gebruikers en de vergelijkende tabellen kan gesteld worden dat dit een redelijk resultaat is. De toegekende tags waren over het algemeen goed en er was ook een redelijke consensus tussen de gebruikers. Wanneer de beschrijvingen en de tags
samengevoegd zouden worden en vervolgens vergeleken zouden worden met de beschrijvingen van het museum, dan zouden de percentages hoger liggen. Sommige
onderdelen van de beschrijving kwamen namelijk niet voor in de beschrijving, maar wel in de tags. Onder de gebruikers was een redelijke overeenstemming te zien toen het game element consensus getest werd. De gebruikers gaven daarbij aan dat het toevoegen van een
leaderboard of het krijgen van een bepaalde titel zou helpen om de taak interessanter te maken. Van de twintig schilderijen waren er bij twaalf schilderijen een of meerdere
onderdelen toegevoegd. In dit opzicht speelde het gekozen kwaliteitsniveau niet echt een rol omdat er op alle niveaus onderdelen werden toegevoegd. Bij de beschrijvingen is dit echter wel het geval. Gebleken is dat bij de keuze voor hogere niveaus een hogere beloning verdient, ook voor een beter resultaat zorgde. Deze gebruikers besteedden meer tijd aan de
beschrijvingen en ze zochten al dan niet naar aanvullende informatie op het internet.
Om terug te komen op de hoofdvraag is duidelijk geworden dat op basis van de resultaten van dit onderzoek gezegd kan worden dat het mogelijk is om betrouwbare en nuttige informatie te krijgen via crowdsourcing. De gebruikers gaven aan dat het toepassen van game elementen hierbij zou helpen. Op basis van dit onderzoek kan het volgende worden vastgesteld over de haalbaarheid van een crowdsourcing project. De literatuur over crowdsourcing wordt op verschillende punten bevestigd. De kosten bestaan uit het betalen van de gebruikers en er zijn geen overheadkosten (bijvoorbeeld zaalhuur), zoals die er wel zouden zijn wanneer het om een gecontroleerd onderzoek zou gaan. Aangezien dit onderzoek plaatsvond in een
ongecontroleerde omgeving, waren er gedurende het proces een aantal aanpassingen nodig. Uit deze aanpassingen kwam naar voren dat de resultaten van de gebruikers erg afhankelijk zijn van de instructie en het gegeven voorbeeld. Dit was goed te zien bij middelste
eerste indrukken van het schilderij te beschrijven wat de gebruikers ook deden. De kwaliteit was echter niet altijd bruikbaar. In een andere taak was de oorspronkelijke instructie en het voorbeeld gebruikt met de toevoeging dat het niet nodig was om informatie op het internet op te zoeken of van de website van het museum te kopiëren. De resultaten lieten echter zien dat er toch letterlijke stukken gekopieerd waren van de museum beschrijving. Dit toont nogmaals aan dat de wijze waarop je de taak maakt van invloed is op het resultaat. De (serieuze)
gebruikers proberen in elk geval zo goed mogelijk te voldoen aan de verwachtingen van de opdrachtgever.
Andere variabelen die van invloed waren op het onderzoek waren het budget en het
kwaliteitsniveau. De prijs die betaald wordt zal vaak de kwaliteit bepalen van de resultaten. Voor hogere kwaliteitsniveaus wordt meer betaald, omdat verwacht wordt dat gebruikers daar ook meer tijd aan besteden wat als eindresultaat een betere kwaliteit zou moeten opleveren. Het is ook mogelijk om hogere kwaliteitsniveaus te selecteren en minder te betalen. Het gevolg kan dan zijn dat gebruikers minder moeite nemen om te zorgen voor echte kwaliteit. Het bepalen van de prijs kan daarom gezien worden als een spel met vele variabelen, die voor elke soort taak verschillend is en die telkens opnieuw afgewogen moet worden.
Het tijdstip van het online zetten van de taken is tenslotte ook van invloed op de resultaten die binnenkomen mede door de verschillende tijdzones. Gebruikers uit verschillende werelddelen kunnen een ander inzicht hebben door bijvoorbeeld cultuur, waardoor de resultaten eventueel beïnvloed kunnen worden.
Bij het proces van dit kleinschalige onderzoek zijn slechts enkele variabelen gebruikt en zoals eerder vermeld hebben zich daarbij in de praktijk diverse onverwachte situaties voorgedaan. Desalniettemin zouden deze situaties ook plaats kunnen vinden bij grootschalige projecten, wanneer de instructie niet duidelijk genoeg is of wanneer er weliswaar een of twee kleine maar toch belangrijke richtlijnen missen. Dit onderzoek toont aan dat de haalbaarheid van een crowdsourcing project goed is, echter de mate van kwaliteit zal afhankelijk zijn van de hoogte van het budget. De vernieuwende methode die gebruikt is, laat zien dat er potentie is voor verder onderzoek. Zeker als in beschouwing wordt genomen dat over crowdsourcing platformen voornamelijk onderzoek gedaan is naar gebruikers, kwaliteitscontrole of het verdienmodel. Tegelijkertijd ben ik me ervan bewust dat het onderzoek te kleinschalig is om grote vaststellingen te doen met betrekking tot de kwaliteit, maar er is zeker potentie om aan te nemen dat de kwaliteit redelijk is. Aanbevelingen voor verder onderzoek zouden dan ook
zijn om het onderzoek grootschaliger te doen en te zoeken naar gebruikers die meer kennis hebben over de materie en te kijken in hoeverre de resultaten verbeteren. Het zou daarnaast ook mogelijk zijn om te experimenteren met verschillende game elementen om te
onderzoeken wat voor effect ze hebben op de resultaten. Tijdens het vervolgonderzoek zou het proces verder verbeterd kunnen worden wat weer ten goede zal komen aan de resultaten. Een mix van crowdsourcing en games lijkt in ieder geval potentie te hebben voor
erfgoedinstellingen en verdient zeker aandacht voor verder onderzoek in de toekomst.
REFERENTIELIJST
Allahbakhsh, Mohammad, et al. "Quality control in crowdsourcing systems: Issues and directions." IEEE Internet Computing 17.2 (2013): 76-81.
Buhrmester, Michael, Tracy Kwang and Samuel D. Gosling. "Amazon's Mechanical Turk: A new source of inexpensive, yet high-quality, data?." Perspectives on psychological science 6.1 (2011): 3-5.
Byron, Reeves, and J. Leighton Read. “Ten Ingredients of Great Games” Cedma Europe. 2010. 10 augustus 2017. < http://www.cedma- europe.org/newsletter
%20articles/misc/Ten%20Ingredients%20of%20Great%20Game s%20(Apr%2010).pdf > Celino, Irene, et al. "Urbanopoly--A Social and Location-Based Game with a Purpose to
Crowdsource Your Urban Data." Privacy, Security, Risk and Trust (PASSAT), 2012 International Conference on and 2012 International Confernece on Social Computing (SocialCom). IEEE, 2012.
Correa, Teresa, Amber Willard Hinsley, and Homero Gil De Zuniga. "Who interacts on the Web?: The intersection of users’ personality and social media use." Computers in Human Behavior 26.2 (2010): 247-253.
Dergousoff, Kristen, and Regan L. Mandryk. "Mobile gamification for crowdsourcing data collection: Leveraging the freemium model." Proceedings of the 33rd Annual ACM Conference on Human Factors in Computing Systems. ACM, 2015.
Deterding, Sebastian, et al. "From game design elements to gamefulness: defining
gamification." Proceedings of the 15th international academic MindTrek conference: Envisioning future media environments. ACM, 2011.
Ford, Paul. “The Web Is A Costumer Service Medium.” Ftrain. 2011. 20 september 2017. <http://www.ftrain.com/wwic.html>.
Good, Benjamin M., and Andrew I. Su. "Games with a scientific purpose." Genome biology 12.12 (2011): 135.
Hamari, Juho, Jonna Koivisto, and Harri Sarsa. "Does gamification work?--a literature review of empirical studies on gamification." System Sciences (HICSS), 2014 47th Hawaii International Conference on. IEEE, 2014.
Huizinga, Johan. “Homo ludens: Proeve eener bepaling van het spel-element der cultuur.” EO Tjeenk Willink & Zn, Haarlem, 1950.
Ipeirotis, Panagiotis G., Foster Provost, and Jing Wang. "Quality management on amazon mechanical turk." Proceedings of the ACM SIGKDD workshop on human
computation. ACM, 2010.
Keen, Andrew. "Web 2.0: The second generation of the Internet has arrived. It’s worse than you think." The Weekly Standard (2006).
Kidd, Jenny. "Enacting engagement online: framing social media use for the museum." Information Technology & People 24.1 (2011): 64-77.
Kieskamp, Andrea, en Lucas Veeger, Handleiding informatiebeheer in musea. Oud- Beijerland: Drukkerij Van As, 2009.
Law, Edith LM, et al. "TagATune: A Game for Music and Sound Annotation." ISMIR. Vol. 3. 2007.
Lease, Matthew, and Omar Alonso. "Crowdsourcing and human computation, introduction." Encyclopedia of Social Network Analysis and Mining. Springer New York, 2014. 304- 315.
Lenhart, Amanda, et al. "Social Media & Mobile Internet Use among Teens and Young Adults. Millennials." Pew internet & American life project (2010).
Ministerie van Onderwijs, Cultuur en Wetenschap. Rijksdienst voor het Cultureel Erfgoed. Online effectief met nieuw erfgoedpubliek in contact komen is makkelijker dan je denkt. H. Lensink. 2013.
Media: Tijd in kaart. Annemarie Wennekers, Jos de Haan en Frank Huysmans. Den Haag: Sociaal en Cultureel Planbureau, 2016.
McGonigal, Jane. "Engagement economy: The future of massively scaled collaboration and participation." Institute for the Future (2008).
Oomen, Johan, and Lora Aroyo. "Crowdsourcing in the cultural heritage domain:
opportunities and challenges." Proceedings of the 5th International Conference on Communities and Technologies. ACM, 2011.
Owens, Trevor. "Digital cultural heritage and the crowd." Curator: The Museum Journal 56.1 (2013): 121-130.
Ross, Joel, et al. "Who are the crowdworkers?: shifting demographics in mechanical turk." CHI'10 extended abstracts on Human factors in computing systems. ACM, 2010. Peer, Verena, and Gernot Stoeglehner. "Universities as change agents for sustainability– framing the role of knowledge transfer and generation in regional development processes." Journal of Cleaner Production 44 (2013): 85-95.
Pelling, Nick. “The (short) prehistory of “gamification.” Nanodome.wordpress. 2011. 15 augustus 2017. <https://nanodome.wordpress.com/2011/08/09/the-short-prehistory- of-gamification>
Phillips, Lori Byrd. “The Role of Open Authority in a Collective Web.” Crowdsourcing our Cultural Heritage. Ed. Mia Ridge. Farnham: Ashgate Publishing, 2014. 247-267. Randall, Patrick. "Purposeful gaming and the Biodiversity Heritage Library." Journal of
Agricultural & Food Information 17.1 (2016): 71-76.
Ridge, Mia. "From tagging to theorizing: deepening engagement with cultural heritage through crowdsourcing." Curator: The Museum Journal 56.4 (2013): 435-450.
Roth, Steffen, Dirk Schneckenberg, and Chia‐Wen Tsai. "The ludic drive as innovation driver: Introduction to the gamification of innovation." Creativity and Innovation Management 24.2 (2015): 300-306.
Smucker, Mark D. and Chandra Prakash Jethani. "The crowd vs. the lab: A comparison of crowd-sourced and university laboratory participant behavior." Proceedings of the SIGIR 2011 Workshop on crowdsourcing for information retrieval. 2011.
Siorpaes, Katharina, and Martin Hepp. "Games with a purpose for the semantic web." IEEE Intelligent Systems 23.3 (2008): 50-60.
Smorball. Tiltfactor. 15 januari 2018. <http://www.tiltfactor.org/game/smorball/>
Trant, Jennifer. Tagging, Folksonomy and Art Museums: Results of steve. museum's research. 2009.
Trant, Jennifer, and with the participants in the steve. museum project. "Exploring the potential for social tagging and folksonomy in art museums: Proof of concept." New Review of Hypermedia and Multimedia 12.1 (2006): 83-105.
Van Hall, Eric. “Mobiele trends 2017.” Mediaweb. 2016. 27 augustus 2017. https://mediaweb.nl/blog/mobiele-trends-2017/
Von Ahn, Luis. "Human computation." Proceedings of the 2008 IEEE 24th International Conference on Data Engineering. IEEE Computer Society, 2008.
Von Ahn, Luis. "Games with a purpose. Computer,(39) 6: 92-94." IEEE Computer Society CrossRef Google Scholar (2006).
Von Ahn, Luis, and Laura Dabbish. "Designing games with a purpose." Communications of the ACM 51.8 (2008): 58-67.
Weinberger, David. “Everything Is Miscellaneous: The Power of the New Digital Disorder” New York: Henry Holt and Company, 2008.
APPENDIX