HOOFDSTUK 4: HET PROCES VAN HET ONDERZOEK
4.2 Objecten en het design
5.2.2 Tags door een game element
Het tweede deel van het onderzoek naar tags ging over het toevoegen van een game element. Op deze manier kan naar het game element consensus gekeken worden dat op de resultaten kan worden toegepast. Bij het krijgen van tags door het publiek moet er een zekere mate van overeenkomst zijn. Dit is voor zowel de kwaliteit van de tags (consensus) als voor de
hoeveelheid hiervan (relevantie). Bij de afbeeldingen werden vooraf enkele tags gegeven en de gebruikers moesten de tags selecteren die ze zouden toekennen aan het schilderij. De schilderijen waren Molens bij Zaandam (1), De kindermoord in Bethlehem (2), Bakker Arent Oostwaard en zijn vrouw Catharina Keizerswaard (3) en Het vertrek van een
hoogwaardigheidsbekleder uit Middelburg (4). Tabel 13 Gekozen tags
Tags Object 1 Object 2 Object3 Object 4
Water X Y Z X Y Z
Vrouw Z X Y Z X Y Z Y Z
Kinderen X Z X Z X Y Huis X Z X Y Z X Natuur X Y Z Z Z Boom X Z Z Z Brug X Y Z Man X Z X Y Z X Y Z X Y Z Hoorn X Z Verdriet X Y Z
Uit bovenstaande tabel blijkt dat er een redelijke overeenkomst is in de gegeven tags. De gebruikers X en Z hebben veel tags aangekruist en deze zijn bij de eerste drie schilderijen redelijk overeenkomstig. Voor gebruiker Y geldt dat ook, al heeft hij weliswaar minder tags aangekruist. Er zijn wel degelijk verschillen te zien, maar dit verschil komt
hoogstwaarschijnlijk voort uit de interpretatie van het taggen. Het is vanzelfsprekend dat de bekendste of duidelijkste gebouwen, objecten of personen genoemd worden. De verschillen zitten vaak in de gedetailleerdheid van de beslissing om een woord wel of niet aan te kruisen als tag.
Hierna werd gevraagd om zelfbedachte tags te geven bij de schilderijen. Van deze reeks zal ik twee schilderijen bespreken namelijk Bakker Arent Oostwaard en zijn vrouw Catharina Keizerswaard en Het vertrek van een hoogwaardigheidsbekleder uit Middelburg.
Figuur 22 Bakker Arent Oostwaard en zijn vrouw Catharina Keizerswaard
Bron:https://commons.wikimedia.org/wiki/File:Bakker_Arent_Oostwaard_en_zijn_vrouw_Catharina_Keizerswa ard_Rijksmuseum_SK-A-390.jpeg
Tabel 14 Zelfbedachte tags Zelfbedachte tags gebruiker X Zelfbedachte tags gebruiker Y Zelfbedachte tags gebruiker Z
Brood Gezin Brood
Deur Bakker Bakker
Bladeren Beroep Verkoop
Vrolijk
Van de gegeven en zelfbedachte tags komen brood en bakker rechtstreeks overeen met de tags van het museum. Indirect komen man en vrouw overeen, deze zijn namelijk herkend als Arent Oostwaard en Catharina Keizerswaard. Tenslotte is Leiden nog toegevoegd als plaats.
Figuur 14 - Het vertrek van een hoogwaardigheidsbekleder uit Middelburg
Bron: https://commons.wikimedia.org/wiki/File:Het_vertrek_van_een_hoogwaardigheidsbekleder_(Robert_Sidney)_uit_Middelburg_- _The_Departure_of_a_Senior_Functionary_from_the_Port_of_Middelburg_(Adriaen_Pietersz._van_de_Venne).jpg
Tabel 15 Zelfbedachte tags Zelfbedachte tags gebruiker X Zelfbedachte tags gebruiker Y Zelfbedachte tags gebruiker Z
Boten Schepen Scheepvaart
Kerk Kerktoren Dieren
Paarden Vlaggen
verschillende landen
Nationaliteiten
Vogels Evenement 19de eeuw
Huizen
Uitgelatenheid
Het Rijksmuseum geeft de volgende tags: een stadsuitzicht, zeilboot/zeilschip, Middelburg en prins Maurits. Wanneer de gegeven/zelfbedachte tags vergeleken worden met die van het Rijksmuseum, dan valt op dat er weinig tags gegeven worden door het museum. Van de gegeven tags komt er een (schepen/boten) overeen. Een groot deel van de tags van de gebruikers komt overigens wel voor in de beschrijving van het schilderij.
Uit de vier afbeeldingen is op te maken dat de musea zelf weinig tags toekennen aan een schilderij. Wanneer ze dit wel doen dan gaat het voornamelijk over het onderwerp, de plaats, personen of de belangrijkste gebeurtenis die te zien is op het schilderij. De gebruikers gaven meer tags die vaak goed gedetailleerd waren en ook relevant waren voor het schilderij. Bij de zelfbedachte tags was er een redelijke consensus over de duidelijke objecten en de meeste van
de eenmalige tags voegden iets toe, zeker wanneer de eenmalige tags vergeleken worden met de beschrijvingen van het musea.
Bij de vraag welke game elementen gebruikt zouden kunnen worden om deze taak interessanter te maken, kwam naar voren dat het toevoegen van een leaderboard of het toekennen van titels zou helpen. Door gebruik te maken van deze twee elementen wordt een vorm van competitie toegevoegd en aan de titel kunnen andere spelers het niveau van andere spelers zien om te vergelijken hoe ze er zelf voorstaan.
5.3 Gebruikers
De taken werden tussen 17.00 uur en 22.00 uur Nederlandse tijd online gezet. Van de zes taken werden er vier voltooid binnen vier uur, een binnen drie uur en de laatste en kortste taak werd in twee uur afgerond. Deze tijden tonen aan dat microtaken zeer geschikt zijn voor crowdsourcing, omdat je binnen enkele uren de resultaten binnen hebt die van redelijke kwaliteit zijn.
Bij het laagste kwaliteitsniveau waren de gebruikers gemiddeld gezien vaak zeven tot negen minuten bezig. De gebruikers die serieuzer waren, zaten dichter tegen de negen minuten aan en er waren ook gebruikers die er vijf tot zes minuten over deden. Bij het middelste
kwaliteitsniveau waren er twee groepen te onderscheiden. Ongeveer de helft van de personen besteedde er een kwartier aan om antwoorden te geven. Een ander deel besteedde duidelijk langer aan de taak, namelijk zo’n vijfentwintig minuten. Een deel van deze tijd zit
hoogstwaarschijnlijk in het zoeken van de afbeelding op het web en vervolgens het zoeken naar informatie over de afbeelding zelf. De tijden van het hoogste kwaliteitsniveau zijn vergelijkbaar met het middelste kwaliteitsniveau. Er moet wel opgemerkt worden dat de groep, die er ongeveer een kwartier over deed, groter is dan de groep die er zo’n vijfentwintig minuten over deed. Er was tenslotte nog een groepje waar de tijd op zeven/acht minuten lag. De antwoorden van deze groep waren niet uitgebreid en ook niet zo bruikbaar.
Geschatte tijdsbesteding ‘eerste’ groep in minuten
Geschatte tijdsbesteding ‘tweede’ groep in minuten Laagste kwaliteitsniveau 5-6 minuten 9 minuten
Middelste kwaliteitsniveau 15 minuten 25 minuten
Hoogste kwaliteitsniveau 15 minuten 25 minuten
Op hogere kwaliteitsniveaus wordt er meer moeite gedaan voor de beschrijvingen. Dit resulteerde in het feit dat gebruikers gegevens gingen opzoeken via het internet om toch zinvolle informatie te geven. Google biedt de mogelijkheid om met afbeeldingen of met de url van een afbeelding te zoeken naar informatie of naar gerelateerde afbeeldingen, dit kan via de site www.images.google.com. Het gevolg hiervan is, dat bij de resultaten van enkele
afbeeldingen de letterlijke omschrijving van het schilderij was opgeschreven, precies te vinden was zoals die ook op de website van het betreffende museum staat geschreven. Daarnaast is ook op Google en Wikipedia naar informatie gezocht.
De gebruikers kwamen uit verschillende landen en uit de IP adressen van de gebruikers kwam naar voren dat enkele gebruikers meededen aan verschillende taken. De gebruikers kwamen voornamelijk uit landen waar de lonen lager liggen zoals Egypte, Mexico, Servië en
Venezuela. Verder waren er ook gebruikers uit India, Oekraïne, Qatar en Turkije. Van de landen die hoge lonen betalen waren alleen Italië en de Verenigde Staten vertegenwoordigd. Een reden van deze verdeling is waarschijnlijk de hoogte van de uitbetaling, die niet
interessant is voor mensen uit bijvoorbeeld de Verenigde Staten. Een andere reden is
natuurlijk het tijdstip waarop de taken online zijn gezet. De taken zijn immers rond hetzelfde dagdeel online gezet met het gevolg dat gebruikers uit sommige landen sowieso niet in aanmerking kwamen om deel te nemen door het tijdsverschil. Wanneer er teruggekeken wordt op de vier f’s van crowdsourcing, dan kan gesteld worden dat de meeste gebruikers niet meededen om de financiële beloning en ook niet omdat ze beroemd (fame) zouden worden. Het zou dan waarschijnlijk gaan omdat ze het leuk (fun) vinden of dat ze een goed gevoel (fulfillment) zouden krijgen na het afronden van de taak.
Op de vraag hoe de verhouding is tussen amateurs en professionals bij dit crowdsourcing project is het volgende te zeggen. De beschrijvingen zijn over het algemeen gezien nuttig en het zou dus mogelijk zijn om enkele van deze beschrijvingen te gebruiken. Uit de tabellen blijkt dat over het geheel van twintig schilderijen een gemiddelde overeenkomst is van 59,07% tussen de beschrijvingen van de gebruikers en die van het museum. Hier moet wel de opmerking geplaatst worden dat bij diverse schilderijen onderdelen van de beschrijving
bevatten die bij de gebruikers in de tags werden gegeven. Deze onderdelen waren vaak details die niet van belang waren bij de beschrijving, maar wel nuttig waren bij de tags.
Tabel 17 Gemiddelde overeenkomst per groep Gemiddelde overeenkomst
van
Aantal schilderijen Percentage
Alle schilderijen 20 59,07%
Betekenisvolle schilderijen 10 56,66%
Normale schilderijen 10 61,48%
Van de gemiddelde percentages valt op dat ze redelijk dichtbij elkaar liggen. Er zit slechts een kleine vijf procent verschil tussen de afbeeldingen met een diepere betekenis (56,66%) en de afbeeldingen die dat niet hebben (61,48%). Het kleine verschil tussen deze twee valt op, omdat het gevoel ontstond dat bij de schilderijen met betekenis vaker onderdelen van de beschrijving ontbraken. Getuige de voorbeelden van Aeneas bij Latinus en De zielenvisserij bleek wel dat het weinig zinvol is om zoiets te vragen bij het laagste kwaliteitsniveau. De afbeeldingen worden vaak verkeerd geïnterpreteerd waardoor gebeurtenissen, personen of de tijdsperiode foutief of niet genoemd worden.
Als de gemiddelde overeenkomst percentages per kwaliteitsniveau berekend worden, dan valt op dat het middelste kwaliteitsniveau het beste percentage heeft. Een verklaring hiervoor is waarschijnlijk dat het middelste kwaliteitsniveau grotendeels schilderijen heeft zonder een diepere betekenis (75%). Dit in tegenstelling tot het hoogste kwaliteitsniveau waar 83,3% van de schilderijen een diepere betekenis had.
Tabel 18 Gemiddelde overeenkomst per kwaliteitsniveau Gemiddelde overeenkomst
van
Aantal schilderijen Percentage
Laagste kwaliteitsniveau 6 55,81%
Hoogste kwaliteitsniveau 6 55,55%
Van de twintig gebruikte schilderijen zijn er bij twaalf schilderijen een of meerdere
onderdelen toegevoegd die in mijn ogen iets kunnen toevoegen aan de beschrijving. Met 60% is dit een mooi percentage, zeker omdat sommige schilderijen geselecteerd waren waar niet veel of helemaal niets aan toe te voegen was. Wanneer er dieper op de getallen ingegaan wordt, dan blijkt dat er op elk kwaliteitsniveau onderdelen worden toegevoegd.
Tabel 19 Aantal beschrijvingen met een toegevoegd onderdeel per kwaliteitsniveau Aantal beschrijvingen met
een toegevoegd onderdeel
Percentage
Laagste kwaliteitsniveau 3 25%
Middelste kwaliteitsniveau 5 41,6%
Hoogste kwaliteitsniveau 4 33,3%
De toegevoegde onderdelen bestonden veelal uit het geven van extra achtergrondinformatie over de periodisering of over het verhaal of de gebeurtenis die afgebeeld werd. In sommige gevallen werden ook enkele visuele elementen toegevoegd aan de beschrijving of werd informatie gegeven over een gebruikte schildertechniek. Tot slot werden er soms gevoelens opgeschreven die het schilderij opriep bij de gebruiker.
In dit hoofdstuk is ten eerste duidelijk geworden dat het gebruiken van een crowdsourcing website, in dit geval Crowdflower, nuttig kan zijn om informatie te krijgen die van redelijke kwaliteit is. Ten tweede is duidelijk dat de kwaliteit afhankelijk is van de beloning en het kwaliteitsniveau dat geselecteerd wordt. Wanneer de beloning hoger wordt en een hoger kwaliteitsniveau gebruikt wordt, dan worden de beschrijvingen beter en uitgebreider omdat men er meer tijd aan besteedt. Ten derde is de kwaliteit van de tags over het geheel gezien goed. Ze zijn relevant voor het schilderij. De meest voorkomende tags behoorden tot de persoonlijke en de feitelijke tags. De subjectieve tags kwamen niet vaak voor in de resultaten. Daarnaast bleek dat er ook een redelijke consensus was onder de gebruikers bij het toekennen van de tags. Ten vierde bleek dat de taken als game interessanter kunnen worden door een leaderboard of door titels toe te voegen. Ten vijfde bleek dat de gemiddelde overeenkomst tussen gebruiker en professional ligt op 59,07%. Dit kan als een redelijk gemiddelde beschouwd worden, aangezien de gebruikers vrijwel niets wisten van de schilderijen.