Gender Differences on Wikipedia

Genderverschillen op Wikipedia

Een verkennend onderzoek naar taalgebruik en reacties tussen

mannen en vrouwen op de discussiepagina’s van de grootste online

encyclopedie.

Sebastiaan T. Verhaar 10177914

Bachelor thesis Credits: 12 EC

Bachelor Opleiding Informatiekunde Universiteit of Amsterdam Faculty of Science Science Park 904 1098 XH Amsterdam Supervisor Dr. D. Heinhuis ILPS, IvI FNWI

Universiteit van Amsterdam Science Park 904 1098 XH Amsterdam

Inhoudsopgave

3.1.1 XML . . . 8

3.1.2 Genderdata . . . 10

3.2 Methodes . . . 11

3.2.1 Het taalgebruik van mannelijke gebruikers is negatiever dan het taalgebruik van vrouwelijke gebruikers op discus-siepagina’s van Wikipedia. . . 12

3.2.2 Mannen reageren relatief vaker op vrouwen binnen discus-siepagina’s van Wikipedia. . . 15

4 Evaluatie 16 4.1 Het taalgebruik van mannelijke gebruikers is negatiever dan het taalgebruik van vrouwelijke gebruikers op discussiepagina’s van Wikipedia. . . 16

4.2 Mannen reageren relatief vaker op vrouwen binnen discussiepa-gina’s van Wikipedia. . . 17

5 Conclusies 17 5.1 Discussie . . . 18

Samenvatting

Dit onderzoek gebruikt data mining -technieken om een verklaring te vinden voor het verschil in aantal mannen en vrouwen op discussiepagina’s van Wikipedia te vinden. Gezien het fenomeen dat minder dan 20% van de gebruikers op Wikipedia vrouw is doet vermoeden dat hier bepaalde re-denen voor zijn. Collier en Bear (2012) onderzochten dit fenomeen eerder en gaven aan dat het onder andere kwam door het feit dat vrouwen kri-tiek en conflict probeerden te vermijden. In dit onderzoek worden daarom de volgende twee hypotheses getest, gebaseerd op de twee suggesties van Collier en Bear (2012), om het verschil in aantal mannen en vrouwen op discussiepagina’s van Wikipedia te verklaren:

1. Het taalgebruik van mannelijke gebruikers is negatiever dan het taalgebruik van vrouwelijke gebruikers op discussiepagina’s van Wikipe-dia.

2. Mannen reageren relatief vaker op vrouwen binnen discussiepagina’s van Wikipedia.

Door middel van een zelfgeschreven Python-code konden uit een maan-delijkse dump van de gehele Engelstalige Wikipedia alle reacties binnen discussiepagina’s ontleed worden. Door al deze reacties te analyseren zijn deze twee hypotheses getoetst. Bij de eerste hypothese kregen alle reacties een sentiment score om de negativiteit te meten. Echter bleek dat mannen over het algemeen niet tot nauwelijks vaker negatief zijn dan vrouwen. Om te kijken of mannen vaker reageren op vrouwen zijn reacties geteld. Ook deze hypothese lijkt niet te kloppen, mannen reageren niet relatief vaker op vrouwen. Sterker nog, vrouwen reageren vaker op vrouwen en mannen op mannen. Het lijkt er dus op dat gendergroepen gevormd worden.

1

Introductie

Wikipedia is een van de grootste online communities waarin mensen op inter-net samenwerken. Op Wikipedia zijn er veel gebruikers (wikipedians) die edits maken op pagina’s. Zij maken nieuwe pagina’s, bewerken pagina’s of contro-leren bewerkingen van andere wikipedians. Achter elke pagina schuilt ook een discussiepagina. Deze discussiepagina’s dienen voor co¨ordinatie, discussies en communicaties tussen wikipedians. In tegenstelling tot veel andere websites met een community, zijn discussiepagina’s op Wikipedia dus niet bedoeld voor en-tertainment, maar om tot een consensus te komen wat leidt tot verbetering van contentkwaliteit van Wikipedia-pagina’s (Laniado et al., 2011). Echter, uit een vragenlijst waarin gender van wikipedians werd besproken, bleek dat minder dan 20% van deze wikipedians vrouw is (Glott and Ghosh, 2010).

Het is belangrijk om de vraag te stellen waardoor er zo weinig vrouwen ac-tief zijn binnen de discussiepagina’s van Wikipedia. Ligt het bijvoorbeeld aan persoonlijke voorkeur, aantrekkelijkheid van online discussi¨eren of discriminatie tussen mannen en vrouwen? Als de oorzaak beter wordt begrepen, kan wor-den uitgezocht wat een gewenste verdeling zou zijn en hoe deze te bereiken is. Een bijkomend voordeel van een gelijke verdeling van mannen en vrouwen, kan mogelijk invloed hebben op de contentkwaliteit.

Dit grote verschil tussen aantal mannen en aantal vrouwen binnen wikipe-dians heeft veel aandacht gekregen van zowel de media als onderzoekers. Voor-namelijk omdat Wikipedia geen technische gemeenschap is, waar men meer

mannen zou verwachten. Eerder genderonderzoeksliteratuur over Wikipedia

(Collier and Bear, 2012) suggereert dat dit verschil kan komen door: 1. Dat vrouwen vaker een afkeer hebben van kritische omgevingen 2. Het hoge aantal conflicten tussen wikipedians in discussies

3. Dat vrouwen vaker te weinig zelfvertrouwen hebben bij het aanpassen van andermans werk.

Er is al een aantal onderzoeken gedaan naar het analyseren van de inhoud van Wikipedia discussiepagina’s (Viegas et al., 2007) en de structuur van de discus-siepagina’s van Wikipedia (Laniado et al., 2011), maar nog niet naar het verschil tussen mannelijke en vrouwelijke inbreng op discussiepagina’s van Wikipedia. In deze thesis worden mogelijke verklaringen van Collier en Bear (2012) voor het verschil in aantal mannelijke en vrouwelijke wikipedians op discussiepagina’s van Wikipedia onderzocht. Aan de hand van de eerste twee suggesties van Collier en Bear (2012) zijn twee hypotheses opgesteld.

1.1

Kritiek

Hoewel Wikipedia erom bekend staat dat alle mensen een lemma of een aan-vulling op een lemma kunnen ‘bijdragen’ aan de gemeenschap, is het vaak zo dat ‘bijdragen’ staat voor het verwijderen of aanpassen van andermans werk. ‘Samenwerken’ betekent dus niet altijd dat iedereen collectief nieuwe informatie produceert. Vaak is ‘samenwerken’ het feit dat mensen het werk van onbekende anderen lezen, corrigeren en soms ook verwijderen. Dit betekent dat er dus ook vaak veel kritiek wordt gegeven op elkaars werk. Eerder werd genoemd dat vrouwen een grotere afkeer hebben op kritische omgevingen.

Er is al eerder onderzocht dat jongens als kind sneller kiezen voor competi-tieve spelletjes, terwijl meisjes sneller kiezen voor spelletjes zonder een winnaar (Campbell, 2013). Een verklaring hiervan is dat mannen meer houden van com-petitie. Vrouwen reageren ook anders op kritiek dan mannen. Mannen trekken zich minder aan van positieve of negatieve feedback dan vrouwen (Roberts and Nolen-Hoeksema, 1994). Vrouwen krijgen meer zelfvertrouwen van positieve feedback terwijl mannen relatief onaangedaan blijven. Bij het ontvangen van negatieve kritiek wordt het zelfvertrouwen van vrouwen aanzienlijk verlaagd ter-wijl dit van mannen wederom onaangedaan blijft (Roberts and Nolen-Hoeksema, 1994). 31% Van de Vrouwen gaven ook aan banger te zijn voor negatieve hou-dingen ten opzichte van hun werk op Wikipedia (Collier and Bear, 2012). Een verklaring voor het lage aantal vrouwelijke wikipedians op Wikipedia zou de ne-gatieve sfeer kunnen zijn waar vrouwelijke wikipedians moeilijker mee kunnen omgaan.

Hypothese 1 Het taalgebruik van mannelijke gebruikers is negatiever dan het taalgebruik van vrouwelijke gebruikers op discussiepagina’s van Wikipedia.

1.2

Conflict

Behalve dat wikipedians veel kritiek op elkaars bijdragen hebben, is er ook een hoog niveau aan conflicten. Hoewel het lijkt dat er veel wordt samengewerkt op Wikipedia, staan de discussiepagina’s vol met edit-warring: een fenomeen waar-bij wikipedians proberen andermans edits op te heffen (Cassell, 2011). Volgens Cassell moeten editors erop aandringen dat hun standpunt het enige geldige is. Eerder onderzoek heeft aangetoond dat vrouwen sneller geneigd zijn om conflicten te vermijden dan mannen (Brewer et al., 2002).

Uit eerder onderzoek bleek ook dat vrouwen vergeleken met mannen sneller angst ervaren als ze in een conflictsituatie zitten. Dat blijkt onder andere uit een verhoogde hartslag (Smith et al., 1998). Het onderzoek toonde zelfs aan dat vrouwen onderhandelingen en conflicten zelfs vermijden als het gaat om hoge bedragen. Zo is een vrouw is bereid ongeveer $1300,- meer te betalen voor een auto om onderhandelingen over de prijs te vermijden (Babcock and Laschever, 2009). Dit kan een aanwijzing zijn van het feit dat er zo weinig vrouwelijke wikipedians zijn.

Conflicten zijn binnen discussiepagina’s onvermijdelijk. Echter, eerder on-derzoek toont aan vrouwen niet slechts meer geneigd zijn om conflict te vermij-den, maar dat ze ook eerder op hun gedrag worden aangesproken dan mannen. Brescoll en Uhlmann (2008) toonden aan dat wanneer een vrouw woede uit, dit relatief minder wordt gewaardeerd en zelfs harder bestraft wordt dan wanneer een man woede uit. Een verklaring voor het geringe percentage vrouwen binnen discussiepagina’s zou kunnen zijn dat mannen sneller vrouwen bestraffen op dit forum en vrouwen deze conflicten proberen te vermijden. Als dit zo zou zijn, dan betekent het dat mannen relatief vaker op vrouwen reageren dan vrouwen op mannen reageren.

Hypothese 2 Mannen reageren relatief vaker op vrouwen binnen discussiepa-gina’s van Wikipedia.

2

Gerelateerd Werk

Er is al eerder onderzoek gedaan naar het verschil in gender op Wikipedia. Door middel van vragenlijsten is onderzocht wat het verschil is tussen mannelijke en vrouwelijke wikipedians. Hieruit kwam dat 16,1% van de editors op de online encyclopedie vrouwelijk is (Hill and Shaw, 2013). In Amerika lag dit wel een hoger, 23% van de wikipedians is hier vrouw.

Viegas et al. (2007) onderzochten 25 willekeurige discussiepagina’s uit een dump uit 2005 van de Engelstalige Wikipedia. Een dump is een complete

ko-pie van Wikipedia in de vorm van XML. Zij cre¨eerden 11 categorie¨en waarin

gebruikers die content op discussiepagina’s plaatsten ingedeeld konden worden. De meest voorkomende categorie was request for coordination binnen de discus-siepagina’s. Dit houdt in dat men wil overleggen over informatie die al eerder gedeeld is en co¨ordineren wat juiste en wat onjuiste informatie is. Dit is dan ook de functie van de desbetreffende pagina’s. Op de tweede plaats stond request for information. Dit zijn gebruikers die geen intentie hebben om artikelen aan te passen, maar kennis willen opdoen van andere mensen via de discussiepa-gina’s. Viegas et al. (2007) ondervonden dat conversaties op discussiepagina’s redelijk geformaliseerd zijn en speciale etiquette aanhouden. Voorbeelden van etiquetteregels zijn niet schelden en geen racisme.

Laniado et al. (2011) deden een uitgebreide analyse van de discussiepagina’s, van artikelen en van gebruikers. De focus lag op het detecteren van structurele patronen van interactie op de pagina’s. Door te zoeken naar de reacties die gebruikers gaven op discussiepagina’s of op andere gebruikers werd een netwerk opgebouwd. Zij concludeerden dat gebruikers die veel outgoing links hebben vaak reageren op gebruikers met weinig outgoing links en vice versa. Een out-going link is een link die verwijst naar een andere pagina. Ervaren gebruikers reageren dus vaak op onervaren/nieuwe gebruikers. Ook werd er gekeken naar de grootte en vorm van de discussies op de discussiepagina’s door te onderzoeken naar het netwerk dat ontstond. Een voorbeeld is dat bij het lemma Wiskunde er heel uitgebreid werd gediscussieerd maar er weinig verschillende gebruikers dis-cussieerden en er relatief minder edits werden gedaan aan het corresponderende artikel dan men zou verwachten.

Kittur et al. (2007) gebruikten berekenbare metriek en standaard machine learning technieken om zo succesvol het niveau van conflict in een artikel te voorspellen. Op pagina’s waar wellicht een heftige discussie plaats zou kunnen vinden kwam een marker ”controversial”. Deze marker werd gebruikt voor het berekenen van de Controversial Revision Count (CRC). Op de pagina’s met een score van hoger dan 0 werden de uitkomsten vergeleken. Dit waren:

• Aantal revisies (discussiepagina) ↑ • Aantal kleine edits (discussiepagina) ↑ • Aantal unieke gebruikers (discusiepagina) ↓ • Aantal revisies (artikelpagina) ↑

• Aantal unieke gebruikers (artikelpagina) ↓ • Aantal anonieme edits (discussiepagina) ↑

• Aantal anonieme edits (artikelpagina) ↓

De pijlen erachter geven aan of de mate van conflict een positieve (↑) of negatieve (↓) correlatie heeft met het desbetreffende punt. Dit houdt dus in dat hoe meer revisies en anonieme edits op discussiepagina’s hoe meer conflict er gemeten werd. Het aantal verschillende wikipedians binnen pagina’s correleert negatief met de mate van conflict. Met deze training set konden Kittur et al. (2007) succesvol conflicten voorspellen op Wikipediapagina’s, zelfs als ze geen controversial marker hadden en dus niet als pagina met potentie voor heftige discussie werden gemarkeerd. Hoewel dit onderzoek zich wel verdiept in de mate van conflict binnen discussies wordt er nog niet gekeken naar het verschil hierin tussen mannen en vrouwen.

Er is dus al gekeken naar de redenen voor het gebruik van discussiepagina’s. Men gebruikt discussiepagina’s voornamelijk om te co¨ordineren met anderen wat juiste en wat onjuiste informatie is op Wikipedia pagina’s. Ook is onderzocht dat er formeel gepraat wordt en dat men zich moet houden aan bepaalde regels omtrent taalgebruik op discussiepagina’s. Ten derde is het fenomeen onderzocht dat ervaren gebruikers vaker reageren op onervaren gebruikers wat samen met het onderzoek van Kittur et al. (2007) kan betekenen dat als ervaren gebruikers vaker op onervaren vrouwen reageren, dit kan betekenen dat het hoogdrempelig is voor vrouwen om binnen te stappen als wikipedians vanwege de afkeer van conflict. Er is nog geen eerder onderzoek gedaan naar verschillen tussen mannen en vrouwen omtrent de kritische sfeer of mate van conflict binnen discussiepa-gina’s van Wikipedia.

3

Methodologie

Om te onderzoeken wat mogelijke verklaringen zijn voor voor het verschil in aantal mannelijke en vrouwelijke wikipedians zal alle historische data van engels-talige Wikipedia worden bekeken. In alle tekst van de discussiepagina’s wordt gezocht naar losse reacties van gebruikers die gekoppeld worden aan een gebrui-ker en geslacht. Vervolgens worden alle reacties gebruikt om de twee hypotheses te testen. Voor de eerste hypothese wordt gekeken naar de inhoud van een re-actie, d.w.z. dat er analyses worden gedaan op de woorden die de gebruikers hebben daadwerkelijk zelf hebben getypt. Voor de tweede hypothese is vooral metadata van reacties belangrijk. Metadata zijn gegevens die de karakteristie-ken van bepaalde andere gegevens beschrijven. Het is namelijk belangrijk om te weten op wie er gereageerd wordt zodat er bepaald kan worden of een man bijvoorbeeld op een vrouw reageert of vice versa.

3.1

Beschrijving van de data

De grootte van de Wikipedia dataset zorgde voor moeilijkheden bij een volledige analyse over alle artikelen, revisies en gebruikers. Dit is ook de reden dat de meeste onderzoeken slechts een klein gedeelte van de data gebruiken. Dit zorgt er echter wel voor dat er problemen ontstaan omdat het moeilijk is om een (willekeurige) selectie te maken van de volledige dataset die representatief is voor het geheel. De verdeling van revisies per artikel volgt namelijk een machtsfunctie en is dus geen normaalverdeling (Buriol et al., 2006). Ook kan het zo zijn dat

binnen ´e´en subsectie van de gehele dataset een bepaald aantal artikelen zit die meer gericht zijn op mannen of vrouwen, waardoor het zoeken van een verschil tussen bepaalde subsecties een vertekend beeld geeft over de gehele dataset.

Om de paar weken publiceert Wikimedia een kopie (een dump) van alle Wiki’s in de vorm van de bron van de tekst met de metadata ge¨ıntegreerd in XML. De totale eenheid aan data bedraagt 800 gigabytes aan gecomprimeerde

data. Voor dit onderzoek is de volledige history dump van de Engelstalige

Wikipedia gebruikt, die gegenereerd was op 5 Maart 2016. Een Python-script is gebruikt om de data van de website op te slaan. Gezien de grootte van de gehele dataset duurde het opslaan van de data meer dan 48 uur.

3.1.1 XML

Door de XML-opbouw was het mogelijk metadata uit de data te krijgen. De XML-data bestond uit pages. Een page, of pagina, heeft een namespace in de vorm van een nummer, dat aangeeft wat voor soort pagina het is. Even nummers staan voor type pagina’s en de oneven nummers staan voor de discussiepagina’s van deze pagina’s, waar gebruikers kunnen discussi¨eren over het onderwerp van de type pagina. Een voorbeeld is namespace 0. Dit nummer staat voor een artikel pagina. Dit zijn dus de pagina’s waar men informatie leest over een bepaald onderwerp, zoals het onderwerp ’Algeria’. Namespace 1 van deze pagina staat dan voor de discussiepagina van het artikel Algeria. Namespace 2 staat voor een gebruikerspagina, zoals de gebruiker ”Musa Raza”, met namespace 3 als bijbehorende discussiepagina. Zie figuur 1 voor alle namespaces.

Voor dit onderzoek is slechts gezocht binnen namespace 1, de discussiepa-gina’s van artikelen. Binnen deze padiscussiepa-gina’s zitten een id, name en meerdere revisies. Elke revisie staat voor een aanpassing aan de pagina. Dit kan dus zijn dat een gebruiker iets toevoegt of verwijdert. Zelfs als er slechts een kleine aan-passing wordt gemaakt, waar bijvoorbeeld maar ´e´en woord wordt toegevoegd/-verwijderd, dan komt er een nieuwe revisie bij die de volledige tekst (inclusief aanpassing) opslaat. Elke revisie bestaat uit onder andere een id, parentid, contributor (bestaande uit een username en id ) en tekst. Er staan meerdere tags binnen een revisie, maar die zijn niet van belang voor dit onderzoek. Elke keer als een gebruiker iets aanpaste aan de discussiepagina werd al deze data opgeslagen als revisie.

Figuur 1: Alle mogelijke namespaces

Het onderstaande blok met code is een XML-fragment van de discussiepagina van Algeria. Het voorbeeld is bewerkt om het proces van vergaren van de data beter uit te leggen. In figuur 2 is te zien hoe de bijbehorende pagina eruit zou zien op Wikipedia.

Listing 1: XML Opbouw Discussiepagina

< p a g e > < ns > 1 < / ns > < id > 354 < / id > < r e v i s i o n > < id > 6 9 2 6 8 0 2 4 9 < / id > < p a r e n t i d > 6 9 2 6 8 0 0 9 0 < / p a r e n t i d > < c o n t r i b u t o r > < u s e r n a m e > M u s a R a z a < / u s e r n a m e >

< id > 2 5 1 3 6 7 4 1 < / id > < / c o n t r i b u t o r >

< t e x t x m l : s p a c e = " p r e s e r v e " > == C l i m a t e ==

O f f i c i a l maybe , but g i v e n t h a t El - A z i z i a in n e i g h b o u r i n g L i b y a has a p p a r e n t l y r e c o r d e d 58^ C ( 1 3 6 . 4 ^ F ) , I t h i n k one of two t h i n g s is true , E i t h e r A l g e r i a s f i g u r e is too low , or El A z i z i a s is too h i g h . A d i f f e r e n c e of 7 . 4 ^ C b e t w e e n the two n a t i o n a l r e c o r d s is s i m p l y not c r e d i b l e in my v i e w . - P r e c e d i n g [[ W i k i p e d i a : S i g n a t u r e s | u n s i g n e d ]] c o m m e n t a d d e d by [[ U s e r : M e l t i n g p o t | M e l t i n g p o t ]] ([[ U s e r t a l k : M e l t i n g p o t | t a l k ]] - [[ S p e c i a l : C o n t r i b u t i o n s M e l t i n g p o t | c o n t r i b s ]]) 11 :35 , 2 S e p t e m b e r 2 0 1 0 ( UTC ) [[ U s e r : M e l t i n g p o t | M e l t i n g p o t ]] ([[ U s e r t a l k : M e l t i n g p o t | t a l k ]]) 11 :36 , 2 S e p t e m b e r 2 0 1 0 ( UTC ) < / t e x t > < / r e v i s i o n > < / p a g e >

Figuur 2: Voorbeeld van wiki pagina bijbehorend aan listing 1. Wikipedia

pagina is ingekort om aan voorbeeld te voldoen.

3.1.2 Genderdata

Naast de dump is er ook een dataset gebruikt met gebruikersinformatie. In deze dataset stonden user ID ’s met daarnaast de gender, male of female. Hoewel in deze dataset het geslacht van 628.864 gebruikers stond, stonden niet alle gebrui-kers erin. Als de gender van gebruigebrui-kers niet was vermeld, werd dat opgeslagen als None.

3.2

Methodes

Vanwege de grote hoeveelheid aan data was het belangrijk om de data op te schonen. De data is eerst opgedeeld in 10 verschillende mappen, daarna ge¨ımporteerd en verwerkt met Python (Van Rossum et al., 2007) en opgeslagen in een Pandas DataFrame-structuur. Dit lijkt op de vorm van een tabel met rijen en kolommen. Om te voorkomen dat de dataset te groot zou worden is er gefilterd op een aantal kenmerken zodat onnodige data niet meegenomen zou worden. Ten eerste werd er, zoals eerder genoemd, slechts gekeken naar names-pace 1, zodat alleen discussiepagina’s meegenomen werden in de dataset en geen andere pagina’s. Ten tweede was het van belang dat een gebruiker daadwerkelijk iets heeft moeten toevoegen. Als er slechts iets op de pagina was verwijderd, werd deze ook niet meegenomen als record.

De derde filter was het zoeken van de toegevoegde tekst. Een reactie van een gebruiker komt niet altijd onderaan de revisie-tekst te staan. Als er wordt gereageerd op een bericht dat ergens midden in de tekst staat, dan staat de reactie onder haar parent in de tekst. Wel is het zo dat na elke reactie, de gebruikersnaam van de desbetreffende persoon genoteerd staat. Voor maart 2003 stond hier slechts de gebruikersnaam genoteerd, maar hierna werd ook de datum van de reactie erbij gezet.

Listing 2: Reactie van TUF-KAT voor 01-03-2003

S h o u l d t h e s e p a g e s be r e o r g a n i z e d s o m e h o w now t h a t we d o n t use s u b p a g e s ? It d o e s n t s e e m l i k e a v e r y e f f i c i e n t way of o r g a n i z i n g the i n f o ... [[ U s e r : T U F - KAT | Tuf - Kat ]]

Listing 3: Reactie van CatherineMunro na 01-03-2003

Ive b e g u n c o m p i l i n g all [ . . . ] to s y n o p s e . . . ! [[

U s e r : C a t h e r i n e M u n r o | C a t h e r i n e ]] 19 :32 Mar 15 , 2 0 0 3 ( UTC )

Bij het ontleden van de tekst uit de volledige revisie is vanwege de net ge-noemde reden gekeken naar de nieuwe en oude methode van noteren. Als er geen (UTC) in de tekst stond, dan betekende dit dat de oude manier van note-ren werd gebruikt en werd er gekeken naar de laatste keer dat de desbetreffende username in de tekst voorkomt. Stond (UTC) er wel in, dan werd er gekeken naar de datum achter de reactie en of die overeenkomt met de timestamp van de Revisie. Listing 2 is een voorbeeld van een reactie in XML voor 1 maart 2003 waarin geen (UTC) staat en geen datum. Listing 3 is een voorbeeld van een reactie na 1 maart 2003 waarin wel (UTC) staat en ook een datum en tijd van de reactie. Het volgende algoritme is in Python geschreven om te kijken wat de reactie was van de gebruiker. Het kon ook zijn dat er geen reactie werd gevonden, dan werd deze revisie niet meegenomen.

Listing 4: Python algoritme dat gebruikt is om reacties te ontleden uit tekst.

def f i n d T e x t ( text , u s e r n a m e , d a t e ) : if ’ ( UTC ) ’ in t e x t : t i m e = d a t e . s p l i t ( ’ T ’ ) t i m e l i s t = t i m e [ 1 ] . s p l i t ( ’ : ’ ) t i m e = t i m e l i s t [0] + ’ : ’ + t i m e l i s t [1] t e x t S p l i t t e d = t e x t . s p l i t ( " ( UTC ) " ) s a i d B y U s e r = [ p i e c e for p i e c e in t e x t S p l i t t e d if t i m e in p i e c e ] if len ( s a i d B y U s e r ) > 0:

TextID PageID UserID UserName Date Text Gender ParentID

Tabel 1: DataFrame koppen

s a i d B y U s e r = s a i d B y U s e r [0] e l s e : s a i d B y U s e r = N o n e e l i f not u s e r n a m e : s a i d B y U s e r = N o n e e l i f u s e r n a m e in t e x t : s p l i t t e d = t e x t . s p l i t ( " ]] " ) a l l S a i d B y U s e r = [ p i e c e for p i e c e in s p l i t t e d if u s e r n a m e in p i e c e ] s a i d B y U s e r = a l l S a i d B y U s e r [ -1]. s p l i t ( ’ [[ ’ ) if len ( s a i d B y U s e r ) > 0: s a i d B y U s e r = s a i d B y U s e r [0] e l s e : s a i d B y U s e r = N o n e e l s e : s a i d B y U s e r = N o n e r e t u r n s a i d B y U s e r

Elke UserID werd vergeleken met de gender data. De gebruiker kreeg dan de bijbehorende gender die in deze dataset stond. Als de gebruiker hier niet bij stond, betekende dit dat er geen gender bekend was en kreeg de gebruiker None als gender.

Uiteindelijk werd er een DataFrame gemaakt met de volgende kolommen: Elke rij in dit DataFrame stond voor een aanpassing (lees toevoeging) aan een discussiepagina. Onnodige data werd door deze filters niet meegenomen, waardoor de grootte van de dataset aanzienlijk kleiner werd, namelijk ongeveer 3 gigabytes. In totaal zijn er van de dump meer dan 400.000 discussiepagina’s gebruikt, ongeveer 4,4 miljoen toevoegingen geschreven door 238.915 gebrui-kers. Deze verkleinde dataset maakte het inspecteren en analyseren van verschil tussen gebruikers op discussiepagina’s mogelijk zonder het gebruik van te veel geheugen en capaciteit.

Zoals eerder genoemd, zijn er om verschil in gebruik van discussiepagina’s van Wikipedia tussen mannelijke en vrouwelijke Wikipedians te meten twee verschillende hypotheses bedacht. In de eerste hypothese wordt gekeken naar negativiteit in taalgebruik van mannelijke ten opzichte van vrouwelijke gebrui-kers op discussiepagina’s van Wikipedia.

3.2.1 Het taalgebruik van mannelijke gebruikers is negatiever dan

het taalgebruik van vrouwelijke gebruikers op discussiepagina’s van Wikipedia.

Om negativiteit te meten van een stuk tekst is er een sentimentanalyse van Pat-tern (Smedt and Daelemans, 2012) gebruikt. Sentimentanalyse gaat over het computationeel benaderen van emoties en subjectiviteit in teksten (Pang et al., 2008). Om sentiment te berekenen kan het in verschillende klassen opgedeeld worden. Een tekst kan positief, negatief of neutraal zijn of een tekst kan pun-ten verdeeld krijgen over verschillende emoties zoals vreugde, verdriet, woede,

verbazing, walging en angst. Voor het berekenen van sentiment in dit verslag is een tweeschalige meting gebruikt (positief en negatief). Dit wordt ook wel polariteit-classificatie genoemd (Schrauwen, 2010). Bij het gebruik van de mo-dule op de tekst van een reactie op een discussiepagina kwamen er twee getallen uit de berekening. Het eerste getal zit tussen -1 en 1, waarbij 1 heel positief is en -1 heel negatief. Het tweede getal gaf subjectiviteit aan en zat tussen 0 en 1, waarbij 0 volledig objectief is en 1 volledig subjectief is.

Voor het doeleinde van het onderzoek werd er niet gekeken naar de objec-tiviteit van de tekst, maar slechts naar de sensiobjec-tiviteit. Elke gebruiker kreeg voor al zijn/haar geplaatste berichten op de discussiepagina’s een sensitiviteits-score. Om te zien of mannen vaker negatieve berichten plaatsen dan vrouwen is er gekeken naar welk percentage berichten per gebruiker onder een bepaalde negativiteitsgrens zit. In andere woorden, een gebruiker krijgt een getal tussen de 0 en 1 dat aangeeft welk percentage van zijn/haar berichten negatief is. Om te bepalen wanneer een bericht negatief is wordt de sentimentscore gebruikt. Drie verschillende negatieve grenslijnen zijn onderzocht. Een bericht wordt als negatief beoordeeld als het sentiment lager of gelijk is als -0,5, -0,25 of -0,1.

Figuur 3: Percentage gebruikers met X% of meer van de berichten met sentiment van -0,1 of lager.

Figuur 4: Percentage gebruikers met X% of meer van de berichten met sentiment van -0,25 of lager.

Figuur 5: Percentage gebruikers met X% of meer van de berichten met sentiment van -0,5 of lager.

Per negativiteitsgrens is te zien dat de lijn bij mannen procentueel hoger ligt dan vrouwen. Echter is duidelijk te zien dat de plotselinge dalingen op de y-as bij een x-waarde van 0,25, 0,33 en 0,5 ermee te maken heeft dat veel gebruikers in totaal 2, 3 of 4 berichten hebben, waarvan 1 bericht onder de negativiteitsgrens scoort qua sentiment. In andere woorden, veel gebruikers hebben in totaal twee berichten geplaatst waarvan de helft (dus ´e´en bericht) negatief is. Dit zorgt voor de plotselinge verschuiving van de lijn.

Bij een negativiteitsgrens van -0.1 is er een significant verschil tussen mannen en vrouwen (Mann-Whitney U=3392,5, p<0.00002) (figuur 3) waarbij mannen vaker negatief zijn dan vrouwen. Minder dan 75% van alle mannen heeft nog nooit een bericht geschreven met een sentiment kleiner of gelijk aan -0.1. Bij vrouwen is dit ongeveer 78%. Ongeveer 5% van de vrouwen en 6% bij de mannen heeft al zijn/haar berichten onder de negativiteitsgrens. Veel van deze mensen hebben slechts 1 bericht gepost.

Bij een negativiteitsgrens van -0.25 is er ook een significant verschil te vinden (Mann-Whitney U=3572,5, p<0.0001). Ook met een medium strenge negativi-teitsgrens zijn mannen dus vaker negatief dan vrouwen. De lijnen in figuur 4 liggen wel wat dichter bij elkaar, dus de p-waarde is ongeveer 5 keer groter, maar nog steeds klein genoeg. We zien overigens dat ongeveer 87% van de mannen nog nooit een bericht heeft gepost met een sentiment onder deze negativiteitsgrens. Bij de vrouwen is dit 89%.

Bij de laatste negativiteitsgrens van -0.5 is ook een significant verschil te vinden (Mann-Whitney U=3793,5, p<0.001). Er is wel te zien in figuur 5 dat de lijnen nu bijna tegen elkaar liggen. Dit valt ook af te lezen aan de p-waarde, die 10 keer hoger is dan de p-waarde van de middelste negativiteitsgrens. Overigens

heeft 95% van de mannen geen enkel bericht met zo’n laag sentiment. Bij

vrouwen is dit 95,5%.

3.2.2 Mannen reageren relatief vaker op vrouwen binnen

discussie-pagina’s van Wikipedia.

Om te meten of mannen vaker reageren op andere gebruikers dan vrouwen zijn reacties geteld. Er zijn in totaal drie verschillende genders gebruikt: man, vrouw en onbekend. Als een wikipedian een bericht plaatste op een discussiepagina, waren er vier verschillende reactiemogelijkheden. Het kan zijn dat niemand reageert op dit bericht, het kan zijn dat een man reageert op dit bericht, het kan zijn dat een vrouw reageert en het kan zijn dat iemand met een onbekend gender reageert op dit bericht. In totaal zijn er 4.392.089 berichten geteld. Zie figuur 6 voor een tabel met aantallen.

Man Vrouw Onbekend Som

Geen reactie 448.885 36.808 1.523.875 2.009.588

Reactie van man 252.255 9.410 304.929 566.594

Reactie van vrouw 9.136 11.727 23.443 44.306

Reactie van onbekend 312.123 12.879 1.435.599 1.771.601

Som 1.022.399 81.844 3.287.846 4.392.089

Figuur 6: Aantal berichten geplaatst door gender x met reactie van gender y. In het belang van het onderzoek is er niet gekeken naar berichten en reacties

Man Vrouw Som

Reactie van man 252.255 9.410 261.665

Reactie van vrouw 9.136 11.727 20.836

Som 261.391 21.137 282.528

Figuur 7: Geobserveerde data.

Man Vrouw Som

Reactie van man 242.089 19.576 261.665

Reactie van vrouw 19.302 1.561 20.836

Som 261.391 21.137 282.528

Figuur 8: Berekende expected data.

van onbekend gender en berichten zonder reactie. Dit verkleint de set naar 282.528 getelde teksten. In figuur 7 zien we de geobserveerde data van alle discussiepagina’s op Wikipedia en in figuur 8 zien we de expected data. De nulhypothese H0 stelt dat er geen significant verschil zal zijn tussen de geobserveerde en de expected data.

Uit deze matrix komt een chi-squared van 77.276 (df=2, p <0.00001) wat ervoor zorgt dat de H0 verworpen kan worden en er dus wel een statistisch significant verschil aangetoond is. Deze hoge significantie komt onder andere door de grootte van de data. Ook bij de G-test (Woolf, 1957) komt een waarde van 40.599 (df=2, p <0.00001). Deze hoge waarde komt voornamelijk omdat mannen relatief weinig op vrouwen reageren en vrouwen ook relatief weinig op mannen.

4

Evaluatie

Het fenomeen dat minder dan 20% van de wikipedians vrouw blijkt te zijn wakkert de vraag aan wat hier voor de verklaring is. Het doel van dit onderzoek was om een mogelijke verklaringen te vinden voor het verschil in aantal mannelijke en vrouwelijke wikipedians op de discussiepagina’s van Wikipedia. Uit eerdere genderonderzoeks-literatuur bleek dat vrouwen een grotere afkeer hebben van kritische omgevingen en proberen conflicten bij discussies te vermijden. Daarom is deze vraag opgedeeld in twee hypotheses. Om kritische omgevingen te meten wordt eerst gekeken naar verschil in negatief taalgebruik tussen mannelijke en vrouwelijke gebruikers op discussiepagina’s van Wikipedia. Om de mate van conflict te meten wordt vervolgens gekeken naar de hoeveelheid reacties tussen mannelijke en vrouwelijke gebruikers.

4.1

Het taalgebruik van mannelijke gebruikers is

negatie-ver dan het taalgebruik van vrouwelijke gebruikers op

discussiepagina’s van Wikipedia.

Door een vooraf gedefinieerde negativiteitsgrens te stellen is er gekeken hoeveel ge-bruikers een X-percentage van zijn/haar berichten onder deze negativiteitsgrens heeft zitten. Voor het onderzoek zijn 3 verschillende grenslijnen gesteld. In elke grens was een significant verschil tussen mannen en vrouwen te vinden, echter is duidelijk te zien dat hoe negatiever de grens gesteld wordt hoe minder groot het verschil tussen man-nen en vrouwen. Er zou dus gesteld kunman-nen worden dat vrouwen even vaak extreem negatieve dingen zeggen als mannen, echter komt dit in het totaal niet vaak voor. Wel zijn mannen vaker gematigd negatiever dan vrouwen, alhoewel dit nog niet eens heel

negatief is. Dit komt slechts gedeeltelijk overeen met de verwachtingen. Er werd na-melijk wel verwacht dat mannen wat negatiever zouden zijn dan vrouwen echter geldt dit alleen als de negativiteitsgrens redelijk soepel is.

4.2

Mannen reageren relatief vaker op vrouwen binnen

discussiepagina’s van Wikipedia.

Door berichten en reacties te tellen kan gekeken worden naar verschillen tussen mannen en vrouwen. Als er geen verschil tussen mannen en vrouwen wordt verwacht, betekent dit dat het aantal reacties op mannen en vrouwen eerlijk verdeeld wordt aan de hand van het aantal berichten van mannen en vrouwen. In andere woorden: mannen zouden relatief even vaak op vrouwen moeten reageren als vrouwen op mannen. Echter, het blijkt dat dit niet waar is en kan er gesteld worden dat er wel een verschil is. Door te kijken naar figuur 7 zien we dat vrouwen vooral vaak op vrouwen reageren en mannen op mannen. Mannen reageren relatief het minst vaak op vrouwen (2% van alle reacties die mannen plaatsen zijn op berichten geplaatst door vrouwen). Dit is niet wat verwacht werd aan de hand van eerder onderzoek. Hieruit zou geconcludeerd kunnen worden dat mannen niet vaak kritiek leveren op vrouwen.

5

Conclusies

Voor het eerst is er onderzoek gedaan naar genderverschillen op discussiepagina’s van Wikipedia. Vooraf werd er gesuggereerd dat het grote verschil tussen aantal mannen en vrouwen op Wikipedia pagina’s kan komen door:

1. Dat vrouwen vaker afkeer hebben van kritische omgevingen 2. Het hoge aantal conflicten tussen Wikipedians in discussies

3. Dat vrouwen vaker te weinig zelfvertrouwen hebben bij het aanpassen van an-dermans werk.

In dit onderzoek is slechts gekeken naar de eerste twee suggesties. De resultaten laten aan de hand van twee hypotheses zien dat beide suggesties niet volledig kloppen. De reden dat er minder vrouwen participeren op discussiepagina’s van Wikipedia vanwege hun afkeer van kritische omgevingen klopt niet geheel, aangezien mannen nauwelijks vaker negatief zijn dan vrouwen. De tweede suggestie, waarin wordt gezegd dat het hoge aantal conflicten binnen discussiepagina’s ervoor zorgt dat er minder vrouwelijke wikipedians zijn, klopt ook niet geheel. Het lijkt er eerder op dat er gendergroep-jes worden gevormd. Een logische reden hiervoor zou kunnen zijn dat mannen zich voornamelijk bezig houden met mannelijke onderwerpen en vrouwen met vrouwelijke onderwerpen. Dit onderzoek sluit dus niet volledig aan bij de eerste twee suggesties van (Collier and Bear, 2012). Dit betekent dus dat er nog geen verklaring is voor het verschil in aantal mannelijke en vrouwelijke wikipedians. De resultaten van dit onderzoek tonen daarom aan dat er behoefte is aan meer theoretisch onderzoek om verklaringen te vinden omtrent het grote verschil tussen aantal mannen en vrouwen.

In de praktijk hoeft er weinig te veranderen qua negativiteit binnen discussiepa-gina’s. Wel is het zo dat mannen vaak reageren op andere mannen en vrouwen op andere vrouwen. Daarom lijkt het erop dat als vrouwen toch een minder negatieve sfeer prefereren, niet alleen mannen positiever moeten zijn maar ook vrouwen zelf. Dit is ook belangrijk omdat meer dan 55% van de reacties op vrouwen van andere vrouwen zijn (reacties van een onbekend geslacht niet meegenomen). Er ontstaat in wezen een Wikipedia-cultuur waarin het normaal is om vooral op dezelfde sekse te reageren. Er wordt vanuit deze cultuur niet gestimuleerd om meer samen te werken met het andere geslacht, noch positieve feedback te geven. De mannen en vrouwen van Wikipedia lijken er op dit moment niet mee te zitten. Toch kan het belangrijk zijn

om een meer gelijke verdeling te hebben. Behalve dat het binnen financi¨ele bedrijven belangrijk is om een gelijke verdeling te hebben voor een beter resultaat (Campbell and M´ınguez-Vera, 2008), kan het ook bijdragen aan meer co¨ordinatie en controle, een betere werkomgeving en meer motivatie (Desvaux et al., 2008).

Een mogelijke oplossing kan zijn om meer artikelen over vrouwen te beginnen, waardoor meer vrouwen zich aangetrokken voelen om daar aan mee te werken. Dit zorgt niet voor meer collaboratie tussen mannen en vrouwen, maar wellicht wel voor een hoger aantal vrouwen. Tenslotte zou het kunnen zijn dat het slechts tijd nodig heeft voordat het vrouwelijke aandeel binnen Wikipedia stijgt. Hoe dan ook, tot die tijd zal de vrouwelijke kennis zich beperkt houden tot artikelen waar voornamelijk vrouwen actief zijn en mannelijke kennis tot artikelen waar mannen actief zijn.

5.1

Discussie

Voor dit onderzoek is slechts gekeken naar gebruikers die bekend waren als man of vrouw. Als het geslacht van een gebruiker niet bekend was dan werd deze niet mee-genomen. Een idee zou kunnen zijn om dit ook mee te nemen in het onderzoek om te kijken of de onbekende groep hetzelfde is als het gemiddelde van mannen en vrouwen, of juist hierbuiten valt. Is men bijvoorbeeld negatiever of kritischer tegen gebruikers die hun geslacht anoniem willen houden? Een ander onderwerp wat nader onderzocht kan worden is het feit of genders negatiever zijn tegenover het andere geslacht. Het kan bijvoorbeeld zijn dat mannen negatiever zijn tegen vrouwen dan tegen andere mannen, of vice versa. Dit zou een verklaring kunnen zijn van de ondervertegenwoordiging van vrouwen. Daarnaast is het interessant om te onderzoeken naar verschil in activiteit binnen verschillende onderwerpen. Zijn mannen bijvoorbeeld actiever dan vrouwen in mannelijke onderwerpen en vrouwen in vrouwelijke onderwerpen? Bij een lemma zoals Zwangerschap zijn wellicht voornamelijk vrouwen actief.

5.2

Erkenning

Voor het schrijven van dit onderzoek wil ik graag mijn ouders allebei bedanken. Zonder hen was ik niet zo ver gekomen!

Referenties

Linda Babcock and Sara Laschever. Women don’t ask: Negotiation and the gender divide. Princeton University Press, 2009.

Neil Brewer, Patricia Mitchell, and Nathan Weber. Gender role, organizational status, and conflict management styles. International Journal of Conflict Management, 13 (1):78–94, 2002.

Luciana Buriol, Carlos Castillo, Debora Donato, Stefano Leonardi, and Stefano Mil-lozzi. {Temporal Evolution of the Wikigraph}. 2006.

Anne Campbell. A mind of her own: The evolutionary psychology of women. OUP Oxford, 2013.

Kevin Campbell and Antonio M´ınguez-Vera. Gender diversity in the boardroom and firm financial performance. Journal of business ethics, 83(3):435–451, 2008.

Justine Cassell. Editing wars behind the scenes, 2011. URL http://www. nytimes.com/roomfordebate/2011/02/02/where-are-the-women-in-wikipedia/ a-culture-of-editing-wars.

Benjamin Collier and Julia Bear. Conflict, criticism, or confidence: an empirical exami-nation of the gender gap in wikipedia contributions. In Proceedings of the ACM 2012 conference on computer supported cooperative work, pages 383–392. ACM, 2012.

Georges Desvaux, Sandrine Devillard-Hoellinger, and Mary C Meaney. A business case for women. The McKinsey Quarterly, 4:26–33, 2008.

R Glott and R Ghosh. Analysis of wikipedia survey data: Age and gender differences, 2010.

Benjamin Mako Hill and Aaron Shaw. The wikipedia gender gap revisited: Characte-rizing survey response bias with propensity score estimation. PloS one, 8(6):e65782, 2013.

Aniket Kittur, Bongwon Suh, Bryan A Pendleton, and Ed H Chi. He says, she says: conflict and coordination in wikipedia. In Proceedings of the SIGCHI conference on Human factors in computing systems, pages 453–462. ACM, 2007.

David Laniado, Riccardo Tasso, Yana Volkovich, and Andreas Kaltenbrunner. When the wikipedians talk: Network and tree structure of wikipedia discussion pages. The AAAI Press,[2011]. p. 177-84, 2011.

Bo Pang, Lillian Lee, et al. Opinion mining and sentiment analysis. Foundations and Trends in Information Retrieval, 2(1–2):1–135, 2008.R

Tomi-Ann Roberts and Susan Nolen-Hoeksema. Gender comparisons in responsiveness to others’ evaluations in achievement settings. Psychology of Women Quarterly, 18 (2):221–240, 1994.

Sarah Schrauwen. Machine learning approaches to sentiment analysis using the dutch netlog corpus. Computational Linguistics and Psycholinguistics Research Center, 2010.

Tom De Smedt and Walter Daelemans. Pattern for python. Journal of Machine Learning Research, 13(Jun):2063–2067, 2012.

Timothy W Smith, Linda C Gallo, Layne Goble, Le Q Ngu, and Kimberly A Stark. Agency, communion, and cardiovascular reactivity during marital interaction. He-alth Psychology, 17(6):537, 1998.

Guido Van Rossum et al. Python programming language. In USENIX Annual Tech-nical Conference, volume 41, 2007.

Fernanda B Viegas, Martin Wattenberg, Jesse Kriss, and Frank Van Ham. Talk before you type: Coordination in wikipedia. In System sciences, 2007. HICSS 2007. 40th annual Hawaii international conference on, pages 78–78. IEEE, 2007.

Barnet Woolf. The log likelihood ratio test (the g-test). Annals of human genetics, 21 (4):397–409, 1957.