Open meer impact?
Een onderzoek naar het citatievoordeel
van Open Access-artikelen
Esmee van de Zand
Studentnummer: 11024356 Datum: 20 juli 2016
Begeleider: dr. H.J. Voorbij Tweede lezer: dr. ir. J. Kamps
Master Erfgoedstudies: Culturele Informatiewetenschap Universiteit van Amsterdam
2
Voorwoord
Voor u ligt de scriptie ‘Open meer impact? Een onderzoek naar het citatievoordeel van Open Access-artikelen’. Hierin wordt door middel van het programma SPSS nagegaan of er een significant verschil bestaat in het aantal citaties tussen Open Access- en Toll Access-artikelen. Deze scriptie is
geschreven in het kader van mijn afstuderen aan de masteropleiding Erfgoedstudies: Culturele Informatiewetenschap aan de Universiteit van Amsterdam. Van april tot en met juli 2016 ben ik bezig geweest met het uitvoeren van het onderzoek en het schrijven van de scriptie.
Hierbij wil ik mijn begeleider dr. Henk Voorbij bedanken voor zijn prettige begeleiding en duidelijke feedback en de tweede lezer dr. Jaap Kamps voor zijn goede tips. Tot slot wil ik mijn ouders bedanken voor hun morele steun en motiverende woorden tijdens dit scriptieproces en gedurende al mijn studiejaren.
Ik wens u veel leesplezier toe.
Esmee van de Zand Nijmegen, 20 juli 2016
3
Inhoud
1. Inleiding ... 4
2. Theoretisch kader ... 6
2.1. Wat is Open Access? ... 6
2.2. Verband tussen Open Access en citatieaantallen ... 8
3. Methodologie ... 22 3.1. Operationalisatie en onderzoeksmethode ... 22 3.2. Dataverzameling ... 23 4. Resultaten en analyse ... 26 4.1. T-test ... 26 4.2. Correlatie ... 29 4.3. Regressieanalyse ... 32 5. Conclusie en reflectie ... 36 6. Literatuurlijst ... 38 7. Bijlagen: SPSS Output ... 40 7.1. T-test 1 ... 40 7.2. T-test 2 ... 41 7.3. T-test 3 ... 42 7.4. T-test 4 ... 43 7.5. Correlatie 1 ... 44 7.6. Correlatie 2 ... 45 7.7. Correlatie 3 ... 46 7.8. Enkelvoudige regressieanalyse ... 47 7.9. Multipele regressieanalyse 1 ... 48 7.10. Multipele regressieanalyse 2 ... 49 7.11. Multipele regressieanalyse 3 ... 50 7.12. Multipele regressieanalyse 4 ... 51
4
1. Inleiding
De opkomst van het internet bracht een revolutie teweeg in de wetenschappelijke wereld. Literatuur zoeken hoeft niet meer in de bibliotheek, via internet is vrijwel alles bereikbaar. Al snel kwamen er ook gratis toegankelijke artikelen waarvoor geen abonnement of licentie op een tijdschrift vereist is. Eerst ging het daarbij nog alleen om papers die naast de officiële publicatie ook door de auteurs online geplaatst werden, later kwamen er Open Access-tijdschriften bij die specifiek gericht zijn op het zonder kosten of barrières beschikbaar stellen van wetenschappelijke artikelen. Daarbij ontstond de vraag of deze Open Access-artikelen door hun betere beschikbaarheid ook vaker geciteerd worden dan de betaalde Toll Access-artikelen.
Verschillende onderzoekers hebben reeds studies verricht naar een mogelijk positief effect van Open Access-publicatie op citatieaantallen. Sommige auteurs vonden inderdaad een verband, andere ontdekten geen significant verschil en er zijn er ook die concludeerden dat het gevonden effect vooral veroorzaakt wordt door andere factoren zoals het vakgebied of de kwaliteit van de artikelen.
In deze scriptie wordt met behulp van het statistische programma SPSS nagegaan of er een significant verschil bestaat tussen de aantallen citaties van Open Access- en Toll Access-artikelen die te vinden zijn in de citatie-index Web of Science. Daarnaast wordt van drie andere variabelen onderzocht of zij dit verschil mogelijk beïnvloeden.
De centrale onderzoeksvraag luidt als volgt:
Is er een significant verschil in aantal citaties tussen Open Access- en Toll Access-artikelen? Hierbij worden de volgende deelvragen gesteld:
1. Hangt de grootte van het verschil in aantal citaties tussen Open en Toll Access-artikelen samen met het wetenschapsgebied?
2. Verandert de grootte van het verschil in aantal citaties tussen Open en Toll Access-artikelen met het verstrijken van de tijd?
3. Wordt het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen verklaard door de kwaliteit van de artikelen?
In het vervolg van deze scriptie worden de vragen beantwoord. Hoofdstuk 2 vormt het theoretisch kader waarin eerst wordt uiteengezet wat Open Access inhoudt en welke varianten er te
onderscheiden zijn. Vervolgens wordt een aantal eerdere studies op dit onderzoeksterrein besproken, uitmondend in een aantal hypothesen. In Hoofdstuk 3, de methodologie, zullen de gebruikte variabelen en onderzoeksmethoden aan bod komen en worden de hypothesen
5
geoperationaliseerd tot toetsbare stellingen. Vervolgens wordt besproken op welke wijze de onderzoeksgegevens zijn verzameld. In Hoofdstuk 4 worden de resultaten van de verschillende statistische toetsen besproken en geanalyseerd, waarna de hypothesen al dan niet verworpen worden. In Hoofdstuk 5 worden ten slotte de hierboven gestelde onderzoeksvragen beantwoord en wordt gereflecteerd op het onderzoeksproces. Ook komt hierin een aantal ideeën voor
6
2. Theoretisch kader
2.1. Wat is Open Access?
De overgang van papier naar digitaal en van geïsoleerde computers naar een wereldwijd netwerk stelt mensen in staat om hun werk vrijwel kosteloos te delen met de hele wereld. Deze
‘toegangsrevolutie’ is niet zo interessant voor schrijvers die moeten leven van de verkoop van hun werken maar wel voor auteurs die een salaris krijgen en meer schrijven om impact te maken dan geld te verdienen: wetenschappers die peer-reviewed artikelen schrijven in wetenschappelijke
tijdschriften (Suber, 2012, 1-4). Deze onderzoekers zijn vrij om Open Acces (OA)-literatuur te publiceren: digitaal, online, gratis en vrij van de meeste auteursrechtelijke- en licentiebeperkingen. Het tegenovergestelde is Toll Access (TA): werk dat alleen beschikbaar is tegen een prijs (ibid.: 4-6).
Een belangrijke barrière die door OA wordt weggenomen is de prijsbarrière. Een individueel artikel is vaak nog wel betaalbaar maar wanneer een wetenschapper voor zijn onderzoek honderden artikelen moet raadplegen of wanneer een bibliotheek literatuur over talloze uiteenlopende
onderwerpen beschikbaar moet stellen aan duizenden onderzoekers en studenten dan wordt de prijsbarrière onoverkomelijk. Hierdoor worden auteurs beperkt in de literatuur die ze kunnen gebruiken (ibid.: 4). Een andere belangrijke toegangsbarrière is het auteursrecht. Dit dient ter voorkoming van hergebruik en verspreiding van werken waardoor de verkoop ondermijnd kan worden. Wetenschappers willen juist dat hun artikelen zoveel mogelijk verspreid worden, het gaat daarbij niet om het maken van omzet. Zij hebben echter vaak hun auteursrechten overgedragen aan uitgevers die wél uit zijn op zoveel mogelijk verkopen. OA heft deze barrière op en zorgt ervoor dat wetenschappelijke literatuur zoveel mogelijk hergebruikt en verspreid kan worden (ibid.: 5). Het is hierbij overigens wel van belang om het werk altijd toe te schrijven aan de oorspronkelijke auteur (ibid.: 8).
Twee factoren spelen een rol bij de keuze van een maker voor OA. Ten eerste beschikt een auteur zelf over de auteursrechten van zijn werk totdat hij deze overdraagt aan iemand anders. Ten tweede worden auteurs door wetenschappelijke tijdschriften meestal niet betaald voor hun
artikelen, dit geeft hen de vrijheid om in te stemmen met OA zonder daarbij het risico te lopen op verminderde inkomsten. Dit onderscheidt wetenschappelijke auteurs van andere makers zoals romanschrijvers, muzikanten en filmmakers die afhankelijk zijn van royalties (ibid.: 9). Een ander verschil is dat onderzoekers zich niet hoeven te richten op populaire onderwerpen die goed verkopen maar hun eigen interesses kunnen volgen (ibid.: 12). Auteurs die kiezen voor OA doen dit niet alleen voor hun lezers maar ook uit eigenbelang, ze willen een breder publiek bereiken en een grotere
7
impact maken. Uit veel onderzoeken blijkt dat OA-artikelen vaker worden gedownload en meer worden geciteerd (ibid.: 15).
Ook redacteurs en referenten worden meestal niet betaald door wetenschappelijke tijdschriften waardoor ook zij vrij zijn om zich te richten op OA-artikelen, OA hoeft dus niet te betekenen dat teksten niet langer peer-reviewed zijn. Traditionele uitgevers zijn echter wel gericht op het genereren van inkomsten, voor hen gaat de overstap naar OA dus vaak met meer
moeilijkheden gepaard (ibid.: 17-18). De insteek is echter niet om deze uitgevers te ondermijnen of te boycotten, zij kunnen meegaan met de ontwikkelingen door het online plaatsen van artikelen toe te staan of zelf OA-journals te creëren (ibid.: 24-25).
Er zijn uiteenlopende manieren om OA-content aan te bieden, zoals persoonlijke websites, weblogs, wiki’s, e-books en RSS-feeds. De twee belangrijkste spelers zijn echter OA-journals (Gold OA) en repositories (Green OA). OA-journals lijken op gewone tijdschriften maar zijn gratis en vrij beschikbaar. Net als bij gewone tijdschriften kunnen er grote onderlinge verschillen bestaan in prestige en kwaliteit (ibid.: 49-50). Repositories zijn online collecties of databases met artikelen. Er bestaat geen directe tegenhanger binnen de traditionele wetenschappelijke communicatie.
Repositories bevatten naast onderzoeksartikelen ook onder andere preprints, scripties en proefschriften. Auteurs plaatsen zelf hun artikel in een repository, dit wordt ook wel self-archiving genoemd (ibid.: 52-53). De meeste TA-journals geven toestemming om na publicatie in het tijdschrift een artikel ook in een repository te plaatsen, al is dit niet algemeen bekend waardoor het nog weinig gedaan wordt (ibid.: 54-55). Vaak gaat het hierbij overigens niet om de tijdschriftversie maar om de laatste versie van het manuscript die een afwijkende opmaak kan hebben (ibid.: 62).
Vaak wordt gedacht dat OA met veel kosten gepaard gaat maar dat is vaak niet het geval. Green OA kost de auteur niets, hij kan kosteloos zijn artikel in een repository plaatsen (ibid.: 134). Ook Gold OA brengt maar zelden extra kosten met zich mee. Sommige OA-tijdschriften worden gesubsidieerd door bijvoorbeeld een universiteit of stichting en deze vragen meestal geen publicatieheffing aan de auteur. Journals die niet financieel worden ondersteund doen dit wel, maar in veel gevallen wordt deze niet betaald door de auteur zelf maar door diens werkgever of financier. Auteurs die in economisch zwaar weer verkeren kunnen vragen om een kwijtschelding van de publicatieheffing (ibid.: 136). Volgens Suber vraagt slechts 30% van de OA-journals de publicerende auteur om een financiële bijdrage, tegenover 75% van de TA-journals. Bovendien blijkt deze bijdrage in bijna 90% van de gevallen niet door de auteur zelf te worden voldaan (ibid.: 138-139).
Er kunnen twee soorten tijdschriften worden onderscheiden, de volledige OA-tijdschriften die al hun artikelen vrij aanbieden en de Hybrid OA-OA-tijdschriften die een combinatie
8
bieden van TA- en OA-artikelen. De auteur kan vaak zelf bepalen of hij voor de OA-optie kiest, al gaat die meestal wel gepaard met een publicatieheffing. Vaak worden na een bepaalde periode alle artikelen uit het tijdschrift OA, bijvoorbeeld een jaar na publicatie (ibid.: 140).
2.2. Verband tussen Open Access en citatieaantallen
Verschillende auteurs hebben reeds onderzoek gedaan naar een mogelijk verband tussen OA en het aantal keren dat een artikel geciteerd wordt. In deze paragraaf wordt een overzicht gegeven van eerdere studies op dit gebied en hun uitkomsten, waarna de onderzoekshypothesen worden opgesteld.
Het eerste bekende onderzoek op dit terrein werd in 2001 uitgevoerd door Lawrence, zijn studie wordt nog steeds veel geciteerd door andere auteurs. Lawrence richtte zich op het veld van de informatica omdat een groot deel van de literatuur voor dat vakgebied ten tijde van het onderzoek al gratis via internet beschikbaar was. Conferentiepapers uit de periode 1989-2000 werden
meegenomen in het onderzoek (Lawrence, 2001, 521).
Lawrence vond een duidelijke samenhang tussen het aantal citaties en de kans dat een artikel open online beschikbaar is. Hij heeft ook in het bijzonder gekeken naar het verschil in citaties tussen OA- en TA-papers van dezelfde conferentie omdat deze naar verwachting van
overeenkomstige kwaliteit zijn. De gratis online beschikbare papers bleken gemiddeld 336% meer citaties te hebben dan de offline artikelen, dit suggereert dus dat OA-artikelen vaker worden
geciteerd vanwege de betere beschikbaarheid en niet omdat ze van betere kwaliteit zouden zijn dan TA-papers (ibid.).
Antelman onderzocht of OA-artikelen een grotere onderzoeksimpact hebben dan TA-artikelen. Daartoe heeft ze de gemiddelde aantallen citaties vergeleken van artikelen uit high-impact journals op vier vakgebieden: wiskunde, elektrotechniek, politicologie en filosofie. Ze maakt bij de eerste drie disciplines gebruik van artikelen uit de jaren 2001 en 2002, bij filosofie uit de jaren 1999 en 2000 (Antelman, 2004, 374-375). Het resultaat is een significant grotere impact voor OA-artikelen op alle vier de wetenschapsgebieden. Het grootste verschil in gemiddeld aantal citaties is te vinden bij politicologie, gevolgd door elektrotechniek, wiskunde en tot slot filosofie (ibid.: 376-377).
Antelman signaleert een ‘push’ weg van papieren tijdschriften en een ‘pull’ richting OA: naar mate er meer onderzoeksartikelen online beschikbaar zijn wordt de inspanning die mensen bereid zijn te leveren om documenten te verkrijgen steeds kleiner. OA-artikelen zijn gemakkelijker te
9
bereiken en worden daarom dus meer gelezen en geciteerd. Het is ook mogelijk dat het omgekeerde waar is, dat high-impactartikelen vaker online geplaatst worden, bijvoorbeeld omdat de auteurs verzoeken krijgen om dit te doen. Antelman heeft echter tijdens haar onderzoek ontdekt dat het gebruikelijk is dat een auteur ofwel al zijn artikelen online zet, ofwel helemaal geen (ibid.: 377-378).
OA kan er volgens Antelman toe leiden dat een aantal slechte gewoonten met betrekking tot citeren minder vaak voorkomt. Voorbeelden zijn ‘citation bias’, waarbij auteurs enkel citeren uit journals waar zij toegang tot hebben, en ‘hollow citing’, in welk geval de auteur het geciteerde artikel niet heeft gelezen (ibid.: 379).
Sotudeh et al. hebben onderzocht of er sprake is van een citatievoordeel voor het Author-Pays-model ten opzichte van het TA-Author-Pays-model. Bij het Author-Pays-Author-Pays-model betaalt de auteur een tarief om zijn artikel OA te laten publiceren, de zogenaamde Article Processing Charges (APC’s). De onderzoekers richtten zich open zich op tijdschriften van de uitgeverijen Springer en Elsevier. Het betreft met name Hybrid OA-journals, al zijn er ook enkele tijdschriften die in de categorie Gold vallen (Sotudeh et al., 2015, 584-585).
De auteurs vonden voor elk van de vijf jaren uit hun onderzoeksperiode (2007-2011) een groter gemiddeld aantal citaties per paper voor OA-artikelen ten opzichte van TA-artikelen. Het verschil is het grootst bij de natuurwetenschappen, gevolgd door de gezondheidswetenschappen. Op enige afstand volgen de levenswetenschappen en tot slot de sociale- en geesteswetenschappen. Deze laatste twee wetenschapsgebieden vormen binnen dit onderzoek één categorie. Het verschil in citaties tussen en TA-papers kan te maken hebben met de grotere zichtbaarheid van
OA-artikelen maar kan ook liggen aan de kwaliteit van de papers (ibid.: 587-588).
Hoewel het aantal OA-papers dat wordt gepubliceerd volgens het principe van Author-Pays door de jaren heen significant harder is gegroeid dan het aantal TA-papers blijft hun aandeel van het totaal zeer klein, rond de 5%. Het Hybrid OA-model lijkt in de nabije toekomst niet verder te gaan groeien. De onderzoekers wijzen op een paradox: wetenschappers zijn meestal groot voorstander van OA maar bij de keuze voor een publicatiemethode voor hun eigen stukken gaan ze vervolgens toch voor een traditioneel tijdschrift (ibid.: 588). Dit kan te maken hebben met de perceptie dat OA-journals van een lager kwaliteitsniveau zijn. Journals die gefinancierd worden door middel van APC’s hebben echter over het algemeen een goede reputatie waardoor ze op het gebied van citaties beter scoren dan traditionele tijdschriften. Het is waarschijnlijker dat het lage aantal OA-artikelen te maken heeft met de veelal hoge tarieven die daarmee gepaard gaan. Het verbeteren van de
prijsmechanismen is daarom essentieel om de groei van het Author-Pays-model te garanderen (ibid.: 588-589).
10
Wray bestrijdt de bevindingen van Sotudeh et al. en meent dat er onvoldoende bewijs is dat het Author-Pays-model van OA een goede investering is voor onderzoekers op het gebied van de alfa- en gammawetenschappen. Wanneer het meest geciteerde artikel uit de steekproef wordt verwijderd verdwijnt namelijk het door de auteurs gerapporteerde effect, dat toch al veel kleiner was dan binnen de gezondheids-, levens- en natuurwetenschappen (Wray, 2016, 1031-1032). Het gemiddelde aantal citaties blijkt na deze aanpassing bij de OA-artikelen zelfs iets lager te zijn dan bij de
traditionele artikelen. Bij de gezondheids- en bètawetenschappen blijken de bevindingen van Sotudeh et al. wel stand te houden (ibid.: 1033).
Wray wijst erop dat de gevraagde tarieven voor het Author-Pays-model vaak erg hoog zijn terwijl geestes- en sociale wetenschappers meestal maar een klein onderzoeksbudget tot hun beschikking hebben (ibid.: 1032). Hij bestrijdt de bewering dat OA-artikelen per definitie worden gezien als kwalitatief minder goed. Green OA lijkt de oplossing te zijn maar Wray wijst erop dat deze variant nog veel juridische problemen met zich meebrengt, onder andere op het gebied van
auteursrecht. Uitgevers staan vaak ook niet te springen om Green OA toe te staan omdat ze op die manier veel inkomsten mislopen (ibid.: 1034).
Kousha en Abdoli hebben onderzoek gedaan naar de impact van OA op het gebied van
landbouwkundig onderzoek. Ze hebben de citatieaantallen vergeleken van Green OA-artikelen en TA-artikelen die gepubliceerd zijn in dezelfde tijdschriften (Kousha en Abdoli, 2010, 773). Voor het onderzoek hebben de auteurs een steekproef genomen uit alle onderzoeksartikelen die in het jaar 2005 verschenen zijn in 22 verschillende non-OA- landbouwkundige tijdschriften (ibid.: 777). Het blijkt dat OA-artikelen gemiddeld bijna twee keer zoveel citaties hebben als TA-artikelen en dat het verschil statistisch significant is (ibid.: 779-780).
De onderzoekers hebben ook gekeken naar de verschillen tussen de impactfactoren van OA- en non-journals in de periode 2005-2007. Het blijkt dat op het gebied van de landbouwkunde OA-tijdschriften een relatief lage impactfactor hebben in vergelijking met traditionele OA-tijdschriften. Volgens Kousha & Abdoli suggereert dit dat OA niet de enige factor is die een rol speelt bij een toename van de citatie-impact, ook de peer-review processen, kwaliteit en onderwerpen van de papers kunnen belangrijk zijn. Hierbij moet wel worden opgemerkt dat er in de meetperiode van Kousha & Abdoli nog maar vier landbouwkundige tijdschriften OA waren, tegenover 22 reguliere tijdschriften (ibid.: 780).
Wang et al. hebben bij hun onderzoek naar het gebruik van OA- en TA-artikelen gekeken naar pageviews en citatieaantallen. Ze hebben zich hierbij gericht op papers die in 2012 en 2013 zijn gepubliceerd door het online natuurwetenschappelijke tijdschrift Nature Communications. Uit hun
11
resultaten blijkt dat OA-artikelen vaker worden gelezen dan TA-artikelen en dat ze ook vaker worden geciteerd (Wang et al., 2015, 559). Opvallend is dat de verschillen door de tijd heen steeds groter worden. Hoe ouder de artikelen, hoe groter het verschil in aantallen pageviews en citaties tussen OA- en TA-papers (ibid.: 560-561). De aandacht voor TA-artikelen ebt na de eerste maand snel weg, terwijl de lezersaantallen van OA-artikelen gestaag blijven toenemen. Het voordeel van OA is dus niet alleen direct na publicatie zichtbaar maar zeker ook op de lange termijn (ibid.: 562).
Xia en Nakanishi hebben onderzocht in hoeverre het verschil in citaties tussen OA- en TA-artikelen kan worden verklaard door de zelfselectie van auteurs: onderzoekers zouden bewust hun beste papers selecteren voor OA en omdat ze van een hogere kwaliteit zijn worden ze vaker geciteerd (Xia en Nakanishi, 2012, 41). De onderzoekers hebben op basis van impactfactoren een selectie gemaakt van antropologietijdschriften, de tien hoogst gerangschikte journals worden vergeleken met de tien laagst geplaatste om zo een onderscheid te maken tussen goede en kwalitatief mindere journals. Alle artikelen uit het jaar 2007 werden meegenomen in de analyse. Er wordt geen onderscheid gemaakt tussen de verschillende typen OA, als er een gratis beschikbare volledige versie van het artikel kon worden gevonden dan werd het beschouwd als OA (ibid.: 43-45).
Zoals verwacht blijken OA-papers significant vaker te worden geciteerd dan TA-papers, dit geldt voor beide groepen tijdschriften. Er werd echter geen bewijs gevonden voor de stelling dat kwalitatief goede artikelen, dus afkomstig uit hoger gerangschikte tijdschriften, vaker OA worden gepubliceerd (ibid.: 46). Wel blijken artikelen uit de lager geplaatste tijdschriften meer te profiteren van OA: het verschil in aantallen citaties tussen OA- en TA-artikelen is bij deze tijdschriften groter. Wellicht zijn deze artikelen in eerste instantie minder zichtbaar omdat bibliotheken en individuele onderzoekers geen abonnement op de minder prestigieuze tijdschriften hebben. Op het moment dat er artikelen open beschikbaar worden zal het aantal lezers en daarmee het aantal citaties snel stijgen (ibid.: 47-48).
Davis heeft gekozen voor een geheel andere aanpak, hij heeft een grootschalig experiment uitgevoerd om na te gaan wat het effect is van OA op download- en citatieaantallen van artikelen. Hiertoe is een groot aantal artikelen uit uiteenlopende vakgebieden uit 2007 en begin 2008 geselecteerd, waarbij willekeurig werd bepaald welke artikelen werden opgenomen in de
onderzoeksgroep en welke in de controlegroep. De papers uit de onderzoeksgroep werden direct bij publicatie open beschikbaar gemaakt op de website van de uitgever, om artikelen uit de
controlegroep te kunnen lezen moest men beschikken over een abonnement of licentie (Davis, 2011, 2129). Door deze opzet kan worden gecontroleerd voor variabelen als relevantie, leeftijd van het artikel en de bereidheid van de auteur om te betalen voor OA-publicatie (ibid.: 2132).
12
De OA-artikelen bleken gedurende het eerste jaar na publicatie veel vaker te worden gedownload dan reguliere artikelen. Het verschil in aantallen citaties, gemeten over een periode van drie jaar na publicatie, was daarentegen vrijwel nihil en daarnaast niet significant (ibid.: 2131). Open
beschikbaarheid blijkt hier dus te leiden tot een groter aantal downloads maar het heeft geen effect op het aantal citaties. Dit suggereert dat de toename van het aantal lezers vooral moet worden gezocht buiten de onderzoeksgemeenschap, bij mensen die vooral literatuur consumeren maar zelf geen stukken indienen. Hierbij kan worden gedacht aan bijvoorbeeld studenten, artsen en het openbaar bestuur (ibid.: 2133).
Volgens Kurtz et al. zijn er drie mogelijke verklaringen voor het feit dat OA-artikelen vaker worden geciteerd dan TA-artikelen. Ten eerste leidt de gratis toegankelijkheid ertoe dat artikelen meer worden gelezen en daardoor vaker worden geciteerd: de Open Access (OA)-hypothese. Daarnaast verschijnen OA-artikelen op een eerder tijdstip waardoor ze meer tijd hebben om citaties te
verzamelen: de Early Access (EA)-hypothese. Tot slot hebben auteurs de neiging om vooral de meest belangrijke artikelen onder de aandacht te brengen en dus op internet te plaatsen: de Self-selection Bias (SB)-hypothese (Kurtz et al., 2005, 1396).
Om de OA- en EA-hypothesen te testen maken de onderzoekers gebruik van een omvangrijke dataset waarin alle referenties van artikelen uit de zeven belangrijkste astronomietijdschriften zijn opgenomen die verwijzen naar andere artikelen uit deze zeven tijdschriften, in de periode van 1970 tot 2004. Voor het testen van de SB-hypothese wordt gebruikgemaakt van de citatiegegevens van alle artikelen die in 2003 verschenen in The Astrophysical Journal en wordt er nagegaan welke van deze artikelen te vinden zijn in de online repository ArXiv (ibid.: 1396).
De auteurs vonden sterke EA- en SB-effecten maar geen bewijs voor de OA-hypothese. Een reden hiervoor kan zijn dat een persoon die een artikel schrijft voor een van de belangrijkste astronomiejournals waarschijnlijk toch al de beschikking heeft over deze tijdschriften. Vrijwel alle onderzoekers zullen al toegang hebben tot de literatuur via de bestaande kanalen, OA voegt hier niets aan toe en leidt dus niet tot meer citaties (ibid.: 1401).
Gaulé en Maystre twijfelen ook aan de causale interpretatie die in veel studies naar voren komt. Volgens hen biedt zelfselectie in ieder geval deels een verklaring voor het citatievoordeel dat OA-artikelen hebben boven TA-OA-artikelen. Ze gebruiken een steekproef van biologiepapers die in de periode van mei 2004 tot en met maart 2006 verschenen in het vooraanstaande tijdschrift
Proceedings of the National Academy of Sciences (PNAS). Auteurs kunnen er tegen betaling voor
kiezen om hun artikel OA te publiceren (Hybrid OA). Volgens de onderzoekers zullen vooral de auteurs van kwalitatief hoogstaande papers hiervoor kiezen (Gaulé en Maystre, 2011, 1333).
13
De onderzoeksresultaten ondersteunen deze stelling. Vanaf zes maanden na publicatie worden alle artikelen uit PNAS gratis toegankelijk gemaakt voor iedereen, er hoeft dan dus niet meer betaald te worden om ze te kunnen lezen. Het citatievoordeel zou vanaf dat moment moeten afvlakken maar het neemt juist verder toe. Dit strookt niet met de causale interpretatie maar suggereert juist dat de OA-artikelen over het algemeen van een hoger niveau zijn (ibid.: 1337).
Verder wijzen de onderzoekers erop dat auteurs die publiceren in een prestigieus tijdschrift over het algemeen reeds de beschikking hebben over voldoende literatuur en dus geen behoefte hebben aan OA. Het aantal referenties in andere toptijdschriften naar OA-artikelen uit PNAS is echter toch beduidend hoger dan naar TA-artikelen. Dit ondersteunt de aanname dat OA-artikelen van een betere kwaliteit zijn (ibid.: 1337).
Ook Eysenbach richt zich bij zijn onderzoek op het tijdschrift PNAS, hij gebruikt artikelen uit het jaar 2004 en voert een longitudinale studie uit waarbij hij op drie tijdsmomenten meet hoeveel citaties de artikelen hebben vergaard: in december 2004, april 2005 en oktober 2005 (Eysenbach, 2006, 692).
Op alle drie de momenten blijkt het aantal citaties van OA-artikelen hoger te zijn, evenals het aantal artikelen dat tenminste één keer is geciteerd. Ook wanneer gecontroleerd wordt voor een aantal andere variabelen, zoals het aantal auteurs, de productiviteit van de auteur(s) en het vakgebied, blijft de gevonden samenhang in stand en deze wordt zelfs groter door de tijd heen. OA-artikelen worden dus vaker en eerder geciteerd dan TA-OA-artikelen en dit voordeel blijft bestaan op de langere termijn (ibid.: 694-695).
Eysenbach heeft ook gekeken naar de invloed van zelfarchivering in repositories of op websites (Green OA) op het aantal citaties. Ook in dit geval werd een positief verband ontdekt, al blijkt het voordeel minder groot dan dat van directe OA-publicatie op de website van het tijdschrift (Gold OA). Papers die zowel OA werden gepubliceerd op de website van het tijdschrift als ook door de auteur op internet werden geplaatst (Gold én Green OA) werden gemiddeld het meest geciteerd (ibid.: 695).
Niyazov et al. refereren aan een aantal eerdergenoemde studies, zo noemen ze de drie hypothesen van Kurtz et al. en geven ze aan dat deze groep onderzoekers ondersteuning vond voor de EV- en SB-hypothesen. Deze resultaten kunnen echter samenhangen met de beperkte en selectieve steekproef: artikelen gepubliceerd in de toptijdschriften op het gebied van astronomie (Niyazov et al., 2016, 3). Dit probleem wordt ondervangen door een experimentele aanpak, zoals die van Davis. Daarbij is het echter onduidelijk hoe lezers konden zien dat de artikelen gratis beschikbaar waren. Gaulé en Maystre vonden met hun instrumentele variabelenanalyse ondersteunend bewijs voor de
SB-14
hypothese maar ook wanneer gecontroleerd wordt voor dit effect blijft het citatievoordeel voor OA-artikelen overeind (ibid.: 3).
Niyazov et al. voeren zelf een vergelijkende citatieanalyse uit tussen artikelen uit de periode 2009-2012 die op de website Academia.edu verschenen en artikelen die hier niet op werden
geplaatst. Het gaat om een grote steekproef van onderzoeksartikelen verdeeld over veel verschillende vakgebieden (ibid.: 7-8).
Uit de analyse blijkt dat artikelen die te vinden zijn op Academia.edu vaker worden geciteerd dan artikelen die hier niet op staan. Wanneer de impactfactor van het tijdschrift wordt meegenomen in het onderzoek wordt de samenhang iets afgezwakt maar deze blijft significant, een hogere
impactfactor hangt samen met een hoger aantal citaties en dit verklaart een deel van het verschil tussen Academia.edu-papers en de overige artikelen (ibid.: 10-12).
Er is ook een vergelijking gemaakt met artikelen die naast Academia.edu ook nog op één of meerdere andere websites zijn geplaatst. Het verschil in citaties met TA-artikelen is in dit geval minder groot, de positieve invloed die de plaatsing op Academia.edu heeft op het aantal citaties wordt dus kleiner wanneer het artikel ook wordt gepubliceerd op bijvoorbeeld de website van een tijdschrift, een persoonlijke website of in een repository maar blijft significant (ibid.: 16).
De samenhang tussen plaatsing op Academia.edu en het aantal citaties is groter dan het voordeel van OA in het algemeen. Een mogelijke verklaring hiervoor is dat de gebruiker van de website een melding krijgt wanneer er een paper wordt geplaatst van een auteur die hij volgt of een onderwerp dat hij interessant vindt. Dit kan ertoe leiden dat de artikelen op Academia.edu meer worden gelezen en vervolgens geciteerd dan die op andere OA-websites (ibid.: 21).
McCabe en Snyder wijzen erop dat veel eerdere studies een bijzonder groot effect van OA op citaties constateerden en noemen net als veel anderen artikelkwaliteit als mogelijke variabele die dit verschil grotendeels kan verklaren. Ze richten zich bij hun eigen onderzoek op artikelen die in de periode 1996-2005 werden gepubliceerd in de top 100 wetenschappelijke tijdschriften op het gebied van ecologie, botanie en multidisciplinaire wetenschappen en biologie. De analyse wordt uitgevoerd op het niveau van volumes: alle artikelen die in een jaar worden gepubliceerd in een bepaald tijdschrift (McCabe en Snyder, 2014, 1286-1287).
Wanneer niet gecontroleerd wordt voor andere variabelen vinden McCabe en Snyder net als de meeste andere onderzoekers een grote samenhang tussen OA en citatieaantallen, het voordeel bedraagt 662%. Wanneer de wisselende kwaliteit van de tijdschriftvolumes wordt meegenomen dan blijkt de samenhang plotseling sterk af te nemen en zelfs te veranderen naar negatief. De leeftijd van de artikelen corrigeert dit weer naar een licht positief effect van 8% (ibid.: 1294). Artikelen worden
15
vaak pas OA beschikbaar na een bepaalde tijd en meestal is de citatiefrequentie dan al aan het afnemen waardoor dit het beeld kan vertekenen (ibid.: 1295).
Ook wanneer de journals worden verdeeld in een top-50 en bottom-50 lijkt er sprake te zijn van een ‘superstar-effect’: tijdschriften van een hogere kwaliteit profiteren meer van OA dan tijdschriften van een lagere kwaliteit (ibid.: 1295-1296). Een mogelijke verklaring hiervoor is dat OA niet alleen een kostenverlaging betekent maar soms ook een fundamentele verandering in de manier waarop een artikel kan worden bereikt. In plaats van naar de journalwebsite te gaan en in te loggen kan een artikel nu eenvoudig worden gevonden door middel van een zoekmachine. Wanneer een artikel wordt geplaatst op een breed platform dan vergroot dit de vindbaarheid maar ook de
competitie om de aandacht van de lezer, artikelen van een lagere kwaliteit delven dan het onderspit (ibid.: 1296).
Norris et al. onderzoeken het mogelijke citatievoordeel voor OA-artikelen op vier vakgebieden: toegepaste wiskunde, ecologie, economie en sociologie. Dit maakt het mogelijk om een vergelijking te maken tussen natuurwetenschappen, waarin onderzoeksresultaten veelal in tijdschriften worden gepubliceerd, en sociale wetenschappen, waarin veel gebruik wordt gemaakt van monografieën (Norris et al., 2008, 1965). De steekproef bestaat uit artikelen die in 2003 verschenen in 65 verschillende high-impact TA-journals. Bij de analyse werd alleen gekeken naar Green OA, dus het zelf archiveren van een artikel op bijvoorbeeld een persoonlijke website of een preprintserver. Links die verwezen naar een website van een uitgever werden in allee gevallen beschouwd als TA (ibid.: 1965-1966).
Net als veel andere onderzoekers ontdekken ook Norris et al. een significant groter gemiddeld aantal citaties voor OA-artikelen ten opzichte van TA-artikelen. Dit verschil blijkt het grootst te zijn bij sociologie, terwijl het percentage OA-artikelen daar juist het laagst ligt (ibid.: 1969). Over het algemeen lijkt te gelden dat een kleiner aandeel OA-artikelen leidt tot een groter
citatievoordeel en dat het voordeel bij wetenschapsgebieden waar veel OA-artikelen te vinden zijn beperkt blijft. Een duidelijke verklaring voor het grotere aantal citaties voor OA-artikelen wordt door Norris et al. niet gevonden, zo wordt er geen ondersteuning gevonden voor de vaak geopperde verklaringen van het kwaliteitsverschil en de vervroegde toegang tot OA-artikelen. Het is
waarschijnlijker dat het citatievoordeel wordt veroorzaakt door een combinatie van factoren (ibid.: 1970).
Koler-Povh et al. hebben zich bij hun onderzoek naar de impact van OA beziggehouden met het vakgebied civiele techniek. Ze hebben veertien internationale tijdschriften geselecteerd en alle artikelen die in 2007 daarin werden gepubliceerd meegenomen in het onderzoek. Daarnaast hebben
16
de auteurs ook gekeken of de grootte van het verschil in aantal citaties tussen OA- en TA-artikelen gelijk is voor de databases Web of Science, Scopus en Google Scholar (Koler-Povh et al., 2014, 1033). Uit eerdere studies blijkt dat Scopus over het algemeen meer literatuur bevat op het gebied van de natuurwetenschappen terwijl Web of Science een betere dekking zou bieden als het gaat om de sociale- en geesteswetenschappen. Google Scholar blijkt in de meeste gevallen het grootste aantal citaties weer te geven, hoewel er soms sprake is van dubbeltellingen of plaatsing bij de verkeerde documenten (ibid.: 1035). De grote meerderheid van de steekproef bestaat uit artikelen die door de auteurs zelf op internet geplaatst zijn, Green OA dus (ibid.: 1037).
Uit de eerste analyse blijkt dat OA-artikelen op het gebied van de civiele techniek gemiddeld vaker worden geciteerd dan TA-artikelen (ibid.: 1039). De tijdschriften zijn vervolgens op basis van de impactfactoren door de onderzoekers ingedeeld in vier kwartielen. Binnen het eerste kwartiel is er een statistisch significant verschil in aantal citaties tussen OA- en TA-artikelen. In het tweede kwartiel is dat nog voor slechts enkele tijdschriften het geval en in de laatste twee kwartielen is er geen sprake van een significant verschil (ibid.: 1042). Het citatievoordeel van OA-artikelen blijkt binnen het vakgebied van de civiele techniek dus alleen op te treden bij tijdschriften met een hogere
impactfactor. Er zijn geen grote verschillen tussen de drie citatie-indices Web of Science, Scopus en Google Scholar. Volgens Koler-Povh et al. bevestigt dit onderzoek dat toegang geen voldoende- maar wel een noodzakelijke voorwaarde is om geciteerd te worden (ibid.: 1042-1043).
Hua et al. onderzochten het mogelijke citatievoordeel van OA-artikelen ten opzichte van TA-artikelen op het gebied van de tandheelkunde. Hiervoor werd gebruikgemaakt van een steekproef van
artikelen die gedurende het jaar 2013 werden gepubliceerd in tandheelkundige tijdschriften (Hua et al., 2016, 42). Citatiegegevens van de drie databases Google Scholar, Scopus en Web of Science werden meegenomen in de analyse door per artikel het gemiddelde aantal citaties over de drie indices te berekenen (ibid.: 42-43). Van elk artikel is geregistreerd of het open beschikbaar is en ook via welke route het artikel kan worden bereikt: Gold, Green of beide (ibid.: 43). Bijna de helft van de OA-artikelen bleek alleen beschikbaar te zijn gemaakt door zelfarchivering, ongeveer een kwart was alleen te bereiken via de website van de uitgever en nog eens een kwart was zowel bereikbaar via de Gold- als de Green-route. De Gold OA-artikelen bleken evenredig verdeeld te zijn over OA- en TA-journals, de Green OA-artikelen waren vooral te vinden in repositories en minder op persoonlijke websites (ibid.: 44).
Er blijkt in dit onderzoek geen sprake te zijn van een significant verschil in het gemiddelde aantal citaties tussen OA- en TA-artikelen, dit is ook niet het geval wanneer de artikelen worden gegroepeerd naar onderwerp, type onderzoek of werelddeel. Wanneer wordt gekeken naar de kans om geciteerd te worden versus de kans om niet geciteerd te worden dan blijkt hier ook geen
17
significant verschil te bestaan tussen OA- en TA-artikelen (ibid.: 44-45). Hua et al. sluiten zich aan bij Davis die al vermoedde dat OA vooral voordeel oplevert voor mensen buiten de
onderzoeksgemeenschap die normaal gesproken geen toegang hebben tot wetenschappelijke literatuur en daar zelf ook niets aan bijdragen, zij zullen dus niet vaak artikelen citeren (ibid.: 46-47). De auteurs merken verder nog op dat het bij een verrassend groot aantal Green OA-artikelen gaat om de door de uitgever bewerkte versie van het paper. Vaak staan uitgevers echter alleen toe dat de onbewerkte versie van de auteur gratis online beschikbaar wordt gemaakt, de officiële uitgave van het artikel wordt dan enkel verspreid via het tijdschrift. Veel wetenschappers overtreden dus mogelijk het auteursrechtenbeleid van hun uitgevers (ibid.: 46).
Atchison en Bull onderzoeken de doeltreffendheid van OA in de politicologie. Omdat uit eerdere studies op andere vakgebieden vaak naar voren komt dat er een citatievoordeel is voor OA-artikelen gaan zij ervan uit dat dit ook geldt voor politicologie (Atchison en Bull, 2015, 129). Daarnaast stellen de onderzoekers dat een toleranter beleid omtrent zelfarchivering zal leiden tot een groter
citatieverschil tussen OA- en TA-artikelen dan wanneer de uitgever van het tijdschrift een
beperkender beleid voert (ibid.: 130). Een tolerant beleid houdt in dat auteurs zelf mogen bepalen welke versie van het artikel ze op internet plaatsen, dit mag ook de PDF-versie van de uitgever zijn. Een beperkend beleid wil zeggen dat auteurs alleen de preprint mogen plaatsen, deze is nog niet peer-reviewed. Wanneer zelfarchivering expliciet wordt toegestaan dan zullen naar verwachting meer auteurs daar gebruik van maken en deze betere bereikbaarheid leidt vervolgens tot meer citaties (ibid.: 131). Om te controleren voor de invloed van het tijdschrift op het aantal citaties van een artikel wordt in deze studie alleen gebruikgemaakt van artikelen gepubliceerd in acht
politicologische tijdschriften die constant in de top twintig staan van de meest invloedrijke journals. Alle artikelen uit 2007 en 2008 werden meegenomen in de analyse en het onderzoek richt zich op Green OA (ibid.: 131-132).
Wat opvalt is dat meer dan 45% van de postprints, de PDF-versies van de uitgevers, die OA beschikbaar zijn afkomstig is van uitgevers met een beperkend beleid. Dit kan erop duiden dat auteurs ofwel onbekend zijn met het auteursrechtenbeleid van hun uitgever, ofwel er onverschillig tegenover staan (ibid.: 133). Het gemiddelde aantal citaties ligt voor OA-artikelen ongeveer
tweeënhalf keer zo hoog als voor TA-artikelen, dit verschil blijkt ook significant te zijn. Politicologen die graag veel geciteerd willen worden kunnen dus het beste in zee gaan met een uitgever die een tolerant beleid hanteert, of bij hun huidige uitgever pleiten voor toestemming tot zelfarchivering (ibid.: 133). Publicatie bij een tolerante uitgever blijkt overigens niet tot een significant
citatievoordeel te leiden maar dit beeld kan vertekend zijn door de vele auteurs die gebonden zijn aan een beperkend beleid maar dit negeren (ibid.: 134).
18
Björk en Solomon onderscheiden drie golven in de ontwikkeling van OA-tijdschriften. In de tweede helft van de jaren ’90 werd het OA-veld gedomineerd door journals die waren opgericht door individuele wetenschappers. De meeste academici beschouwden deze tijdschriften niet als serieuze alternatieven voor de bestaande TA-journals en ze werden meestal niet geïndexeerd in Web of Science (Björk en Solomon, 2012, 2). De tweede golf bestond uit gevestigde TA-tijdschriften waarvan de uitgevers besloten om de digitale versies gratis toegankelijk te maken. Dit gebeurde voor het eerst aan het einde van de jaren ’90 (ibid.: 2). De derde en laatste golf werd in gang gezet door twee nieuwe uitgevers, BioMedCentral en Public Library of Science (PLoS). Beide werden opgericht in het jaar 2000 en behoorden bij de eerste uitgevers die auteurs APC’s lieten betalen om de publicatie van OA-tijdschriften te financieren (ibid.: 2).
Björk en Solomon richtten zich als een van de weinigen specifiek op OA-journals en vergeleken deze met TA-journals door te kijken naar het gemiddelde aantal citaties op zowel tijdschrift- als artikelniveau. Als er sprake is van een citatievoordeel voor OA-artikelen dan zouden papers die worden gepubliceerd in een OA-journal extra geciteerd moeten worden bovenop het aantal citaties dat ze al krijgen vanwege hun intrinsieke kwaliteit (ibid.: 3). In de praktijk is het echter lastig om de effecten van deze twee factoren uit elkaar te halen. Een deel van de artikelen uit TA-journals is wel gratis beschikbaar via de Green OA-route en profiteert via die weg van het vermeende OA-citatievoordeel (ibid.: 3). OA is volgens Björk en Solomon één van de vele factoren die het
citatieniveau van een journal beïnvloeden, naast onder meer het aanzien van het tijdschrift, het belang van de onderwerpen van de artikelen, een gemakkelijk leesbare lay-out en een tijdige publicatie (ibid.: 3).
De onderzoekers richtten zich met name op de impactfactoren van de tijdschriften en dus niet zozeer op individuele artikelen. De tijdschriften beslaan elf disciplines verspreid over het gehele wetenschappelijk spectrum (ibid.: 4-5). De gegevens zijn op twee manieren geanalyseerd. Allereerst is gekeken naar citatieverschillen tussen TA en OA met de tijdschriften als analyse-eenheden, dat is ook het niveau waarop de gegevens zijn verkregen. Om ook onderzoek te kunnen doen op
artikelniveau zijn daarnaast de citatieaantallen per tijdschriftvolume gedeeld door het aantal artikelen. De gegevens zijn afkomstig uit de jaren 2010-2012 (ibid.: 5).
De impactfactoren van OA-journals liggen ongeveer 25 tot 40% lager dan die van TA-journals, dit verschil wordt nog iets groter wanneer het resultaat wordt gewogen naar het aantal artikelen. Ongeveer 70% van de journals in de steekproef wordt gepubliceerd in de Verenigde Staten, Groot-Brittannië, Nederland of Duitsland. In deze vier staten is het verschil in impactfactoren tussen OA- en TA-journals groter dan in de overige publicatielanden, waar er bij de nieuwere tijdschriften zelfs sprake van is dat de impactfactor bij OA-journals hoger ligt dan bij TA-journals (ibid.: 6). Wanneer de resultaten worden uitgesplitst naar oprichtingsjaar van de tijdschriften dan blijkt dat het verschil in
19
impactfactoren tussen OA- en TA-journals over het algemeen kleiner is voor nieuwere tijdschriften dan voor de meer gevestigde journals. Daarnaast zijn de impactfactoren van tijdschriften die gefinancierd worden met behulp van APC’s tussen 1996 en 2011 sterk gestegen terwijl de impactfactoren van journals die overeind worden gehouden door vrijwilligers en
universiteitssubsidies vrijwel gelijk zijn gebleven (ibid.: 7-8).
Een veelgehoorde kritiek is dat OA-journals die gefinancierd worden door middel van APC’s hun kwaliteitsnormen verlagen om hun winst te vergroten. Papers die ondermaats zijn zouden toch worden geaccepteerd omdat de inkomsten voor de uitgever samenhangen met het aantal
gepubliceerde papers. Hoewel er tijdschriften zijn die aan dit beeld voldoen is er volgens Björk en Solomon ook een duidelijke groei te zien in het aantal OA-journals dat kwalitatief gelijkwaardig is aan de gevestigde TA-journals (ibid.: 9).
Hajjem et al. hebben een omvangrijk onderzoek uitgevoerd naar het citatievoordeel van OA-artikelen voor tien verschillende vakgebieden binnen de sociale- en levenswetenschappen. Ze hebben
gebruikgemaakt van een zoekrobot die artikelen gepubliceerd in wetenschappelijke tijdschriften in de periode 1992-2003 op internet kon traceren en kon nagaan of er een OA-versie beschikbaar was. OA-journals werden buiten de analyse gehouden omdat de onderzoekers alleen geïnteresseerd waren in het verschil in citatie-aantallen tussen OA- en TA-artikelen uit hetzelfde tijdschrift (Hajjem et al., 2005, 40).
Uit de resultaten blijkt dat er over de gehele linie een duidelijk citatievoordeel bestaat voor OA-artikelen, variërend van 36% voor biologie tot 172% voor sociologie. Wanneer wordt gekeken naar de herkomstlanden van de (eerste) auteurs dan blijkt het verschil in citaties te gelden voor alle landen (ibid.: 41). Volgens Hajjem et al. is het echter niet zeker dat de gevonden correlaties duiden op een causaal verband. Net als veel andere onderzoekers wijzen ze erop dat zelfselectie mogelijk een rol speelt bij het gevonden citatievoordeel voor OA-artikelen. Ze noemen echter ook drie redenen waarom het onwaarschijnlijk is dat zelfselectie de enige oorzaak is van het verschil in aantal citaties (ibid.: 44). Ten eerste zou in dat geval het citatievoordeel moeten krimpen of zelfs verdwijnen als het aandeel OA-artikelen de 100% zou naderen. Eerdere studies op vakgebieden waar het
percentage OA-artikelen zeer hoog ligt laten echter resultaten zien die gelijk zijn aan die van Hajjem et al. De tweede reden die de onderzoekers noemen is dat OA ook het aantal artikeldownloads doet toenemen. Dat leidt vervolgens via een causaal verband weer tot een groter aantal citaties. Tot slot wijzen de auteurs erop dat toegang een noodzakelijke voorwaarde is voor gebruik en citatie van artikelen en dat geen enkele wetenschapper is aangesloten bij een instituut dat het zich kan veroorloven om toegang te verkrijgen tot alle bestaande tijdschriften. Zelfarchivering vergroot de mogelijke bereikbaarheid van een artikel tot 100% (ibid.: 45).
20
Volgens Gargouri et al. gaat het bij OA niet alleen over toegangsrechten of de algemene verspreiding van kennis maar vooral ook over het vergroten van de impact en daarmee de vooruitgang van het onderzoek zelf (Gargouri et al., 2010, 1). De onderzoekers wijzen op eerdere studies die
suggereerden dat het citatievoordeel van OA-artikelen kan worden verklaard door zelfselectie. Om na te gaan of dit klopt hebben Gargouri et al. ervoor gekozen om een nieuwe dimensie toe te voegen aan het onderzoek, ze hebben een vergelijking gemaakt tussen artikelen die door de auteurs zelf geselecteerd zijn voor OA-publicatie en artikelen waarvan de auteurs door hun onderzoeksinstituten werden verplicht om deze open beschikbaar te stellen (ibid.: 2). Papers uit de publicatieperiode 2002-2006 werden betrokken bij de analyse. Om vertekening van het beeld zo veel mogelijk te voorkomen is alleen gekeken naar citatieverschillen tussen papers uit hetzelfde tijdschrift, volume en publicatiejaar. De artikelen die verplicht zijn gepubliceerd als OA-paper werden verkregen uit vier institutionele repositories, de niet-verplichte OA-artikelen zijn gevonden op internet (ibid.: 2).
Bij de instituten die onderzoekers dwingen tot OA-publicatie wordt dit in 60% van de gevallen opgevolgd, wanneer auteurs vrij worden gelaten om hun artikelen al dan niet open beschikbaar te maken gaat slechts 15-20% hiertoe over. Zo lang niet 100% van de artikelen OA-gepubliceerd is blijft zelfselectie een mogelijke reden voor het citatievoordeel van OA-artikelen (ibid.: 3). Wanneer OA-publicatie verplicht is kan zelfselectie van iemands beste artikelen namelijk omslaan in niet-naleving van het mandaat tot OA-publicatie voor de minder goede artikelen. Zelfs in dat geval zou er echter een duidelijk verschil in impact moeten zijn met een OA/TA-ratio die drie keer zo hoog ligt als bij de auteurs die zelf kunnen bepalen hoe ze hun artikelen beschikbaar willen stellen (ibid.: 3).
Uit de analyse blijkt dat OA-artikelen significant meer worden geciteerd dan TA-artikelen, er is hierbij geen verschil tussen verplichte- en vrijwillige OA-publicatie (ibid.: 3). Om uit te sluiten dat het resultaat beïnvloed wordt door andere variabelen hebben Gargouri et al. vijftien extra
onafhankelijke variabelen meegenomen in de analyse zoals de leeftijd van het artikel, de
impactfactor van het tijdschrift, het aantal auteurs en het land van herkomst van de (eerste) auteur (ibid.: 4-5). Al deze variabelen vertonen een positieve samenhang met het aantal citaties maar het oorspronkelijke verband blijft bestaan. Ook blijkt uit het onderzoek dat het citatievoordeel voor OA-artikelen groter is bij veelgeciteerde OA-artikelen en OA-artikelen uit journals met een hogere impactfactor. Kwalitatief goede artikelen profiteren dus meer van OA dan de artikelen van mindere kwaliteit (ibid.: 8-9).
Volgens Gargouri et al. is er meer sprake van een kwaliteitsvoordeel dan een
kwaliteitsvoorkeur: het is niet zo dat de kwalitatief betere artikelen vaker worden geselecteerd voor OA maar als deze artikelen beter toegankelijk worden zullen ze meer geciteerd worden dan even goed bereikbare artikelen van mindere kwaliteit. Het is volgens de onderzoekers eerder zelfselectie
21
door gebruikers dan door auteurs (ibid.: 10). Wanneer alle artikelen open beschikbaar zijn kunnen gebruikers zelf bepalen welke artikelen ze gebruiken en citeren, zonder daarbij te stuiten op toegangsbeperkingen. Gargouri et al. pleiten daarom voor verplichte OA-publicatie door alle onderzoeksinstituten ter wereld (ibid.: 11).
Uit dit literatuuroverzicht blijkt dat de meeste studies erop wijzen dat er een citatievoordeel bestaat voor OA-artikelen ten opzichte van TA-artikelen. Over een mogelijke verklaring zijn de meningen verdeeld, komt het door de betere zichtbaarheid en beschikbaarheid van de artikelen of worden vooral kwalitatief goede artikelen geselecteerd voor OA, die toch al veel geciteerd worden?
Enkele studies maken een vergelijking tussen verschillende vakgebieden maar ook deze resultaten zijn niet eenduidig. Sotudeh et al. vinden een groot OA-citatievoordeel voor
natuurwetenschappelijke artikelen en een klein voordeel voor papers op het gebied van de geestes- en sociale wetenschappen, volgens Wray is er bij de laatstgenoemde disciplines zelfs helemaal geen sprake van een verschil in citaties. Volgens Norris is het verschil in aantal citaties echter juist het grootst bij de sociale wetenschappen.
De onderzoekers die de leeftijd van de artikelen hebben meegenomen in de analyse, Wang et al. en Eysenbach, komen tot de conclusie dat het citatievoordeel voor OA-artikelen steeds groter wordt naarmate de artikelen ouder worden.
Weinig auteurs hebben onderzoek gedaan naar een mogelijk verschil in OA-citatievoordeel tussen Gold en Green OA. De meeste hebben voor één van beide opties gekozen of hebben alle OA-artikelen samen onderzocht zonder onderscheid te maken tussen verschillende typen. Alleen Eysenbach heeft beide varianten tegen elkaar afgezet en komt tot de conclusie dat het citatieverschil groter is bij Gold- dan bij Green OA.
Uit de voorgaande literatuurbespreking wordt de volgende centrale onderzoekshypothese afgeleid: Open Access-artikelen worden vaker geciteerd dan Toll Access-artikelen
Verder worden ter beantwoording van de eerder genoemde deelvragen de volgende hypothesen opgesteld:
1. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen is groter bij de natuurwetenschappen dan bij de sociale wetenschappen
2. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen wordt groter met het verstrijken van de tijd
3. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen wordt verklaard door het feit dat Open Access-artikelen over het algemeen van hogere kwaliteit zijn dan Toll Access-artikelen
22
3. Methodologie
3.1. Operationalisatie en onderzoeksmethode
In deze paragraaf worden de variabelen geoperationaliseerd tot meetbare grootheden zodat de eerder opgestelde hypothesen kunnen worden vertaald naar toetsbare stellingen. Verder wordt in deze paragraaf uitgelegd hoe de onderzoeksmethode eruitziet.
Teneinde een vergelijking mogelijk te maken tussen natuur- en sociale wetenschappen wordt gebruikgemaakt van artikelen uit vier verschillende vakgebieden: biologie, natuurkunde, psychologie en economie. Er is gekozen voor deze disciplines omdat ze voldoende OA-artikelen omvatten en een goede weergave bieden van beide wetenschapsrichtingen. De geesteswetenschappen worden buiten beschouwing gelaten omdat daarin veel gebruikgemaakt wordt van monografieën in plaats van artikelen en de citatieaantallen over het algemeen vrij laag liggen.
Om te kunnen nagaan of het citatieverschil tussen OA- en TA-artikelen groter wordt met de tijd zou idealiter dezelfde groep papers gedurende een langere tijd moeten worden gevolgd, waarbij steeds de citatieaantallen worden bijgehouden. Vanwege de beperkte tijd die voor dit onderzoek beschikbaar is worden gegevens verzameld van papers uit twee publicatiejaren: 2008 en 2013. De artikelen uit 2013 hebben met gemiddeld drie jaar voldoende tijd gehad om citaties te verzamelen en de periode tussen de beide groepen van vijf jaar is groot genoeg om een duidelijk eventueel verschil te kunnen identificeren.
De kwaliteit van de artikelen is moeilijk objectief vast te stellen, vaak wordt daarom gekeken naar de impact of het aanzien van de auteur, het instituut of het tijdschrift. In dit onderzoek wordt de impactfactor van het tijdschrift gebruikt als indicator voor de kwaliteit van een artikel. De
impactfactor van een bepaald jaar wordt berekend door het aantal citaties uit dat jaar te delen door het aantal artikelen dat in de twee jaren daarvoor gepubliceerd is (Web of Science, g.d.).
Bij dit kwantitatieve onderzoek wordt gebruikgemaakt van het statistische programma SPSS, hiermee kan worden nagegaan of de gevonden verschillen en verbanden significant zijn en de kans dus zeer groot is dat ze gelden voor de gehele populatie van artikelen. Met een T-toets kan worden
onderzocht of er sprake is van een verschil in het gemiddelde aantal citaties tussen TA- en OA-artikelen. Omdat de variabelen wetenschapsgebied en publicatiejaar van de artikelen op zichzelf al een grote invloed hebben op het aantal citaties levert een T-toets in deze gevallen een vertekend beeld op. Daarom wordt bij het toetsen van de hypothesen 1 en 2 gekeken naar de samenhang
23
tussen OA-publicatie en het aantal citaties. Met behulp van Pearson’s correlatiecoëfficiënt wordt nagegaan of de grootte van de samenhang varieert met het wetenschapsgebied en publicatiejaar van de artikelen. Tot slot wordt gebruikgemaakt van multipele regressieanalyse om te achterhalen of de impactfactor van het tijdschrift invloed heeft op de relatie tussen de toegangswijze (TA of OA) en het aantal citaties.
De in het vorige hoofdstuk opgestelde centrale onderzoekshypothese kan als volgt worden geoperationaliseerd:
Open Access-artikelen hebben een hoger gemiddeld aantal citaties dan Toll Access-artikelen De deelhypothesen worden op de volgende wijze geoperationaliseerd:
1. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen is groter bij biologie en natuurkunde dan bij psychologie en economie
2. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen is groter voor artikelen uit 2008 dan voor artikelen uit 2013
3. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen verdwijnt wanneer wordt gecontroleerd voor de impactfactoren van de tijdschriften
3.2. Dataverzameling
In dit onderzoek wordt er alleen gebruikgemaakt van onderzoeksartikelen, andere documenten worden niet opgenomen in de steekproef. Alleen papers die gepubliceerd zijn in tijdschriften worden meegenomen in het onderzoek, het betreft dus Gold- en Hybrid OA. Green OA wordt buiten
beschouwing gelaten omdat de dataverzameling in dat geval zeer tijdrovend is, elke artikeltitel moet afzonderlijk worden ingevoerd in zoekmachines om na te gaan of er ergens op het internet een OA-variant van het artikel te vinden is.
Voor het verzamelen van de onderzoeksdata is gebruikgemaakt van de citatie-index Web of Science. Van in totaal 1600 artikelen zijn verschillende gegevens geregistreerd: vakgebied,
publicatiejaar, de toegangswijze (TA of OA), de impactfactor van het betreffende tijdschrift en het aantal citaties. Per combinatie van de eerste drie variabelen (bijvoorbeeld biologie, 2008, TA) zijn de 100 meest geciteerde artikelen geselecteerd. Er is gekozen voor deze selectiemethode om er zeker van te zijn dat alle artikelen in de steekproef ten minste één keer geciteerd zijn. De citatiegegevens zijn verzameld in juni 2016. Op Afbeelding 1 is een voorbeeld van een ingevuld zoekscherm te zien, het vakgebied is hier ingevoerd als Web of Science Category.
24 Afbeelding 1: Ingevuld zoekscherm
Om de 100 meest geciteerde artikelen te selecteren zijn de resultaten gesorteerd op het aantal citaties (Times Cited – highest to lowest), zoals te zien is op Afbeelding 2.
Afbeelding 2: Resultaten zoekopdracht gesorteerd op aantal citaties
Om alleen de TA- of OA-artikelen te selecteren is het tot slot noodzakelijk om links onderin bij Open
25 Afbeelding 3: Alleen TA- of OA-artikelen selecteren
De impactfactoren zijn afkomstig uit de Journal Citations Index van Web of Science. Aan elk artikel wordt de impactfactor uit het publicatiejaar van het artikel gekoppeld, dit geeft aan wat de prestige van het tijdschrift was in dat betreffende jaar. Bij de OA-artikelen uit 2008 op de vakgebieden psychologie en economie is gebruikgemaakt van de impactfactoren uit 2010 omdat het vaak om recent opgerichte OA-tijdschriften ging die in 2008 nog geen impactfactor hadden.
26
4. Resultaten en analyse
4.1. T-test
In Tabel 1 is te zien wat de gemiddelde aantallen citaties zijn voor de verschillende groepen artikelen uit de steekproef, de resultaten zijn afgerond op twee decimalen. Het aantal citaties van de OA-artikelen is steeds weergegeven als percentage van het aantal citaties van de TA-OA-artikelen.
Tabel 1: Gemiddeld aantal citaties
2008 2013 Totaal TA OA TA OA TA OA Biologie 906,48 100% 392,48 43,30% 308,19 100% 173,37 56,25% 607,34 100% 282,93 46,59% Natuurkunde 958,21 100% 86,46 9,02% 285,67 100% 42,76 14,97% 621,94 100% 64,61 10,39% Psychologie 346,55 100% 30,29 8,74% 88,77 100% 26,14 29,45% 217,66 100% 28,22 12,97% Economie 213,99 100% 7,43 3,47% 48,70 100% 3,84 7,89% 131,35 100% 5,64 4,29% Totaal 606,31 100% 129,17 21,30% 182,83 100% 61,53 33,65% 394,57 100% 95,35 24,17%
Het eerste wat opvalt is dat, tegen de verwachting in, het gemiddelde aantal citaties groter is bij de TA-artikelen dan bij de OA-artikelen, dit geldt voor alle vakgebieden en beide publicatiejaren. Bij biologie valt het verschil nog enigszins mee maar bij de andere drie disciplines is het aanzienlijk. Voor de artikelen uit 2013 is het citatieverschil kleiner dan voor die uit 2008.
De gevonden verschillen worden mogelijk vertekend doordat er zich in de dataset een aantal uitschieters (outliers) bevinden: artikelen die buitengewoon vaak geciteerd zijn. Na verwijdering van de 130 door SPSS geïdentificeerde outliers blijken de verschillen tussen de groepen licht te
27 Tabel 2: Gemiddeld aantal citaties na verwijdering outliers
2008 2013 Totaal TA OA TA OA TA OA Biologie 709,62 100% 280,95 39,59% 196,56 100% 121,51 61,82% 453,09 100% 201,23 44,41% Natuurkunde 805,56 100% 72,37 8,98% 268,94 100% 36,32 13,50% 537,25 100% 54,35 10,12% Psychologie 259,71 100% 25,60 9,86% 73,89 100% 22,90 30,99% 166,80 100% 24,25 14,54% Economie 188,47 100% 6,54 3,47% 44,40 100% 3,48 7,84% 116,44 100% 5,01 4,30% Totaal 490,84 100% 96,37 19,63% 145,95 100% 46,05 31,55% 318,40 100% 71,21 22,36%
In het vervolg van de analyse worden de outliers buiten beschouwing gelaten.
Om na te gaan of het verschil in gemiddeld aantal citaties tussen TA- en OA-artikelen significant is wordt een T-test uitgevoerd, de belangrijkste resultaten staan in Tabel 3
Tabel 3: T-test van het verschil in gemiddelde op de variabele Citaties
Gemiddelde TA Gemiddelde OA Verschil Significantie N
318,2703 68,9247 249,34561 0,000 1470
De gemiddelden die uit deze test naar voren komen wijken licht af van die in Tabel 2 omdat daar tussentijds is afgerond. Het verschil heeft een significantieniveau van 0,000 wat betekent dat de kans kleiner is dan 0,1% dat er geen verschil bestaat tussen de gemiddelden van de twee groepen. Er is dus vrijwel zeker sprake van een citatieverschil tussen TA- en OA-artikelen maar dit heeft niet de verwachte richting. De veronderstelling was dat OA-artikelen significant meer geciteerd zouden worden.
De centrale onderzoekshypothese
Open Access-artikelen hebben een hoger gemiddeld aantal citaties dan Toll Access-artikelen kan op basis van de eerste onderzoeksresultaten niet worden aangenomen.
28
Om de hypothesen 1 en 2 te toetsen moet de dataset eerst worden gesplitst alvorens kan worden overgegaan tot het uitvoeren van de T-tests. Zo kunnen de citatieverschillen binnen twee of meer groepen onderling worden vergeleken. Het bestand wordt eerst gesplitst op basis van wetenschaps- en vakgebied en daarna op basis van publicatiejaar.
Tabel 4: T-test van het verschil in gemiddelde op de variabele Citaties, vergelijking o.b.v. Wetenschapsgebied
Wetenschapsgebied Gemiddelde TA Gemiddelde OA Verschil Significantie N
Bèta 497,2970 125,5978 371,69924 0,000 725
Gamma 142,1233 14,3844 127,73892 0,000 745
In Tabel 4 is te zien dat TA-artikelen op het gebied van de natuurwetenschappen gemiddeld bijna 372 citaties meer hebben vergaard dan OA-artikelen, binnen de sociale wetenschappen bedraagt het verschil bijna 128. Beide verschillen zijn statistisch significant. Het lijkt dus zo te zijn dat het
citatievoordeel voor de bètarichtingen groter is dan voor de gammawetenschappen. De gemiddelde citatie-aantallen liggen binnen de sociale wetenschappen echter veel lager dan binnen de
natuurwetenschappen, een gemiddeld verschil van 372 is dan ook niet mogelijk wanneer het hoogste gemiddelde slechts 142 bedraagt. De resultaten in Tabel 4 worden dus ernstig vertekend door de al bestaande citatie-verschillen tussen de wetenschapsgebieden. Op basis van deze resultaten kunnen nog geen goede conclusies worden getrokken.
Tabel 5: T-test van het verschil in gemiddelde op de variabele Citaties, vergelijking o.b.v. Vakgebied Vakgebied Gemiddelde TA Gemiddelde OA Verschil Significantie N
Biologie 457,4407 201,6936 255,74704 0,000 350
Natuurkunde 534,4263 54,4378 479,98848 0,000 375
Psychologie 167,7872 24,2873 143,49994 0,000 369
Economie 116,0432 5,0000 111,04324 0,000 376
In Tabel 5 zijn de resultaten van de T-test verder uitgesplitst naar vakgebied. Bij natuurkunde is het verschil in gemiddelde aantal citaties tussen TA- en OA-artikelen veruit het grootst, gevolgd door biologie, psychologie en tot slot economie. Beide natuurwetenschappelijke vakgebieden hebben dus een groter citatieverschil dan de sociaalwetenschappelijke-, echter wil dit niet zeggen dat het citatievoordeel het grootst is voor natuurkunde en het kleinst voor economie.
29 De hypothese
1. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen is groter bij biologie en natuurkunde dan bij psychologie en economie
kan niet worden verworpen of aangenomen.
Tot slot is de dataset nog gesplitst op basis van publicatiejaar. De resultaten van de T-test zijn te vinden in Tabel 6.
Tabel 6: T-test van het verschil in gemiddelde op de variabele Citaties, vergelijking o.b.v. Publicatiejaar
Publicatiejaar Gemiddelde TA Gemiddelde OA Verschil Significantie N
2008 489,4879 92,8668 396,62102 0,000 739
2013 146,1247 44,5856 101,53903 0,000 731
Voor zowel 2008 als 2013 is er sprake van een significant verschil in gemiddeld aantal citaties tussen TA- en OA-artikelen. Bij de oudere artikelen is het verschil duidelijk groter maar dit wordt voor een groot deel verklaard door het feit dat artikelen uit 2008 meer tijd hebben gehad om citaties te vergaren dan artikelen die gepubliceerd werden in 2013. Zoals eerder ook al het geval was bij de vergelijking op basis van wetenschapsgebied is het in dit geval ook zo dat het verschil in gemiddelden van de ene groep groter is dan het grootste gemiddelde van de andere groep.
De hypothese
2. Het verschil in aantal citaties tussen Open Access- en Toll Access-artikelen is groter voor artikelen uit 2008 dan voor artikelen uit 2013
kan niet worden verworpen of aangenomen.
4.2. Correlatie
In de vorige paragraaf bleek dat het bij het toetsen van de hypothesen 1 en 2 weinig zin heeft om te kijken of de gemiddelde aantallen citaties van elkaar verschillen. De natuurwetenschappelijke en oudere artikelen hebben duidelijk meer citaties dan respectievelijk de sociaalwetenschappelijke en recentere papers, de onderlinge absolute verschillen in aantallen citaties tussen artikelen zijn
daardoor ook groter binnen de groepen veelgeciteerde artikelen. Dat maakt dat de gemiddelden van TA- en OA-artikelen ook verder uit elkaar liggen, dit zegt echter weinig over de mogelijke invloed van OA-publicatie op het aantal citaties. Kijken naar de absolute verschillen levert dus een vertekend
30
beeld op, het wordt dan wel duidelijk of er sprake is van een significant verschil maar de grootte van dit verschil kan niet worden vergeleken met het verschil binnen een andere groep artikelen.
Om toch te kunnen bepalen binnen welke groepen de samenhang statistisch gezien het grootst is wordt gebruik gemaakt van Pearson’s correlatiecoëfficiënt. Deze geeft aan hoe groot de samenhang is tussen twee variabelen en of deze significant is, hierbij is de grootte van de absolute verschillen niet van belang. Omdat de variabele Toegang slechts twee waarden kan aannemen (TA of OA) en dus dichotoom is kan deze worden opgevat als intervalvariabele en is het toegestaan om de correlatiecoëfficiënt te berekenen. Omdat het hier gaat om het berekenen van de samenhang in plaats van het gemiddelde verschil worden de hypothesen 1 en 2 aangepast en luiden ze nu als volgt:
1. De samenhang tussen Open Access-publiceren en het aantal citaties is sterker bij biologie en natuurkunde dan bij psychologie en economie
2. De samenhang tussen Open Access-publiceren en het aantal citaties is sterker voor artikelen uit 2008 dan voor artikelen uit 2013
Om meerdere groepen te kunnen vergelijken wordt het bestand wederom gesplitst, eerst op basis van wetenschaps- en vakgebied en daarna op basis van publicatiejaar.
Tabel 7: Correlatie tussen Toegang en Citaties, vergelijking o.b.v. Wetenschapsgebied Wetenschapsgebied Correlatiecoëfficiënt Significantie N
Bèta -0,593 0,000 725
Gamma -0,676 0,000 745
In Tabel 7 zijn twee correlatiecoëfficiënten te zien die de samenhang beschrijven tussen de variabelen Toegang en Citaties, eerst in de groep natuurwetenschappelijke artikelen (Bèta) en vervolgens in de groep sociaalwetenschappelijke artikelen (Gamma). Een correlatiecoëfficiënt van -1 of +1 betekent een perfecte samenhang, een waarde van 0 wil zeggen dat er in het geheel geen samenhang is. Voor beide wetenschapsgebieden geldt er een significante negatieve samenhang tussen de variabelen Toegang en Citaties, dat betekent dan OA-artikelen in beide groepen minder vaak geciteerd worden dan TA-artikelen. Bij de sociale wetenschappen is de correlatie echter groter, het verschil in aantal citaties tussen TA- en OA-artikelen is voor sociaalwetenschappelijke artikelen dus groter dan voor natuurwetenschappelijke. Omdat de percentages in Tabel 2 erop wijzen dat dit niet over de gehele linie zo hoeft te zijn, bij natuurkunde is het verschil groter dan bij psychologie, worden ook de correlaties berekend voor de vier afzonderlijke vakgebieden.
31
Tabel 8: Correlatie tussen Toegang en Citaties, vergelijking o.b.v. Vakgebied Vakgebied Correlatiecoëfficiënt Significantie N
Biologie -0,472 0,000 350
Natuurkunde -0,689 0,000 375
Psychologie -0,690 0,000 369
Economie -0,695 0,000 376
Uit Tabel 8 blijkt dat het verband tussen Toegang en Citaties bij biologie het zwakst is, daar is het verschil in aantal citaties dus het kleinst. Bij de overige drie vakgebieden ontlopen de
correlatiecoëfficiënten elkaar echter nauwelijks, de samenhang is hier bij natuurkunde wel iets lager dan bij psychologie maar het verschil is te klein om er conclusies aan te verbinden.
De hypothese
1. De samenhang tussen Open Access-publiceren en het aantal citaties is sterker bij biologie en natuurkunde dan bij psychologie en economie
kan niet worden aangenomen of verworpen.
Tabel 9: Correlatie tussen Toegang en Citaties, vergelijking o.b.v. Publicatiejaar Publicatiejaar Correlatiecoëfficiënt Significantie N
2008 -0,612 0,000 739
2013 -0,531 0,000 731
In Tabel 9 is te zien wat de correlatie is tussen de variabelen Toegang en Citaties wanneer de artikelen worden ingedeeld op publicatiejaar. Voor beide publicatiejaren geldt er een significante negatieve samenhang tussen de variabelen Toegang en Citaties, dat betekent dat OA-artikelen uit beide jaren minder vaak geciteerd zijn dan TA-artikelen. Voor papers uit 2008 is de correlatie echter groter, het verschil in aantal citaties tussen TA- en OA-artikelen is voor oudere artikelen dus groter dan voor recentere.
De hypothese
2. De samenhang tussen Open Access-publiceren en het aantal citaties is sterker voor artikelen uit 2008 dan voor artikelen uit 2013
