Hoe kan je nu evalueren wat de kwaliteit is van wat je aan het lezen bent? Crap test: - Currency: is de informatie recent? Soms teruggaan naar de founding fases, naar de
grootheden die iets begonnen zijn. Maar ook zien dat er voldoende recent materiaal in zit. - Reliability: waar komt de informatie van? Is er data verzameld, op een wetenschappelijke
manier? Hebben de mensen een turtle gebruikt? Is het betrouwbaar? Heeft de data te maken met je onderzoek?
- Authority: kijken naar de kwaliteit van het artikel/paper. Is het met autoriteit geschreven? Autoriteit ligt bij de journal en de auteur.
- Purpose: wat was de intentie? Wat was het doel van deze paper? Kritisch blijven: hebben zij eenzelfde pointing view als u?
1. Kwaliteit van de informatie Hoe oud, maar?...
In een goed literatuuroverzicht heb je een overzicht van oude en recente bronnen; de oude bronnen moeten de grootheden zijn, de finance goeroes vb. als het over finance gaat. Dan zorgen dat er voldoende recent materiaal is: laatste 5 jaar om aan te tonen dat je weet wat er nu gaande is. In elk van de domeinen zal er in de voorbije 15 jaar enorm veel gebeurd zijn. Het gaat rap dus je moet je bewust zijn van de veranderingen.
In google scholar kijken naar het meest recente.
Bij oud zit je al vaker in boeken. Boek vs journal: als je een boek wilt publiceren daar zit een economische redenering achter. Boek zegt dus niets over de kwaliteit. Er zijn dus ook boeken geschreven door goeroes die totaal crap zijn.
2. Betrouwbaarheid
Rekening houden met journal en artikel en ook auteur.
2.1 journals & artikelen
Peer-reviewed
Dubbelblind
Voorafgaand aan de publicatie worden alle artikelen beoordeeld door deskundigen op dit gebied.
Zij onderzoeken of de bevindingen, interpretaties en aannames aanvaardbaar zijn en in overeenstemming met de bestaande literatuur.
Double-blind peer-reviewed: ik schijf een artikel en ik dien dat in om dit te publiceren in een dagblad. Journal zoekt reviewers/experten die dat heel kritisch gaan lezen.
Double-blind: verwijderen naam van auteur als ze dit naar reviewers sturen. Is het een beginner of is het een topper in wat hij doet? Auteur weet niet wie reviewer is.
Kwaliteit van de gepubliceerde artikelen zal een hogere kwaliteit hebben dan journals die geen double-blind review hanteren. Zeer betrouwbaar bij double-blind peer-reviewed. Altijd eerst hiernaar kijken.
Citaties
Een aantal databanken vermeldt voor elk artikel of hoofdstuk hoe vaak het geciteerd wordt + voegt links toe naar de geciteerde en geciteerde publicaties. Zeer nuttig voor studenten en onderzoekers: een goede manier om oudere en
nieuwere literatuur over een bepaald onderwerp te vinden.
Een groot aantal citaten voor een artikel kan een indicatie zijn van de wetenschappelijke waarde van de publicatie.
Het grote aantal citaten voor verschillende publicaties van een onderzoeker is meestal een indicatie van het belang en de gerespecteerde positie die hij/zij in het onderzoeksdomein inneemt.
Web of Science presteert beter dan Google Scholar (ander doel), maar....
Citaties zeggen ook iets over de kwaliteit. Impact en kwaliteit zijn niet hetzelfde. Iets kan veel geciteerd worden zonder al te veel kwaliteit. Maar het hangt wel samen.
Veel geciteerd: in theorie kan het zijn dat ze zeggen: doe niet zoals het hier: maar meestal wel goed indicatie.
Kijken bij citaties: als er 400 artikelen zijn die dit geciteerd hebben, hier kunnen voor u ook interessante bronnen tussen zit. Kijken naar wat er nog allemaal is verschenen.
Impact factor
Poging om het relatieve gewicht van een tijdschrift te kwantificeren ten opzichte van andere tijdschriften binnen dezelfde discipline.
Poging van de wetenschappelijke wereld om alle dagbladen een cijfer toe te kennen. Hoe hoger het cijfer, hoe groter de impact. Heel veel journals hebben geen impactfactor omdat ze niet voldoen aan de voorwaarden.
Jaarlijks berekend op basis van citatiegegevens die verzameld worden op het web van kennis en gebruikt worden om tijdschriften te rangschikken.
Voor een bepaald jaar (bv. 2018) is het gemiddelde aantal keren dat een artikel dat is gepubliceerd in tijdschrift X is geciteerd in de twee voorgaande jaren (bv. 2016-2017).
Thomson Reuters, Web of Science, of HOMEPAGE OF JOURNAL Journals met een impact factor bijna altijd beter dan journals zonder impact factor.
Journals met een hoge impact factor bijna altijd beter dan journals met een lage impact factor. In management zitten de journals met de hoogte impact factors.
Vb. Impact factor 6 en 400 keer geciteerd: top artikel.
Impact factor = gemiddeld aantal keren dat de artikelen van een tijdschrift zijn geciteerd, in de laatste 2 jaar.
Voorbeeldje van een journal: homepage van een journal opzoeken: journal’s impact factor staat vaak op de homepage van de journal. De 5-jarige impact factor is nog beter.
Kijken naar de impact factoren moet een tweede natuur worden. Impact factor met 1 is nog altijd eeter dan journal zonder impact factor. Lage impactfactor weerspiegelt zich dan in de kwaliteit.
Selecteren van goede journals
Belangrijkste bron: Web of knowledge Journal citation reports http://jcr.incites.thomsonreuters.com/JCRHomePageAction.action
o Tijdschriften per rang > Selecteer categorie Indicatoren voor de kwaliteit van het tijdschrift?
o Effectfactor (3 jaar) & '5 jaar impactfactor'. o Effectfactor zonder zelf-citatie
o Eigenfactor: geen zelfcitaat & weging voor het aanhalen van de impact van het dagboek
o Onmiddellijkheidsscore: hoe snel geciteerd? Dus: leest iedereen het dagboek? Wat zijn de top journals in mijn domein? Hierbinnen zoeken
3. Autoriteit
Wie heeft deze informatie geschreven? Zijn ze een betrouwbare bron van informatie?
Auteur zelf: je moet een goed journal hebben, maar auteur maakt toch het verschil. Hoe is deze auteur? Is dat een auteur met credtis in de wetenschappelijke wereld?
Scores die worden toegekend aan de auteurs. Een aantal zijn beschikbaar via google scholar. Gebruik:
Aantal citaten Auteur track-record:
Semantische papieren H-Index
Aantal journals met meer citaties dan je artikelen hebt: hoeveel van uw artikelen doen het goed? I10 Index
Welke van de artikelen hebben meer dan 10 referenties? RG-score (www.researchgate.com).
Elke auteur met een score van meer dan 10 die is al iets waard. Onder de 10 kunnen wel brilliante beginners in zitten.
3. Developing questions and answers
1 specifieke vorm van kwantitatieve dataverzameling. In ons domein een heel dominante vorm: vragenlijsten. Hoe moet je nu die vragenlijstenopstellen? Kwaliteit van de vragenlijst bepaalt de kwaliteit van het onderzoek.