Capita selecta
Het belang van publikatiebias in de medisch-wetenschappelijke literatuur
H . E . D E M E L K E R , F . R . R O S E N D A A L EN J . P. V A N D E N B R O U C K E
In de laatstc jaren is veel aandacht besteed aan publika-tiebias, de omstandigheid dat onderzoekingen met posi-tieve rcsultaten vaker gepublicecrd zouden worden dan die mct negaticve.1 " Hoewel sommige onderzoekers
menen dat negatieve resultatcn minder belangrijk zijn dan positicve, denken vele anderen daar anders over; zij ncmen het probleem van publikatiebias heel sericus.12
Overigcns is het met de publikatie van cen onderzoek nog niet afgelopen wat de bias betreft; er kan ook sprake zijn van vertekening bij het hantercn van de resultatcn nä publikatie van een onderzoek: postpublikatiebias.6 Het
Acadcmibch Ziekenhuis, atd Klinische Epidemiologie. Postbus 9600, 2300 RC Leiden
H E de Melket, di F.R Rosendaalcnpiof dt J P Vandenbioucke,epi-demiologen
Cone'ipondentie-ailies dl F R Rosendaal
bcstaan hiervan wcrd recentelijk door Ravnskov aange-toond: van in totaal 22 onderzoekingen naar de effecten van cholesterolverlaging op de mortaliteit bij coronaire aandoeningen werden onderzoekingen waarbij een gun-stig effect was gevonden 5 maal zo vaak gecitecrd als de overige onderzoekingen.11 In dit geval waren de
negatie-ve onderzoekingen wel gepubliccerd, maar werden ze genegeerd.
zoekmgen Deze databank kan gebruikt worden om de schatting van een effect op basis van alleen gepublicecrde onderzoekingen te vergehjken met de schatting op basis van gepubliceerde en ongepubliceerde onderzoekm-gen1 4
Zo werd m een overzichtsartikel dat alleen op gepubli-ceerde onderzoekingen gebaseerd was een statistisch significant grotere overlevmgsduur gevonden voor patienten met een ver gevorderd Stadium van ovarmm-kanker, behandeld met een combinatie van chemotheia-peutica, ten opzichte van patienten die behandeld wer-den met monotherapie met alkaloiwer-den Wanneer het overzichtsartikel echter alle geregistieerde onderzoekin-gen had omvat, zou geen statistisch significant veischil tussen beide behandelmgen zijn gevonden 14
Een andere methode om de omvang van het probleem te schatten is het enqueteren van onderzoekers Aan 318 auteurs van gepubliceerde onderzoekingen werd gevraagd of zij mee hadden gewerkt aan een gerandomi-seerd kimisch onderzoek De 156 respondenten rappor-teerden 271 ongepubliceerde en 1041 gepubliceerde onderzoekingen Van de ongepubliceerde ondeizoekm-gen bleek 96% de nicuwe therapie met beter te beoorde-len dan de standaardtherapie, tegenover 45% van de gepubliceerde onderzoekingen i Hierbij is berekend dat positieve resultaten een tweemaal zo grote kans hebben om gepubhceeid te worden dan negatieve 3 8 Ovengens
bedoelen wij met 'positieve lesultaten' dat het nieuwe middel beter zou zijn dan het oude middel of het placebo en met 'negatieve resultaten' dat er geen statistisch significant verschil gevonden werd tussen de onderzoeks-groepen
WAT Z I J N DE O O R Z A K E N VAN P U B L I K A T I E B I A S ^ Hoewel vaak wordt gesuggereerd dat referenten en redacties een grote rol speien bij het ontstaan van pubhkatiebias door het met accepteren van onderzoekin-gen met negatieve resultaten,4 blijkt het met aanbieden
van onderzoekingen met negatieve resultaten de belang-njkste factor te zijn 13Sl5 Onderzoekingen met positieve resultaten zouden 3 maal zo vaak voor pubhkatie aange-boden worden en 2 maal zo vaak gepubhceerd, vaker in tijdschnften met een grote 'impact factor', en een groter aantal pubhkaties en presentaties op gang brengen dan onderzoekingen met negatieve resultaten 8 De meeste
manuscnpten die aangeboden worden voor pubhkatie worden echter uitemdehjk gepubhceerd 116 Wanneer onderzoekers vaker negatieve resultaten aan tijdschnf-ten zouden aanbieden, zou pubhkatiebias dus welhcht kunnen verminderen Pubhkatiebias zou het grootste zijn voor onderzoekingen met kleine aantallen patienten 1017
Ook het verstrekken van subsidie kan invloed hebben op de kans op een pubhkatie Van intern of met-gesubsi-dieerd onderzoek bleef 39% ongepubhceeid, ten opzich-te van 17% van exopzich-tern gesubsidieeid onderzoek 3
Nicu-we therapieen worden vaker verkozen wanneer de far-maceutische Industrie het onderzoek subsidieert dan wanneer het onderzoek op een andere manier is gesubsi-dieerd (89 versus 61%) 18 Dit laatstc vmdt zijn oorzaak m
een geringe beieidheid tot nsicodragend onderzoek bij
commerciele opdrachtgeveis, alsmede m zogenoemdc 'marketing tnals' ondeizoek dat met zozeer uit weten-schappehjke motieven woidt mtgcvoeid, maar om aitsen te laten wennen aan een meuw middel
O P S P O R I N G V A N P U B L I K A T I E B 1 A S M E T B E H U L P V A N D E F U I K G R A F I E K
Een methode om te zien of spiake is van pubhkatiebias op een bcpaald gebied is de fuikgrafiek (Engels 'funnel-plot') Wanneei m een aantal onderzoekingen precies hetzelfde wordt ondcrzocht, zal louter door toeval rond-om het werkehjke effect een spreidmg ontstaan Dit toevalselement, en dus de spieidmg, is kleiner bij grote dan bi] kleine onderzoekingen Wanneer mcn m een grafiek een maat voor spreidmg (bijvoorbeeld de onder-zoeksgrootte of i/standaarddeviaüe) uitzet tegen de maat voor effect (bijvoorbeeld de sterftereductie of de gemiddelde bloeddrukverlagmg), krrjgt deze m het idea-le geval de vorm van een fuik Kidea-leine onderzoekingen hebben de meeste spreidmg en geven dus meer extieme resultaten, hetzij negatief, hetzij positief Wanneei er sprake is van pubhkatiebias zullcn de steik negatieve resultaten met gepubhceerd woiden Sterk negatieve resultaten zullen zeker vaak ongepubhceerd bhjven wan-neer de resultaten absind zijn, bijvoorbeeld 'passief roken beschermt tegen longkanker', of omnteressant, bijvoorbeeld 'aspirme gencest leukemie met' Ei zal een gat m de fuik ontstaan op de plaats waar het effect ongeloofwaardig of omnteressant is (figuui i) w In een
overzicht betreffende onderzoekingen naar passief roken
ondeizoeksgiootte FIGUUR i Ideale fuikgrafiek van vcrwachte spreidmg van onderzoeksresultaten naar onderzoekgrootte De onderzoe kmgen vormen een puntenwolk die dooi de stippelhjnen wordt begrensd Het horizontale mvcau A geeft een werkehjk positief effect aan, het mveau o houdt m geen effect, een 'gat' ter plaatse van B m de puntenwolk ontstaat als er sprake is van pubhkatiebias (met tocstemmmg oveigenomen)
3,0-, 1,3 1,0 •Ο ο ο 0,6 0,4 0,2 standaaidfout van ln(RR)
FIGUUR 2. Fuikgrafiek van het relatief nsico (op een logantmi-sche schaal) ten opzichte van de standaardfout van ln(RR) voor mannen (·) en vrouwen (o) m een review van 13 onderzoekm-gen naar passief roken en longkanker.2021 De gestippelde hjn komt overeen met een effect van passief roken van i ,30 (met toestemmmg overgenomen).21
en longkanker werd met behulp van deze fuikgrafiek publikatiebias aannemelijk gemaakt (figuur 2).2021
CORRECTIE VAN PUBLIKATIEBIAS
Er zijn verschallende statistische methoden ontwikkeld waarmee publikatiebias gecorrigeerd zou kunnen worden.4 Een bezwaar is echter dat altijd bepaalde aannamen gemaakt moeten worden over de ontbrekende gegevens die per definitie niet geverifieerd kunnen worden.
Behalve correctiemethoden zijn er ook manieren beschreven waarmee publikatiebias voorkomen zou kun-nen worden. Het voorstel een artikel alleen op Inleiding en Methoden te beoordelen, of reeds voor aanvang van een onderzoek protocollen te beoordelen, lost het 'bu-reaulaprobleem' ('file drawerproblem') -niet-significan-te resulta-niet-significan-ten blijven in de lade van de onderzoeker liggen - niet op.102628 Het voorstel gaat bovendien voorbij aan het gegeven dat tijdschriftredacties onderling wedijveren om de meest nieuwswaardige artikelen, waarbij men minstens even vaak naar de citatie-index kijkt als onder-zoekers. Vandaar het voorstel om van onderzoekingen met negatieve resultaten alleen de titels in tijdschriften te vermelden.29
De meest directe manier om het probleem van selectie-ve publikatie te omzeilen is echter om informatie te verzamelen van alle onderzoekingen, zowel gepubliceer-de als ongepubliceergepubliceer-de. Ongepubliceergepubliceer-de ongepubliceer-derzoekin- onderzoekin-gen zouden achteraf opgespoord kunnen worden, maar dit blijkt in de praktijk niet goed mogelijk te zijn.10 Bovendien zijn sommigen van mening dat de kwaliteit van gepubliceerde onderzoekingen groter is dan die van ongepubliceerde.31"33
Het vooraf registreren van onderzoekingen zou een betere oplossing voor publikatiebias zijn.7 1 4 29 Voorbeel-den van registraties zijn de Oxford database of perinatal trials',34 de 'Early Breast Cancer Trialists Collaboration
Group' en het 'Cochranc centre'. Altman en Chinn zijn echter van mening dat voor het merendeel van medischc onderzoekingen registratie vooraf niet haalbaar is.3"6 Misschien wordt veel onderzoek pas 'doorgezet' als het positief is ...
WAT ZIJN DE GEVOLGEN VAN P U B L I K A T I E B I A S ?
In de tabel wordt aangegeven hoeveel onderzoekingen een statistisch significant resultaat zullen hebben bij bepaalde aannamen ten aanzien van het onderschei-dingsvermogen, de onbetrouwbaarheidsdrempel en de a priori-kans dat de alternatieve hypothese (Hi) juist is.
Wanneer er in het geheel geen publikatiebias is (alle onderzoekingen worden gepubliceerd), in de onderzoe-kingen een significantiedrempel van 5% wordt gebruikt en de geformuleerde nulhypothese (Ho) waar is ('de nieuwe therapie is niet beter'), zal 5% van de onderzoe-kingen toch een statistisch significant resultaat laten zien (in de tabel: 45/900) en wel een fout-positief resultaat (type I-fout: de alternatieve hypothese (Hi) wordt ten onrechte aanvaard: 'de nieuwe therapie is beter'). De verhouding van positieve en negatieve gepubliceerde onderzoekingen (hier: 45/855) geeft zodoende een mid-del om te kiezen voor HI dan wel voor H0. In het extreme voorbeeld dat publikatiebias absoluut is en alle alterna-tieve hypothesen onjuist zijn, zal toch 5% van de onder-zoekingen een positieve uitslag geven; alleen deze 5% fout-positieve onderzoekingen verschijnen door de bias in tijdschriften, terwijl de 95% zonder significante resul-taten in de bureaulade van de onderzoeker blijven liggen.28
Als HI waar is ('de nieuwe therapie is beter') en het onderscheidingsvermogen ('power') om een statistisch significant verschil te vindcn 80% bedraagt, zal, wanneer alle onderzoekingen gepubliceerd worden, 80% (80/100; zie de tabel) van deze statistisch significant uitvallen. De verhouding tussen positieve en negatieve onderzoekin-gen (hier: 80/20) helpt ons ook nu weer om een keuze voor HI of HO te maken.
Wanneer alleen positieve onderzoekingen gepubli-ceerd worden, kunnen we gcen keuze meer maken tussen HI en HO op grond van de verhouding van het aantal positieve en het aantal negatieve onderzoekingen; het is
Het aantal gepubliceerde onderzoekingen met significante of niet-sigm-ficante positieve of negatieve bevindingen ten aanzien van een bepaalde theiapie, wanneer ei geen publikatiebias zou bestaan·1
gevonden waai de van p aantal pubhkaties m de situatie HI = waat Hg = waai totaal
=SO,05 >0,05 80 20 45 855 125 875 100 900 1000
p = oveischnjdmgskans, HO = nulhypothese 'de theiapie is even goed als placebo', HI = altematieve hypothese· 'de theiapie is betei dan placebo'.
•''Aannames ß(dekansopeentypell-fout) = 0,20;ondeischeidmgsver-mogen (= l — ß) = 0,80; α (betiouwbaaiheidsdiempel) = 0,05; de a pnon-kans vooi de hypothese HI is in weikehjkheid 0,1 (100/1000)
immeis met mcei te zien wat de weikehjke meeidcrheid is, zowel wanneci H0 als wanneei HI |uist is, tonen de
gepubliceeide ondeizockmgen positievc statistisch signi ficante lesultaten aan Het gcvolg hieivan is dat ei te vaak vooi HI woidt gekozen (hiei 80/125) B U cen onbe
tiouwbaaiheidsdiempel (a) van 0,05 zal 5% (45/900) van de ondeizoekmgen waarm m feite H0 waai is, positicf
ovci de thci apie zijn Indien alleen statistisch sigmficante lesultaten gepubliceeid woidcn, zal het aantal positievc ondeizoekmgen als H0 ]iust is 100% (45/45) bediagen (ei
is dan eigcnh|k geen veischil tussen behandelmg en placebo) Een van de gevolgen van pubhkatiebias is dus dat het aantal onteiecht positieve ondeizoekmgen als Hn
waai is, veihoudmgsgewi]s toencemt (zie de tabel) 10
Of ei nu wel of geen spiake is van pubhkatiebias het valt te veiwachten dat het aandeel van ondeizoekmgen met statistisch sigmficantc lesultaten giotei is dan 5% Ecn type I-fout van 5% wil zeggen dat m 5% van de gevallcn wanneei ei geen veischil tussen twee theiapieen bestaat ei toch een sigmficant veischil gevonden woidt In exticmo houdt dit in dat wanneci uitsluitend ondei-zoek vemcht weid naai zmloze theiapie m 5% van de gevallen toch sigmficantc lesultaten gevonden woiden Dit veiklaait bi|vooibeeld dat een ondeizock naai homeopathic wel cens positief kan uitvallen Vanzclf-spickend is m wcikehjkheid icgelmatig de altematieve hypothese juist en dit zal zelfs ceidei legel dan uitzonde-nng zi]n In ons vooibccld waaibij m 10% van alle ondeizoekmgen Hj waai is, is 12,5% (125/1000) van alle lesultaten sigmficant Indien 50% van de altematieve Hypothesen waai zou zijn, woidt 42 5% (80% van 500 = 400 teiecht positief + 5% van 500 onteiecht positief) van alle lesultaten sigmficant Koitom, het aantal sigmfican-te lesultasigmfican-ten (sigmfican-teiecht en onsigmfican-teiecht) hangt dus van een aantal factoien af de onbetiouwbaaiheidsdrempcl (sig-mficantiemveau, type I-fout, a), het ondeischeidmgsvei-mogen (i — type II-fout, i — ß), maai vooial van de vooiafkans (a pnon-kans) op HI
Dooidat ondeizoekeis ten omechte de nadiuk Icggen op sigmficante veischillen cn wemig aandacht schenken aan met-sigmficante veischillen kan pubhkatiebias vei-gioot woiden Dooi hctondcnappoiteienvannegatieve ondeizoekmgen zullen goed uitgevoeide ondeizockin gen onnodig heihaald woiden s Veidei kan
pubhkatie-bias ccn piobleem ζηη bij medischc beshskunde cn
kostenetfectiviteitsanalyses de hteiatuui is dooi de bias met juist en de beiekcnde kansen zullen met betiouwbaai zijn 37
Het belangnjkste is natuuihjk dat dooi pubhkatiebias de effectiviteit van een behandelmg tc positief beooi deeld zou kunnen woiden 3S Dooidat kleine ondeizoe-kmgen met kleine, met-sigmficante effecten met gepubli-ceeid woiden, woidt de giootte van het effect te positief mgeschat Aangezien de nchting van het effect dooi-gaans wel )uist is zal zelden een tegcngesteldc conclusie woi den geti okken
Sommigcn zijn van mening dat ondeizoekmgen met een gering ondeischeidmgsveimögen met gepubliceeid
dienen te woiden "'1 7 j S Wanneei cchtei gebiuik woidt
gemaakt van betiouwbaaiheidsmteivallen, kunnen
on-deizoekmgen met kleine aantallen toch zeci mfoimatief zijn "
P U B L I K A 7 I E B I A S ΗΟΕΓΤ GEEN PRAKTISCH PROBLEEM OP TE L E V E R E N
Hocwel pubhkatiebias tot gcvolg kan hebben dat de effectiviteit van ccn bepaalde behandelmg met ]uist woidt beooidecld, behoeft dit vooi de medische piaktijk lang met altijd pioblemen op te leveien Bij het veigehj-kcn van de effectiviteit van twee behandelmgen met behulp van statistische toetsen kunnen ci 3 sooiten fouten optieden Een type I-fout houdt m dat het meuwe tniddel, dat eigenhjk geen veibetering inhoudt ten opzichte van de gangbaie theiapie, toch veikozen woidt Dit hceft waaischijnlijk fmanciele, maai geen medische nadelen Een type II fout beticft de situatie dat het meuwe middel betei is dan de gebiuikch|ke theiapie en men hieiaan vooibijgaat omdat het gevonden veischil met sigmficant was Meestal woidt toch emg effect gevonden, wat leidt tot heihalmg van ondeizoek Dat betekent dat de geneeskunst lets langzamei vooiuitgang boekt dan welhcht mogeh|k was De paticnt woidt een vooiuitgang ontzegd, maai is met slechtei af dan de paticnt die een jaai ceidei zick weid beiden kujgen de gangbaie theiapie
Wanneei het meuwe middel slechtei is dan de gangba-ie theiapgangba-ie en toch woidt verkozen, betekent dit dat de patient de (supeneuie) gangbare theiapie onthouden woidt en hij slechtei af is dan zijn collega-patient van een jaai eeidei Dit woidt wel de type III-fout genoemd 40
De situaties bi) een type I en II-fout zi)n met ideaal, maai hjken ook met diamatisch vooi de patient De situatie bij cen type III fout zal men natuuihjk wel koste wat het kost willen veimi]den Maar is ei veel kans op deze situatie9
De type I-fout (het gehjkwaaidige meuwe middel woidt verkozen) zal dooi pubhkatiebias kunnen optie-dcn De type II-fout (het beteic middel woidt met veikozen) zal met optieden ten gevolge van pubhkatie-bias - mtegendeel Wel is denkbaai dat dezc fout ontstaat dooi pubhkatic van kleine ondeizoekmgen zondei dui-deh)k lesultaat
Het is nauwehjks vooistelbaai dat dooi pubhkatiebias type III-fouten zouden optieden, dus dat een mcuw mfeneui middel boven de gangbaie theiapie wordt veikozen (ook m een klein ondeizock zal het zelden vooikomcn dat een duideh]k positief en sigmficant effect gevonden woidt van een mfeneuie theiapie) De medi-cus piactimedi-cus kan dit nsico nog vei kleinen door met op basis van een of luttele publikaties zijn beleid te wijzigen, maar enigszins de kat uit de boom te kijken
Pubhkatiebias kan dus het beeld omtient het effect van een thei apie te optimistisch bemvloeden, maai het is met waaischi]nh]k dat dit belangii]ke negatieve gevolgen hecft vooi de patient
CONCLUSIE
Positieve lesultaten van ondeizoek woiden vaker vooi pubhkatie aangeboden en gepubliceeid dan negatieve lesultaten Hieidooi ontstaat een systematisch veischil
tussen gepublicccrdc cn ongcpubhceerde ondeizoekin-gen.
Bij het ontstaan van publikaticbias spclcn ondcizoc-kers in tegenstcllmg tot refercnten en ledacties van tijdschnften een giote rol. Tot op zekeie hoogte bestaat er cen plicht om te pubhccrcn, zowel van positieve als van negatieve resultaten. Bij nieuwe belangwekkende bevm-dmgcn is hct van belang dczc gcmatigd naar vorcn te brengen.404I Als mcn een dergelijke wijze van publicei en door oudeie onderzoekers aan nieuwe onderzoekers kan laten bijbiengen, zou publikatiebias teruggedrongen kunnen worden.
Hoewel de medicus practicus zieh dient bewust te ζίμι van het bcstaan van publikatiebias, moet hij bedenken dat het onaannemehjk is dat het voor de patient belang-rijk negatieve gevolgen zal hcbbcn. Hct is namchjk zcer onwaarschijnlijk dat de enige fout die dramatisch zal zi|n voor de patient, het veikiezen van een infencur nieuw middel bovcn de gangbare therapic, door publikatiebias zal optreden.
Kortom: publikatiebias is zeker een piobleem voor de piofessionele mctanahst, maar wat minder voor de medi-cus practimedi-cus.
L I T C R A T U U R
1 Dickeism K, Chan S, Chalmeis TC, Sacks HS, Smith Ji H
Publica-tion bias and clmical tnals Contiollcd Clm Tnals 1987, 8 343-53
2 Dickeism K The existence of publication bias and nsk factois foi its
occuuence JAMA 1990, 263 1385-9
1 Dickeism K, Mm Y, Mcmeit CL Factois mfluencing publication of
leseaich lesults Follow-up of apphcations submitted to two mstitu-tional icvicwboaids JAMA 1992, 267 374-8
4 Begg CB, Bei Im JA Publication bias a pioblem in mteipietmg data
J R Statist Soc A 1988, 151 419-63
s Begg CB, Berlin JA Publication bias and dissemmation ot clmical
leseaich J Natl Cancei Inst 1989, 8l 107-15
6 ChalmeisTC, Fiank CS, Reitman D Minimizmg the thieestagcsof
publication bias JAMA 1990, 263 1392-5
7Easteibiook P Reducmg publication bias Bi Med J 1987, 295
1347
8Easteibiook PJ, Beilm JA, Gopalan R Matthcws DR Publication
bias m clmical leseaich Lancet 1991, 337 867-72
9 Simes RJ Confionting publication bias a cohoit dcsign foi
meta-analysis Stat Med 1987, 6 11-29
10 Newcombe RG Towaids a leduction m publication bias Bi Med J
1987,295 656-9
1 1 Renme D, Flanagin A Publication bias the hope ovei expenence
JAMA 1992,267 411-2
12 Simon R Discussionof thepapci by Begg and Bei Im J R Statist Soc
A 1988,151 459
11 Ravnskov K Cholesteiol lowenng tnals m coionaiy heait disease
fiequency of citation and outcomc Bi Med J 1992, 305 15-9
I 4Simcs RJ Publication bias the casc foi an inteinational legistiy of
clmical tuals J C h n Oncol 1986, 4 1529-41
h ChalmeisTC, Levm H, Sacks HS, Reitman D, Bei nei J, Nagalmgam
R Mcta-analysis of clmical tnals äs a scientific disciplmc I Contiol of bias and companson with laige co-opeiative tnals Stat Med 1987, 6 315-25
16 Chew FS Fate of manuscupts iqected for publication m the ATR
AJR 1991, 156 627-32
1 7PocockSJ Clmical tnals A piactical appioach Chichestei Wiley,
1988
IS Davidson RA Souice of fundmg and outcome of clmical tnals J Gen
Intern Mccl 1986, i 155-8
19 Light RJ, Pillemei DB Summmg up The science of leviewmg leseaich Cambndge, Mass Umveisity Piess, 1984
20 Wald NJ, Nanchahal K, Thompson SG, Cuckle HS Does bieathmg
othei peoplc'stabaccosmokecausclungcancei7 Bi Med J 1986, 293
1217-22
21 Vandenbioucke IP Passive smokmg and lung cancei a publication
bias1? Bi Med J 1988, 296 391-2
22 Roscnthal R Combmmgicsultsot mdependenlstudies PsycholBull 1978,85 185-93
23 lyengai S, Gieenhouse JB Selection modcl and the file diawci
pioblem Stat Sei 1988 3 109-35
2 4B e i l m J A Begg CB, Louis TA An assessment of publication bias
usmg a sample of pubhshed clmical tuals J Am Statist ASS 1989, 84 381-92
2^ Sugita M, Kanamon M, Izuno T, Miyakawa M Estimatmg a summanzcd odds latio wlulst elimmatmg publication bias m meta-analysis Ipn J Clm Oncol 1992, 22 354-8
26 Kochai MS The peei leview of manuscupts m need foi
impiove-ment J Chionic Dis 1986, 39 147-9
2 7C h a m y M Publication bias Lancet 1991, 337 1102
2S Roscnthal R The 'filediawei pioblem' and toletancefoi nulhesults
Psychol Bull 1979, So 638-41
29 Maxwell C Clmical tnals leview and the Journal oi negative icsults
Bi J C I m Phaimacol 1981, i 15-8
10 Hetheirngton J,Dickeisin K, C h a l m e i s I j M e i n e i t CL Retiospcctive
an piospective Identification of unpubhshcd contiolled tnals lessons fiom a suivey ot obstetncians and pediatiicians Pediatncs 1989, 84 374-80
11 Relman AS News icpoits of mcdical mcctmgs how lehablc atc abstiacts N Engl J Med 1980, 303 277-8
32 Angcll M Negative studies N Engl I Med 1989, 321 464-6 11 Bailai JC Discussion of the papei by Begg and Bei Im J R Statist Soc
A 1988, 151 451
14 Chalmeis I, Hcthenngton J Newdick M, et al The Oxfoid database
of pennatal tnals developmg a legistei of published lepoits of contiolled tnals Contiolled Clm Tnals 1986, 7 306-24
^ Altman DG Discussion of the papci by Begg and Bcilin J R Statist
Soc A 1988,151 447
16 ChmnS Discussionof the papei by Begg and Beilin J R Statist Soc A
1988,151 449
37 Weinstein MC, Fmebeig HV Clmical decision analysis Philadel-phia Saundeis, 1980
3S HedgesLV Estimationofcffectsizeundei n o n i a n d o m s a m p l m g tlic cffects of ccnsoimg studies yielding statistically sigmficant mean diffeiences J Educ Statist 1984, 9 61-85
w PowclI-Tuck J, MacRac KP, Flealy MJR, Lennaid-Iones IE, Paikms
RA A defence of the small clmical tiial evaluation of thiee gastioenteiological studies Bi Med J 1988, 292 599-602
4 0Thoiogood M, Cowen P, Mann J, M u i p h y M, Vessey M Fatal
myocai dial mfai ction and use of psychoti opic dl ugs m young women Lancet1992,340 1067-8
41 Editonal Psychotiopic diugs and myocaidial mfaiction couisc foi
01 caused by panic7 Lancet 1992, 340 1069
Aanvaaid op 16 augustus 1993
