Mijn kruistabel heeft zo veel verwachte waarden kleiner dan vijf. Wat moet ik nu doen? [My contingency table has so many expected values smaller than five. What am I to do?]

Mijn kruistabel heeft zo veel verwachte waarden

kleiner dan 5. Wat moet ik nu doen?

P.M. Kroonenberg* en A. Verhci-k'

Vakgroep Algemene Pedagogiek, Rijksuniversiteit Leiden*

ABSTRACT

lu an informal way. some dilemmas in connection with hypothesis testing in contingency tahles are presented. This discussion is an introduction to a numerical evaluation of Cochran's rule about the m i n i m u m expected value in a contingency tahle.

INLEIDING

Met behulp van een voorbeeldje daagt dit stukje, op een sterk populariserende wijze, de statis-ticus uit om zich eens te bezinnen op het statistisch geloof en zich af te vragen of statistisch handelen wel in overeenstemming is met statistisch prediken. Dit gedeelte dient als inleiding voor een numerieke beschouwing over Cochrans befaamde vuistregel over de minimum ver-wachte waarden in een kruistabel. Het geheel wordt afgesloten met een aantal aanbevelingen voor het geval Uw kruistabel zo veel verwachte waarden kleiner dan 5 heeft.

EEN DILEMMA VOOR DE OPRECHTE STATISTICUS (M/V)

Stel U bent op bezoek bij de dokter die U de onaangename mededeling doet, dat U een ernstige zeldzame Ziekte heeft. Zij raadt U aan om een operatie te ondergaan die waarschijnlijk de Ziekte kan verhelpen. Er zijn echter twee soorten operaties (A en B) en als goede statisticus vraagt U natuurlijk of er informatie aanwezig is die het mogelijk maakt om een min of meer rationele beslissing te nemen. "Wel", zegt Uw arts, "veel ervaring met deze ziekte hebben we nog niet en er zijn nog maar 12 eerdere gevallen bekend. Over het verloop van de behandeling weten we wat er in Tabel l staat "

De arts voegt er aan toe dat op basis van deze gegevens zij U aanraadt om een operatie te ondergaan en met name Operatie A. Als zorgvuldig statisticus vraagt U zich af of methode A inderdaad beter is.

Het beantwoorden van deze vraag komt neer op de vraag welke behandeling relatief het meeste kans op succes heeft. Er wordt bij het uitsluitend bekijken naar die kans impliciet van uitgegaan dat bij Uw beslissing geen andere argumenten een rol spelen dan of U de behandeling (of geen behandeling) overleeft. Zoals een reviewer terecht opmerkte heeft het voor een ernstig zieke in dat geval weinig zin om tijd te verspillen aan het selecteren van een significantieniveau en om een toets voor de onafhankelijkheid van behandeling en toestand patiënt uit te voeren (wat mijn suggestie in een vroegere versie was).

"Er is immers weinig verloren als do /.ieke een Type I fout maakt en ten onrechte concludeert ilat \i>i>ri behandeling en toestand van </<• patirnt afhankelijk van elkaar zijn. In dit geval zal voor niets een operatie worden ondergaan, maar afgezien van de kosten zal dit de overle-vingskansen van de patiënt niet beïnvloeden (de nulhypothese is immers waar). Als de zieke dan toch de toets op onafhankelijkheid wil uitvoeren dan is het ten onrechte concluderen dat

4 P.M. Kroonenberg en A. Verbeek

Tabel 1. Resultaten van de behandeling van patiënten met de Ziekte Operatiemethodc '

Toestand Patiënt Geen A B Totaal Leeft Nog Overleden 0 3 5 1 1 2 6 6 Totaal 3 6 3 12

er onafhankelijkheid is een meer fatale fout (Type II). De zieke zou dan immers concluderen dat de keuze van behandelingsmethode niets uitmaakt, terwijl dit wel het geval is" (uit het beoordelingsrapport).

Als U echter helemaal niet houdt van het snijden in Uw lijf, dan ligt het probleem anders. In dat geval zou U eigenlijk alleen een operatie willen ondergaan als die duidelijke voordelen biedt boven niets doen, en dan is het de moeite waarde om uit te zoeken of er een relatie bestaat tussen de toestand van de patiënt en de soort behandeling. Immers in het geval van onafhankelijkheid zult U kiezen voor geen behandeling. Ten minste twee problemen doen zich voor bij het toetsen: Ten eerste wat is de steekproefopzet geweest bij dit onderzoek en ten tweede als we dit weten hoe toetsen we de nulhypothese van onafhankelijkheid tussen soort behandeling en toestand patiënt.

Steekproefopzet

In dit geval zijn er twee (serieuze) mogelijkheden. Ten eerste, de groepen patiënten zijn ont-staan door aselecte toewijzing van de patiënten aan methoden en de ongelijke verdeling over de behandelingscategorieën is toevallig. In dit geval hebben we te maken met een multinomiale proefopzet met een N=\2, zodat we met een multinomiale toets aan de gang kunnen gaan. Ten tweede, de verdeling van de patiënten over categorieën is systematisch tot stand gekomen en we hebben te maken met een product-multinomiale proefopzet met het product van drie multino-miale (hier: binomultino-miale) verdelingen met «,=3, n2=6 en n,=3. Er bestaat een hele discussie over

hoe men in dit soort situaties hoort te toetsen, dat wil zeggen of men een multinomiale (N vast), product-multinomiale (één marginaal vast), of een (gegeneraliseerde) hypergeometrische (twee marginalen vast) verdeling moet gebruiken (voor referenties en een Nederlandse discussie over dit onderwerp zie bijvoorbeeld Verbeek & Kroonenberg, 1993, Appendix B.2). Uit die discussie blijkt dat wij er de voorkeur aan geven om met twee vaste marginalen te werken, zo ook hier. Er zijn evenwel anderen die niets op hebben met vaste marginalen, en voor hen heeft dit artikeltje weinig te bieden.

Correcte toets

De standaard toets op onafhankelijkheid tegen een niet-gespecificeerd alternatief is Pearson's (1900) X2-toets [=£ (geobserveerd - verwacht)2/verwacht] die asymptotisch een x2- verdel ing

heeft. Deze toets wordt meestal, naar onze mening ten onrechte, de "x2-toets" genoemd. Ten

onrechte, omdat X2 de toetsingsgrootheid is en er vele toetsen zijn die asymptotisch X2 verdeeld

zijn (bijv. de loglikelihoodratio-toets, de toets van Kruskal-Wallis, etc.). De praktijk is om in alle steekproefgevallen de x2-verdeling te gebruiken. Dat men zich in de praktijk meestal niet

druk maakt over de steekproefsituatie heeft er alles mee te maken dat asymptotisch de verschil-lende steekproefsituaties leiden tot dezelfde toets. Met andere woorden als men X2 gebruikt als

toetsingsgrootheid samen met de x2-verdeling ongeacht de steekproefsituatie, dan leidt dit steeds

Vervelend is wel dat computerpakketten als SPSS (SPSS, 1990) zovaak waarschuwen dat er een iinntal cellen hij zijn die een verwachte waarde hebben kleiner dan 5, zonder aan te geven wat een mens moet met die mededeling. In Tabel l hebben bijvoorbeeld alle cellen een verwachte waarde kleiner dan 5. Iedereen herinnert zich dan dat zijn of haar statistiekboek iets zei in de (rant van "De X2-toets mag alleen gebruikt worden als de verwachte waarden groter zijn dan

vijf' of iets dergelijks. Opvallend is hoe weinig gezegd wordt over wat er met dat "mag" bedoeld wordt. Mogen betekent hier de toets uitvoeren zonder dat men een groot risico loopt een lonk- beslissing te nemen. Het is namelijk zo dat de px2-waarde [Pr ^(X2^2^)] niet

noodzake-l i j k e r w i j s dezenoodzake-lfde waarde heeft anoodzake-ls de juiste exacte px2-waarde [Pr^X^èX2^)] dat wil zeggen

de /J-waarde bepaald op basis van de verdeling van X2 zelf. Met andere woorden het kan zijn dat

de X2-toets leidt tot verwerpen van de nulhypothese, terwijl de exacte toets tot de andere

conclusie zou komen en omgekeerd. Bij exacte toetsen is het overigens zo dat de exacte verde-ling in de drie genoemde steekproefsituaties niet hetzelfde is. Besluit men daarentegen te condi-tioneren op de marginalen zoals wij hier doen dan gebruikt men in alle gevallen de (gegenerali-seerde) hypergeometrische verdeling en is er weer één toets voor alle steekproefsituaties.

Moet U nu Methode A accepteren aK de beste of kunnen we net zo goed een driezijdige munt opgooien? De X2 van Tabel l is 6.0 en dit is groter dan de kritieke j^-waarde (=5.991, gegeven

«=0.05 met ilf=2; p 2 = .0498), dus kunnen we, formalistisch redenerend, concluderen dat

gezien de significantie - / o i l s bi| dit kleine aantal waarnemingen - er sprake is van een afwij-king van de nulhypothese van onafhankelijkheid. Als we in Tabel 2 naar de genormaliseerde lYsuliu-ii k i j k e n (Maherman's (1973) adjusted residuals; zie bijvoorbeeld ook Verbeek & Kroo-nenberg, 1990, 1993, sectie 9.1) dan zien we dat er een groter aantal overlevenden zijn bij behandeling A. Dus het oordeel van de dokter lijkt gezond.

Maar is de p 2 wel te vertrouwen in deze situatie? Immers alle verwachte waarden zijn

kleiner dan 5. De oplossing is duidelijk, we zullen een beroep moeten doen op de exacte toets. De essentie van die toets is dat we gegeven de marginalen alle mogelijke tabellen bepalen, van elke tabel zowel de X2 als de hypergeometrische kans uitrekenen op die tabel en vervolgens de

kansen optellen van alle tabellen die een X2-waarde hebben groter of gelijk aan de

geobserveer-de X2-waarde. Dit probleem, simpel in concept, heeft velen er toe gebracht om er een algoritme

voor te ontwerpen (voor een overzicht, zie Verbeek & Kroonenberg, 1985). De truc is natuurlijk om dit zo efficiënt mogelijk te doen, want met grote tabellen en veel waarnemingen kan het rekenen al gauw uit de hand lopen. Voor zover wij kunnen zien is de exacte p-waarde uitreken-kampioen Mehta en Patei's (1983) netwerkalgoritme, maar ook ons FISHHR aftel-algoritme (Ver-beek & Kroonenberg, 1985, 1990, 1993) slaat geen gek figuur. Echte wedhondenrennen zijn bij ons weten niet gepubliceerd. Beide algoritmen zijn geïmplementeerd in commercieel verkrijg-bare programma's (resp, StatXact - Cytel Software Corporation, 137 Erie Street, Cambridge, Mass.; FISHKR - PTOGAMMA, Postbus 841, 9700 A V Groningen). StatXact kan veel meer situaties aan en heeft een mooiere menustructuur dan FISHKR, maar is ook navenant (± 5x) duurder.

Tabel 2. Genormaliseerde Haherman residuen behorend hij Tabel 1. Operatiemclhode Toestand l'alicnl Geen A B Leeft Nog -2.0 2.3 -0.7 Overleden 2.0 -2.3 0.7

N.B. De genormaliseerde residuen. rn. zijn gedefinieerd als rn = (geobserveerde waarde - verwachte

6 P.M. Kroonenberg en A. Verbeek

In Uw precaire gezondheidstoestand ontdekt U dat de exacte toets een p^ oplevert van .12, met andere woorden de toets op onafhankelijkheid wordt niet verworpen. Wat nu? Dan toch maar die driezijdige munt opwerpen of gewoon niet laten opereren? Of misschien Bayesiaan worden? Dit laatste helpt waarschijnlijk niet veel, want juist de benodigde a priori informatie ontbreekt en U moet Uw leven dan aan de Dirichlet verdeling toevertrouwen in plaats van de exacte of x2-verdeling. Goede raad is niet zo zeer duur, als wel niet beschikbaar. Zoals een

reviewer opmerkte één enkele nieuwe waarneming kan de resultaten weer een geheel ander aanzien geven. Maar ja, U bent nu juist deze nieuwe waarneming. Onmiddelijk komen daarnaast problemen naar voren als hoe zat het onderzoek waaruit Tabel l is voorgekomen werkelijk in elkaar. Is er wel randomisatie toegepast? Is er informatie beschikbaar over het risico van de operaties op zich, nog onafhankelijk van de Ziekte, over de kwaliteit van het bestaan met en zonder operatie, etc.?

Om de beslissing nog ingewikkelder te maken, kunt U toch maar de mogelijkheid overwegen om in ieder geval iets te doen, want de Ziekte op zijn beloop laten en wachten tot er andere patiënten al dan niet behandeld vindt U in tweede instantie toch wat griezelig. De tabel horende bij de keuze tussen de twee typen operaties (even veronderstellend dat wij dit onafhankelijk van de vorige toets zouden kunnen doen of gedaan hebben) heeft een X2 van 2.25 met px2 - -46 en

p 2 = .13 In dit geval weet U formeel gezien weer niet welk type operatie U zou moeten kiezen,

zij het dat we denken dat de meeste mensen dan maar aan A de voorkeur zouden geven. Wi| laten U verder worstelen met Uw probleem. Alle statistische informatie die wij U kun-nen verschaffen hebben we U gegeven. Nog afgezien van deze specifieke contekst confronteert dit voorbeeld U met de gewetensvraag "Hoe sterk gelooft U in hypothesetoetsen wanneer het er echt op aan komt?", laat het tegelijkertijd zien hoeveel keuzes er wel niet gemaakt moeten worden, en bovendien hoeveel er afhangt van de omstandigheden waaronder de data zijn verza-meld

COCHRANS REGEL

Hierboven citeerden wij losjes een willekeurig tekstboek over de toepasbaarheid van de jc2-toets

bij kleine verwachte waarden. Afgezien van enkele voorlopers was het Cochran (1952, 1954) die een preciese formulering gaf over de minimum verwachte waarden in een kruistabel waarbij de asymptotische x2-toets nog nauwkeurig genoeg zou zijn. Uit de twee artikelen samen kan de

volgende regel worden gedistilleerd:

Voor kruistabellen met meer dan l vrijheidsgraad geldt dat ah er relatief weinig verwach-tingen kleiner zijn dan 5 (zeg l van de 5 cellen of meer, of 2 van de 10 cellen of meer), dan is een minimum van l toegestaan bij de berekening van X2 (Cochran, 1954, p. 420).

In het eerdere artikel gaf Cochran aan wat hij bedoelde met 'toegestaan':

Een afwijking wordt als onbelangrijk beschouwd als de exacte P ligt tussen 0.04 en 0.06 terwijl P 0.05 is volgens de %''-tabel en als the exacte P ligt tussen 0.007 en 0.015 terwijl P 0.01 volgens de x''-tabel. (Cochran, 1952, p. 328, 329).

Het is goed om op te merken dat Cochran met deze regel geen uitspraken doet over 2x2-tabellen en dat hij (al staat dit niet in het citaat) alleen uitspraken doet bij conditionering op de margina-len.

.10

"

î -

07

IIIIIIIIII iiiiiiiiii i-.

"

I I I I l""i""| I I I I K

30 n 1ÓO 40 42 45

l ...

Fig. 1. Voor vaste n, r, en c, wordt in dit figuur het gemiddelde, gemiddelde ±1 st. afw., minimum en maximum afgebeeld van p = tMX2 > X2aft-95] voor alle

r x c Cochran-tabellen met deze n. Voor 2 x 3 tabellen laat de figuur zien dat de p-waarde van de meeste tabellen onder p = 07 valt. De tabel met de grootste p heeft een n van 44 Problemen met tabellen met waarde p < .03 beginnen pas bij n = 100. De kleinste p-waarde vinden we bij n = 124. Bij de

-

tabellen hebben nooit meer dan één verwachte waarde kleiner dan vijf. Een 2x3 tabel moet minstens 30 waarnemingen hebben om een Cochran-tabel te zijn, in feite is er voor n=30 maar één, namelijk die met alle cellen gelijk aan 5. Voor een 2x3 tabel heeft men minstens 66 waarnemingen nodig om een Cochran-tabel te krijgen met een verwachte waarde van l .

Figuur l geeft een overzicht van de kwaliteit van de vuistregel van Cochran voor alle 2x3 Cochran-tabellen meteen n kleiner of gelijk aan 125, alle 2x4, 2x5 en 3x3 Cochran-tabellen met

n £ 72. Dit zijn er samen een 1,3 miljoen. Op basis van een reeds uit 1979 stammend

misver-stand hebben we steeds Cochrans regel geïnterpreteerd op basis van het interval [0.03-0.07] in plaats van [0.04-0.06]. Wat hiervan de oorzaak is, is niet meer te achterhalen. Albert Verbeek ontwierp de studie en voerde de berekeningen uit en het kostte zijn 286 machine met coproces-sor ongeveer twee weken rekentijd om de gegevens voor Figuur l uit te rekenen. Ik [PMK] ben er tot op heden niet toegekomen om Albert Verbeeks bestanden uit te zoeken zodat ik de hele rekenpartij nog een keer over kan doen bij de echte Cochran-grenzen. Inspectie van Figuur l leert ook dat dit niet echt veel nieuwe inzichten zal verschaffen. Voor de 2x3 tabellen zien we dat de wijdere grenzen de 'correcte' zijn. Er zijn slechts 73 schendingen op ruwweg l miljoen

tabellen. Bij de 2x4 en 2x5 tabellen zien we dat de 'echte' grenzen de 'correcte' zijn en bij de

3x3 tabellen zouden de grenzen nog nauwer aangehaald kunnen worden. Opvallend bij elk van de tabellen is dat n maar bar weinig te maken heeft met de grootte van de grenzen, de standaard afwijking en iets meer met het gemiddelde. Al met al is de kwaliteit van Cochrans regel (aange-past voor de 2x3 tabellen) imposant als men weet dat Cochran praktisch geen rekenapparatuur ter beschikking stond. Overigens als we voor een 2x2-tabel dezelfde wijde grenzen aan houden dan moet de m i n i m u m verwachte waarde iets zijn in de orde van 10 à 15 (Figuur 2; X2ooüdf=i =

3.8461 ). Aan de andere kant kan men bij 2x2 tabellen zelfs op een programmeerbaar zakreken-machientje de exacte toets heel eenvoudig uitrekenen. BMDP (zie Dixon, 1988, p.261) verschaft in dit geval exacte p-waarden mits de minimum verwachte waarde kleiner is dan 20 en meldt dat

n==32 n==64 O 10 O 07 -0.03 O 00 -l

o.io

het b i j grotere minimale verwachte waarden niet nodig is. Versie 4.0 van SPSS (SPSS, 1990, p 104) daarentegen rekent de exacte toets alleen uit als er een cel is met minimum verwachte waarde kleiner dan 5. Dit zou opgetrokken moeten worden naar 15 of 20 om zeker te zijn. De situatie is al verbeterd ten opzichte van Versie 3 toen men de exacte toets alleen uitrekende als

n < 20 (SPSS, 1988).

Een laatste opmerking over de tabellen die de schendingen veroorzaken. Het blijkt dat met name tabellen die gelijke en/of proportionele marginalen hebben, zoals ons voorbeeld in het eerste gedeelte van dit artikeltje, aanleiding geven tot veel grotere p-waarden dan de 0.05 bepaald op basis van de x2-verdeling. De voornaamste reden hiervoor lijkt te zijn dat bij gelijke

of proportionele marginalen er veel meer tabellen met gelijke X2-waarden zijn, met andere

woorden de verdeling van X2 wordt discreter en er treden dus grotere sprongen in de

kansverde-ling op. Het maakt in dergelijke situaties dus veel uit of de geobserveerde X2-waarde juist groter

of kleiner is dan de kritieke waarde bij de gekozen a. Bij 2x3 tabellen is de kritieke waarde, X2a=0, = 5.991, net iets kleiner dan een geheel getal. Bij proportionele marginalen komen zulke

gehele getallen relatief makkelijk voor en dus ook X2obs = 6.0 en dit maakt de situatie rond het

kritieke punt onstabiel. Het hebben van gelijke marginalen hangt uiteraard niet van n af. Dus ook bij grote n kunnen er tabellen voorkomen met grote discrepanties tussen de exacte en asymptotische kritieke waarden. Deze bevinding suggereert dat bij onderzoeken met discrete responsvariabelen het wellicht beter is om niet precies gelijke aantallen personen in de experi-mentele en controle groep te hebben.

CONCLUSIE

Afgezien van ons voorbeeld, wat kan er nu gezegd worden over de vraag gesteld in de titel van dit artikeltje? Hieronder heb ik een aantal aanbevelingen samengeraapt die niet allemaal uit de tekst voortkomen, maar grotendeels wel berusten op onderzoek dat we gedaan hebben in het verleden. Vuistregels zijn per definite altijd fout en moeten dus ook niet blindelings opgevolgd worden. Een algemeen punt is dat programma's met exacte toetsen niet echt tijdrovend zijn. Voor die gevallen waar dat zou dreigen wordt doorgaans eerst een Monte-Carlo schatting gegeven van de exacte p-waarde, zodat men op grond daarvan als nog kan besluiten om een dan tijdrovende exacte toets te doen.

1. Bij 2x2 tabellen (met vaste marginalen) moet de kleinste verwachte waarde minstens 15 zijn wil men tussen de Cochran-grenzen blijven (zie Figuur 2). De tijd die gemoeid is met een exacte toets is echter dermate minimaal dat men die net zo goed kan uitvoeren. De Yates-correctie is onnodig conservatief.

2. Uit Figuur l blijkt dat bij 2x3 Cochran-tabellen (met vaste marginalen) de afwijking ten opzichte van de Cochran-grenzen nogal groot kan zijn, zodat voor alle 2x3 tabellen een exacte toets aan te bevelen is.

3. Voor Cochran-tabellen met meer dan twee vrijheidsgraden is de asymptotische kritieke waarde zeer betrouwbaar en kan men deze in het algemeen met een gerust hart gebruiken. Wel is enige voorzichtigheid geboden bij gelijke of proportionele marginalen. Voor niet Cochran-tabellen met meer dan twee vrijheidsgraden is een exacte toets aan te bevelen.

4. Gezien de kwaliteit van de X2-benadering voor de verdeling van X2 bij twee vaste

margina-len, is het bij één of geen vaste marginalen vrijwel nooit nodig om gebruik te maken van exacte toetsen (zie Verbeek & Kroonenberg, 1993, Appendix B.2).

NOOT

10 P.M. Kroonenberg en A. Verbeek

LITERATUUR

Cochran, W.O. (1952). The yf test of goodness of fit. Annals of Mathematical Statistics, 23, 315-345. Cochran, W G. (1954) Some methods for strengthening the common x2 tests. Biometrics, 10, 417-451 Dixon, W.J. (Ed.) (1988) HMDP statistical software manual (Vol. I). Berkeley: CA: University of California

Press.

Haberman, S.J. (1973). The analysis of residuals in cross-classified tables. Biometrics, 29, 205-220 Mehta, C.R., & Patel, N.R. (1983). A network algorithm for performing Fisher's exact test in rxc

contingen-cy tables. Journal American Statistical Association, 78, 427-434.

Pearson, K. (1900). On a criterion that a given system of deviations from the probable in the case of a correlated system of variables is such that it can be reasonably supposed to have arisen from random sampling. Philosophical Magazine, Series 5, 50, 157-175 (Reprinted 1948 in E.S. Pearson (Ed.), Karl Pearson's early papers. Cambridge, UK: Cambridge University Press).

SPSS (1988). SPSS-X user's guide (3rd edition) . Chicago, IL: SPSS, Inc. SPSS (1990). SPSS reference guide. Chicago, IL: SPSS, Inc.

Verbeek, A. & Kroonenberg, P.M. (1985). A survey of algorithms for exact distributions of test statistics in rxc contingency tables with fixed margins. Computational Statistics and Data Analysis, 3,

159-185

Verbeek, A. & Kroonenberg, P.M. (1990, 19932). FISHER 3.0: Testing independence in rxc tables. (2e herziene druk, FISHER 3.10, 1993). Groningen: iec PTOOAMMA