Rapport
Medische tests
(beoordeling stand
van de wetenschap en praktijk)
Op 20 januari 2011 vastgesteld door het CVZ en vervolgens uitgebracht aan de Minister van VWS
Publicatienummer
293
Uitgave College voor zorgverzekeringen Postbus 320 1110 AH Diemen Fax (020) 797 85 00 E-mail info@cvz.nl Internet www.cvz.nl zaaknummer Afdeling Auteurs 2010078493 ZORG-ZA
J.T.M. Derksen, gynaecoloog, mr. P.C. Staal en dr. G. Ligtenberg
Inhoud:
pag.
Samenvatting
1 1. Inleiding
3 2. Wettelijk kader
3 2.a. De te verzekeren prestaties 3 2.b. Open en gesloten systeem
5 3. Toetsing in de praktijk aan wettelijk kader
5 3.a. Werkwijze beoordeling stand wetenschap en praktijk 5 3.b. Werkwijze beoordeling ‘plegen te bieden’
6 3.c. Toetsingspraktijk CVZ
9 4. Medische tests
9 4.a. Verhouding tot wettelijk kader
9 4.b. Aanleiding ontwikkeling werkwijze stand wetenschap en praktijk medische tests
11 5. Beoordeling stand wetenschap en praktijk medische tests 11 5.a. EBM en medische tests
13 5.b. Klinisch nut is uitgangspunt
13 5.c. Fasering bij beoordeling medische tests 15 5.d. Klinisch nut van medische tests
18 5.e. Bepalen van klinisch nut.
20 5.f. Werkwijze beoordeling klinisch nut
21 5.g. Uitwerking constructie van vergelijkend analyseraam 25 5.h. Onderbouwing aanvraag
25 5.i. Raadpleging externe deskundigen 27 6. Tranparantie en draagvlak
Bijlage(n)
Samenvatting
Kernpunt Zvw Een kernpunt uit de Zorgverzekeringswet is dat ‘de stand van de wetenschap en praktijk’ mede bepalend is voor de
beantwoording van de vraag of zorg onder de
verzekeringsdekking valt. Alleen zorg die effectief is, kan onderdeel uitmaken van het basispakket.
Beoordelingskader Het CVZ heeft in 2007 in het rapport “De stand van de wetenschap en praktijk” aangegeven welke werkwijze het toepast om te bepalen of zorg voldoet aan genoemd criterium. De in dat rapport beschreven uitgangspunten gaan in beginsel ook op voor medische tests. Het CVZ geeft echter in het voorliggende rapport meer expliciet een uitwerking van het toetsingskader voor medische tests. Dit is enerzijds noodzakelijk omdat de methodologie voor de evaluatie van tests wetenschappelijk volop in ontwikkeling is en het CVZ hierbij wil aansluiten. Anderzijds heeft dit rapport ook als doel het veld op de hoogte te stellen van de uitgangspunten en methodes welke het CVZ bij de beoordeling van medische tests hanteert.
Medische tests Met de term medische tests bedoelen wij alle interventies die worden gebruikt voor diagnose, prognose, voorspelling of vervolg/beloop van ziekte bij een persoon.
Uitgangspunten werkwijze
Bij de beoordeling van medische tests gaat het wat het CVZ betreft om de effecten van het toepassen van tests op de gezondheid van degenen die de test ondergaan. Het CVZ is van mening dat een test niet enkel beoordeeld moet worden op zijn vermogen een fraaie afbeelding of correcte diagnose te verkrijgen. Natuurlijk is wel van groot belang dat een test betrouwbaar is, maar het CVZ baseert een uiteindelijk positief oordeel over een test met name op aantoonbaar positieve gevolgen voor de aan de gezondheid gerelateerde uitkomsten bij degenen die getest worden. Over het algemeen wordt na een test een vervolgtraject ingezet op geleide van de
testuitslag. Bij de evaluatie van een test beoordeelt het CVZ dit hele traject - de test-plus-behandeling-strategie - op
effectiviteit, ook wel omschreven als klinisch nut. Op basis van vergelijkend onderzoek tussen de gebruikelijke (‘oude’) en de voorgestelde (‘nieuwe’) test-plus-behandeling-strategie kan het
Verdere ontwik-keling werkwijze
Het CVZ past de in dit rapport beschreven werkwijze toe. Mogelijk is, dat op basis van ervaringen hiermee of op basis van wetenschappelijke ontwikkelingen de geschetste werkwijze op termijn (op onderdelen) aanpassing/verfijning behoeft.
1. Inleiding
Kernpunt Zvw Een kernpunt uit de Zorgverzekeringswet is dat ‘de stand van de wetenschap en praktijk’ mede bepalend is voor de
beantwoording van de vraag of zorg onder de
verzekeringsdekking valt. Het komt erop neer dat alleen zorg die als effectief wordt beschouwd onderdeel kan uitmaken van het te verzekeren basispakket.
Beoordelingskader Het CVZ heeft een beoordelingskader ontwikkeld aan de hand waarvan het kan vaststellen of zorg voldoet aan het criterium ‘de stand van de wetenschap en praktijk’. Dit kader is opgenomen in het in 2007 aan de minister van VWS
uitgebrachte rapport: “Beoordeling stand van de wetenschap en praktijk”.1 De in dat rapport beschreven werkwijze, die uitgaat van de principes van evidence based medicine (EBM), is van toepassing op alle vormen van zorg. Ook bij de
beoordeling van medische tests gaat het CVZ in beginsel uit van de uitgangspunten zoals die in dit rapport beschreven zijn.
Definiëring Met medische tests bedoelen wij alle interventies die worden gebruikt voor diagnose, prognose, voorspelling of
vervolg/beloop van ziekte bij een persoon. Deze kunnen kun dus van uiteenlopende aard zijn; van vragenlijsten of
chirurgische exploraties tot en met geavanceerde beeldvorming.
Beperkte ervaring Het CVZ heeft tot op heden beperkt ervaring met de beoordeling van medische tests. De nadruk heeft in de afgelopen jaren vooral gelegen op de beoordeling van therapeutische interventies en geneesmiddelen. De gestage uitbreiding van het aantal (kostbare) medische tests en de daaraan gekoppelde vraag in hoeverre deze onderdeel uitmaken van het verzekeringspakket, vormen voor het CVZ aanleiding om de toetsing van nieuwe en mogelijk ook van bestaande tests aan het criterium ‘de stand van de wetenschap en praktijk’ nader vorm te geven en expliciet uit te werken. Deze nadere uitwerking is ook noodzakelijk, omdat de methodologie voor beoordeling van tests wetenschappelijk nog volop in ontwikkeling is en het CVZ hierbij wil aansluiten. Externe expertise Hiertoe heeft prof. dr. P.M.M. Bossuyt op verzoek van het CVZ
Doel voorliggende rapport
Totstandkoming
Dit rapport bevat een uitwerking van de wijze van beoordeling van medische tests op basis van de EBM gedachte. Hoe wil het CVZ op systematische wijze het beschikbare
wetenschappelijke bewijs voor tests selecteren en op
gestructureerde wijze wegen? De in dit rapport gepresenteerde werkwijze sluit aan bij de bevindingen uit het rapport
Evidence-Based medical testing.2
Een conceptversie van het rapport is besproken met een aantal externe deskundigen. Een samenvatting van deze bespreking is opgenomen in de bijlage. Het conceptrapport is ook aan de orde geweest in de Adviescommissie Pakket en de
Duidingscommissie Pakket van het CVZ. Zowel de externe deskundigen als de genoemde commissies onderschrijven de uitgangspunten in het rapport.
Ervaring opdoen in de praktijk
Het CVZ past de in dit rapport beschreven benaderingswijze voor medische tests toe in de praktijk. Niet uitgesloten is dat de werkwijze op termijn (enige) verfijning behoeft. Of daar aanleiding voor is zal het CVZ te gelegener tijd - als de nodige ervaring met de toepassing van de werkwijze is opgedaan - bezien.
Wetenschappelijke vragen over de methodologie
Van belang is te vermelden dat de methodologie voor de evaluatie van teststrategieën nog volop in ontwikkeling is.2,3 Deze is ook internationaal onderwerp van onderzoek. Het CVZ is zich ervan bewust dat de wetenschappelijke inzichten op dit terrein zich verder verdiepen en kunnen veranderen. In voorkomende gevallen zal het CVZ beoordelingen van tests voorleggen aan externe methodologisch deskundigen. Dit naast de gebruikelijke inhoudelijke consultatie bij de betrokken professionals.
Opbouw rapport Het rapport is als volgt opgebouwd. Hoofdstuk 2 bevat een korte weergave van het relevante wettelijk kader. De
hoofdstukken 3 en 4 gaan in op de toetsing in de praktijk aan dit wettelijke kader. In hoofdstuk 5 volgt een beschrijving van de werkwijze voor de beoordeling van medische tests. Hoofdstuk 6 sluit het rapport af en gaat kort in op het belang van transparantie en draagvlak.
3Ludwig Bolzmann Institut 2010. http://eprints.hta.lbg.ac.at/898/
2. Wettelijk kader
2.a. De te verzekeren prestaties
Opsomming in Zvw
Opsomming en uitwerking
Artikel 10 van de Zvw bevat een opsomming van de te verzekeren risico’s. Het betreft een globale typering van de prestaties waarop een zorgverzekering recht moet bieden.4 Het gaat om de volgende te verzekeren risico’s, te weten de behoefte aan: a. geneeskundige zorg; b. mondzorg; c. farmaceutische zorg; d. hulpmiddelenzorg; e. verpleging; f. verzorging; g. verblijf; h. vervoer. Uitwerking in Bzv en Rzv
In het Besluit zorgverzekering (Bzv) en de Regeling zorgverzekering (Rzv) zijn de inhoud en omvang van de in artikel 10 Zvw genoemde zorgvormen nader geregeld. De uitwerking van de zorgvormen varieert per zorgvorm. Sommige zorgvormen heeft de regelgever in meer algemene termen beschreven (generiek). Dit geldt onder meer voor geneeskundige zorg. Voor het omschrijven van die zorg heeft de regelgeving gebruik gemaakt van de formulering ‘plegen te bieden’. Zo is bijvoorbeeld bepaald dat geneeskundige zorg zorg omvat zoals onder meer huisartsen, medisch specialisten, klinisch psychologen en verloskundigen die plegen te bieden (artikel 2.4, lid 1, Bzv). Andere zorgvormen zijn meer in detail geregeld (specifiek) en soms is zelfs sprake van een limitatieve opsomming. Dit laatste geldt bijvoorbeeld voor extramurale farmaceutische zorg.
Stand wetenschap en praktijk
Voor alle zorgvormen geldt dat de inhoud en omvang van de zorg mede worden bepaald door ‘de stand van de wetenschap en praktijk’. Dit is geregeld in artikel 2.1, tweede lid, van het Bzv.5 Op deze norm gaan wij hierna verder in.
2.b. Open en gesloten systeem
verzekeren prestaties op. Er vindt als het ware automatische in- en uitstroom plaats. Voor medisch-specialistische zorg kennen we bijvoorbeeld een generieke omschrijving. Zorg die medisch specialisten plegen te bieden en die voldoet aan de stand van de wetenschap en praktijk valt onder de
verzekeringsdekking. Innovatieve zorg die (op een gegeven moment) aan die voorwaarden gaat voldoen (onder die generieke noemer valt), gaat als vanzelf tot de te verzekeren prestaties behoren. Voorafgaande toetsing en aanpassing van regelgeving zijn daarvoor niet nodig. Zorg die op enig moment als obsoleet moet worden beschouwd en geen toepassing meer vindt in de medisch-specialistische praktijk, verdwijnt uit het te verzekeren pakket. De gekozen wettelijke formulering zorgt er als het ware voor dat er altijd een actueel, de laatste ontwikkelingen volgend, verzekeringspakket bestaat. Gesloten systeem Vergaande specifieke (gedetailleerde) omschrijvingen (zoals
positieve lijsten) vormen een gesloten systeem van te
verzekeren prestaties. Er vindt in dat geval geen automatische in– en uitstroom plaats. Een wijziging in het te verzekeren pakket kan alleen door middel van wijziging van regelgeving worden gerealiseerd. Bij een gesloten systeem van te
verzekeren prestaties zal daarom niet altijd sprake zijn van een actueel verzekeringspakket.
3. Toetsing in de praktijk aan wettelijk kader
3.a. Werkwijze beoordeling stand wetenschap en praktijk
Norm voor alle zorgvormen
Voor alle zorgvormen geldt dat de inhoud en omvang mede worden bepaald door ‘de stand van de wetenschap en praktijk’ (zie artikel 2.1, tweede lid, Bzv).5 Met andere woorden: alleen de zorg die voldoet aan ‘de stand van de wetenschap en praktijk’ – die als effectief kan worden beschouwd – valt onder de verzekeringsdekking.
Algemene werk-wijze
Het CVZ heeft zijn werkwijze ter bepaling van wat tot ‘de stand van de wetenschap en praktijk’ gerekend dient te worden, beschreven in het rapport “Beoordeling stand van de wetenschap en praktijk”.1 Het CVZ volgt in zijn werkwijze de principes van evidence based medicine (EBM). De EBM-methode richt zich op “het zorgvuldig, expliciet en oordeelkundig gebruik van het huidige beste bewijsmateriaal”. Verder is het algemene uitgangspunt van het CVZ dat er voor een positieve beslissing over het criterium ‘de stand van de wetenschap en praktijk’ medisch-wetenschappelijke gegevens met een zo hoog mogelijke bewijskracht voorhanden moeten zijn. Van dit vereiste kan het CVZ beargumenteerd afwijken.
3.b. Werkwijze beoordeling ‘plegen te bieden’
‘Plegen te bieden’ In paragraaf 2.b. merkten wij op dat voor de meer generiek omschreven zorgvormen de regelgever gebruik heeft gemaakt van de formulering ‘plegen te bieden’. Zo is bijvoorbeeld bepaald dat geneeskundige zorg zorg omvat zoals onder meer huisartsen, medisch specialisten, klinisch psychologen en verloskundigen die plegen te bieden (artikel 2.4, lid 1, Bzv). Invulling begrip Het CVZ heeft in zijn rapport “Betekenis en beoordeling
criterium ‘plegen te bieden’”6 uiteengezet hoe bepaald kan worden of aan dit criterium is voldaan. In het kort komt het erop neer dat zorg die ‘pleegt te worden geboden’ zorg betreft die de beroepsgroep van de in de regelgeving genoemde zorgverlener rekent tot het aanvaarde arsenaal van zorg en die geleverd wordt op een wijze die de betreffende beroepsgroep als professioneel juist beschouwt. In de regel kan aan de hand
professioneel juiste wijze’.
Zorg die valt onder het criterium ‘plegen te bieden’ moet, om tot het basispakket te kunnen horen, (onder andere) ook voldoen aan het criterium ‘de stand van de wetenschap en praktijk’.
3.c. Toetsingspraktijk CVZ
Niet altijd vooraf-gaande toetsing
Toetsing van zorg – behoort de zorg tot de te verzekeren prestaties? – vindt niet altijd plaats voorafgaande aan introductie van de zorg in de praktijk. Zoals we hiervoor vermeldden, geldt voor zorgvormen die in meer algemene, generieke termen zijn beschreven (waarvoor een open systeem geldt), dat zorg automatisch instroomt in het verzekerde pakket als voldaan is aan de omschrijving. Dat dit laatste het geval is wordt veelal stilzwijgend aangenomen resp. is geen punt van aandacht. De zorg wordt toegepast bij patiënten en, indien er een betaaltitel (een tarief) is die gebruikt kan worden, worden de kosten van de zorg gedeclareerd bij en betaald door de zorgverzekeraars ten laste van de basisverzekering. Dit is uiteraard geen probleem als het gaat om zorg die voldoet aan de wettelijke criteria en daadwerkelijk behoort tot de te verzekeren prestaties. Uitgangspunt in het open systeem is het vertrouwen dat ook professionals alleen zorg zullen willen bieden die effectief, doelmatig en veilig is.
Toetsing door CVZ Toch toetst het CVZ geregeld – op verzoek of op eigen initiatief - of de (innovatieve) zorg (eigenlijk wel) tot het te verzekeren basispakket behoort. De aanleiding hiervoor kan verschillend zijn. Nieuwe, (dure) interventies, waarvoor een nieuw tarief zal moeten worden vastgesteld en die een groot beslag op de totale kosten binnen de zorg (zullen) leggen, stromen veelal niet ongemerkt het verzekerde pakket in. Ook ten aanzien van zorg die aan veel (groepen) patiënten wordt verleend (grote volumina) en zorg die mogelijk als onveilig moet worden aangemerkt, kan de vraag rijzen of het wel om te verzekeren zorg gaat en of betaling van die zorg ten laste van de basisverzekering door zorgverzekeraars wel terecht is. Daarnaast kunnen bijvoorbeeld ook wetenschappelijke
publicaties voor het CVZ aanleiding vormen om bepaalde zorg nader te toetsen.
Beleid CVZ Het beleid van het CVZ is er onder meer op gericht om: • ongewenste instroom van zorg in het te verzekeren pakket
(omdat voldaan is aan de generieke omschrijvingen van te verzekeren prestaties) zo veel mogelijk te onderkennen, zodat de minister van VWS geadviseerd kan worden om de ingestroomde zorg door wijziging van regelgeving uit te zonderen van het te verzekeren basispakket. Ongewenste instroom in het pakket is instroom in strijd met de door
het CVZ gehanteerde pakketprincipes. Zo zou bijvoorbeeld een ongunstige kosteneffectiviteitsratio voor het CVZ aanleiding kunnen zijn om de minister van VWS te adviseren de in het pakket ingestroomde zorg, expliciet uit te zonderen van de verzekeringsdekking;
• vergoeding van zorg ten laste van de zorgverzekeringen, waarvan twijfelachtig is of er wel sprake is van te
verzekeren zorg, zo veel mogelijk te voorkomen, door duidelijkheid te geven over de vraag of het – gelet op de wettelijke voorwaarden - om verzekerde zorg gaat of niet. Risicogericht
pakketbeheer
Om dit beleid adequaat te kunnen voeren moet het CVZ de ontwikkelingen in de medische praktijk actief volgen en met name focussen op gebieden die het gevaar van ongewenste aanwas en onterechte vergoeding in zich hebben. In de komende tijd werkt het CVZ dit beleid, dat wel aangeduid wordt als ‘risicogericht pakketbeheer’, verder uit. Voor een verdere toelichting op het punt ‘risicogericht pakketbeheer’ verwijzen wij naar de Pakketagenda 2011-2012 en de rapporten Pakketbeheer in de praktijk deel 1 en 2.7
4. Medische tests
4.a. Verhouding tot wettelijk kader
Medische tests en Zvw
In de medische praktijk wordt voor het vaststellen van een diagnose, prognose, voorspelling of verloop van ziekte met behulp van medische tests onderzoek gedaan bij patiënten. Deze tests, die kunnen variëren van vragenlijsten tot geavanceerde beeldvorming of combinaties hiervan, maken onderdeel uit van de zorgverlening aan patiënten. Zij maken ook deel uit van het te verzekeren basispakket van de Zvw, althans indien zij vallen onder een voor het basispakket geldende omschrijving. Wat dit laatste betreft, veel medische tests zullen vallen onder de noemer geneeskundige zorg dan wel hulpmiddelenzorg (zie paragrafen 2.a. en 3.b.). Indien de tests dan bovendien voldoen aan het vereiste ‘de stand van de wetenschap en praktijk’, behoren zij tot de te verzekeren prestaties van de Zvw.
AWBZ Het kader dat in de voorafgaande paragrafen is geschetst betreft de Zvw. In het op die wet steunende Bzv is ‘de stand van de wetenschap en praktijk’ expliciet als vereiste
opgenomen. Voor de in de AWBZ geregelde verzekering is dat niet het geval, maar desalniettemin wordt ervan uitgegaan dat ook voor die wet geldt dat alleen aanspraak op zorg bestaat als deze effectief is. Het hierna volgende toetsingskader is dan in beginsel ook van toepassing op beoordelingen in het kader van de AWBZ.
4.b. Aanleiding ontwikkeling werkwijze stand wetenschap en praktijk medische tests
Noodzaak ontwik-kelen werkwijze
Zoals we in de inleiding al opmerkten, heeft het CVZ nog beperkte ervaring met de toetsing van medische tests aan het criterium ‘de stand van de wetenschap en praktijk’. Realiteit is wel dat nieuwe technologische ontwikkelingen voortdurend en toenemend tot de toepassing van nieuwe tests bij de
behandeling van patiënten leiden. Tests zijn echter niet automatisch zinvol of veilig en behoren ook niet altijd thuis in de basisverzekering. Het is daarom – vanuit het oogpunt van risicogericht pakketbeheer – van belang dat het CVZ aandacht heeft voor de beoordeling van nieuwe en bestaande medische tests. Het opstellen van een op de beoordeling van medische
5. Beoordeling stand wetenschap en praktijk medische tests
5.a. EBM en medische tests
Nadruk op accura-tesse in verleden
Binnen het concept van EBM heeft – als het om het bepalen van de waarde van medische tests gaat – geruime tijd de nadruk gelegen op het bepalen van de accuratesse van de test. Kort gesteld gaat het dan om de vraag of de test ook werkelijk datgene meet wat de test geacht wordt te meten. Daarbij kan onderscheid worden gemaakt tussen de analytische
accuratesse en de diagnostische accuratesse.8 In de medisch wetenschappelijke literatuur wordt de term accuratesse meestal gebruikt voor de diagnostische accuratesse; in hoeverre is de test in staat de ziekte aan te tonen of uit te sluiten. Wanneer we in dit rapport de term accuratesse gebruiken wordt de diagnostische accuratesse bedoeld. Discussie over
fo-cus op accuratesse
In de loop der jaren is de focus op de diagnostische
accuratesse voor tests toenemend ter discussie gesteld. Het wordt steeds duidelijker dat het niet alleen om deze
accuratesse gaat, maar met name om de effecten van het toepassen van tests op de gezondheid van de patiënt en de middelen binnen de (gezondheids)zorg. Een acceptabele diagnostische accuratesse is meestal niet genoeg om aan te tonen dat toepassen van een test nuttig is.
Fineberg Fineberg schreef al in 1978 het volgende: “Diagnosis is not an end in itself. (…) In general, medicine is directed toward the goal of improved health outcome.(...) The ultimate value of the diagnostic test is that difference in health outcome resulting from the test: in what ways, to what extent, with what frequency, in which patients is health outcome improved because of this test?” Hiermee bracht hij destijds al kritiek op het diagnostische accuratesse paradigma naar voren. Het ging hem om de vraag of we tests beoordelen op wat ze doen (leveren ze representatieve afbeeldingen, geven ze
testresultaten die kloppen met de werkelijkheid), of op hun waarde voor verbetering van de gezondheidsuitkomsten. Effect op
gezond-heid
Niemand kan ontkennen dat het van groot belang is dat een test betrouwbaar is. De heersende opvatting in de literatuur is inmiddels echter dat het oordeel over een test gebaseerd moet zijn op een evaluatie van de gevolgen die het gebruik van de
of binnen het verzekerde pakket. Dan kan niet al een positieve aanbeveling worden gedaan voor een test louter op basis van een goede accuratesse. Uitgangspunt is dat tests niet worden toegepast wanneer deze geen positief effect hebben op de gezondheid of meer kwaad dan goed doen in vergelijking met het alternatief van niet testen of een andere test. Ook al zijn de testresultaten op zichzelf valide.
Voorbeeld van een test met een goede validiteit en ontbrekend klinisch nut CA 125 is een tumormarker die in bloed gemeten kan worden bij patiënten met een bepaald type eierstokkanker. Stijging van de spiegel van CA 125 bij controles na afronding van een succesvolle initiële behandeling duidt (meestal) op het terugkomen van de eierstokkanker. Deze stijging van het CA 125 in het bloed treedt meestal enkele maanden eerder op dan de klinische tekenen of symptomen. Uit een recente RCT blijkt dat vroege behandeling van de eierstokkanker op geleide van de stijging van het CA 125 geen gezondheidswinst met zich meebrengt in vergelijking met latere behandeling op geleide van klinisch onderzoek of symptomen. Het routinematig bepalen van CA 125 bij controles van vrouwen, die een succesvolle initiële
behandeling ondergingen voor eierstokkanker, met de bedoeling hen eventueel al te behandelen vóór er (klinische) symptomen van de ziekte optreden blijkt in dit onderzoek dus niet bewezen effectief. Dit ondanks het feit dat het CA 125 een zeer valide test is voor het al vroeg aantonen van een recidief eierstokkanker.9 Bovendien scoorden de vrouwen uit de groep die behandeld werd op basis van CA 125 een vroegere verslechtering van de kwaliteit van leven.
Screening Inmiddels is bij screening in het kader van de Wet op het bevolkingsonderzoek dit debat al decennia geleden geslecht en wordt puur vanuit het effect op aan de gezondheid
gerelateerde uitkomsten geredeneerd bij de beoordeling van in aanmerking komende screeningstests. Screening betekent het systematisch testen van individuen die geen symptomen hebben van de ziekte waarnaar onderzoek wordt gedaan. De screening wordt toegepast om de betreffende ziekte te voorkomen, te genezen of te vertragen. Impliciet is hierbij de eis dat aan de screening ook een behandeling verbonden is. De criteria van Wilson and Jungner die bij screening gebruikt worden10, geven aan dat het niet alleen gaat om een
betrouwbare en acceptabele test, maar ook om de
beschikbaarheid van een behandeling die effectiever is in een vroeg (presymptomatisch) stadium van de op te sporen ziekte. Internationaal Uit onze inventarisatie ten behoeve van dit rapport blijkt dat
vele internationale organisaties op het gebied van verzekerde
9 Rustin GJS, van der Burg MEL, Griffin CL, et al. Early versus delayed treatment of relapsed ovarian cancer: a randomised trial. Lancet 2010;376:1155-1163.
zorg en richtlijnontwikkeling bij hun oordelen over tests uitgaan van aan de gezondheid gerelateerde uitkomsten van tests.
5.b. Klinisch nut is uitgangspunt
Klinisch nut Het CVZ beoordeelt als pakketbeheerder interventies op basis van gezondheidsuitkomsten voor patiënten. Dat geldt zowel voor therapeutische interventies, als ook voor tests.
We gaan er vanuit dat medische tests niet alleen beoordeeld moeten worden op hun intrinsieke waarde, maar vooral ook op hun gevolgen voor de gezondheid van de patiënt. Het CVZ is als pakketbeheerder van opvatting dat betaling vanuit de basisverzekering (collectieve middelen), waarvoor een beroep op de solidariteit van alle verzekerden wordt gedaan, alleen gerechtvaardigd is als de interventie (in casu ook de medische test) daadwerkelijk nuttig is voor de gezondheid van degenen die de interventie ondergaan. Dat betekent dat in de visie van het CVZ een medische test alleen beschouwd kan worden als zorg conform ‘de stand van de wetenschap en praktijk’ als aangetoond of aannemelijk gemaakt is dat toepassing van de test tot gezondheidswinst bij patiënten leidt. De medische test moet – kort gezegd - klinisch nut (clinical utility) hebben.
Test-plus- behandeling-strategie
Klinisch nut doelt op een verbetering van de gezondheid van patiënten die de test ondergaan. Of er klinisch nut zal zijn hangt mede af van de behandeling in brede zin, die de patiënt krijgt nadat deze de test heeft ondergaan. De behandeling in brede zin die volgt op de test zal dus ook in de beoordeling van klinisch nut meewegen. Dit betekent dat voor het CVZ onderwerp van beoordeling zal zijn: de test-plus-behandeling-strategie. De term ‘behandeling in brede zin’ omvat alle interventies die op basis van de test toegepast worden en invloed hebben op de uiteindelijke uitkomst voor de patiënt. Deze interventies kunnen zeer divers zijn en bijvoorbeeld bestaan uit therapeutische ingrepen, medicatie, aanvullende tests of wachtperiodes.
5.c. Fasering bij beoordeling medische tests
Accuratesse en klinisch nut
Uit het voorgaande volgt dat het klinisch nut van een test-plus-behandeling-strategie uiteindelijk bepalend is voor de waarde van de test. Een van de factoren die daarvoor mede van belang
Cyclisch proces
noodzakelijk geacht? In een artikel van Lijmer et al11 wordt een systematische search weergegeven naar artikelen over
schema’s voor een gefaseerde evaluatie van tests. De auteurs vonden 19 verschillende modellen voor een gefaseerde beoordeling van tests en concludeerden dat een internationale standaard voor de beoordeling van tests ontbreekt. Het voordeel van een gefaseerde beoordeling van tests kan zijn, dat duurdere onderzoeken slechts gedaan worden als er voldoende bewijs is voor de eerdere stappen. De auteurs zetten echter een aantal kritische kanttekeningen bij een obligate gefaseerde beoordeling van tests. Wanneer de diagnostische accuratesse centraal staat kunnen er
bijvoorbeeld problemen ontstaan in de vergelijking met de bestaande test als er geen gouden standaard bestaat of de nieuwe test verondersteld wordt beter te zijn dan de huidige referentietest. Verder geeft het mogelijk ook problemen bij tests die niet voor diagnostiek, maar voor doeleinden als het vaststellen van prognose, het voorspellen van respons op behandeling, het maken van een keuze voor bepaalde behandeling of het vervolgen van ziekte of behandeling worden gebruikt. In deze situaties is niet altijd een standaard referentietest voorhanden, noch is duidelijk hoe de gewenste referentie moet worden omschreven. Op basis hiervan komen de auteurs tot de conclusie dat het bij de beoordeling en ontwikkeling van tests veeleer om een cyclisch proces gaat dan om een vaste reeks van fases. Aan studies die erop gericht zijn verbetering van uitkomsten bij de patiënt (klinisch nut) aan te tonen behoeven dus niet per definitie studies die informatie verschaffen over de accuratesse van de test vooraf te gaan.
Voorbeeld van een RCT naar klinisch nut zonder voorafgaand accuratesse onderzoek
Jochen Cals deed in de huisartsenpraktijk onderzoek naar het effect van (onder andere) een sneltest voor de bepaling van CRP 12 op het voorschrijven van antibiotica bij patiënten met een lagere luchtweginfectie. Aan deze patiënten worden vaak antibiotica voorgeschreven, hoewel uit onderzoek blijkt dat dat bij patiënten met een acute bronchitis niet of nauwelijks nuttig is. Het is echter moeilijk om op basis van anamnese en klinisch onderzoek vast te stellen of een patiënt een pneumonie heeft, waarbij antibiotica wel effectief zijn, of een acute bronchitis. Door de onzekerheid over de diagnose worden dan vaak ‘voor de zekerheid’ antibiotica voorgeschreven. Van CRP is bekend dat het een goede merkstof is voor een infectie. Er zijn echter geen wetenschappelijke gegevens over de accuratesse van de CRP test bij toepassing in de eerste lijn met de bedoeling onderscheid te maken tussen lagere
luchtweginfecties die al dan niet antibiotica behoeven. Cals toont nu aan dat toevoeging van een CRP bepaling, in vergelijking met anamnese en klinisch onderzoek alleen, leidt tot een belangrijke afname in het voorschrijven van
11 Lijmer JG, Leeflang M, Bossuyt PMM. Proposals for a phased evaluation of medical tests. Med Decis Making 2009;29(5):E13-21.
antibiotica bij lagere luchtweginfecties zonder dat dit nadelige gevolgen heeft voor gezondheidsuitkomsten. Hij heeft dit klinisch nut aangetoond zonder expliciet tevoren vast te stellen wat de accuratesse van de CRP test is voor het aantonen van een infectie in de luchtwegen die met antibiotica behandeld moet worden.13
Mogelijke fases in onderzoek van tests
De modellen voor een gefaseerde beoordeling van tests bevatten over het algemeen (onder andere) de volgende fases11:
1. evaluatie van de analytische accuratesse; 2. evaluatie van de diagnostische accuratesse;
3. evaluatie van de klinische effectiviteit (bepalen klinisch nut) van de test-plus-behandeling-strategie;
4. evaluatie van kosteneffectiviteit en andere bijkomende (on) bedoelde effecten.
Het CVZ gaat er van uit dat in veel gevallen pas studies naar het klinisch nut van een medische test zullen worden gedaan nadat duidelijkheid is verkregen over de accuratesse (de eerste 2 fases). Dat is met name mogelijk daar waar er sprake is van een duidelijke standaard referentietest. Maar zoals hierboven is betoogd, behoeft onderzoek naar het klinisch nut van tests niet altijd vooraf te worden gegaan door accuratesse
onderzoek. Professionals of
fabrikanten
Bij verzoeken om beoordeling van een test(-plus-behandeling-strategie) zal het CVZ, beargumenteerde uitzonderingen daargelaten, van de aanvragers verwachten dat zij gegevens aanleveren op basis waarvan het CVZ zich een oordeel kan vormen. Naast een omschrijving van de patiënten bij wie de test wordt toegepast en van de setting waarbinnen de test gebruikt wordt, verwachten we ook een omschrijving van de claim van de test-plus-behandeling-strategie (weergegeven in gezondheidsuitkomsten) en gegevens over de analytische en diagnostische accuratesse van de test.
In het vervolg gaan wij in op het klinisch nut en de manier waarop wij te werk gaan om dat te bepalen.
5.d. Klinisch nut van medische tests
gebruiksgemak voor de patiënt.
Belangrijk is te vermelden dat de patiëntgebonden
gezondheidsuitkomsten in veel gevallen niet de enige effecten van testen zijn. De inzet van middelen (techniek, personeel, geld) of andere personen dan degenen die getest worden (bij tests naar infectieziekten) kunnen bijvoorbeeld ook beïnvloed worden door de test-plus-behandeling-strategie.
Het is mogelijk dat pas na toepassing van een bepaalde test-plus-behandeling-strategie in de praktijk van alle dag duidelijk wordt, dat additionele (niet gewenste) gevolgen optreden. Dit kan voor het CVZ aanleiding vormen voor een hernieuwde evaluatie hiervan.
Invloed van test zelf op gezondheid
Invloed van patiën-ten op gezondheids-uitkomsten
Meestal treedt het effect van een test op de aan de gezondheid gerelateerde uitkomsten op door de behandeling in brede zin14 die gevolgd wordt na bekend worden van het testresultaat. Soms kan de test zelf echter ook direct de gezondheid van degenen die getest worden beïnvloeden. Dit kan een enkele keer positief zijn: vrouwen met vruchtbaarheidsproblemen die een foto van de eileiders ondergaan met oliehoudend contrast blijken daarna vaker zwanger te raken dan de vrouwen die wateroplosbaar contrast krijgen. Maar uiteraard is er meer kans dat het directe effect van een test negatief is,
bijvoorbeeld door medische complicaties van de test zelf, zoals de perforatie van de darmwand bij een coloscopie (camera onderzoek van de dikke darm).
Bij de beoordeling van een test-plus-behandeling-strategie moeten ook deze effecten van de test zelf worden betrokken. De uitkomst van een bepaalde test-plus-behandeling-strategie kan daarnaast ook door potentiële veranderingen bij de patiënt beïnvloed worden. Deze veranderingen kunnen tot uiting komen op emotioneel, sociaal, cognitief of
gedragsmatig niveau.
De figuur hieronder2 illustreert een en ander.
Uitkomstmaten Van geval tot geval, per test-plus-behandeling-strategie, zal moeten worden bezien aan de hand van welke uitkomstmaten deze beoordeeld kan worden. Van groot belang is het
omschrijven van de claim in aan gezondheid gerelateerde uitkomstmaten. Intermediaire uitkomstmaten als bijvoorbeeld de therapiekeuze door artsen of het aantal opnamedagen kunnen leiden tot verkeerde conclusies over het nut van een test-plus-behandeling-strategie. Wanneer het aantal
opnamedagen teruggebracht wordt, is het immers niet zeker dat je hier inderdaad de daadwerkelijke gezondheidsuitkomst uit kunt afleiden.
De relevante uitkomstmaten zullen onderling gewogen worden. Zo zal bijvoorbeeld een groot klinisch
gezondheidseffect van een test-plus-behandeling-strategie aanleiding kunnen zijn een (onbedoeld) bijkomend negatief effect hiervan te accepteren. Uiteindelijk gaat het om het vaststellen van de balans tussen de gewenste en ongewenste aan de gezondheid gerelateerde uitkomsten van de
test-plus-Gemodificeerde Quadas
EBRO classificatie15 gebruikt, die is gericht op de levels of evidence. Een en ander is omschreven in het rapport “De stand van de wetenschap en praktijk”.1
Vanuit de ervaring dat de EBRO classificatie bij de beoordeling van de diagnostische accuratesse van tests geen goede oplossing biedt bij vragen over de kwaliteit en toepasbaarheid van een test heeft het CVZ gezocht naar mogelijk meer passende benaderingen.
Daarbij werd duidelijk dat er internationaal initiatieven zijn genomen om te komen tot een consensus over de methode van aanpak voor de beoordeling van de kwaliteit van studies over accuratesse. De ontwikkeling van het QUADAS instrument in 2003 vormt hierin een belangrijke mijlpaal.16 De Cochrane Collaboration heeft in haar handboek voor systematische reviews van de accuratesse van diagnostische tests een hoofdstuk opgenomen over beoordeling van de
methodologische kwaliteit.17 Hierin wordt gebruikt gemaakt van een gemodificeerd QUADAS18 instrument.
Het CVZ wil in zijn werkwijze dit instrument gebruiken bij het beoordelen van de accuratesse van tests. Het sluit beter aan bij de vragen die we als pakketbeheerder hebben bij de beoordeling van tests. Wat is het risico op vertekening van de resultaten (kwaliteit) en geeft dit onderzoek antwoord op de voorliggende vraag (toepasbaarheid)?
5.e. Bepalen van klinisch nut.
Rechtstreeks bewijs
RCT’s voor test- plus-behandeling-strategieën
Randomised controlled trials (RCT’s) van test-plus-behandeling-strategieën, mits van goede kwaliteit en
voldoende lange duur, leveren het rechtstreekse en potentieel beste bewijs voor het klinisch nut van tests. Bovendien kunnen ze niet alleen aangeven wat de bedoelde effecten voor
patiënten zijn, maar ook wat de onbedoelde effecten zijn. RCT’s niet
aanwezig
RCT’s van test-plus-behandeling-strategieën ontbreken echter vaak en als ze er al zijn geven ze lang niet altijd antwoord op de voorliggende vraag. Deels is dat te wijten aan het feit dat het moeizamer kan zijn zulke RCT’s op te zetten voor tests dan voor therapeutische interventies. Zo kan het bijvoorbeeld nodig zijn om grote aantallen patiënten in het onderzoek te betrekken (te includeren), omdat de voordelen van de test slechts gelden voor een klein deel van de onderzochte groep
15 Betreft classificatie die ontwikkeld is binnen het platform voor Evidence Based Richtlijn Ontwikkeling, het zogenoemde EBRO-platform.
16 Whiting P, Rutjes AWS, Reitsma JB, et al. The development of QUADAS: a tool for the quality assesment of studies of diagnostic accuracy included in systematic reviews. BMC Medical Research Methodology. 2003.
17 Reitsma JB, Rutjes AWS, Whiting P, Vlassov VV, Leeflang MMG, Deeks JJ,. Chapter 9: Assessing methodological quality. In: Deeks JJ, Bossuyt PM, Gatsonis C (editors), Cochrane Handbook for
Systematic Reviews of Diagnostic Test Accuracy Version 1.0.0. The Cochrane Collaboration, 2009.
Available from: http://srdta.cochrane.org/.
patiënten. Het kan namelijk zo zijn dat slechts een klein deel van de onderzochte populatie een ‘positieve’ testuitslag heeft en behandeld gaat worden volgens de test-plus-behandeling-strategie die onderwerp is van onderzoek. Een andere reden voor meer problemen bij het opzetten van RCT’s voor test-plus-behandeling-strategieën is bijvoorbeeld de complexiteit van het onderzoeksprotocol. Het kan immers nodig zijn vele stappen volgend op de toepassing van een test nader te omschrijven. Navolging van zo’n onderzoeksprotocol op alle punten kan problematisch zijn. Bovendien kan de externe validiteit van een RCT voor een test hierdoor in het gedrang komen.
Benadering bij ontbreken van RCT’s
RCT’s van test-plus-behandeling-strategieën met een lange follow up duur zijn ook niet altijd noodzakelijk. Ook ander bewijs kan op zichzelf voldoende zijn om het klinisch nut van de voorgestelde test-plus-behandeling-strategie vast te stellen of aannemelijk te maken. Dat geldt bijvoorbeeld voor de situatie waarin de nieuwe test dezelfde accuratesse heeft als de oude test, maar gemakkelijker is in gebruik, toepassing of interpretatie. Het is in dat geval niet nodig om d.m.v. een RCT, waarin deze beide volledige test-plus-behandeling-strategieën direct met elkaar worden vergeleken, aan te tonen dat de nieuwe strategie even effectief is als de oude. Het onderzoek naar de accuratesse van de test is in dat geval voldoende. De verdere klinische strategie is immers onveranderd en de effectiviteit daarvan is al eerder aangetoond. Rechtstreeks bewijs kan ook verkregen worden uit niet gerandomiseerd vergelijkend onderzoek, een cohortstudie of anderszins. Dit zijn studies met een lager niveau van bewijskracht dan een RCT. Ook deze kunnen in voorkomende gevallen voldoende zijn voor beoordeling van het klinisch nut van een bepaalde test-plus-behandeling-strategie. In dat geval zal het CVZ beargumenteren waarom het genoegen neemt met een lager niveau van bewijskracht.1
Niet rechtstreeks bewijs
Vergelijkend analyseraam voor verkrijgen niet rechtstreeks bewijs
Meestal zal het echter niet zo eenvoudig zijn en is het, bij ontbreken van rechtstreeks bewijs, nodig een analyse te maken van het voorhanden zijnde niet rechtstreekse bewijs. In de literatuur worden hiervoor verschillende benaderingen aangereikt. Het CVZ kiest voor toepassing van een vergelijkend analyseraam, waarbinnen de huidige
test-plus-behandeling-verzamelen van het voorhanden zijnde niet rechtstreekse bewijs en maakt daardoor ook duidelijk of cruciale gegevens ontbreken. In voorkomend geval zal het met behulp van het vergelijkend analyseraam gevonden bewijs voldoende zijn voor het innemen van een standpunt over het klinische nut c.q. een (positief of negatief) standpunt over ‘de stand van de
wetenschap en praktijk’, of zal duidelijk worden op welke punten essentiële gegevens ontbreken. De ontbrekende gegevens kunnen de basis vormen voor aanvullend wetenschappelijk onderzoek.
5.f. Werkwijze beoordeling klinisch nut
Beoordeling in stappen
Hetgeen in de vorige paragrafen is besproken leidt ertoe dat het CVZ voor de toetsing van de test-plus-behandeling-strategie aan het criterium ‘de stand van de wetenschap en praktijk’ in beginsel een aantal beoordelingsstappen aanhoudt.
Hiertoe wordt allereerst een onderzoeksvraag geformuleerd, gebaseerd op het PICO schema. Vervolgens zoeken we naar rechtstreeks bewijs. Wanneer dit niet aanwezig of
ontoereikend is, zoeken we op basis van een vergelijkend analyseraam naar niet rechtstreeks bewijs.
PICO
Rechtstreeks bewijs
Niet rechtstreeks bewijs
1. Formuleren van een PICO vraag. Waarbij de P staat voor de patiënt en de setting waarin deze getest wordt; de I voor de te onderzoeken test-plus-behandeling-strategie; de C voor de vergelijkende test-plus-behandeling-strategie (de huidige beste/gebruikelijke strategie); en de O voor de relevante uitkomstmaten rond de gezondheid van
patiënten. Deze PICO wordt geformuleerd op basis van de claim van de test. Belangrijk is nauwkeurig te formuleren bij welke patiënten de test toegepast gaat worden en binnen welke setting.
2. Vaststellen of er rechtstreeks bewijs is. Bij voorkeur in de vorm van RCT’s waarbinnen de voorgestelde claim als test-plus-behandeling-strategie onderzocht is in vergelijking met de gebruikelijke strategie.
3. Wanneer er geen rechtstreeks bewijs is (of dit
ontoereikend is) voor de claim(s) bestaat de volgende stap uit onderzoek gericht op de vraag of niet rechtstreeks bewijs het klinisch nut van de voorgestelde test-plus-behandeling-strategie voldoende kan aantonen. Hiervoor wordt een analyseraam gemaakt op basis van een
vergelijking tussen de gebruikelijke test-plus-behandeling-strategie en de voorgestelde test-plus-behandeling-strategie.
Rechtstreeks bewijs Zoals ook elders in EBM kan de sterkste vorm van rechtstreeks bewijs voor een bepaalde test-plus-behandeling-strategie worden gevonden in een set van twee of meer RCT’s, die
Niet rechtstreeks bewijs
consistente resultaten laten zien; er van uitgaande dat deze RCT’s precies die uitkomstmaten geven die in de claim genoemd worden.
Rechtstreeks bewijs kan ook verkregen worden uit studies met een lager niveau van bewijskracht dan een RCT. Ook deze kunnen in voorkomende gevallen voldoende zijn voor beoordeling van het klinisch nut. Het CVZ zal dan
beargumenteren waarom het genoegen neemt met een lager niveau van bewijskracht.1
Voor alle studies die intermediaire uitkomsten geven geldt, dat onderzocht moet worden/zijn in hoeverre deze een relatie hebben met de uiteindelijke aan de gezondheid gerelateerde uitkomstmaten.
De zoektocht naar niet rechtstreeks bewijs geschiedt op geleide van het analyseraam waarbinnen de test-plus-behandeling-strategieën met elkaar vergeleken worden. Op basis van dit vergelijkend analyseraam worden de kritische verschillen tussen de nieuwe en de gebruikelijke test-plus-behandeling-strategie geïdentificeerd en hiervoor worden PICO vragen geformuleerd. Voor het beantwoorden hiervan wordt voor elke vraag apart volgens de EBM principes een
systematische literatuursearch verricht. Formuleren van
conclusies
De formulering van conclusies op basis waarvan we als
pakketbeheerder een beslissing kunnen nemen over het al dan niet opnemen van een bepaalde
test(-plus-behandeling-strategie) in het pakket is uiteraard het minst gecompliceerd wanneer er rechtstreeks bewijs voorhanden is. De levels of evidence classificatie biedt daarvoor, aangevuld met de bevindingen van de accuratesse gegevens indien deze van toepassing zijn, een goede basis. Bij het beoordelen van niet rechtstreeks bewijs worden vragen over de cruciale verschillen tussen de test-plus-behandeling-strategieën op basis van het vergelijkend analyseraam apart beantwoord. Het onderling wegen van deze antwoorden kan over het algemeen niet louter op basis van de levels of evidence classificatie worden gedaan. Om wel een conclusie te kunnen trekken is het vaak nodig een inschatting te maken van de sterkte, de omvang en de
onzekerheid van het verkregen bewijs. Hiervoor bestaat geen ‘kookboek’ benadering.
a. vervanging van de gebruikelijke ‘oude’ test (replacement test);
b. toevoeging aan een andere in gebruik zijnde test (add-on test);
c. triage voor een andere in gebruik zijnde test (triage test). Voorbeelden analyseramen: 19
19Lord SJ, Irwig L, Bossuyt PMM. Using the principles of randomised controlled trial design to guide test evaluation.Med Decis Making 2009; 29; E1.
Deze voorbeelden kunnen voor het CVZ als uitgangspunt dienen bij het opzetten van een analyseraam van een te beoordelen test-plus-behandeling-strategie.
Stappen opzetten analyseraam
De verschillende stappen voor het opzetten van een analyseraam op basis van een vergelijking tussen de strategieën zijn als volgt:
1. vaststellen hoe de test gebruikt gaat worden, als vervangende test, toegevoegde test of als triage test; 2. vaststellen bij welke patiënten, hoe en waar in het
zorgproces de test ingezet gaat worden (beoogd gebruik); 3. vaststellen wat de claim is in termen van
gezondheidsuitkomsten
4. uitzetten van de huidige (beste) test-plus-behandeling- strategie;
5. uitzetten van de nieuwe test-plus-behandeling-strategie; 6. benoemen - als kritische vergelijkingen - van alle
(voordelige en nadelige) verschillen tussen beide strategieën (deze bepalen de effectiviteit van de nieuwe test en zo nodig de vragen voor verder onderzoek). Van belang zijn in ieder geval:
- verschillen in accuratesse en veiligheid van de test; - andere consequenties van de test, zoals verbeterde toegankelijkheid voor patiënten, vergroting van de prognostische waarde van de test, grotere patiënt compliance bij de behandeling of preventie;
7. identificeren en prioriteren van alle verschillen tussen de tests op cruciale punten om de te beantwoorden vragen helder te krijgen;
8. verzamelen antwoorden op in punt 7 bedoelde vragen d.m.v. literatuuronderzoek op geleide van de prioritering; 9. bepalen of vragen afdoende beantwoord zijn en – indien
aan de orde – vaststellen van ontbrekende cruciale gegevens;
10. formuleren van een conclusie. Prioritering
cruciale vragen
Het zal niet altijd nodig zijn alle vragen op basis van de verschillen in het vergelijkend analyseraam in te vullen. Van groot belang is om, zoals hierboven gesteld, niet alleen de verschillen te identificeren, maar deze ook te rangschikken naar belang. Wanneer een bepaalde geprioriteerde cruciale vraag uit het raam niet beantwoordbaar blijkt, kan op dat moment al duidelijk zijn dat de test-plus-behandeling-strategie niet voldoet aan ‘de stand van de wetenschap en praktijk’ en behoeven de verdere vragen niet meer uitgewerkt te worden.
5.h. Onderbouwing aanvraag
Professionals of fabrikanten
Onderdeel van de door het CVZ voorgestane werkwijze is dat degenen die een oordeel van het CVZ vragen over een test(-plus-behandeling-strategie) de aanvraag onderbouwen. Bij verzoeken om beoordeling van een test(-plus-behandeling-strategie) zal het CVZ, beargumenteerde uitzonderingen daargelaten, van de aanvragers namelijk verwachten dat zij gegevens aanleveren op basis waarvan het CVZ zich een oordeel kan vormen. Naast een omschrijving van de patiënten bij wie de test wordt toegepast en van de setting waarbinnen de test gebruikt wordt, verwachten we ook een omschrijving van de claim van de test-plus-behandeling-strategie
(weergegeven in gezondheidsuitkomsten) en gegevens over de analytische en diagnostische accuratesse van de test.
5.i. Raadpleging externe deskundigen
Consultatie Het CVZ raadpleegt bij het bepalen van ‘de stand van de wetenschap en praktijk’, al naar gelang het onderwerp, steeds de betrokken inhoudelijk deskundigen. Bij de beoordeling van test-plus-behandeling-strategieën zal dit niet anders zijn. Naast deze inhoudelijk deskundigen wil het CVZ bij de beoordeling zo nodig ook methodologisch deskundigen raadplegen.
Tijdstip consultatie Consultatie van inhoudelijk deskundigen vindt tot nu toe in de regel plaats op het moment dat een rapport over de ‘stand van de wetenschap en praktijk’ van een bepaalde interventie door het CVZ in concept voltooid is. Echter, gezien het potentieel complexe karakter van het te construeren vergelijkend analyseraam, kan het in voorkomende gevallen nodig zijn dit al in de ontwerpfase aan inhoudelijk en methodologisch deskundigen voor te leggen voor een (eerste) kritische waardering.
De beoordeling van test-plus-behandeling-strategieën op basis van de beschikbare wetenschappelijke literatuur brengt onherroepelijk een bepaalde inschatting en waardering van deze gegevens met zich mee, met name wanneer het gaat om niet rechtstreeks bewijs. Het kan dan ook aangewezen zijn eveneens in deze evaluatie fase genoemde externe
6. Transparantie en draagvlak
Transparantie en draagvlak
Het is voor het CVZ van groot belang, met name om de kwaliteit van beoordelingen te bevorderen, het
beoordelingsproces transparant te laten verlopen en hiervoor zo nodig aansluiting te zoeken bij externe inhoudelijk en methodologisch deskundigen. Ook het feit dat de
methodologie voor de evaluatie van teststrategieën nog volop in ontwikkeling is, noopt tot dit laatste. Bovendien kan door de consultatie van de professionals het draagvlak bij hen voor de uitgangspunten van de beoordelingsmethode en de daarop gebaseerde conclusies vergroot worden.
Verdere ontwik-keling werkwijze
Het CVZ past de in dit rapport beschreven werkwijze toe. Mogelijk dat op basis van ervaringen hiermee of op basis van wetenschappelijke ontwikkelingen, de geschetste werkwijze op termijn (op onderdelen) aanpassing/verfijning behoeft. Het CVZ zal ook bij de verdere ontwikkeling van de werkwijze openheid betrachten en zo nodig externe expertise inwinnen.
College voor zorgverzekeringen Plv. Voorzitter Raad van Bestuur
Totstandkoming rapport:
Het rapport is opgesteld door: J.T.M. Derksen, gynaecoloog mr. P.C. Staal
dr. G. Ligtenberg J. Heymans, arts, MPH dr. I.M. Verstijnen
Een conceptversie van het rapport is in een werkconferentie voorgelegd aan een aantal externe referenten, die wij hierbij van harte bedanken voor hun kritische commentaar. Het betreft de volgende referenten (in alfabetische volgorde): prof. dr. W.J.J. Assendelft
prof. dr. P.M.M. Bossuyt dr. A. van den Bruel prof. dr. Y. van der Graaf prof. dr. K.G.M. Moons dr. A.J. Rijnsburger prof. dr. R.J.P.M. Scholten prof. dr. E.W. Steyerberg
Het conceptrapport is tevens besproken in de Adviescommissie Pakket en de Duidingscommissie Pakket van het CVZ.
2010134727 BIJLAGE Verslag werkconferentie over de werkwijze voor de beoordeling van medische tests d.d. 9 november 2010 ten kantore van het CVZ
Onderwerp van bespreking - onder voorzitterschap van dr. A. Boer (lid Raad van Bestuur van het CVZ) – is het conceptrapport Medische tests (beoordeling stand van de wetenschap en praktijk). Dit conceptrapport bevat een
uitwerking van de wijze waarop het CVZ medische tests zal toetsen aan het criterium de stand van de wetenschap en praktijk. Alvorens tot definitieve vaststelling van het rapport te komen, wil het CVZ de beoogde werkwijze ter inhoudelijke toetsing bespreken met een aantal externe referenten. Daarvoor is de werkconferentie belegd. De volgende externe referenten waren aanwezig bij de werkconferentie (in alfabetische volgorde):
- prof. dr. W.J.J. Assendelft - Prof. dr. P.M.M. Bossuyt - dr. A. van den Bruel - prof. dr. Y. van der Graaf - prof. dr. K.G.M. Moons - dr. A.J. Rijnsburger - prof. dr. R.J.P.M. Scholten - prof. dr. E.W. Steyerberg
De uitkomst van de bespreking kan als volgt worden samengevat. Consensus over de uitgangspunten in het concept rapport
De deelnemers aan de werkconferentie onderschrijven eensgezind de keuze in het concept rapport om bij de beoordeling van tests op effectiviteit uit te gaan van het klinisch nut van de test. Ook het belang van het maken van een
vergelijking van de nieuwe test-plus-behandeling strategie met de beste strategie die voor handen is, wordt door allen bevestigd. Ook in de toepassing van de door de Cochrane Collaboration ontwikkelde methode voor
beoordeling van de accuratesse kan men zich vinden. Opmerkingen over het concept rapport zelf
Het uitvoeren van de hypothetische RCT kan een zeer omvangrijke klus zijn, die ook veel tijd vraagt. Het is belangrijk om ruimte te laten de beoordeling van tests in voorkomende gevallen meer pragmatisch en toegespitst op de voorliggende test te kunnen doen.
Essentialisme versus consequentialisme. De discussie is voor een belangrijk deel al lang geslecht: bijvoorbeeld bij de ontwikkeling van richtlijnen. Daarom kan er aan deze discussie dan ook minder aandacht worden besteed in het rapport.
Van belang is bij de beoordeling van tests steeds goed voor ogen te houden in welk echelon (1ste, 2de, of 3de lijn) en voor welke indicatie de test toegepast
toepasbaarheid op de vraag. Ook hierbij is inhoudelijke en methodologische expertise gewenst.
Binnen GRADE is men begonnen met de ontwikkeling van een methode voor de beoordeling van tests op klinisch nut, maar daarmee nog lang niet klaar. Voor accuratesse bestaat wel al een stramien. Vooralsnog is het zaak bij het interpreteren van niet rechtstreeks bewijs zo zorgvuldig mogelijk de
verkregen gegevens met elkaar te verbinden en een inschatting te maken van bias, bewijskracht, nauwkeurigheid en omvang van het bewijs.
In de praktijk betekent dit dat het CVZ moet waken voor encyclopedische beoordelingen die jarenlang op zich laten wachten. Het is zaak dichtbij de context van de toepassing van de test te blijven en de verkregen gegevens in dialoog met de professionals te wegen.
De term ‘hypothetische RCT’ kan verwarrend werken. Het gaat om het principe van de vergelijking tussen de bestaande en de nieuwe test-plus-behandeling strategie.
Opmerkingen over onderzoek op het gebied van tests
Uit ervaring blijkt dat bij de beoordeling van nieuwe tests nogal eens volstaan kan worden met accuratesse onderzoek, bijvoorbeeld wanneer het gaat om een bekende test-plus-behandeling strategie en een nieuwe test met
vergelijkbare accuratesse. In dat geval vervangt de nieuwe test de bestaande test, bijvoorbeeld omdat deze invasiever of duurder is. Zo vervangt
bijvoorbeeld in de diagnostiek van diepe veneuze trombose de niet invasieve echografie van de benen de invasieve venografie op basis van slechts
accuratesse onderzoek.
Onderzoek over het klinisch nut van tests ontbreekt vaak. De focus in de rapportage van onderzoek rond tests ligt nog vaak op sensitiviteit en specificiteit. Bij een systematische search is een brede definiëring van de termen, die onder andere ook hiermee rekening houdt, noodzakelijk. Er is beperkt onderzoek gedaan op het terrein van tests. Zo is bijvoorbeeld verre van duidelijk wat de effecten zijn voor de indicatiestelling van nieuwe tests die veel minder invasief zijn dan de ‘oude’. Het is mogelijk dat de indicatie voor de test dan ‘opgerekt’ wordt en er daardoor heel andere
effecten optreden dan die welke in eerste instantie voorzien waren. Dat maakt het geheel erg complex.
Tests worden vaak ontwikkeld door kleine bedrijven, die geen klinische
expertise in huis hebben. De vereisten voor het op de markt brengen van tests zijn zeer beperkt. Voor het CE keurmerk gaat het met name om veiligheid en het ‘aannemelijk maken’ van de werking. Deze (kleine) bedrijven verrichten niet (of nauwelijks) klinisch onderzoek voorafgaand aan de marktintroductie; in tegenstelling tot bijvoorbeeld de farmaceutische industrie die aan vele regels gebonden is. Vanwege het ontbreken van het equivalent van
trialregisters moet extra worden gewaakt voor publicatiebias, met aandacht voor sponsoring en belangenverstrengeling.
Vervolgafspraken
Het CVZ zal hetgeen in de werkconferentie is besproken in een verslag samenvatten. Dit verslag zal aan de externe referenten worden voorgelegd met de vraag of men zich in de weergave kan vinden. Het verslag zal als bijlage worden gevoegd bij het definitieve rapport.
Het CVZ neemt de op- en aanmerkingen gemaakt in de werkconferentie ter harte en zal deze – voor zover nodig ter verduidelijking/verfijning – verwerken in het uit te brengen rapport.
EVIDENCE‐BASED
MEDICAL TESTING
Developing evidence‐based reimbursement recommendations for tests and markers Report prepared for the Dutch Health Care Insurance Board Version: 2.2 Patrick M.M. Bossuyt Professor of Clinical Epidemiology Dept. Clinical Epidemiology & Biostatistics Academic Medical Center ‐ University of Amsterdam Room J1b‐214; PO Box 22700; 1100 DE Amsterdam; the Netherlands p.m.bossuyt@amc.uva.nl +31(20)566 3240 (voice) +31(20)691 2683(fax)3 CONTENTS 0 Summary ... 5 1 Introduction ... 6 2 Evidence‐Based Medicine ... 8 2.1 From Clinical Epidemiology to Evidence‐based Medicine ... 8 2.2 From Evidence‐Based Medicine to Evidence‐Based Health Care ... 10 3 A Hierarchy of Evidence ... 12 3.1 Levels of evidence ... 12 3.2 Strength of Recommendations ... 15 3.3 Decision Analysis ... 16 3.4 Evidence and Values ... 18 4 Tests In Evidence‐Based Medicine ... 20 4.1 Diagnostic Accuracy: Sensitivity and Specificity ... 20 4.2 Levels of Evidence For Diagnostic Tests ... 23 4.3 GRADE for diagnostic tests and strategies ... 25 4.4 Feinstein’s Critique of Accuracy ... 25 5 From Accuracy To Health Outcome ... 28 5.1 The Early Dissemination of Computed Tomography ... 28 5.2 Consequentialism versus Essentialism ... 29 5.3 Clearly Consequentialist: Screening ... 31 5.4 Solidarity and Subsidiarity ... 33 6 Between Testing and Health Outcome ... 34 6.1 How Testing Affects Patient Outcome ... 34
6.2 Randomized Trials of Testing ... 36 6.3 A Hierarchy of Efficacy ... 39 6.4 Staged evaluation of medical tests ... 41 7 Indirect Evidence and Analytic frameworks ... 46 7.1 USPSTF: Indirect evidence ... 47 7.2 EGAPP: The Evaluation of Genetic Tests and Genomic Applications ... 49 7.3 Implicit Comparative Randomized Trials ... 51 8 An International Perspective ... 53 8.1 England and Wales: National Institute for Health and Clinical Excellence 53 8.2 Germany: Institut für Qualität und Wirtschaftlichkeit im Gesundheitswesen ... 54 8.3 USA: Agency for Healthcare Research and Quality ... 57 8.4 USA: Medicare and Medicaid ... 57 8.5 Australia: Medical Services Advisory Committee... 61 8.6 Other countries ... 63 9 Evaluating medical tests: a synthesis ... 65 10 References ... 66 Acknowledgements ... 73
5 0 SUMMARY In an era of a growing demand for health care from an aging population, an expanding range of technical possibilities, concerns about scarce resources, and sentiments about assessment and accountability, new and existing medical tests and markers cannot escape close scrutiny. This report summarizes how health care organizations have developed guidance for producing evidence‐based recommendations for medical tests. The evidence‐based medicine movement has emphasized the need for making decisions about interventions based on the best available evidence from strong scientific research. In evidence‐based medicine there has been far less emphasis on decisions about tests and markers. Current methods focus mostly on diagnostic accuracy, based on comparisons between a test and the clinical reference standard, and grade the level of evidence based on the design of diagnostic test accuracy studies. There is a growing awareness that tests should be evaluated not on their intrinsic qualities (essentialism) but based on their consequences for patients’ health and the use of health care resources (consequentialism). Acceptable diagnostic accuracy, though usually desired, is generally not sufficient for demonstrating benefits from testing. Randomized trials of testing strategies offer the strongest evidence of the benefits of testing. Trials of tests are relatively rare, however; they can only evaluate a subset of testing strategies and can be difficult to mount. In addition, many testing trials have flaws in their study design and can be difficult to interpret, because of the indirect relation between tests and downstream consequences. Efforts to develop a staged approach, looking at physician behavior as a proxy for health benefits, have been mostly unsatisfactory. In the absence of trial evidence and given the inadequacy of diagnostic accuracy as the sole criterion, a number of organizations have tried to develop systematic approaches to deal with indirect evidence. The ‘analytic frameworks’ integrate multiple pieces of evidence to evaluate the consequences and to examine the claimed benefits and the intended use of testing. To effectively alleviate the lack of randomized trial results, frameworks should document the effect of testing on all relevant outcomes; both the existence itself of a positive effect and the magnitude. Analytic frameworks require both empirical data and explicit judgments from experts. In the spirit of evidence‐based medicine, they can produce the desired information and serve as guidance in supporting decisions about tests and markers.
1 INTRODUCTION In an era of a growing demand for health care from an aging population, an expanding range of technical possibilities and concerns about scarce resources, and sentiments about assessment and accountability, tests and markers cannot escape close scrutiny. Within the spirit of evidence‐based health care, we cannot accept the putative benefits of technological advances at face value. There is a general awareness that the evaluation of tests and markers lags behind the societal appraisal of new pharmaceuticals and novel interventions. In part this has to with less stringent regulatory requirements, but one other culprit is the apparent complexity of evaluations of imaging, laboratory tests, biomarkers and other forms of testing. The Dutch Health Care Insurance Board (College voor Zorgverzekeringen, CVZ) is the government agency, sponsored by the Dutch Ministry of Health, Welfare and Sports, which acts as the benefits package manager for all services covered under the Dutch universal basic health care insurance. One of its tasks is to develop recommendations about coverage. The benefits are broadly defined in the Health Care Insurance Act (Zorgverzekeringswet). That act, active since January 1st, 2006, specifies that coverage is extended to all services according to the “state of practice and science” (stand van de wetenschap en praktijk). This criterion evolved from one used in previous forms of legislation, which referred to “usual care”, often operationalized as “care tested and proven by international medical science”. CVZ develops recommendations based on an evidence‐based approach to guideline development. That strategy was prepared by the EBRO platform, a coalition of more than two dozen bodies responsible for practice guidelines and other forms of recommendations.1 The platform developed a common approach, to prevent duplication of efforts and to reduce the risk of controversy between stakeholders. The approach is based on a system of levels of evidence, with different sets of levels for interventions, diagnosis and prognosis. Its starts with a well phrased question, then continues with a literature search, after which selected scientific studies are critically appraised. Ultimately, the strength of the evidence is summarized.
7 agencies throughout the world currently develop recommendations about medical tests, within the spirit of evidence‐based medicine. Our report has two parts. The second part shows how a number of regulatory agencies in Western health care systems are dealing with reimbursement decisions and guideline recommendations for medical testing. The first part of this report offers a more general introduction to these methodologies. We offer the reader a brief reintroduction of evidence‐based medicine and its origins and discuss how testing decisions have been dealt with in the levels of evidence approach. We demonstrate two opposing views on test evaluation – consequentialism versus essentialism ‐ and show how several groups have tried to bridge the distance between testing and health outcomes. Evaluating tests and biomarkers is more than praising technology but also requires appraising the effects of testing on health outcome and health care. A final section brings shows, as a form of synthesis, how the Dutch Health Care Insurance Board CVZ can build its own approach, loyal to its philosophy and Dutch principles, while taking advantages of the international developments in countries around us. That approach leaves the levels of evidence approach behind and offers a systematic approach for incorporating indirect evidence to examine claimed health benefits, focusing at the intended use of medical tests. Patrick M.M. Bossuyt Professor of Clinical Epidemiology University of Amsterdam
2 EVIDENCE‐BASED MEDICINE “They’ve got something new in McMaster” so our colleague Harry told us, one day in 1991. Mc Master stood ‐ and stills stands ‐ for the Department of Clinical Epidemiology at Mc Master University in Hamilton, Canada. It is probably the most influential Department of Clinical Epidemiology in the world; it definitely was at that time. “They call it Evidence‐Based Medicine” he continued. The paper in which these new developments were described appeared a few months later, in the Journal of the American Medical Association (JAMA).2 That paper was not a regular introduction‐methods‐results‐discussion type manuscript. It had a different structure. Not only the structure was different, so was the tone: the paper read more like a manifesto. The EBM working group called for no less than a different approach to teaching the practice of medicine. Like most manifestos, it dealt as much with differences from the past as it did with the future, that new way of teaching medicine. There should be less reliance on authority, so the group said, and we should do away with armchair theories. The 1992 JAMA paper is one of these papers of which the authors could only have underestimated the impact it had on medicine, on clinical research, and on health care in general. The paper was cited 6 times in 1995, a number that had grown to 89 in 1998. The number of annual citations has been high ever since, with a total of 900 in early 2010.1 But these statistics can only partially testify for the real societal impact of the EBM movement. EBM became a label, a brand, a movement. 2.1 From Clinical Epidemiology to Evidence‐based Medicine That our colleague was describing the McMaster transition as “something new” was not fortuitous. This was something new, but at the same time it followed in a series of developments at McMaster University and elsewhere. EBM did not fall out of thin air; the proclamation of “evidence‐based medicine” can be seen as the logical step after a series of previous evolutions. These developments can help us to understand how the practice of EBM developed, and how it affected the evidence‐base for medical tests.
