UvA-DARE (Digital Academic Repository)
Routine outcome monitoring & learning organizations in substance abuse
treatment
Oudejans, S.C.C.
Publication date
2009
Link to publication
Citation for published version (APA):
Oudejans, S. C. C. (2009). Routine outcome monitoring & learning organizations in substance
abuse treatment.
General rights
It is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s), other than for strictly personal, individual use, unless the work is under an open content license (like Creative Commons).
Disclaimer/Complaints regulations
If you believe that digital publication of certain material infringes any of your rights or (privacy) interests, please let the Library know, stating your reasons. In case of a legitimate complaint, the Library will make the material inaccessible and/or remove it from the website. Please Ask the Library: https://uba.uva.nl/en/contact, or a letter to: Library of the University of Amsterdam, Secretariat, Singel 425, 1012 WP Amsterdam, The Netherlands. You will be contacted as soon as possible.
—
Samenvatting
Kwaliteitsverbetering in de verslavingszorg heeft de afgelopen decennia toegenomen aandacht gekregen, zowel onder druk van de sector zelf, als door externe belanghebbenden als zorgverzekeraars, overheden en patiënten. De sector heeft het laatste decennium een grote slag geslagen met het nationale kwaliteitsverbeterproject Resultaten Scoren. Een laatste stap binnen deze verbeteroperatie is het cijfermatig aantonen, behouden en verbeteren van behandelkwaliteit. Prestatiemeting, uitkomstenmeting en het leren van terug-koppeling zijn activiteiten die daarbij behulpzaam zijn. Routine outcome
moni-toring (ROM), kortweg het meten en terugkoppelen van behandeluitkomsten
is een strategie die deze activiteiten verenigt en daarom zijn veel organisaties in de sector bezig met de implementatie van ROM. De spelers in de sector zijn het eens over de toegevoegde waarde van ROM. Men verwacht dat het een grote rol kan spelen in verdere kwaliteitsverbetering, handhaving en de verant-woording daarvan aan interne en externe partijen. Echter, uit diverse projecten en wetenschappelijke studies komt ook een aantal vragen naar voren rondom de uitvoerbaarheid, bruikbaarheid en effectiviteit van ROM bij kwaliteitsverbe-tering van de zorg. Het doel van dit proefschrift is om een aantal van deze vragen wetenschappelijk te onderzoeken en met mogelijke oplossingen te komen.
De onderzoeksvragen in dit proefschrift zijn of het mogelijk is om in de verslavingszorg een vorm van ROM in te voeren dat valide data oplevert, dat wordt gesteund door sleutelpersonen in de organisaties, dat gebruikt kan worden om uitspraken te genereren over effectiviteit van de behandelingen, en dat bijdraagt aan de ontwikkeling en lerende capaciteiten van behandelaars en teams.
Hoofdstuk 2 beschrijft de validiteit en uitvoerbaarheid een manier van data
verzamelen voor ROM. Omdat kosten van follow-up interviews vaak hoog op-lopen terwijl de respons veelal laag blijft, hebben we een call center geïnstalleerd dat follow-up interviews uitvoert met cliënten die eerder een verslavings-behandeling hebben gehad. Uitvoerbaarheid en validiteit wordt beschreven in termen van responspercentages, tijdsinvestering en kosten. De validiteit van de verzamelde data hebben we beoordeeld aan de hand van de representativiteit van de groep geïnterviewde cliënten ten opzichte van de totale behandelpopu-latie door kenmerken – zoals culturele herkomst of verslavingsernst bij intake – van cliënten die wel bereikt zijn voor het follow-up interview te vergelijken met die van cliënten die niet bereikt zijn. Daarnaast hebben we onderzocht of deze cliëntkenmerken samenhangen met behandelresultaat. De resultaten uit dit onderzoek laten zien dat de kosten van telefonische follow-up interviews door een call center laag zijn. Het responspercentage in onze studie was bescheiden,
—
maar vergelijkbaar met andere grote studies, zoals bijvoorbeeld DATOS. Het bereiken van cliënten bleek het grootste obstakel te zijn; in meer dan een derde van de gevallen lukte het niet om een cliënt aan de telefoon te krijgen. Maar, eenmaal bereikt, dan is men coöperatief: het percentage weigeraars was slechts 3%. Het blijkt wel dat deze manier van follow-up interviews uitvoeren leidde tot een selectieve respons. Cliënten met kenmerken die mogelijk samenhangen met een negatief behandelresultaat (zoals een niet-Nederlandse culturele herkomst, of het gebruiken van cocaïne of opioïden) waren ondervertegen-woordigd in de groep die bereikt was voor het follow-up interview. Regressie-analyse toonde aan dat deze selectieve respons het sterkste was voor cliënten die een cocaïne verslaving hadden en voor cliënten die verslaafd waren aan meerdere middelen. Er moet dus meer aandacht besteed worden aan het ver-zamelen van gegevens over een groep die representatief is voor de behandelde populatie. Dit kan door meer energie te steken in het opsporen van cliënten; in die zin schept de grote groep cliënten die niet bereikt wordt zeker mogelijk-heden. Instellingen moeten aangespoord worden hun informatiesystemen beter up-to-date te houden en het call center zelf kan de pogingen om contact te krijgen intensiveren. Het trekken van een steekproef uit de behandelde populatie – in plaats van het bellen van elke behandelde cliënt – kan een strategie zijn die tijd en middelen oplevert om te besteden aan die intensivering. Daarnaast moeten imputatie methoden – statistische mogelijkheden voor correctie voor missende waarden – onderzocht worden op toepasbaarheid binnen deze specifieke setting.Hoofdstuk 3 beschrijft bevorderende en belemmerende factoren voor het
opzetten van ROM in de verslavingszorg. Aanleiding waren problemen met dataverzameling en de beperkte deelname aan terugkoppelingsbijeenkomsten bij de eerste fase van het ROM project. Om hier een passend antwoord op te vinden was het nodig om te onderzoeken welke factoren een rol spelen bij de introductie van ROM. Uit interviews kwamen 14 factoren naar voren die een rol speelden. Steun en toewijding van managers en staf, begrijpelijke en aan-trekkelijk gepresenteerde uitkomsten zijn de meest belangrijke bevorderende factoren. Het ontbreken van steun en toewijding werd uitdrukkelijk genoemd als belemmerende factor, namelijk als betrokkenen niet het idee hebben dat het project van hen is. Daarom is het belangrijk dat uit de vragenlijst – verspreid onder behandelaars – naar voren kwam dat er wel steun is voor het geïmplementeerde ROM project. Behandelaars vinden de terugkoppeling van behandeluitkomsten relevant, ze waarderen de terugkoppelingen en ze vinden dat dit systeem voortgezet moet worden. Echter, uit het onderzoek kwam ook naar voren dat het bezoek van behandelaars aan de terugkoppelingen beperkt is, waardoor de verspreiding van behandeluitkomsten ook beperkt blijft. Behandelaars gaven
—
ook aan dat er binnen de teams en instellingen weinig actie wordt ondernomen op basis van de kennis van de behandeluitkomsten. Het management heeft er niet altijd aandacht voor en er worden geen verbeterprojecten gestart. Dat wijst op een gebrek aan steun en toewijding van het management en daarmee is aan een belangrijke bevorderende factor niet voldaan. Het intensiveren van de verspreiding van behandelresultaten – wellicht in andere vormen, zoals per e-mail – en het meer betrekken van teams en managers in de inhoudelijke vormgeving van de terugkoppelingen zouden kunnen bijdragen aan een ver-grote betrokkenheid. Bovendien zou er meer aandacht besteed moeten worden aan het leren omgaan en interpreteren van behandeluitkomsten, waardoor de terugkoppelingen hiervan ook daadwerkelijk leiden tot verbeteringen van de zorg.
Hoofdstuk 4 beschrijft een naturalistische studie naar de effectiviteit van
cognitieve gedragstherapie voor alcoholverslaving, gebruik makend van de ge-gevens uit de ROM-database. De vaststelling van doeltreffendheid (effectiveness) van behandelingen in de dagelijkse routine is een belangrijke toevoeging op de vaststelling van werkzaamheid (efficacy) van behandelingen zoals dat in RCTs wordt gedaan. In Hoofdstuk 4 wordt de uitvoerbaarheid en doeltreffendheid van twee bewezen effectieve behandelingen voor patiënten met een alcoholverslaving – genaamd Leefstijltraining – vastgesteld. Leefstijltraining 1 is een korte cognitieve gedragstherapie bestaande uit vier zittingen, en Leefstijltraining 2 is een langere variant die uit 10 zittingen bestaat. Tevens is onderzocht of patiëntkarakteristieken zoals vastgesteld bij de start van de behandeling voor-spellende waarde hadden voor de uitkomsten van de behandeling. Resultaten toonden aan dat in Leefstijltraining 1 patiënten met minder zware proble-matiek terechtkwamen dan in Leefstijltraining 2, en dat de twee interven-ties inderdaad verschilden in het aantal zittingen dat door de patiënten werd gevolgd. Dit is in overeenstemming met het indicatie- en toewijzingsprotocol dat in de sector is geïmplementeerd. Een substantieel deel van de patiënten volgde minder zittingen dan door het behandelprotocol werd voorgeschreven, en dit was voor de patiënten in Leefstijltraining 2 het meest prominent. Wat betreft behandeleffectiviteit, vonden we dat de behandeling voor 43.2% van de patiënten succesvol was te noemen, en dat het al dan niet volbrengen van de gehele Leefstijltraining niet samenhing met behandeleffectiviteit. Deze re-sultaten zijn in overeenstemming met rere-sultaten zoals gevonden in RCTs als in Project MATCH, en er kan geconcludeerd worden dat, hoewel het deel patiënten dat terugvalt groot is, de resultaten uit RCTs in de dagelijkse setting overeind blijven.
Het hoofdthema in Hoofdstuk 5 en 6 is de Lerende Organisatie. Hoofdstuk 5 beschrijft de ontwikkeling van de Vragenlijst Lerende Organisaties (VLO). De VLO is gebaseerd op Senge’s theorie van de Lerende Organisaties waarin
—
vijf disciplines een centrale rol spelen. In confirmerende factoranalyse werden de vijf disciplines Persoonlijk Meesterschap, Mentale Modellen, Gemeenschappelijke Visie, Teamleren en Systeemdenken teruggevonden. Echter, de subschalen voor Persoonlijk Meesterschap en Mentale Modellen dienen wel verbeterd te worden. Hoofdstuk 6 beschrijft een onderzoek naar de rol van ROM in de Lerende Organisatie. De vraag is of terugkoppeling van behandeluitkomsten zoals gedaan in het ROM project dat is beschreven in de eerdere hoofdstukken, bijdraagt aan het vergroten van de leercapaciteit van behandelaren in de verslavingszorg. Om dit vast te stellen, werd de VLO afgenomen onder 30 behandelaars van de Leefstijltraining; voordat terugkop-pelingen van behandeluitkomsten had plaatsgevonden en nadat er drie terug-koppelingsbijeenkomsten hadden plaatsgevonden. Er kon geen vergroting van de leercapaciteit vastgesteld worden, op geen van de vijf disciplines. Op de totaalscore van de VLO werd zelfs een kleine achteruitgang gemeten. Er was ook geen verschil tussen behandelaren die wél en geen terugkoppelbijeen-komsten hadden bezocht. Een verklaring daarvoor is dat het terugkoppelen van behandeluitkomsten alleen, met deze frequentie en intensiteit, niet genoeg is om leercapaciteit te vergroten, helemaal niet in instellingen die grote en langdurige reorganisaties hebben ondergaan. Een andere verklaring is dat be-handelaren juist door de terugkoppelingen kritischer zijn geworden en dat er dus een test-hertest effect is opgetreden. Echter, de VLO is een vragenlijst in ontwikkeling, en voordat er belangrijke conclusies over de bijdrage van ROM aan de Lerende Organisatie getrokken kunnen worden, moet het instrument verder ontwikkeld en verbeterd worden. De lage interne consistentie wijst op de aanwezigheid van meetfouten. Herformulering van items in de VLO is een volgende stap, samen met een afname onder een grotere groep behandelaren. Tevens moet er meer aandacht besteedt worden aan de aard en de kwaliteit van terugkoppeling van behandeluitkomsten en de manier waarop behandelaren en teams daarmee omgaan in de verbetering van de kwaliteit van de behandeling.Hoofdstuk 7 is de afsluitende conclusie en discussie. Telefonische follow-up
interviews voor ROM is uitvoerbaar en succesvol gebleken, maar deze procedure is wel gevoelig voor selectiebias. Hierdoor moeten conclusies over effectiviteit gebaseerd op deze gegevens met voorzichtigheid bekeken worden. Er zijn genoeg aanknopingspunten voor verbetering – zoals het optimaliseren van electronische patiënten dossiers (EPDs) om de kwaliteit en actualiteit van contact-gegevens van patiënten te verhogen – waardoor deze methode veelbelovend is. Daarnaast is gebleken dat er binnen de instellingen steun is voor ROM onder behandelaren, en dat daarmee aan een belangrijke bevorderende voorwaarde voor een succesvolle implementatie van ROM is voldaan. Echter, de praktische ondersteuning door bijvoorbeeld managers leek afwezig en dit werkte belemmerend
—
om daadwerkelijke verbeteracties op basis van teruggekoppelde behandel-resultaten op touw te zetten. Een derde bevinding is dat de ROM-database gebruikt kon worden voor een studie naar behandeleffectiviteit in de dagelijkse routine, waaruit blijkt dat deze resultaten overeind bleven naast die gerap-porteerd in RCTs. Hierbij moeten de eerdere conclusies over sectiebias – dat kan leiden tot een mogelijke overschatting van behandelsucces – in overweging genomen worden. Als laatste is er geen bewijs gevonden voor de positieve invloed van terugkoppeling van behandeluitkomsten op leercapaciteit. Echter, het daarvoor gebruikte instrument is nog in ontwikkeling, waardoor de studie waarin dit is vastgesteld beschouwd moet worden als waardevolle eerste aan-zet voor studies met verder ontwikkelde instrumenten, meer aandacht voor strategieën voor- en intensiteit van terugkoppelen, en grotere steekproeven.
De onderzoeken in dit proefschrift kennen een aantal beperkingen. Als eerste vonden ze allemaal plaats in de verslavingszorg. Het is de vraag in hoe-verre de bevindingen te generaliseren zijn naar andere sectoren, zoals de gehele geestelijke gezondheidszorg. Gezien de aard van andere psychiatrische aan-doeningen zoals depressie, verwachten we dat dit wel het geval is. Daarnaast zijn de onderzoeken gericht op de ROM-strategie waarin uitkomsten worden teruggekoppeld op geaggregeerd niveau (ROMan, zoals uiteengezet in Hoofd-stuk 1). Ook daarbij is het de vraag in hoeverre de bevindingen toepasbaar zijn op de strategie van meten en terugkoppelen in de lopende behandelingen (ROMon). Omdat data die verzameld worden in lopende behandelingen ook vaak gebruikt worden voor programma evaluaties of ter verantwoording, zijn ze in elk geval relevant voor dat deel van die toepassing.
In Hoofdstuk 7 staat tevens een aantal aanbevelingen voor verder onder-zoek en aanpassingen in de praktijk. Enkele daarvan zijn het trekken van steek-proeven uit de behandelpopulatie ter vaststelling van behandeleffectiviteit, het inzetten van follow-up interviews als instrument om teruggevallen patiënten opnieuw in behandeling te krijgen, gerichte training van behandelaren en managers in het begrijpen en interpreteren van behandeluitkomsten om zo te komen tot verbeteracties, en extra aandacht voor het onttrekken van gegevens uit EPDs en data management. De empirische evidentie van de relatie tussen terug-koppeling van behandeluitkomsten en kwaliteitverbetering is dun. Daarom hebben wij gezocht naar een verband tussen een mogelijke voorwaarde van kwaliteitsverbetering, namelijk leercapaciteit. In deze studies kon dit verband niet vastgesteld worden. Verdere ontwikkeling van meetinstrumenten zoals de VLO is daarvoor nodig, net zoals een vergelijking van bevindingen gedaan met instrumenten gebaseerd op andere theorieën over leren in organisaties, zowel binnen als buiten de verslavingszorg of de geestelijke gezondheidszorg.
