precieze manier te beschrijven aan de hand van een aantal kenmerken.
Kernboodschappen
x Er bestaat geen éénduidige betekenis van het concept „feedback‰ in de literatuur. Dit leidt tot conceptuele onduidelijkheid. Hetzelfde begrip verwijst naar uiteenlopende interventies of acties.
x De conceptuele onduidelijkheid heeft 2 gevolgen. Ten eerste: artikelen over „feedback‰ kunnen nauwelijks onderling met elkaar vergeleken worden. Ten tweede: de effectiviteit van interventies kan moeilijk ingeschat worden.
x Feedback wordt in dit rapport gedefinieerd als: „Terugkoppeling naar de professionele zorgverleners van geregistreerde informatie over hun klinisch handelen in een bepaalde tijdsperiode, met of zonder aanbevelingen over goed klinisch handelen, met als doel de professionele zorgverleners inzicht te laten verwerven in het eigen handelen en hen aan te sporen tot optimaal klinisch gedrag‰. Deze terugkoppeling kan onder verschillende modaliteiten gebeuren.
x Om de impact van een feedback te kunnen evalueren is het nodig de verschillende componenten duidelijk te onderscheiden.
x De feedbackinterventie voor het veranderen van voorschrijfgedrag in België is een gecombineerde methode die simultaan gebruik maakt van 2 verschillende acties, die onderling samenhangen:
1) het feedback-document
2) het gebruik van het feedback-document in LOK-groep, als basis voor educatie en discussie.
2.3.1.
Definities van feedback in de literatuur
De meest opvallende vaststelling in review artikelen, is dat individuele artikelen weinig expliciet zijn over hun conceptualisering van feedback. Daarom is het niet altijd duidelijk welke interventie de auteur precies bedoelt. Het wordt bovendien zeer moeilijk feedback- interventies onderling te vergelijken. Dit heeft als gevolg dat geen uitspraken kunnen gedaan worden over de effectiviteit.
In een aantal reviews is feedback wel omschreven. Zij het dat geen uniforme omschrijving wordt gehanteerd. Toch vallen in deze definities aanknopingspunten te vinden om voor dit evaluatieonderzoek precies vast te leggen wat we bedoelen met feedback.
x Grol en Wensing1: „Toetsing en terugkoppeling (feedback): samenvatting van gegevens over het klinisch handelen van zorgverleners in een bepaalde tijdsperiode, de samenvatting kan ook aanbevelingen bevatten: de informatie kan schriftelijk of mondeling worden gegeven en verkregen zijn uit medische
8 Impact van feedback KCE reports vol. 9A
dossiers of computerdatabases, via observatie of via patiënten; er zijn twee varianten: (a) interne toetsing, waarbij hulpverleners zelf meedoen aan de gegevensverzameling, (b) externe toetsing, waarbij hulpverleners van anderen passief gegevens krijgen over hun handelen.‰
x Grol en Wensing1: „Feedback staat voor het teruggeven van informatie over het eigen handelen aan een zorgverlener, praktijk of instelling, teneinde het inzicht in het eigen handelen te vergroten. De informatie bestrijkt een bepaalde tijdsperiode en wordt verzameld aan de hand van gegevens over het daadwerkelijk handelen, in de literatuur vaak aangeduid als audit.‰ x Cochrane Review3: „Audit and feedback: defined as any summary of clinical
performance of healthcare over a specified period of time. The summary may also include recommendations for clinical action. The information may be given in a written, electronic or verbal format.
x Grimshaw4: „Audit and feedback: any summary of clinical performance of healthcare over a specified period. The summary may also have included recommendations for clinical action. The information may have been obtained from medical records, computerised databases or observations from patients. The following interventions are excluded: provision of new clinical information not directly reflecting provider performance which was collected from patients, e.g. scores on a depression instrument, abnormal test results. These interventions should be described as patient mediated. Feedback of individual patientsÊ health record information in an alternative format (e.g. computerised). These interventions should be described as organisational.
Bij auteurs die in de gezondheidsliteratuur „feedback‰ grondig hebben bestudeerd, worden „audit‰ en „feedback‰ systematisch aan elkaar gekoppeld. In andere, meer sociologische literatuur2, wordt audit onderscheiden van feedback, omdat feedback conceptueel enkel verwijst naar het terugkoppelen van informatie, terwijl audit ook de idee inhoudt van „doorlichting‰ en „verantwoording door de zorgverlener‰. In de definities van Grol en Wensing zijn sporen van een gelijkaardig onderscheid terug te vinden: „feedback‰ is de term die het geheel (aanbevelingen en gegevens over het handelen) dekt, terwijl „audit‰ vooral neerkomt op de doorlichting van het handelen. In geen enkele andere definitie komt deze opsplitsing terug.
Opvallend is dat in alle omschrijvingen van feedback duidelijk wordt verwezen naar het opnemen van aanbevelingen. Met andere woorden, impliciet houdt de notie van feedback ook in dat men aanspoort tot goede praktijkvoering. Slechts in één definitie1 wordt expliciet verwezen naar één doelstelling van de interventie: inzicht te verschaffen in eigen handelen. Het is precies deze definitie die tracht om „audit‰ en „feedback‰ conceptueel te onderscheiden, omdat audit (meer dan feedback) ook tracht aan te sporen tot gedragsverandering. Feedback reikt volgens deze auteurs net iets minder dan audit. Zeker in de kwaliteitsliteratuur maakt deze idee opgang. In dit perspectief geeft feedback enkel informatie, over specifieke feiten en over de stand van zaken van de wetenschap. Aan de gebruiker te bepalen wat hij ermee doet. Audit gaat, met het oog op kwaliteitsverbetering, een stap verder en beoogt „aan te sporen tot optimaal klinisch gedrag‰.
In meerdere definities wordt gesproken over de „modaliteiten‰ of de vorm die feedback kan aannemen. Naast het „wat‰ wordt in sommige definities ook verwezen naar het „hoe‰. Het is vooral het simultaan praten over „wat‰ en „hoe‰, dat de discussie over feedback bemoeilijkt
Met het oog op het duidelijk situeren van dit evaluatieonderzoek hanteert dit rapport op basis van bovenstaande inzichten volgende definitie van feedback. Deze definitie is eerder pragmatisch om de relatie te behouden met de intentie van de feedback- campagne in België.
„Terugkoppeling naar de professionele zorgverleners van geregistreerde informatie over hun klinisch handelen in een bepaalde tijdsperiode, met of zonder aanbevelingen over
goed klinisch handelen, met als doel de professionele zorgverleners inzicht te laten verwerven in het eigen handelen en hen aan te sporen tot optimaal klinisch gedrag‰.
2.3.2.
Verschillende kenmerken van feedback
Feedback wordt over het algemeen weinig precies gedefinieerd. Maar de feedback- varianten kunnen geïdentificeerd worden aan de hand van uiteenlopende karakteristieken. In de beschikbare literatuur bieden twee classificatieoefeningen rond interventies interessante aanknopingspunten om de feedback, zoals vormgegeven in België, te typeren: de Data Collection Checklist,61 en een Cochrane review van Jamtvedt et al.3
Sinds 1999 bestaat -binnen de Cochrane Collaboration- het EPOC-kader (Effective Practice and organisation of Care Review Group), dat interventies -waaronder feedback- kan typeren. Dit kan door gebruik te maken van de Data Collection Checklist.61 Het oorspronkelijke doel van deze checklist is reviewers te voorzien van een gids over het type relevante informatie dat geëxtraheerd kan worden uit de primaire studies.
Naar deze checklist wordt in meerdere andere bijdragen verwezen.1, 5, 6 Deze auteurs (Hulscher et al.,5 Thorsen et al.6 en Grol et al.1) stellen op basis hiervan een kader op om interventies te beschrijven. Dit classificatieschema is gebaseerd op 6 centrale criteria:
1. Globale typering van de interventie 2. Doelgroep
- Professie c.q. patiëntengroep
- Interactie tussen participantengroep of niet. En zo ja: homogene groep of niet?
- Omvang doelgroep (aantal groepen, groepsomvang, totaal aantal individuen)
- Motivatie voor deelname 3. Implementeerder / uitvoerder - Professie - Opinieleiderschap - Autoriteit 4.Frequentie - Aantal - Tijdsintervallen - Duur
5. Informatie over richtlijn of vernieuwing
- Type informatie over de richtlijn of de vernieuwing
- Presentatievorm van de informatie over de richtlijn of de vernieuwing - Medium
6. Informatie over handelen doelgroep - Type informatie over het handelen
- Presentatievorm van de informatie over het handelen - Medium
- Mogelijkheden tot het vergelijken van de informatie over het handelen (Voor uitvoerige uitleg van dit kader: zie bijlage 3)
10 Impact van feedback KCE reports vol. 9A
De Cochrane review van Jamtvedt et al. specifiek handelend over „audit en feedback‰3 klasseert de verschillende varianten van audit en feedback aan de hand van 5 criteria. Het interessante aan deze review is dat hij zich toespitst op een studie naar de effectiviteit van feedback, en dus mogelijk directer bruikbaar is voor deze onderzoeksvraag. Bovendien vertonen een aantal van de criteria duidelijke overeenkomsten met het het EPOC-kader.
Jamtvedt et al. 3 onderscheiden drie dimensies om de kenmerken van de interventie te beschrijven:
1. Het type interventie:
- Audit en feedback alleen
- Audit en feedback als deel van een educatieve bijeenkomst of van outreach visit
- Audit en feedback als deel van een „gecombineerde interventie‰ 2. De intensiteit van audit en feedback:
- Inhoud: welke informatie wordt gegeven? - Formaat: geschreven of mondeling? - Timing: frequentie en duur
- Bron van feedback: wie geeft feedback? - Doelgroep: individu of groep?
3. De complexiteit van het gewenste gedrag: - Het aantal gedragingen
- Complexiteit van vaardigheden of beoordelingen - Andere factoren nodig (vb. organisatorische)
- Gedragsverandering bij individu of in communicatie of in volledig systeem Twee andere dimensies geven geen extra toelichting qua kenmerken, maar hebben eerder betrekking op de context of op de studie zelf:
4. De baseline compliance: de compliance van een arts i.v.m. gewenst gedrag vóór de interventie wordt uitgevoerd. Dit wordt weergegeven als continue variabele, gaande van 0 tot 100%
5. De studie-kwaliteit.
Enkele opmerkingen dienen bij deze criteria gemaakt:
x De kenmerken van het „type interventie‰ en de „intensiteit van audit en feedback‰ worden in het classificatieschema, gebaseerd op de EPOC- checklist, beter en uitvoeriger beschreven dan in de review van Jamtvedt. x De „complexiteit van het gewenste gedrag‰ wordt beoordeeld a.h.v. 4
categorieën. Complexiteit wordt dan gescoord van „hoog‰ (erg complex), tot „gemiddeld‰ of „laag‰ (weinig complex). Jamtvedt en collegaÊs blijven over hun werkwijze echter rijkelijk vaag en stellen zelf dat het hier gaat om een subjectieve beoordeling.
x Waarschijnlijk blijven de auteurs noodzakelijkerwijze vaag omdat in artikels en beleidsinterventies de gedragstheoretische assumpties (of theorieën) niet expliciet zijn gemaakt (zie ook hoofdstuk 3)
x Bovendien is de complexiteit van het gewenste gedrag doelgroepenspecifiek. x De baseline compliance is geen kenmerk van de interventie, maar is een
belangrijke contextuele factor bij het evalueren van studies met betrekking tot gedragsverandering. In deze review was dit een discriminerende factor in
het beoordelen van de effectiviteit van audit en feedback: het absolute effect zal groter zijn indien de baseline compliance laag is.
Op basis van de inzichten uit de bestaande classificatieoefeningen, hebben we een ontwerpinstrument gemaakt dat ontwerpers van interventies (feedbacks) en evaluatoren, mee kan helpen om de kenmerken van de interventie te identificeren (zie bijlage 4). Dit vragenalgoritme heeft zowel een mogelijk nut bij het ontwerpen van een interventie, om verschillende vormen van feedback te onderscheiden en om de criteria van een evaluatieonderzoek vast te leggen met de opdrachtgever. Het ondubbelzinnig typeren van interventies vergemakkelijkt overigens achteraf onderlinge vergelijkbaarheid van interventie-studies, en zal mogelijk op termijn meer duidelijkheid kunnen verschaffen over de effectiviteit van interventies.
Op basis van de vergaarde kennis over het ontwerp van de interventie „feedback‰ hebben we in bijlage het vragenalgoritme ook toegepast op de Belgische campagne (zie bijlage 4). De beschrijving vraagt echter nog verdere validatie door de uitvoerders van de interventie in de volgende fase van dit project.