De mogelijkheden van
Entrustable Professional Activities in het klinisch onderwijs
Olle ten Cate
Expertisecentrum voor Onderwijs en Opleiding UMC Utrecht
1. Competentiegericht opleiden: wat is goed en wat kan er beter?
2. EPAs: wat zijn ze? Waarvoor zijn ze nuttig?
3. Problemen en oplossingen bij beoordelen van lerenden in de kliniek
4. EPA’s, Entrustment decisions en patientveiligheid
5. Waar worden EPA’s toegepast?
Competentiegericht opleiden:
wat is goed en wat kan beter?
Kleine geschiedenis
Tot 1990 • Weinig specifieke aandacht vervolgopleiding
• Wel alarmsignalen patiëntveiligheid
1990-2000 • Ontevredenheid kwaliteit (Canada,VS, UK)
• Meer aandacht voor soft skills
+ 2000 • CanMEDS, ACGME raamwerk, Tomorrow’s Doctors
2000-2010 • Massale invoering: Canada, VS, UK, ook NL en vele andere landen
2010-2020 • Herorientatie: complexiteit; is er wat bereikt;
wat was de bedoeling?
Competency-Based Medical Education
§ Betere definitie van bekwaamheid
§ Betere controle van bekwaamheid
Basiskenmerken van
Competency-Based Medical Education
• Competentie breder gedefinieerd (communicatie, samenwerking, professioneel gedrag etc)
• Focus op aangetoonde bekwaamheid, niet aangenomen bekwaamheid
• Verschuiving van vaste duur en inhoud, naar flexibiliteit, afgestemd op de persoon
Frank et al, 2010
Waardering, maar ook kritiek
De analytische benadering: hoe is dit allemaal valide te toetsen?
With nursing staff With family With patients With colleagues With trainees
…
Consultation Breaking bad news Explain medication With children With elderly
…
T he do ct o r
Medical expert
Communicator Collaborator
Manager Health advocate Scholar
Professional
Pangaro & ten Cate 2013
Rollen 134
elementen 28 kern
competenties 125 ‘enabling’
competenties
Medical expert 14 6 27
Communicator 27 5 17
Collaborator 21 2 16
Manager 21 4 13
Health Advocate 11 4 13
Scholar 23 4 25
Professional 17 3 14
CanMEDS 2005 raamwerk
Frank 2005
Terug naar de basale vragen
§ Welk werk moet de professional doen?
§ Wanneer mogen we erop vertrouwen dat professionals in opleiding dit kunnen?
§ Hoe bereiden we hen hierop voor?
§ Hoe beoordelen we of zij vertrouwd
kunnen worden met zelfstandigheid?
2
Entrustable Professional Activities:
Wat zijn ze?
Waarvoor zijn ze nuttig?
EPA’s
Taken/verantwoordelijkheden die (alleen) toevertrouwd worden aan voldoende
competente professionals (in opleiding)
§ Afgebakend in tijd
§ Observeerbaar en beoordeelbaar
§ Geschikt voor bekwaamverklaring
Ten Cate 2005, 2013
EPA’s
§ Entrustable: toe te vertrouwen – door collega’s, patiënten, maatschappij
§ Professional: beroepen met buitengewone wettelijke bevoegdheid
§ Activities: taken die uitgevoerd moeten worden
persoonskenmerken Kennis, vaardigheid,
attitude
• Vakkennis
• Begrip van gezondheids- zorgssysteem
• Communicatievaardigheid
• Organisatievaardigheid
• Professionele houding
• Wetenschappelijke houding
Competenties
werk-kenmerken Uit te voeren taken
• Patientontslag voor- bereiden
• Patienten adviseren
• Familiebijeenkomst leiden
• Behandelplan opstellen
• Centrale lijn invoeren
• Rescuscitatie toepassen EPA’s
Competenties versus EPA’s
EPA’s – competenties matrix
Medical expert
Communicator Collaborator
Manager
Health advocate Scholar
Professional
++
+ +
+ + +
++
++
+
+
+ +
++
++
+
++
++
+
++
+
++
EPA1 EPA2 EPA3 EPA4 EPA5
com pet et ies in di rec t aa n te nem en Beoordeling gestoeld op EPAs
Ten Cate & Scheele 2007, Ten Cate 2013, 2014
Past dit?
Persoon met
competenties
Werk (EPA)
dat gedaan
moet worden
Medical expert
Communicator Collaborator
Manager
Health advocate Scholar
Professional
Synthetische/holistische benadering
EPA1
EPA2
EPA3
EPA4
EPA5
Pangaro & ten Cate 2013
EPA-benadering combineert:
§ analytische benadering: erkent de CanMEDS competentiegebieden
§ holistische benadering: taak staat centraal, niet competenties
Pangaro & ten Cate 2013
Wanneer is iemand competent?
Als je op goede gronden kunt beslissen dat een professionele activiteit volledig kan worden toevertrouwd
§ Competentie: drempelwaarde van groei die net zelfstandigheid toelaat
§ Competentie groeit daarna verder
ten Cate et al, 2010
Groei van competentie
training deliberate professional practice proficient
expert
competent advanced novice
Dreyfus & Dreyfus 1986; ten Cate et al, 2010
Competentie curves van trainee X
opleiding blijvende uitoefening
EPA1
EPA4 EPA2
EPA3
EPA5
compe-‐
tenAe drem-‐
pel
Verantwoorde bekwaamverklaringen
Ten Cate et al 2010
Trainee Y
opleiding blijvende uitoefening
EPA1
EPA4 EPA2
EPA3
EPA5
compe-‐
tenAe drem-‐
pel
Verantwoorde bekwaamverklaring
Ten Cate et al 2010
Verlies van
bekwaamheid
Vijf bekwaamheidsniveaus
5. supervisie aan anderen geven 4. uitvoeren zonder supervisie
3. uitvoeren onder indirecte supervisie 2. uitvoeren onder directe supervisie 1. niet uitvoeren
ten Cate & Scheele, 2007
Competentiegericht opleiden vergt flexibiliteit
§ Intra-trainee variatie: bekwaamheid voor EPA’s op verschillende momenten
§ Inter-trainee variatie: Aios verschillen van elkaar (in voorkennis, houding en leertempo)
§ Context variatie (aard praktijk, werkplek, patiënten, omstandigheid, faciliteiten, personeel, leeromgeving) Individualisering werkplekcurriculum, voortgangs-
gesprekken en monitoring bekwaamheden
Ten Cate et al 2010
7-item EPA beschrijving
1 Title of the EPA
2 Specification and limitations
3 Most relevant domains of competence
4 Required experience, knowledge, skills, attitude and behavior for entrustment
5 Assessment information sources to assess progress and ground a summative entrustment decision
6 Entrustment for which level of supervision is to be reached at which stage of training?
7 Expiration date
ten Cate et al, 2015, under review
Individueel werkplekcurriculum
ten Cate, 2014
Functie van EPA’s
§ Opleiden en beoordelen gericht op concrete klinische taken
§ Beoordeling gericht op bekwaamverklaring voor taken
§ Geleidelijke groei naar zelfstandigheid
§ Maakt noodzakelijke flexibiliteit van competentiegericht opleiden mogelijk
3
Problemen en oplossingen bij
beoordelen van lerenden in de kliniek
Persistente beoordelingsproblemen
§ Onbetrouwbaar / niet reproduceerbaar
§ Generosity error
§ Geringe discriminatie
§ Halo-effecten
§ Rater-dependency
Competenties zijn niet goed valide te beoordelen
Albanese 2000, Govaerts et al 2007, Gingerich et al 2014, Lurie et al 2011
Mogelijke aanpakken
§ Meer beoordelaars
§ Trainen beoordelaars
§ Structureren beoordelingsinstrumenten
§ Niet dwingen abstracte kwaliteiten nauwkeurig in cijfers te vatten
Holmboe & Hawkins 2008, Albanese 2000
4
EPA’s, entrustment decisions en patientveiligheid
Entrustment decisions
Construct-alignment: breng de denkwereld van de klinicus en beoordelaar bij elkaar;
richt beoordeling op vereist supervisieniveau
§ Hoeveel supervisie is er nodig?
§ Kan X dit alleen af ?
§ Hoeveel controle is nodig?
Ik hoop zo dat hij me een 8 of 9
geeft Ze is aardig, werkt hard
en het zal haar stimuleren als ik haar
een goed cijfer geef
beoordeling tijdens klinische stages
Ik hoop zo dat hij me een 8 of 9
geeft Ze is aardig, werkt hard
maar is het wel patiënt- veilig als ik haar voortaan alleen laat
zonder supervisie?
Psychologie van EPA-gebasserde
beoordeling tijdens klinische stages
om te kunnen vertrouwen?
1. Competentie
2. Eerlijkheid en openheid
3. Nauwkeurig en voorspelbaar werken
4. Eigen grenzen kennen; hulp vragen indien nodig
Ability-Integrity-Reliability-Humility
Kennedy et al 2008, O’Neill 2013; ten Cate 2016
Huidige denkrichting beoordeling EPA’s
§ Simpele beoordelingen met mobiele apparatuur (m.n. smartphone apps)
§ Regelmatige formatieve rapportages
§ “Hoeveel supervisie is/was verantwoord?”
§ Casusbesprekingen met stel-dat vragen
§ Data-aggregatie voor bekwaamverklaring
Ten Cate et al 2015
Bekwaamverklaringen
1. Incidentele bekwaamverklaringen (ad-hoc entrustment decisions) gebeuren dagelijks, sterk situationeel bepaald, geen belofte voor de toekomst
2. Structurele bekwaamverklaringen (summative entrustment decisions) Gegronde beslissing, toestemmingsverklaring voor de toekomst
Structurele bekwaamverklaringen betreffen Competentie + Persmissie + Taaktoewijzing (ability+right+duty to act)
Portfolio of:
trainee Jones
PGY1 PGY2 PGY3 PGY4
EPA a 1 2 2 2 3 4 4 5
EPA b 1 1 2 2 2 3 3 4
EPA c 2 2 3 4 5 5 5 5
EPA d 2 3 4 4 4 4 5 5
Individueel werkplekcuriculum
Graded supervision allows for 1 Observing the activity
2 Acting with direct supervision present in the room 3 Acting with supervision available within minutes 4 Acting unsupervised, i.e. under clinical oversight 5 Providing supervision to juniors
Ten Cate, 2014
Met dank aan Dr Karen Schultz and Dr Jane Griffiths; Family Medicine Department of Queens University at Kingston, Ontario, Canada
Electronisch
portfolio, gebaseerd op EPAs in de
huisartsgeneeskunde
Relatie met patiëntveiligheid
§ Helderheid over wat een lerende wel en niet mag
§ Specificatie van supervisieniveau
§ Transparantie via een portfolio dat m.b.t.
de EPA’s toegankelijk is voor buitenstaanders
5
Waar worden EPA’s toegepast?
Belangstelling voor EPA’s
vervolgopleidingen
§ Basisartsopleiding
§ Physician assistant opleiding
§ Veterinaire opleiding
§ Verpleegkunde
§ Verloskunde
1 The Clinical Consultation 2 General Medical Procedures 3 Informing and Advising Patients 4 Intercollegial Communication 5 Care Under Unsusual Conditions
Voorbeeld: UME EPAs UMCU
1 The Clinical Consultation
• Taking a medical history
• Performing physical examination
• Prioritizing a differential diagnosis
• Requesting common diagnostic tests
• Interpreting diagnostic tests
• Designing a treatment plan
2 General Medical Procedures
• Capillary blood taking
• Venous blood withdrawal and taking a blood culture
• Swabs: oral, nasal, ears, skin, anal or wounds
• Giving infusions
• Ankle brachial index
• Administering a simple bandage and scarf bandage
• Urethral catheterization
• Suturing and injection of local anesthetic to skin
• Perform an ECG
• Intracutaneous, subcutaneous, intramuscular injections
• Arterial blood gas
3 Informing and Advising Patients and their Families
• About diagnostic options (incl informed consent)
• About prognosis (incl breaking bad news)
• About therapeutic options (incl compliance and obtaining informed consent)
4 Intercollegial Communication
• Discharge letter
• Oral handover
• Consulting other care providers
• Refer to other care providers
• Report on medical errors
• Give oral patient or research presentation
5 Care Under Unsusual Conditions
• Establishing patient death
• Basic and advanced life support
UME EPAs UMCU
Boundary crossing
§ Tussen opleidingsstadia: basisopleiding – schakeljaar – vervolgopleiding –
fellowship – CME/CPD
§ Bekwaamverklaring voor EPA’s met houdbaarheidsdatum
§ Interdisciplinaire EPA’s en interprofes- sionele EPA’s
Definitie van individuele competentie
Dynamisch Portfolio van actueel geldende EPA’s Competency-based health care education
à Competency-based health care practice
Literatuur
• Albanese, M., 2000. Challenges in using rater judgements in medical education. Journal of Evaluation in Clinical Practice, 6(3), pp.305–19.
• Boyce, P. et al., 2011. Using entrustable professional activities to guide curriculum development in psychiatry training. BMC medical education, 11, p.96.
• Brightwell, A. & Grant, J., 2013. Competency-based training: who benefits? Postgraduate medical journal, 89, pp.107–110.
• Brooks, M.A., 2009. Medical education and the tyranny of competency. Perspectives in biology and medicine, 52(1), pp.90–102.
• Chang, A. et al., 2013. Transforming primary care training--patient-centered medical home entrustable professional activities for internal medicine residents. Journal of general internal medicine, 28(6), pp.801–9.
• Chen, H.C., van den Broek, W.E.S. & ten Cate, O., 2014. The Case for Use of Entrustable Professional Activities in Undergraduate Medical Education. Academic Medicine. Early Online
• Dreyfus, H.L. & Dreyfus, S.E., 1986. Mind over Machine, New York: Free Press.
• Fessler, H.E. et al., 2014. Entrustable professional activities and curricular milestones for fellowship training in pulmonary and critical care medicine: report of a multisociety working group. Chest, 146(3), pp.813–34.
• Frank, J.R., 2005. The CanMEDS 2005 physician competency framework: Better standards, better physicians, better care, Ottawa: Royal College of Physicians and Surgeons of Canada.
• Gingerich, A. et al., 2014. Seeing the “black box” differently: assessor cognition from three research perspectives. Medical education, 48(11), pp.1055–68.
• Glass, J.M., 2014. Competency based training is a framework for incompetence. British Medical Journal, 348, p.g2909.
• Govaerts, M.J.B. et al., 2007. Broadening perspectives on clinical performance assessment: rethinking the nature of in-training assessment. Advances in health sciences education : 12(2):239–60.
• Grant, J., 1999. The Incapacitating Effects of Competence: A Critique. Advances in health sciences education 4(3), pp.271–277.
• Holmboe, E. & Hawkins, R., 2008. Practical guide to the evaluation of clinical competence 1st ed., Philadelphia, PA: Mosby Elsevier.
• Jonker, G., Hoff, R.G. & Ten Cate, O.T.J., 2014. A case for competency-based anaesthesiology training with entrustable professional activities: An agenda for development and research. European journal of anaesthesiology, pp.1–6. Available at: http://www.ncbi.nlm.nih.gov/pubmed/24945750 [Accessed July 10, 2014].
• Kennedy, T.J.T. et al., 2008. Point-of-care assessment of medical trainee competence for independent clinical work. Academic Medicine, 83(10 Suppl), pp.S89–92.
• Leipzig, R.M. et al., 2014. What Is a Geriatrician? American Geriatrics Society and Association of Directors of Geriatric Academic Programs End-of-Training Entrustable Professional Activities for Geriatric Medicine. Journal of the American Geriatrics Society, 62(5), pp.924–9.
• Lurie, S.J., Mooney, C.J. & Lyness, J.M., 2011. Commentary: pitfalls in assessment of competency-based educational objectives. Academic Medicine, 86(4), pp.412–4.
• Malone, K. & Supri, S., 2010. A critical time for medical education: the perils of competence-based reform of the curriculum. Advances in health sciences education 17(2):242-246
• Mehta, N.B. et al., 2013. Just imagine: new paradigms for medical education. Academic medicine : journal of the Association of American Medical Colleges, 88(10), pp.1418–23.
• Mulder, H. et al., 2010. Building a competency-based workplace curriculum around entrustable professional activities: The case of physician assistant training. Medical teacher, 32(10), pp.e453–9.
• O’Neill, O., 2013. What we don’t understand about trust, UK: TED Conferences, LLC. New York. Available at: http://www.ted.com/talks/onora_o_neill_what_we_don_t_understand_about_trust.
• Pangaro, L. & ten Cate, O., 2013. Frameworks for learner assessment in medicine: AMEE Guide No. 78. Medical teacher, 35(6), pp.e1197–210.
• Pusic, M. V. et al., 2015. Learning Curves in Health Professions Education. Academic Medicine, 2015 Early Online
• Schultz, K., Griffiths, J. & Lacasse, M., 2015. The Application of Entrustable Professional Activities to Inform Competency Decisions in a Family Medicine Residency Program. Academic Medicine, 2015 Early Online
• Shaughnessy, A.F. et al., 2013. Entrustable Professional Activities in Family Medicine. Journal of graduate medical education, 5(1), pp.112–118.
• Talbot, M., 2004. Monkey see, monkey do: a critique of the competency model in graduate medical education. Medical education, 38(6), pp.587–92.
• Ten Cate, O., 2014. AM Last Page : What Entrustable Professional Activities Add to a Competency-Based Curriculum. Academic Medicine, 89(4), p.691.
• Ten Cate, O., 2005. Entrustability of professional activities and competency-based training. Medical education, 39(12), pp.1176–7.
• Ten Cate, O., 2013. Nuts and Bolts of Entrustable professional activities. Journal of graduate medical education, 5(1), pp.157–158.
• Ten Cate, O. & Scheele, F., 2007. Competency-Based Postgraduate Training: Can We Bridge the Gap between Theory and Clinical Practice ? Academic Medicine, 82(6), pp.542–547.
• Ten Cate, O., Snell, L. & Carraccio, C., 2010. Medical competence: the interplay between individual ability and the health care environment. Medical Teacher, 32(8), pp.669–75.
• Weller, J.M. et al., 2014. Can I leave the theatre? A key to more reliable workplace-based assessment. British Journal of Anaesthesia, 112(March), pp.1083–1091.
