University of Groningen Quality improvement in radiology reporting by imaging informatics and machine learning Olthof, Allard

(1)

University of Groningen

Quality improvement in radiology reporting by imaging informatics and machine learning

Olthof, Allard

DOI:

10.33612/diss.168901920

IMPORTANT NOTE: You are advised to consult the publisher's version (publisher's PDF) if you wish to cite from

it. Please check the document version below.

Document Version

Publisher's PDF, also known as Version of record

Publication date:

2021

Link to publication in University of Groningen/UMCG research database

Citation for published version (APA):

Olthof, A. (2021). Quality improvement in radiology reporting by imaging informatics and machine learning.

University of Groningen. https://doi.org/10.33612/diss.168901920

Copyright

Other than for strictly personal use, it is not permitted to download or to forward/distribute the text or part of it without the consent of the author(s) and/or copyright holder(s), unless the work is under an open content license (like Creative Commons).

Take-down policy

If you believe that this document breaches copyright please contact us providing details, and we will remove access to the work immediately and investigate your claim.

Downloaded from the University of Groningen/UMCG research database (Pure): http://www.rug.nl/research/portal. For technical reasons the number of authors shown on this cover page is limited to 10 maximum.

(2)

558259-L-sub01-bw-Olthof 558259-L-sub01-bw-Olthof 558259-L-sub01-bw-Olthof 558259-L-sub01-bw-Olthof Processed on: 14-4-2021 Processed on: 14-4-2021 Processed on: 14-4-2021

Processed on: 14-4-2021 PDF page: 201PDF page: 201PDF page: 201PDF page: 201

SUMMARY

SAMENVATTING

LIST OF PUBLICATIONS

DANKWOORD

CURRICULUM VITAE

APPENDICES

(3)

Summary

204 | Appendices

(4)

Imaging informatics is a broad domain at the intersection of computer science, data science, and healthcare. It has proven its merits in radiology development and is promising in applying new methods to improve radiology reporting quality. This thesis aims to explore the application of imaging informatics to improve the quality of radiology reporting. The investigated tools include feedback systems, structured reporting, artificial intelligence (AI), and natural language processing. This thesis focuses on the radiology reporting workflow as follows: the referring physician places a radiology request for the patient, the radiology technician performs the examination, and the radiologist analyzes the images and creates a report, which is subsequently used by the referring physician for patient care. The relevant domains of quality in this study include guideline implementation, workflow improvement, quality assessment, and epidemiological insight.

Part I Feedback

Feedback contributes to the identification of potential areas of improvement. Therefore, quality management in radiology could benefit from the implementation of feedback systems. Resources of feedback in this context include referring physicians and radiologists.

Chapter 2 describes a survey among neurologists regarding their experiences with radiology

and their opinions about radiology reporting. The results indicate that neurologists highly value radiology reports, especially in a setting where radiologists are subspecialized in neuroradiology.

In Chapter 3, we discuss peer feedback among radiologists. This type of feedback allows

radiologists to gain insight into missed diagnoses. The feedback system was integrated into the picture archiving and communicating system and could be used without interference in the radiologist’s workflow.

Part II Structured Reporting

Part II demonstrates two quality improvement projects on structured reporting. Traditional radiology reports include free text, while in structured reporting, both the content and structure of the report are more or less predefined. The latter results in less variation among radiologists, and it encourages them to follow guidelines.

In Chapter 4, structured reporting is used in combination with an improved workflow. A

pre- and post-implementation comparison demonstrates a higher percentage of oncological CT reports in agreement with the response evaluation criteria of solid tumors.

Chapter 5 aims to improve adherence to a guideline concerning the communication of critical

Appendices | 205

(5)

findings by using a contextually structured reporting template. It is contextual in the sense that the template is inserted within another report, and the template retrieves information from the context. The template assists radiologists in documenting the communication of critical findings by inserting the date, time, and name of the radiologist automatically. The pre- and post-implementation comparison also demonstrates significant improvement.

Part III Artificial intelligence

In part III, we transition to AI for radiology report assessment to extract information and assist the radiologist with creating reports.

The branch of AI that deals with text is natural language processing (NLP). In Chapter 6,

we compare different methods for classifying radiology reports automatically and discuss their application. This includes the automated annotation of images based on their reports and extracting information from radiology reports for automatic tracking of different types of pathology. Deep learning-based natural language processing proves to be the best performing method.

Chapter 7 compares different kinds of deep learning natural language processing algorithms

and investigates the impact of data set size, prevalence, and report complexity. It is essential to know the effect of these factors because there is considerable variation in radiology reports. All factors impact the algorithms’ performance to a different extent and should be considered when applying these techniques to radiology reports.

Chapter 8 describes applying a deep learning natural language processing method called

bidirectional encoder representations for transformers. From a dataset of 22,170 chest imaging requests and reports, a subset of 2,256 requests and reports is used to train and test the NLP algorithm with excellent results. The trained model is applied to classify the remaining 19,914 requests and reports. The complete dataset proved to be a valuable source of information to visualize chest imaging utilization and diagnostic yield during the COVID-19 pandemic.

Chapter 9 presents a systematic technographic review of AI applications in neuroradiology.

We assess the AI characteristics and their impact on radiology workflow. The results demonstrate that these new tools mainly support the radiologist and extend the possibilities of the radiologist by providing quantitative analysis of radiological examinations.

206 | Appendices

(6)

Conclusion

The included studies demonstrate the possibilities of applying imaging informatics tools to the radiology workflow. Improved insight by human feedback or automatically extracted data provides radiologists with opportunities to improve reporting and the information quality that is delivered by radiology reporting. Structured reporting and AI applications allow radiologists to improve their reports further and increase the positive impact on patient care.

Appendices | 207

(7)

Samenvatting

208 | Appendices

(8)

Imaging-informatics is een breed domein op het snijvlak van informatica, data science en gezondheidszorg. Het heeft zijn nut bewezen bij de ontwikkeling van de radiologie en is veelbelovend voor het toepassen van nieuwe methoden om de kwaliteit van radiologische verslaglegging te verbeteren. Dit proefschrift heeft tot doel de toepassing van Imaging-informatics te onderzoeken om de kwaliteit van radiologische verslaglegging te verbeteren. De onderzochte methoden zijn onder meer feedbacksystemen, gestructureerde verslaglegging, kunstmatige intelligentie (Artificial Intelligence, AI) en natuurlijke taalverwerking (Natural language processing, NLP). Dit proefschrift richt zich op de werkwijze voor verslaglegging in de radiologie als volgt: de verwijzende arts plaatst een radiologie-aanvraag voor de patiënt, de radiologie laborant voert het onderzoek uit en de radioloog analyseert de beelden en maakt een verslag dat vervolgens wordt gebruikt door de verwijzende arts voor patiëntenzorg. De kwaliteitsdomeinen in dit onderzoek zijn onder meer richtlijnimplementatie, workflowverbetering, kwaliteitsbeoordeling en epidemiologisch inzicht.

Deel I Feedback

Feedback draagt bij aan het identificeren van mogelijke verbeterpunten. Daarom zou kwaliteitsverbetering in de radiologie kunnen profiteren van de implementatie van feedbacksystemen. Bronnen voor feedback in deze context zijn onder meer verwijzende artsen en radiologen.

Hoofdstuk 2 beschrijft een onderzoek onder neurologen naar hun ervaringen met

radiologie en hun mening over het radiologie verslag. De resultaten geven aan dat neurologen radiologierapporten zeer waarderen, vooral in een setting waar radiologen gesubspecialiseerd zijn in neuroradiologie.

In hoofdstuk 3 bespreken we intercollegiale feedback tussen radiologen. Dit soort feedback

stelt radiologen in staat om inzicht te krijgen in gemiste diagnoses. Het feedbacksysteem was geïntegreerd in het beeldarchiverings- en communicatiesysteem en kon worden gebruikt zonder verstoring van de werkwijze van de radioloog.

Deel II Gestructureerde verslaglegging

Deel II demonstreert twee kwaliteitsverbeteringsprojecten op het gebied van gestructureerde rapportage. Traditionele radiologie verslagen bevatten zogenaamde vrije tekst, terwijl bij gestructureerde verslagen zowel de inhoud als de structuur van het rapport min of meer vooraf gedefinieerd zijn. Dit laatste leidt tot minder variatie tussen radiologen en stimuleert hen om beter richtlijnen te volgen.

Appendices | 209

(9)

In hoofdstuk 4 wordt gestructureerde verslaglegging gebruikt in combinatie met een

verbeterde workflow. Een vergelijking vóór en na de implementatie toont een hoger percentage oncologische CT-verslagen aan wat in overeenstemming is met de richtlijn voor responsevaluatie van solide tumoren.

Hoofdstuk 5 heeft tot doel de naleving van een richtlijn voor communicatie van kritieke

bevindingen te verbeteren door gebruik te maken van een contextueel gestructureerd rapportagesjabloon. Contextueel houdt in dit verband in dat het sjabloon als onderdeel in een radiologieverslag wordt gevoegd en dat het sjabloon informatie uit de context haalt. Het sjabloon helpt radiologen bij het documenteren van de communicatie van kritieke bevindingen door automatisch de datum, tijd en naam van de radioloog in te voeren. De vergelijking voor en na de implementatie laat een aanzienlijke verbetering zien van het naleven van de richtlijn.

Deel III Kunstmatige intelligentie

De tak van AI die zich met tekst bezighoudt is NLP. In Hoofdstuk 6 vergelijken we

verschillende methoden voor het automatisch classificeren van radiologieverslagen en bespreken we hun toepassing. Dit omvat de automatische annotatie van beelden op basis van het radiologieverslag en het extraheren van informatie uit radiologieverslagen. Die informatie kan gebruikt worden om het voorkomen van verschillende soorten afwijkingen of ziekten te volgen. Op zogenaamde deep-learning gebaseerde natuurlijke taalverwerking blijkt de best presterende methode te zijn.

Hoofdstuk 7 vergelijkt verschillende soorten deep-learning algoritmen voor NLP en

onderzoekt de impact van de omvang van de dataset, de prevalentie en de complexiteit van verslagen. Het is essentieel om het effect van deze factoren te kennen, omdat er aanzienlijke verschillen zijn in radiologische verslagen. Alle factoren beïnvloeden de prestaties van de NLP algoritmen in verschillende mate en moeten in overweging worden genomen bij het toepassen van deze technieken.

Hoofdstuk 8 beschrijft het toepassen van een deep-learning methode voor NLP, genaamd

bidirectional encoder representations for transformers (BERT). Van een dataset van 22.170 aanvragen en verslagen voor radiologie van de thorax, wordt een subset van 2.256 verzoeken en rapporten gebruikt om het NLP-algoritme te trainen en te testen. Het getrainde model wordt toegepast om de resterende 19.914 verzoeken en rapporten te classificeren. De volledige dataset bleek een waardevolle informatiebron te zijn om het gebruik van thorax radiologie en de diagnostische opbrengst tijdens de COVID-19-pandemie in beeld te brengen.

210 | Appendices

(10)

Hoofdstuk 9 gaat over een systematisch overzicht van AI-toepassingen in neuroradiologie.

We beoordelen de eigenschappen van AI producten en hun impact op de radiologieworkflow. De resultaten tonen aan dat deze nieuwe methoden vooral de radioloog ondersteunen en de mogelijkheden van de radioloog vergroten door ook een kwantitatieve analyse van radiologische onderzoeken te geven.

Conclusie

De uitgevoerde studies demonstreren de mogelijkheden van het toepassen van imaging informatics op de radiologie-workflow. Verbeterd inzicht door intercollegiale feedback of automatisch geëxtraheerde gegevens bieden radiologen mogelijkheden om de verslaglegging en de kwaliteit van de informatie in het radiologieverslag te verbeteren. Gestructureerde verslaglegging en AI-toepassingen stellen radiologen in staat hun verslagen verder te verbeteren en hun bijdrage aan de patiëntenzorg te vergroten.

Appendices | 211

(11)

List of publications

212 | Appendices

(12)

Publications related to this thesis

1. Olthof AW, van Ooijen PMA, Cornelissen LJ (2021) Impact of dataset size and prevalence on performance of deep learning natural language processing in radiology (submitted) 2. Olthof AW, van Ooijen PMA, Cornelissen LJ (2021) Deep learning-based natural

language processing of radiology requests and reports: development of a pipeline and a case study of chest imaging (submitted)

3. Olthof AW and P Shouche P, Fennema EM, IJpma FFA, Koolstra RHC, Stirler VMA, van Ooijen PMA, Cornelissen LJ, (2021) Machine learning based natural language processing of radiology reports in orthopaedic trauma (submitted)

4. van Ooijen PMA, Nagaraj Y, Olthof A (2020) Medical imaging informatics, more than ‘just’ deep learning. Eur Radiol 30:5507–5509

5. Olthof AW, Leusveld ALM, de Groot JC, Callenbach PMC, van Ooijen PMA (2020) Contextual Structured Reporting in Radiology: Implementation and Long-Term Evaluation in Improving the Communication of Critical Findings. J Med Syst 44:1–10 6. Olthof AW, van Ooijen PMA, Rezazade Mehrizi MH (2020) Promises of artificial

intelligence in neuroradiology: a systematic technographic review. Neuroradiology 62:1265–1278

7. Olthof AW, de Groot JC, Zorgdrager AN, Callenbach PMC, van Ooijen PMA (2018) Perception of radiology reporting efficacy by neurologists in general and university hospitals. Clin Radiol 73:675.e1-675.e7

8. Olthof AW, Borstlap J, Roeloffzen WW, Callenbach PMC, van Ooijen PMA (2018) Improvement of radiology reporting in a clinical cancer network: impact of an optimised multidisciplinary workflow. Eur Radiol 28:4274–4280

9. Olthof AW, van Ooijen PMA (2016) Implementation and Validation of PACS Integrated Peer Review for Discrepancy Recording of Radiology Reporting. J Med Syst 40:193

Presentations related to this thesis

1. Olthof AW (2020) Hyperlinks in radiology reports: improved efficiency in comparing current with previous oncologic imaging examinations and high user satisfaction. EuSoMII (poster)

2. Olthof AW (2020) Deep learning natural language processing in radiology reporting: feasible for automated guideline adherence monitoring for communication of critical findings. EuSoMII (poster)

3. Olthof AW (2018) Optimising workflow to improve radiology reporting: a practical approach in a clinical cancer network. EuSoMII (webinar).

4. Olthof AW (2017) Quality improvement project: implementation of PACS integrated peer feedback for radiologists after an hospital merger. Iranian Journal of Radiology. May; Special iss(5): e48004 , DOI: 10.5812/iranjradiol.48004 (abstract of oral presentation).

Appendices | 213

(13)

5. Olthof AW (2017) Quality improvement project: design and implementation of PACS integrated feedback from radiologists to technicians. Iranian Congress of Radiology (poster).

6. Olthof AW (2017) How to add value to neuroradiology reporting by feedback from neurologists. Iranian Congress of Radiology (poster).

Other publications

1. Olthof AW, Stonehouse S, Shiraliyeva R, Aliyev R, Boer FA, Van Ooijen PMA, N׳sirova FC (2019) Medical knowledge exchange by crosscultural education projects: a practical approach based on a structured qualitative analysis of radiology teaching in Azerbaijan. Natl J Neurol 36–50

2. Olthof AW, Shiraliyeva RK, Aliyev RR, Mammadbayli AK, Van Ooijen PMA, De Groot JC (2019) Neuroradiology in Azerbaijan and in the Netherlands: A healthcare assessment from the neurologist’s perspective. Natl J Neurol 61–70

3. Olthof AW (2017) Radiologie langs de zijderoute: een reis naar fascinerend Iran. Memorad 22:38–42

4. Olthof A., Zorgdrager A.N., Aliyev R.R. (2014) Radiology review for neurologists. Natl J Neurol 89–97

5. Olthof AW, Sijens PE, Kreeftenberg HG, Kappert P, van der Jagt EJ, Oudkerk M (2009) Non-invasive liver iron concentration measurement by MRI: Comparison of two validated protocols. Eur J Radiol 71:116–121

6. Olthof AW, Sijens PE, Kreeftenberg HG, Kappert P, Irwan R, van der Jagt EJ, Oudkerk M (2007) Correlation between serum ferritin levels and liver iron concentration determined by MR imaging: impact of hematologic disease and inflammation. Magn Reson Imaging 25:228–231

214 | Appendices

(14)

Appendices | 215

(15)

Dankwoord

216 | Appendices

(16)

Onderzoek doen is teamwork. Dit proefschrift is alleen mogelijk geworden dankzij vele anderen.

Dr.ir. P.M.A. van Ooijen (promotor). Beste Peter, heel erg bedankt voor de mogelijkheid

om bij jou te promoveren. Je hebt me veel ruimte gegeven om zelf onderwerpen te kiezen, maar ook voldoende richting gegeven om er een geheel van te maken en het af te bakenen. Je bracht me in contact met mede-onderzoekers en bent een voorbeeld van hoe je kan werken op het grensvlak van informatica en gezondheidszorg.

Dr. J.C. de Groot (co-promotor). Beste Jan Cees, jouw bijdrage aan dit proefschrift begon

al in 2014. Vlak voor mijn eerste reis naar Azerbeidzjan gaf jij feedback over de opzet van een vragenlijst aan neurologen over neuroradiologie. De Nederlandse tak van dat onderzoek leidde later tot een publicatie voor dit proefschrift. Dank voor jouw zorgvuldige commentaren.

Dr.ir. L.J. Cornelissen (co-promotor). Beste Ludo, erg leuk om met jou samen te werken

op het gebied van NLP. Tijdens het eerste project heb ik veel van jou en Prajakta geleerd. In de twee daarop volgende projecten kon ik dat met feedback van jou in de praktijk brengen. De leescommissie, bestaande uit Prof. dr. T. Leiner, Prof. dr. K. Mouridsen, en Prof. dr. M. Nissim, dank ik hartelijk voor de beoordeling van dit proefschrift.

P. Shouche. Dear Prajakta, thank you very much for all your work in our NLP-project. I

learned a lot from you and Ludo about natural language processing.

Dr. P.M.C. Tijink-Callenbach. Beste Petra, hartelijk dank voor al jouw hulp bij de analyse van

en schrijven over de Treant projecten. Mooi dat je als research-coördinator zoveel betekent voor de wetenschap binnen Treant.

Dr. M.H. Rezazade Mehrizi. Dear Mohammad, thank you very much for the opportunity

to join the technography study. Inspiring to collaborate with you and learn from you about how to analyse the impact of artificial intelligence.

Alle andere co-auteurs, ook hartelijk dank voor de samenwerking.

In een fusie-organisatie heb je veel verschillende vaste en tijdelijke collega’s. Beste Joost,

Jaap, Pieter, Anne, Margot, Jaap, Anne, Hein, Frederique, Richard, Wilco, Ahmed, David, Christian, Marijke, Krijn, Ruben, Maarten, Geert, Aad, Emmo, Marco, Theo, Donald, de

Appendices | 217

(17)

afgelopen 13,5 jaar zijn of waren jullie kortere of langere tijd mijn collega-radiologen. Allemaal op jullie eigen wijze hebben jullie invloed gehad op mij, en daarmee op de manier hoe dit proefschrift tot stand is gekomen. Dank jullie wel voor de samenwerking. Alle andere

collega’s van de radiologie in Treant: bedankt!

Pieter Olthof. Beste Pieter, mooi dat jij als broer mijn paranimf bent. Mooi dat we de

hoogtepunten, maar ook de dieptepunten van het leven samen kunnen delen.

Rogier de Haan. Beste Rogier, de middelbare school in Emmen en samen op kamers aan

de J.W. Swierstraat in Enschede is alweer lang geleden. Mooi dat we nog steeds contact hebben en dat jij mijn paranimf bent.

Hanna, Ruth, Timon en Esther. Yes, het huiswerk is klaar! Eindelijk weer meer tijd voor

film-maraton, serie-kijken, spelletjesmiddagen, top-rope klimmen, boulderen, wandelen met ...

Allerliefste Lammie, zonder jou was dit proefschrift nooit mogelijk geweest. Dank voor

jouw steun en de mogelijkheid om dit project te voltooien.

218 | Appendices

(18)

Appendices | 219

(19)

Curriculum Vitae

220 | Appendices

(20)

Allard Olthof is geboren op 20 februari 1975 in Wisch, opgegroeid in Emmen, en woont nu in Zwolle met zijn vrouw Lammie, en vier kinderen Hanna, Ruth, Timon en Esther.

Na zijn middelbare schooltijd aan het Christelijk Scholengemeenschap in Emmen en zijn propedeuse Werktuigbouwkunde aan de Universiteit Twente begon hij in 1994 aan de studie geneeskunde aan de Rijksuniversiteit Groningen.

Na het arts-examen in 2000 deed hij klinische ervaring op in de neurologie (Martini Ziekenhuis Groningen). Na een jaar onderzoek in de oncologische radiologie begon hij in 2002 met de opleiding tot radioloog (UMCG), die hij in 2007 afrondde met een fellowship abdominale en oncologische radiologie.

Vanaf 2008 werkt Allard in het Bethesda Ziekenhuis in Hoogeveen, wat in 2015 na de fusie met de ziekenhuizen in Emmen en Stadskanaal onderdeel is geworden van de Treant Zorggroep. Een deel van de projecten in dit proefschrift zijn gebaseerd op projecten binnen Treant, waar Allard als medisch manager (2016 t/m 2018) als speerpunt ‘kwaliteit’ had. Nadat de eerste wetenschappelijke publicaties over deze kwaliteitsprojecten een feit waren, begon het formele promotietraject in het UMCG op 1 maart 2019. De AI-projecten die toen van start gingen deed hij in samenwerking met onderzoekers van het UMCG en de VU (Amsterdam).

Als radioloog met aandachtsgebied imaging informatics en coördinator van werkgroep AI van de vakgroep radiologie binnen Treant brengt Allard de opgedane kennis en ervaring van dit promotietraject in de praktijk.

Appendices | 221