切换至 "中华医学电子期刊资源库"
超声医学质量控制

人工智能超声结合品管圈活动对低年资超声医师甲状腺结节风险评估能力的作用

  • 杨敬武 1 ,
  • 周美君 1 ,
  • 陈雨凡 2 ,
  • 李素淑 1 ,
  • 何燕妮 1 ,
  • 崔楠 1 ,
  • 刘红梅 , 1,
展开
  • 1.510317 广州,暨南大学附属广东省第二人民医院超声科,肌骨运动医学超声研究所;510317 广州,广东省应急医学工程研究中心
  • 2.510317 广州,暨南大学附属广东省第二人民医院超声科,肌骨运动医学超声研究所;510280 广州,南方医科大学第二临床医学院
通信作者:刘红梅,Email:

Copy editor: 吴春凤

收稿日期: 2023-06-12

  网络出版日期: 2024-08-05

基金资助

广州市特色技术项目(2023P-TS40)

广东省医学科研基金(A2023043)

广东省颐养健康慈善基金(JZ2022001-5)

广东省第二人民医院青年人才科研启动基金(YQ2020-011)

版权

未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计,除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。本刊为电子期刊,以网刊形式出版。

Artificial intelligence ultrasound combined with quality control circle activity comprehensively improves ability of junior sonographers to assess risk of thyroid nodules

  • Jingwu Yang 1 ,
  • Meijun Zhou 1 ,
  • Yufan Chen 2 ,
  • Sushu Li 1 ,
  • Yanni He 1 ,
  • Nan Cui 1 ,
  • Hongmei Liu , 1,
Expand
  • 1.Department of Ultrasound, Institute of Ultrasound in Musculoskeletal Sports Medicine, the Affiliated Guangdong Second Provincial General Hospital of Jinan University, Guangzhou 510317, China;Guangdong Engineering Technology Research Center of Emergency Medicine, Guangzhou 510317, China
  • 2.Department of Ultrasound, Institute of Ultrasound in Musculoskeletal Sports Medicine, the Affiliated Guangdong Second Provincial General Hospital of Jinan University, Guangzhou 510317, China;The Second School of Clinical Medicine, Southern Medical University, Guangzhou 510280, China
Corresponding author: Liu Hongmei, Email:

Received date: 2023-06-12

  Online published: 2024-08-05

Copyright

Copyright by Chinese Medical Association No content published by the journals of Chinese Medical Association may be reproduced or abridged without authorization. Please do not use or copy the layout and design of the journals without permission. All articles published represent the opinions of the authors, and do not reflect the official policy of the Chinese Medical Association or the Editorial Board, unless this is clearly specified.

摘要

目的

探讨人工智能(AI)超声结合品管圈在低年资超声医师对甲状腺结节风险评估医疗质量中的效果。

方法

以广东省第二人民医院2019年1月至10月共119个有手术病理结果的甲状腺结节的二维声像图作为图像资料。利用AI超声结合品管圈活动对2位低年资住院医师(医师1、2)的甲状腺结节风险评估能力进行持续质量改进。甲状腺结节的良恶性以手术病理作为金标准。甲状腺结节的征象以高年资医师组识别结果为金标准。活动前、后,2位低年资超声医师均采用2017年美国放射学会发布的甲状腺影像报告与数据系统甲状腺结节超声指南评估甲状腺结节,并统计活动前、后2名低年资医师对甲状腺超声检查操作的规范性、图像存储合格率及患者对低年资医师的信任度。绘制活动前、后2位医师对甲状腺结节良恶性诊断的受试者操作特征(ROC)曲线,并采用DeLong检验比较2位低年资超声医师诊断效能的差异。采用McNemar检验比较2位低年资超声医师在活动前、后对甲状腺结节超声征象的识别准确率的差异。

结果

AI超声结合品管圈活动前、后,2名低年资医师对甲状腺结节声像图回声的识别准确率均有提高[医师1:47.90% vs 53.78%,医师2:45.38% vs 53.78%),差异具有统计学意义(P=0.031、0.004),其中医师2在活动前、后对甲状腺结节成分、形态、点状强回声方面的识别准确率均有所提高(69.75% vs 80.67%;58.82% vs 63.87%;52.10% vs 56.30%),差异具有统计学意义(P=0.004、0.021、0.031)。活动前、后2名低年资医师诊断甲状腺结节良恶性的ROC的曲线下面积明显提高(医师1:0.878 vs 0.921,P=0.036;医师2:0.824 vs 0.883,P=0.001)。此外,低年资医师的甲状腺超声检查操作规范合格率由60%提高至95%,图像存储合格率由50%提高至90%,患者对低年资医师的信任度由70%提高至90%。

结论

AI超声结合品管圈活动可全方位、多维度提高低年资超声医师的甲状腺结节恶性风险评估能力,改善医疗服务质量。

本文引用格式

杨敬武 , 周美君 , 陈雨凡 , 李素淑 , 何燕妮 , 崔楠 , 刘红梅 . 人工智能超声结合品管圈活动对低年资超声医师甲状腺结节风险评估能力的作用[J]. 中华医学超声杂志(电子版), 2024 , 21(05) : 522 -526 . DOI: 10.3877/cma.j.issn.1672-6448.2024.05.012

Abstract

Objective

To explore the impact of artificial intelligence (AI) ultrasound and quality control circle (QCC) activity on junior sonographers' ability to accurately estimate the risk of thyroid nodules.

Methods

From January to October 2019, 119 two-dimensional ultrasonographic images of thyroid nodules with surgical pathology outcomes were collected in our hospital. AI ultrasound in conjunction with QCC activity was used to continually enhance two junior physicians' (doctors 1 and 2) ability to assess thyroid nodule risk. The gold standard for diagnosing benign and malignant thyroid nodules was surgical pathology. The signs of thyroid nodules recognized by two senior physicians were used as the gold standard. Two junior sonographers used the 2017 American College of Radiology Thyroid Imaging Reporting and Data System Thyroid Nodules (ACR TI-RADS) to assess thyroid nodules both before and after the activity. Then, both before and after the activity, whether thyroid ultrasound examination procedures were standard, the qualified rate of image storage, and patients' trust in younger physicians were examined. Receiver operating characteristic (ROC) curves for benign and malignant thyroid nodules were plotted before and after the activity, and the DeLong test was used to compare the difference in diagnostic efficiency between the two junior sonographers. The McNemar test was used to compare the recognition accuracy of the two junior sonographers (doctor 1 and doctor 2) for thyroid nodule ultrasound signs before and after the activity.

Results

The two young doctors' ability to identify the echo of thyroid nodules was increased by the use of AI ultrasound (doctor 1: 47.90% vs 53.78%, P=0.031; doctor 2: 45.38% vs 53.78%, P=0.004). Doctor 2's ability to recognize thyroid nodules' component (69.75% vs 80.67%, P=0.004), shape (58.82% vs 63.87%, P=0.021), and punctate hyperechogenicity (52.10% vs 56.30%, P=0.031) was similarly enhanced at the same time. The AUC values of the two junior doctors for diagnosing thyroid nodules were significantly higher after QCC activity than before (doctor 1: 0.878 vs 0.921, P=0.036; doctor 2: 0.824 vs 0.883, P=0.001). The qualified rate of image storage grew from 50% to 90%, the qualified rate of thyroid ultrasound examination by junior physicians improved from 60% to 95%, and the patients' trust in junior physicians increased from 70% to 90% as a result of QCC activity.

Conclusion

AI ultrasound combined with QCC activity can improve the ability of junior sonographers to assess the malignant risk of thyroid nodules in an all-round and multi-dimensional way, and improve the quality of medical services.

超声是甲状腺结节的首选影像学检查方法,约有65%的无症状成人可通过超声检查发现甲状腺结节,但其中大多是无需处理的良性结节,目前普遍存在着甲状腺结节的过度干预和治疗问题1-2。因此准确评估甲状腺结节的恶性风险,降低结节的非必要穿刺活检或手术率尤为重要。2017年美国放射学会(American College of Radiology,ACR)发布的甲状腺影像报告和数据系统(thyroid imaging reporting and data system,TI-RADS)指南细化了甲状腺结节的声像图特征,可提高超声医师对甲状腺结节风险分层的准确性并降低不必要的活检3-4。低年资超声医师对甲状腺检查经验不足,同时对该指南掌握程度存在较大的主观性和差异,因而难以准确评估甲状腺结节的恶性风险,增加了非必要穿刺活检或手术。如何高效、全面地提高科室低年资超声医师的甲状腺超声诊断水平,提升医疗服务质量,成为当前急需解决的问题。
目前,人工智能(artificial intelligence,AI)超声已应用于甲状腺结节的超声诊断,辅助医师判断甲状腺结节的良恶性,AI超声可弥补低年资医师经验不足的问题5-6。本团队前期研发了基于TI-RADS超声特征的AI超声辅助诊断系统(简称AIMTIRADS),可对结节进行风险分层,其对甲状腺结节良恶性风险评估的能力接近高年资医师7。同时,品质管理圈(以下简称品管圈)作为一种管理工具和质量改进方法,也在医疗领域中得到了广泛的应用8,9,10。品管圈是通过组织工作人员定期会议,运用多种科学统计工具和品质管理方式,共同分析和解决工作中的问题,实现目标改进。本研究创新性地将AI超声与品管圈管理相结合,探究其在全面提高低年资医师对甲状腺结节风险评估能力、改善医疗服务质量中的作用。

资料与方法

一、对象

收集广东省第二人民医院2019年1月至10月119个均有手术病理结果的甲状腺结节的二维超声声像图,其中恶性结节32个(26.89%),良性结节87个(73.11%),结节直径为(24.1±9.3)mm(范围5.7~46.7 mm)。纳入标准:结节经手术切除并得到明确的病理结果,术前进行过超声检查。排除标准:患者曾接受过甲状腺的有创性检查或治疗。
人员资料:低年资超声医师组由2名具有3年以下甲状腺超声诊断经验的医师组成(医师1、2)。高年资超声医师组由2名具有10年以上甲状腺超声诊断经验的医师组成。品管圈活动前后,组员及参加研究人员均无变动。

二、仪器与方法

(一)仪器

采用彩色多普勒超声诊断仪GE Logic E9、迈瑞DC-8,所有超声仪器设备均配备5~13 MHz的线阵探头,本团队前期研发的AIMTIRADS

(二)研究方法

本研究利用AIMTIRADS并结合品管圈管理对2位低年资住院医师(医师1、2)的甲状腺结节风险评估能力进行持续质量改进。活动以“全面提高低年资超声医师对甲状腺结节的风险评估能力”为主题,成立品管圈小组。品管圈小组根据科室现状、找出影响低年资医师对甲状腺结节风险程度评估能力的原因,并提出本次活动的目标:(1)提高低年资医师对甲状腺结节超声征象的识别能力,提高对甲状腺结节良恶性的诊断能力,达到高年资医师水平;(2)大幅度提高低年资医师甲状腺超声检查操作规范率与图像存储合格率;(3)增加患者对低年资医师的信任度。品管圈小组围绕这3个活动目标,制定出相应活动计划并实施,最终,根据活动反馈,制订出甲状腺检查的规范性流程图。
活动前、后2位住院医师(医师1、2)均在不知晓患者身份信息及甲状腺结节病理结果的情况下,识别119个均有手术病理结果的甲状腺结节,得出结节具体的ACR TI-RADS的超声特征及危险分层。然后统计活动前后2位医师甲状腺检查操作的规范性、图像存储合格率及患者对低年资医师的信任度。

(三)观察指标和标准

1. 甲状腺结节分类标准:AIMTIRADS可以预测甲状腺结节所有ACR TI-RADS的超声特征和良恶性。主要是从甲状腺结节的成分、回声、形态、边缘及局灶性强回声5个方面对甲状腺结节进行评分,再根据总分值将甲状腺结节分为5类,包括1类,良性结节,0分;2类,无恶性风险,2分;3类,低度恶性风险,3分;4类,高度恶性风险,4~6分;5类,高度恶性风险,≥7分。甲状腺结节良恶性的诊断标准以甲状腺结节手术病理结果作为金标准。
2. 甲状腺结节的征象识别标准:甲状腺征象识别以高年资医师组识别结果为金标准。
3. 其他指标:检查操作规范合格率=抽查操作合格人次/抽查操作总人次×100%,图像存储合格率=抽查存图合格病例数/总抽查病例数×100%,患者信任度=抽查对医师表示信任的患者数/总抽查患者数×100%。

三、统计学分析

应用SPSS 26.0及MedCalc软件进行统计学分析。超声征象识别率、超声操作规范合格率以及患者信任度为计数资料,采用频数(%)表示。在识别甲状腺结节超声征象的能力方面,采用McNemar检验比较低年资医师在AIMTIRADS超声联合品管圈活动前、后与高年资医师的一致率;采用DeLong检验比价活动前、后低年资医师对甲状腺结节良恶性的诊断效能,绘制活动前、后2位医师对甲状腺结节良恶性诊断的受试者操作特征(receiver operating characteristic,ROC)曲线,评价其诊断效能P<0.05表示差异具有统计学意义。

结果

一、活动前、后低年资医师对甲状腺结节超声征象识别能力的变化

AIMTIRADS超声结合品管圈活动后,在识别甲状腺结节回声方面,2名低年资医师与高年资医师的一致率均较活动前提高;在识别甲状腺结节成分、形态、点状强回声方面,医师2与高年资医师的一致率也较活动前有所提高,差异均具有统计学意义(P均<0.05,表1)。
表1 活动前、后低年资医师识别甲状腺结节超声征象与高年资医师的一致率比较[个(%)]
超声征象 医师1(n=119) 医师2(n=119)
活动前 活动后 P 活动前 活动后 P
成分 74(62.16) 76(63.87) 0.727 83(69.75) 96(80.67) 0.004
回声 57(47.90) 64(53.78) 0.031 54(45.38) 64(53.78) 0.004
形态 75(63.03) 80(67.23) 0.070 70(58.82) 76(63.87) 0.021
边缘
光滑/模糊 53(44.54) 53(44.54) 1.000 45(37.82) 48(40.34) 0.219
分叶状或不规则 71(59.66) 76(63.87) 0.070 68(57.14) 71(59.66) 0.063
甲状腺向外侵犯 81(68.07) 82(68.91) 1.000 75(63.03) 74(62.19) 1.000
局灶性强回声
大彗星尾征 87(73.11) 87(73.11) 1.000 89(74.79) 89(74.79) 1.000
粗大钙化 88(73.95) 88(73.95) 1.000 78(65.55) 82(68.91) 0.070
边缘钙化 90(75.63) 90(75.63) 1.000 89(74.79) 89(74.79) 1.000
点状强回声 71(59.66) 76(63.87) 0.065 62(52.10) 67(56.30) 0.031

二、活动前、后低年资医师对甲状腺结节良恶性的诊断效能

活动前、后分别绘制低年资医师诊断甲状腺结节良恶性的ROC曲线(图1),活动后,2名医师诊断甲状腺结节良恶性的能力均较活动前提高(表2),2名医师联合AIMTIRADS诊断甲状腺结节良恶性的截断值为≥TI-RADS 4类。
图1 人工智能超声辅助诊断系统(AIMTIRADS)结合品管圈活动前、后2位低年资医师诊断甲状腺结节良恶性的受试者操作特征曲线
表2 AIMTIRADS结合品管圈活动前、后低年资医师诊断甲状腺结节良恶性的结果比较
项目 曲线下面积 标准误 95%CI
活动前
AIMTIRADS 0.967 0.015 0.916~0.991
医师1 0.878a 0.030 0.805~0.931
医师2 0.824a 0.037 0.744~0.888
活动后
医师1+AIMTIRADS 0.921b 0.024 0.857~0.963
医师2+AIMTIRADS 0.883c 0.031 0.811~0.934

注:AIMTIRADS为人工智能超声辅助诊断系统;a与AIMTIRADS比较,差异具有统计学意义(P均<0.001);b与医师1比较,差异具有统计学意义(P=0.036);c与医师2比较,差异具有统计学意义(P=0.001)

三、活动前、后检查规范性、图像存储及患者信任度情况

活动后超声检查操作规范、存图规范和服务意识均有所提高,低年资医师甲状腺超声检查操作规范合格率由活动前的60%提高到95%,图像存储合格率由活动前的50%提高到90%,患者对低年资医师的信任度由活动前的70%提高到90%,最终制定形成了甲状腺超声检查规范性流程图(图2)。
图2 甲状腺超声检查规范性流程图

注:CDFI为彩色多普勒超声成像

讨论

AI超声目前在辅助医师对甲状腺结节良恶性的诊断中具有较为显著的作用,但大多数AI超声对于甲状腺结节征象识别方面较少涉及5-6。本研究应用的AIMTIRADS可以对甲状腺结节的特征(成分、回声、形态、边缘及局灶性强回声)进行判定,其判定准确率接近高年资医师7。另外,品管圈活动可以运用多种科学统计工具和品质管理方式,共同分析和解决问题,实现全方位的改进目标。本研究创新性地将这2种方式结合到一起,探究其在全面提高低年资超声医师对甲状腺结节风险评估能力中的作用。
本研究结果显示,AIMTIRADS联合品管圈活动后,2名低年资医师对甲状腺结节回声的识别准确率均有提高,且医师2在活动后对结节成分、形态、点状强回声等方面的识别准确率也有不同程度提高,表明AIMTIRADS联合品管活动对提高低年资医师的甲状腺结节超声特征识别能力效果显著。另外在活动后,低年资医师对甲状腺结节良恶性诊断的效能也有显著提高,表明该活动对提高低年资医师甲状腺结节的风险评估能力有较好的作用。
目前,虽然品管圈在医疗领域中已经得到了广泛的应用,但关于品管圈对甲状腺超声检查规范性方面的研究鲜有涉及。而本研究显示,在活动后低年资医师的甲状腺超声检查操作规范合格率、图像存储合格率以及患者对低年资医师的信任度也大幅提高,表明该活动提高了甲状腺超声检查的规范性,并在提高医疗服务质量方面效果显著。
综上所述,AIMTIRADS超声与品管圈活动相结合既解决了低年资临床医师经验欠缺,对甲状腺结节风险评估能力差的问题,又能从整个检查环节入手,系统性地对低年资医师甲状腺超声检查进行持续的质量改进,从而使“如何提高低年资超声医师甲状腺结节风险评估的医疗质量”这一难题得到较为全面的解决。AIMTIRADS超声结合品管圈活动这一创新性的方式,从甲状腺结节的超声征象识别、诊断准确性、风险评估、检查流程、质量控制等整个超声检查环节着手,全方位、多维度地提高了低年资超声医师对甲状腺结节的恶性风险评估能力并改善了医疗服务质量。
1
Durante C, Grani G, Lamartina L, et al. The diagnosis and management of thyroid nodules: a review[J]. JAMA, 2018, 319(9): 914-924.

2
Li M, Dal Maso L, Vaccarella S. Global trends in thyroid cancer incidence and the impact of overdiagnosis[J]. Lancet Diabetes Endocrinol, 2020, 8(6): 468-470.

3
Hoang JK, Middleton WD, Farjat AE, et al. Reduction in thyroid nodule biopsies and improved accuracy with american college of radiology thyroid imaging reporting and data system[J]. Radiology, 2018, 287(1): 185-193.

4
Ha EJ, Na DG, Baek JH, et al. US fine-needle aspiration biopsy for thyroid malignancy: diagnostic performance of seven society guidelines applied to 2000 thyroid nodules[J]. Radiology, 2018, 287(3): 893-900.

5
麦武平, 周美君, 胡叶, 等. AI超声辅助诊断系统在低年资医师诊断甲状腺结节良恶性中的应用[J]. 中国超声医学杂志, 2021, 37(3): 248-251.

6
宋丹琳, 郑静, 倪志鹏, 等. 超声图像人工智能辅助对甲状腺结节定性诊断价值的研究[J]. 中国临床医学影像杂志, 2023, 34(2): 87-90.

7
Chen Y, Gao Z, He Y, et al. An artificial intelligence model based on ACR TI-RADS characteristics for US diagnosis of thyroid nodules[J]. Radiology, 2022, 303(3): 613-619.

8
王聪, 张佩, 焦娟莉, 等. 品管圈活动在缩短内镜下治疗胃肠息肉患者平均住院日中的应用[J]. 空军医学杂志, 2022, 38(2): 154-157.

9
吴芳芳. 品管圈活动提高结肠镜检查前肠道准备合格率的临床研究[J]. 中国肛肠病杂志, 2022, 42(8): 76-77.

10
张卫平, 陈莉, 袁新春, 等. 品管圈活动在提高超声医学科住院医师医疗质量中的作用[J/OL]. 中华医学超声杂志(电子版), 2023, 20(1): 103-107.

文章导航

/


AI


AI小编
你好!我是《中华医学电子期刊资源库》AI小编,有什么可以帮您的吗?