切换至 "中华医学电子期刊资源库"

中华医学超声杂志(电子版) ›› 2023, Vol. 20 ›› Issue (01) : 97 -102. doi: 10.3877/cma.j.issn.1672-6448.2023.01.016

超声医学质量控制

超声心动图心尖四腔心切面图像质量智能评分研究
吴洋1, 张红梅2, 尹立雪2, 舒庆兰2, 王胰2, 叶露薇2, 刘韩1, 彭博3, 谢盛华2,()   
  1. 1. 610500 成都,西南石油大学计算机科学学院
    2. 610072 成都,电子科技大学附属医院•四川省人民医院心血管超声及心功能科;610072 成都,超声心脏电生理学与生物力学四川省重点实验室,四川省心血管病临床医学研究中心,国家心血管疾病临床医学研究中心分中心
    3. 610500 成都,西南石油大学计算机科学学院;610072 成都,电子科技大学附属医院•四川省人民医院心血管超声及心功能科
  • 收稿日期:2022-05-22 出版日期:2023-01-01
  • 通信作者: 谢盛华
  • 基金资助:
    电子科技大学中央高校基本科研业务费项目(ZYGX2020ZB038); 四川省科技计划(2023YFQ0006)

Intelligent scoring of quality of echocardiography images of apical four-chamber view

Yang Wu1, Hongmei Zhang2, Lixue Yin2, Qinglan Shu2, Yi Wang2, Luwei Ye2, Han Liu1, Bo Peng3, Shenghua Xie2,()   

  1. 1. School of Computer Science, Southwest Petroleum University, Chengdu 610500, China
    2. Cardiovascular Ultrasound and Non-invasive Cardiology Department, Sichuan Academy of Medical Sciences·Sichuan Provincial People's Hospital, Chengdu 610072, China; Ultrasound in Cardiac Electrophysiology and Biomechanics Key Laboratory of Sichuan Province, Chengdu 610072, China
    3. School of Computer Science, Southwest Petroleum University, Chengdu 610500, China; Cardiovascular Ultrasound and Non-invasive Cardiology Department, Sichuan Academy of Medical Sciences·Sichuan Provincial People's Hospital, Chengdu 610072, China
  • Received:2022-05-22 Published:2023-01-01
  • Corresponding author: Shenghua Xie
引用本文:

吴洋, 张红梅, 尹立雪, 舒庆兰, 王胰, 叶露薇, 刘韩, 彭博, 谢盛华. 超声心动图心尖四腔心切面图像质量智能评分研究[J]. 中华医学超声杂志(电子版), 2023, 20(01): 97-102.

Yang Wu, Hongmei Zhang, Lixue Yin, Qinglan Shu, Yi Wang, Luwei Ye, Han Liu, Bo Peng, Shenghua Xie. Intelligent scoring of quality of echocardiography images of apical four-chamber view[J]. Chinese Journal of Medical Ultrasound (Electronic Edition), 2023, 20(01): 97-102.

目的

探讨基于深度学习的多尺度图像质量评价Transformer网络(MUSIQ)对超声心动图质量智能评分的可行性。

方法

选取2021年12月至2022年4月在四川省人民医院完成超声心动图检查的457例受检者的心尖四腔心切面动态图像(共70 181帧)。由2位高年资专科医师根据图像切面质量,将图像标注为0分(极差)~5(优秀)分,所有图像按照8∶1∶1的方式划分为训练集、验证集和测试集。然后采用MUSIQ模型进行网络训练和验证,并选取在验证集上综合性能表现最好的模型作为最终模型。将测试集中MUSIQ模型预测分数与专业医师所标注的分数进行比较,以精确率、召回率、F1分数对模型的诊断性能进行评价。

结果

模型预测结果在0~5分的精确率平均为0.941,召回率平均为0.941;F1分数平均为0.941,均处于较高值范围。同时,当图像大小为600×800时模型在GPU上的单帧推理时间为18 ms,满足实时部署要求。

结论

基于深度学习的MUSIQ网络对心尖四腔心切面图像质量智能评分结果与超声医师人工打分结果一致性较高,具有较高的可行性;同时由于该方法对心尖四腔心切面没有做任何前置假设,原理上可以推广到任何标准超声切面,有利于实现超声图像质量智能化评估的标准化和规范化。

Objective

To explore the feasibility of echocardiographic image quality evaluation by deep learning based Multi-scale Image Quality Evaluation Transformer network (MUSIQ).

Methods

We selected 70181 echocardiographic apical four-chamber images of 457 patients who underwent echocardiographic examination at Sichuan Provincial People's Hospital from December 2021 to April 2022. According to the quality of the image section, two senior specialists scored the images from 0 (very poor) to 5 (excellent). The images were divided into a training set, a verification set, and a test set in a ratio of 8∶1∶1. Then, we used the MUSIQ models for network training and verification, and selected the model with the best comprehensive performance in the verification set. The prediction scores of the MUSIQ model in the test set were compared with the scores given by professional doctors, and the diagnostic performance of the model was then evaluated in terms of precision, recall, and F1 scores.

Results

The average precision, recall, and F1 scores of the model in predictions for scores between 0 and 5 were 0.941, 0.941, and 0.941, respectively, all of which were all at a high level. The inference time of the model on GPU was 18 ms for single frame images with a size of 600×800, which meets the requirement of real-time processing.

Conclusion

The intelligent assessment of apical four-chamber cardiac image quality by MUSIQ based on deep learning has a high degree of consistency with ultrasonographers' manual scoring results and is highly feasible. As the method does not make any antecedent assumptions for apical four-chamber cardiac sections, it can be extended to any standard ultrasound section in principle, which is conducive to the standardization of intelligent assessment of ultrasound image quality.

图1 心尖四腔心超声声像图质量评价分数示例。图a~f分别评分为0~5分
图2 70 181张心尖四腔心图像评分数据质量等级分布图
图3 多尺度图像质量评价Transformer网络架构注:MLP为全连接层,CLS为分类标记,Patches为图像块,Patch Encoding Module为图像块编码器,Transformer Encoder为Transformer解码器
表1 多尺度图像质量评价Transformer模型对心尖四腔心图像质量的预测结果
图4 多尺度图像质量评价Transformer模型对心尖四腔心图像的质量预测结果混淆矩阵图
图5 心尖四腔心图像每个质量等级的误差分析箱线图
1
方玉明, 眭相杰, 鄢杰斌, 等. 无参考图像质量评价研究进展 [J]. 中国图象图形学报, 2021, 26(2): 265-286.
2
张建洋, 刘胜林, 冯庆敏, 等. 适用于超声图像的无参考图像质量评价方法研究进展 [C]. 中华医学会医学工程学分会第十五次全国学术年会, 中国福建厦门, 2015.
3
林泽慧, 雷柏英, 姜峰, 等. 基于更快速的区域卷积神经网络的胎儿头围超声图像质量控制 [J]. 中国生物医学工程学报, 2019, 38(4): 392-400.
4
易玮玮. 基于卷积神经网络的医学超声图像质量评价方法研究 [D]. 武汉: 华中科技大学, 2019.
5
Liao Z, Girgis H, Abdi A, et al. On modelling label uncertainty in deep neural networks: automatic estimation of intra- observer variability in 2D echocardiography quality assessment [J]. IEEE Trans Med Imaging, 2020, 39(6): 1868-1883.
6
Abdi AH, Luong C, Tsang T, et al. Automatic quality assessment of echocardiograms using convolutional neural networks: feasibility on the apical four-chamber view [J]. IEEE Trans Med Imaging, 2017, 36(6): 1221-1230.
7
Snare SR, Torp H, Orderud F, et al. Real-time scan assistant for echocardiography [J]. IEEE Trans Ultrason Ferroelectr Freq Control, 2012, 59(3): 583-589.
8
Pavani SK, Subramanian N, Das Gupta M, et al. Quality metric for Parasternal Long AXis B-mode echocardiograms [J]. Med Image Comput Comput Assist Interv, 2012, 15(Pt 2): 478-485.
9
Zhang P, Dai X, Yang J, et al. Multi-scale vision longformer: A new vision transformer for high-resolution image encoding [C]. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 2998-3008.
10
官辉煜. 超声图像质量检验系统设计的评估 [J]. 中国医疗器械信息, 2010, 16(11): 36-42, 61.
11
Devlin J, Chang MW, Lee K, et al. BERT: pretraining of deep biirectional transformers for language unerstaning [C]. Proceeings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019, 1: 4171-4186.
12
Zhou J, Du M, Chang S, et al. Artificial intelligence in echocardiography: detection, functional evaluation, and disease diagnosis [J]. Cardiovasc Ultrasound, 2021, 19(1): 29.
13
Wu Y, Peng B, Luo Y, et al. Ultrasound vector flow mapping in left ventricle: a do it yourself study [C]. 2021 4th International Conference on Pattern Recognition and Artificial Intelligence (PRAI), IEEE, 2021: 261-266.
14
游宇光, 黄志平, 廖萍, 等. 谈超声医学质量控制: 赣州市超声质量控制模式有感 [J/CD]. 中华医学超声杂志(电子版), 2019, 16(5): 345-347.
15
张红梅, 尹立雪, 李春梅, 等. 四川省超声医学专业质量控制基线调查报告 [J/OL]. 中华医学超声杂志(电子版), 2021, 18(3): 313-320.
[1] 何金梅, 尹立雪, 谭静, 张文军, 王锐, 任梅, 廖明娇. 超声心肌做功技术对2型糖尿病患者潜在左心室心肌收缩功能损伤的评价[J]. 中华医学超声杂志(电子版), 2023, 20(10): 1029-1035.
[2] 薛艳玲, 马小静, 谢姝瑞, 何俊, 夏娟, 何亚峰. 左心声学造影在急性心肌梗死合并室间隔穿孔中的应用价值[J]. 中华医学超声杂志(电子版), 2023, 20(10): 1036-1039.
[3] 武玺宁, 欧阳云淑, 张一休, 孟华, 徐钟慧, 张培培, 吕珂. 胎儿心脏超声检查在抗SSA/Ro-SSB/La抗体阳性妊娠管理中的应用[J]. 中华医学超声杂志(电子版), 2023, 20(10): 1056-1060.
[4] 杨水华, 何桂丹, 覃桂灿, 梁蒙凤, 罗艳合, 李雪芹, 唐娟松. 胎儿孤立性完全型肺静脉异位引流的超声心动图特征及高分辨率血流联合时间-空间相关成像的应用[J]. 中华医学超声杂志(电子版), 2023, 20(10): 1061-1067.
[5] 张宝富, 俞劲, 叶菁菁, 俞建根, 马晓辉, 刘喜旺. 先天性原发隔异位型肺静脉异位引流的超声心动图诊断[J]. 中华医学超声杂志(电子版), 2023, 20(10): 1074-1080.
[6] 赵红娟, 赵博文, 潘美, 纪园园, 彭晓慧, 陈冉. 应用多普勒超声定量分析正常中晚孕期胎儿左心室收缩舒张时间指数[J]. 中华医学超声杂志(电子版), 2023, 20(09): 951-958.
[7] 张璟璟, 赵博文, 潘美, 彭晓慧, 毛彦恺, 潘陈可, 朱玲艳, 朱琳琳, 蓝秋晔. 胎儿超声心动图测量McGoon指数在评价胎儿肺血管发育中的应用[J]. 中华医学超声杂志(电子版), 2023, 20(08): 860-865.
[8] 刘丹妮, 敖梦, 冉海涛, 李世玉, 秦芳. 三维超声心动图及二维斑点追踪成像对持续性心房颤动复律后双心房逆向重构的评估[J]. 中华医学超声杂志(电子版), 2023, 20(08): 827-835.
[9] 徐鹏, 李军, 高巍伦, 王峥, 庞珅, 李春妮, 朱霆. 快速旋转扫查法在胎儿超声心动图检查中的应用价值[J]. 中华医学超声杂志(电子版), 2023, 20(07): 761-766.
[10] 应康, 杨璨莹, 刘凤珍, 陈丽丽, 刘燕娜. 左心室心肌应变对无症状重度主动脉瓣狭窄患者的预后评估价值[J]. 中华医学超声杂志(电子版), 2023, 20(06): 581-587.
[11] 吴赤球, 韦曙东, 张辉, 严许清, 梅朵卓嘎, 余丹. 驻不同海拔高度高原人员习服后心脏结构和功能变化的超声心动图评估[J]. 中华医学超声杂志(电子版), 2023, 20(06): 588-593.
[12] 谭芳, 杨娇娇, 沈玉琴, 李炎菲海, 王海蕊, 范思涵, 纪学芹. 胎儿心脏定量分析技术对正常胎儿心脏形态及收缩功能的评价[J]. 中华医学超声杂志(电子版), 2023, 20(06): 598-604.
[13] 罗刚, 泮思林, 陈涛涛, 许茜, 纪志娴, 王思宝, 孙玲玉. 超声心动图在胎儿心脏介入治疗室间隔完整的肺动脉闭锁中的应用[J]. 中华医学超声杂志(电子版), 2023, 20(06): 605-609.
[14] 吴群, 张鑫, 李培, 王芳韵, 郑淋, 卫海燕, 马宁. 孤立型主动脉缩窄的超声心动图诊断及术后随访研究[J]. 中华医学超声杂志(电子版), 2023, 20(06): 642-646.
[15] 薛念余, 张盛敏, 吴凌恒, 沙蕾, 童揽月, 沈崔琴, 李朝军, 杜联芳. 研究血清胆红素对2型糖尿病患者心脏结构发生改变前心肌功能的影响[J]. 中华临床医师杂志(电子版), 2023, 17(9): 1004-1009.
阅读次数
全文


摘要