切换至 "中华医学电子期刊资源库"

中华医学超声杂志(电子版) ›› 2023, Vol. 20 ›› Issue (01) : 97 -102. doi: 10.3877/cma.j.issn.1672-6448.2023.01.016

超声医学质量控制

超声心动图心尖四腔心切面图像质量智能评分研究
吴洋1, 张红梅2, 尹立雪2, 舒庆兰2, 王胰2, 叶露薇2, 刘韩1, 彭博3, 谢盛华2,()   
  1. 1. 610500 成都,西南石油大学计算机科学学院
    2. 610072 成都,电子科技大学附属医院•四川省人民医院心血管超声及心功能科;610072 成都,超声心脏电生理学与生物力学四川省重点实验室,四川省心血管病临床医学研究中心,国家心血管疾病临床医学研究中心分中心
    3. 610500 成都,西南石油大学计算机科学学院;610072 成都,电子科技大学附属医院•四川省人民医院心血管超声及心功能科
  • 收稿日期:2022-05-22 出版日期:2023-01-01
  • 通信作者: 谢盛华
  • 基金资助:
    电子科技大学中央高校基本科研业务费项目(ZYGX2020ZB038); 四川省科技计划(2023YFQ0006)

Intelligent scoring of quality of echocardiography images of apical four-chamber view

Yang Wu1, Hongmei Zhang2, Lixue Yin2, Qinglan Shu2, Yi Wang2, Luwei Ye2, Han Liu1, Bo Peng3, Shenghua Xie2,()   

  1. 1. School of Computer Science, Southwest Petroleum University, Chengdu 610500, China
    2. Cardiovascular Ultrasound and Non-invasive Cardiology Department, Sichuan Academy of Medical Sciences·Sichuan Provincial People's Hospital, Chengdu 610072, China; Ultrasound in Cardiac Electrophysiology and Biomechanics Key Laboratory of Sichuan Province, Chengdu 610072, China
    3. School of Computer Science, Southwest Petroleum University, Chengdu 610500, China; Cardiovascular Ultrasound and Non-invasive Cardiology Department, Sichuan Academy of Medical Sciences·Sichuan Provincial People's Hospital, Chengdu 610072, China
  • Received:2022-05-22 Published:2023-01-01
  • Corresponding author: Shenghua Xie
引用本文:

吴洋, 张红梅, 尹立雪, 舒庆兰, 王胰, 叶露薇, 刘韩, 彭博, 谢盛华. 超声心动图心尖四腔心切面图像质量智能评分研究[J/OL]. 中华医学超声杂志(电子版), 2023, 20(01): 97-102.

Yang Wu, Hongmei Zhang, Lixue Yin, Qinglan Shu, Yi Wang, Luwei Ye, Han Liu, Bo Peng, Shenghua Xie. Intelligent scoring of quality of echocardiography images of apical four-chamber view[J/OL]. Chinese Journal of Medical Ultrasound (Electronic Edition), 2023, 20(01): 97-102.

目的

探讨基于深度学习的多尺度图像质量评价Transformer网络(MUSIQ)对超声心动图质量智能评分的可行性。

方法

选取2021年12月至2022年4月在四川省人民医院完成超声心动图检查的457例受检者的心尖四腔心切面动态图像(共70 181帧)。由2位高年资专科医师根据图像切面质量,将图像标注为0分(极差)~5(优秀)分,所有图像按照8∶1∶1的方式划分为训练集、验证集和测试集。然后采用MUSIQ模型进行网络训练和验证,并选取在验证集上综合性能表现最好的模型作为最终模型。将测试集中MUSIQ模型预测分数与专业医师所标注的分数进行比较,以精确率、召回率、F1分数对模型的诊断性能进行评价。

结果

模型预测结果在0~5分的精确率平均为0.941,召回率平均为0.941;F1分数平均为0.941,均处于较高值范围。同时,当图像大小为600×800时模型在GPU上的单帧推理时间为18 ms,满足实时部署要求。

结论

基于深度学习的MUSIQ网络对心尖四腔心切面图像质量智能评分结果与超声医师人工打分结果一致性较高,具有较高的可行性;同时由于该方法对心尖四腔心切面没有做任何前置假设,原理上可以推广到任何标准超声切面,有利于实现超声图像质量智能化评估的标准化和规范化。

Objective

To explore the feasibility of echocardiographic image quality evaluation by deep learning based Multi-scale Image Quality Evaluation Transformer network (MUSIQ).

Methods

We selected 70181 echocardiographic apical four-chamber images of 457 patients who underwent echocardiographic examination at Sichuan Provincial People's Hospital from December 2021 to April 2022. According to the quality of the image section, two senior specialists scored the images from 0 (very poor) to 5 (excellent). The images were divided into a training set, a verification set, and a test set in a ratio of 8∶1∶1. Then, we used the MUSIQ models for network training and verification, and selected the model with the best comprehensive performance in the verification set. The prediction scores of the MUSIQ model in the test set were compared with the scores given by professional doctors, and the diagnostic performance of the model was then evaluated in terms of precision, recall, and F1 scores.

Results

The average precision, recall, and F1 scores of the model in predictions for scores between 0 and 5 were 0.941, 0.941, and 0.941, respectively, all of which were all at a high level. The inference time of the model on GPU was 18 ms for single frame images with a size of 600×800, which meets the requirement of real-time processing.

Conclusion

The intelligent assessment of apical four-chamber cardiac image quality by MUSIQ based on deep learning has a high degree of consistency with ultrasonographers' manual scoring results and is highly feasible. As the method does not make any antecedent assumptions for apical four-chamber cardiac sections, it can be extended to any standard ultrasound section in principle, which is conducive to the standardization of intelligent assessment of ultrasound image quality.

图1 心尖四腔心超声声像图质量评价分数示例。图a~f分别评分为0~5分
图2 70 181张心尖四腔心图像评分数据质量等级分布图
图3 多尺度图像质量评价Transformer网络架构注:MLP为全连接层,CLS为分类标记,Patches为图像块,Patch Encoding Module为图像块编码器,Transformer Encoder为Transformer解码器
表1 多尺度图像质量评价Transformer模型对心尖四腔心图像质量的预测结果
图4 多尺度图像质量评价Transformer模型对心尖四腔心图像的质量预测结果混淆矩阵图
图5 心尖四腔心图像每个质量等级的误差分析箱线图
1
方玉明, 眭相杰, 鄢杰斌, 等. 无参考图像质量评价研究进展 [J]. 中国图象图形学报, 2021, 26(2): 265-286.
2
张建洋, 刘胜林, 冯庆敏, 等. 适用于超声图像的无参考图像质量评价方法研究进展 [C]. 中华医学会医学工程学分会第十五次全国学术年会, 中国福建厦门, 2015.
3
林泽慧, 雷柏英, 姜峰, 等. 基于更快速的区域卷积神经网络的胎儿头围超声图像质量控制 [J]. 中国生物医学工程学报, 2019, 38(4): 392-400.
4
易玮玮. 基于卷积神经网络的医学超声图像质量评价方法研究 [D]. 武汉: 华中科技大学, 2019.
5
Liao Z, Girgis H, Abdi A, et al. On modelling label uncertainty in deep neural networks: automatic estimation of intra- observer variability in 2D echocardiography quality assessment [J]. IEEE Trans Med Imaging, 2020, 39(6): 1868-1883.
6
Abdi AH, Luong C, Tsang T, et al. Automatic quality assessment of echocardiograms using convolutional neural networks: feasibility on the apical four-chamber view [J]. IEEE Trans Med Imaging, 2017, 36(6): 1221-1230.
7
Snare SR, Torp H, Orderud F, et al. Real-time scan assistant for echocardiography [J]. IEEE Trans Ultrason Ferroelectr Freq Control, 2012, 59(3): 583-589.
8
Pavani SK, Subramanian N, Das Gupta M, et al. Quality metric for Parasternal Long AXis B-mode echocardiograms [J]. Med Image Comput Comput Assist Interv, 2012, 15(Pt 2): 478-485.
9
Zhang P, Dai X, Yang J, et al. Multi-scale vision longformer: A new vision transformer for high-resolution image encoding [C]. Proceedings of the IEEE/CVF International Conference on Computer Vision, 2021: 2998-3008.
10
官辉煜. 超声图像质量检验系统设计的评估 [J]. 中国医疗器械信息, 2010, 16(11): 36-42, 61.
11
Devlin J, Chang MW, Lee K, et al. BERT: pretraining of deep biirectional transformers for language unerstaning [C]. Proceeings of the 2019 Conference of the North American Chapter of the Association for Computational Linguistics: Human Language Technologies, 2019, 1: 4171-4186.
12
Zhou J, Du M, Chang S, et al. Artificial intelligence in echocardiography: detection, functional evaluation, and disease diagnosis [J]. Cardiovasc Ultrasound, 2021, 19(1): 29.
13
Wu Y, Peng B, Luo Y, et al. Ultrasound vector flow mapping in left ventricle: a do it yourself study [C]. 2021 4th International Conference on Pattern Recognition and Artificial Intelligence (PRAI), IEEE, 2021: 261-266.
14
游宇光, 黄志平, 廖萍, 等. 谈超声医学质量控制: 赣州市超声质量控制模式有感 [J/CD]. 中华医学超声杂志(电子版), 2019, 16(5): 345-347.
15
张红梅, 尹立雪, 李春梅, 等. 四川省超声医学专业质量控制基线调查报告 [J/OL]. 中华医学超声杂志(电子版), 2021, 18(3): 313-320.
[1] 李晓妮, 卫青, 孟庆龙, 牛丽莉, 田月, 吴伟春, 朱振辉, 王浩. 超声心动图在孤立性左心室心尖发育不良疾病中的应用价值[J/OL]. 中华医学超声杂志(电子版), 2024, 21(10): 937-942.
[2] 陈慧, 姚静, 张宁, 刘磊, 马秀玲, 王小贤, 方爱娟, 管静静. 超声心动图在多发性骨髓瘤心脏淀粉样变中的诊断价值[J/OL]. 中华医学超声杂志(电子版), 2024, 21(10): 943-949.
[3] 戴飞, 赵博文, 潘美, 彭晓慧, 陈冉, 田园诗, 狄敏. 胎儿心脏超声定量多参数对主动脉缩窄胎儿心脏结构及功能的诊断价值[J/OL]. 中华医学超声杂志(电子版), 2024, 21(10): 950-958.
[4] 王益佳, 周青, 曹省, 袁芳洁, 周妍, 张梅. 中国经胸超声心动图检查存图及报告质控现状分析[J/OL]. 中华医学超声杂志(电子版), 2024, 21(07): 657-663.
[5] 莫莹, 李文秀, 李刚, 王霄芳, 王强, 丁文虹. 超声心动图在三尖瓣下移畸形中的临床应用价值[J/OL]. 中华医学超声杂志(电子版), 2024, 21(07): 702-708.
[6] 王秋莲, 张莹, 李春敏, 徐树明, 张玉奇. 胎儿主动脉弓部梗阻伴发复杂心内畸形的产前超声诊断及漏误诊分析[J/OL]. 中华医学超声杂志(电子版), 2024, 21(07): 718-725.
[7] 曹雨欣, 毛卓君, 梁嘉赫, 伊江浦, 张泽凯, 马文帅, 陈云涛, 李晓倩, 张宇新, 曹铁生, 袁丽君. 3D打印心脏模型在模拟左心耳封堵术临床教学中的应用价值[J/OL]. 中华医学超声杂志(电子版), 2024, 21(06): 602-607.
[8] 周容, 张亚萍, 廖宇, 程晓萍, 管玉龙, 潘广玉, 闫杰, 王贤芝, 苟中山, 潘登科, 李巅远. 超声在基因编辑猪-猴异种并联式心脏移植术中的应用价值[J/OL]. 中华医学超声杂志(电子版), 2024, 21(06): 617-623.
[9] 李洋, 蔡金玉, 党晓智, 常婉英, 巨艳, 高毅, 宋宏萍. 基于深度学习的乳腺超声应变弹性图像生成模型的应用研究[J/OL]. 中华医学超声杂志(电子版), 2024, 21(06): 563-570.
[10] 夏靖涵, 林凤娇, 王胰, 丁戈琦, 张清凤, 张红梅, 谢盛华, 李明星, 尹立雪, 李文华. 二尖瓣空间变化联合左心房应变对肥厚型心肌病合并左心室流出道梗阻的预测价值[J/OL]. 中华医学超声杂志(电子版), 2024, 21(06): 585-592.
[11] 王岚, 徐斌胜, 谢乐. 肥厚型心肌病的经胸超声心动图诊断与心电图表现特征[J/OL]. 中华医学超声杂志(电子版), 2024, 21(06): 593-596.
[12] 张嘉炜, 王瑞, 张克诚, 易磊, 周增丁. 烧烫伤创面深度智能检测模型P-YOLO的建立及测试效果[J/OL]. 中华损伤与修复杂志(电子版), 2024, 19(05): 379-385.
[13] 叶莉, 杜宇. 深度学习在牙髓根尖周病临床诊疗中的应用[J/OL]. 中华口腔医学研究杂志(电子版), 2024, 18(06): 351-356.
[14] 黄俊龙, 李文双, 李晓阳, 刘柏隆, 陈逸龙, 丘惠平, 周祥福. 基于盆底彩超的人工智能模型在女性压力性尿失禁分度诊断中的应用[J/OL]. 中华腔镜泌尿外科杂志(电子版), 2024, 18(06): 597-605.
[15] 孙铭远, 褚恒, 徐海滨, 张哲. 人工智能应用于多发性肺结节诊断的研究进展[J/OL]. 中华临床医师杂志(电子版), 2024, 18(08): 785-790.
阅读次数
全文


摘要