切换至 "中华医学电子期刊资源库"
心血管超声影像学

基于深度学习的超声心动图三尖瓣反流严重程度智能评估方法研究

  • 刘韩 1 ,
  • 王胰 2 ,
  • 舒庆兰 2 ,
  • 彭博 1 ,
  • 尹立雪 2 ,
  • 谢盛华 , 2,
展开
  • 1.610072 成都,西南石油大学计算机科学学院
  • 2.四川省医学科学院•四川省人民医院(电子科技大学附属医院)心血管超声及心功能科 超声心脏电生理学与生物力学四川省重点实验室 四川省心血管病临床医学研究中心(国家心血管疾病临床医学研究中心四川分中心)
通信作者:谢盛华,Email:

Copy editor: 汪荣

收稿日期: 2023-08-25

  网络出版日期: 2024-04-25

基金资助

四川省区域创新合作项目(2023YF00006)

四川省自然科学基金(2022NSFSC0662)

版权

未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计,除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。本刊为电子期刊,以网刊形式出版。

Deep learning-based intelligent assessment of tricuspid valve regurgitation severity by echocardiography

  • Han Liu 1 ,
  • Yi Wang 2 ,
  • Qinglan Shu 2 ,
  • Bo Peng 1 ,
  • Lixue Yin 2 ,
  • Shenghua Xie , 2,
Expand
  • 1.School of Computer Science, Southwest Petroleum University, Chengdu 610500, China
  • 2.Sichuan Academy of Medical Sciences & Sichuan Provincial People's Hospital (Affiliated Hospital of University of Electronic Science and Technology of China), Department of Cardiovascular Ultrasound and Cardiac Function Laboratory of Cardiovascular Ultrasound Electrophysiology and Biomechanics, Key Laboratory of Sichuan Province; Sichuan Clinical Research Center for Cardiovascular Diseases (Sichuan Branch of National Clinical Research Center for Cardiovascular Diseases)
Corresponding author: Xie Shenghua, Email:

Received date: 2023-08-25

  Online published: 2024-04-25

Copyright

Copyright by Chinese Medical Association No content published by the journals of Chinese Medical Association may be reproduced or abridged without authorization. Please do not use or copy the layout and design of the journals without permission. All articles published represent the opinions of the authors, and do not reflect the official policy of the Chinese Medical Association or the Editorial Board, unless this is clearly specified.

摘要

目的

探究联合深度学习和三尖瓣彩色多普勒超声血流频谱图对心脏三尖瓣反流严重程度进行智能评估的可行性和准确性。

方法

选取2022年10月至2023年4月在四川省人民医院进行超声心动图检查诊断三尖瓣反流的患者2629例,获取三尖瓣彩色多普勒超声血流频谱图2629张。由2位高年资专科医师使用LabelMe软件,把每一个完整周期标注出来,按照9∶1的比例划分为训练集和验证集,采用YOLOv5深度学习网络实现反流心动周期的自动标注。采用平均精度、精确度、召回率对心动周期自动标注模型的性能进行评价。由2位高年资专科医师对单个心动周期反流频谱图的反流严重程度进行轻、中、重度划分,制作成数据集,按照8∶1∶1的比例划分为训练集、验证集和测试集,采用ConvNeXt深度学习网络实现反流严重程度的评估。采用精确率、召回率、特异性和F1分数对反流程度评估模型的诊断性能进行评价。

结果

模型智能检测反流心动周期的平均精度为0.979,精确度为0.951,召回率为0.972;模型智能评估反流严重程度的预测结果的加权平均精确率为0.938,召回率为0.928,特异性为0.964,F1分数为0.953,均处于较高值范围。

结论

基于深度学习的超声心动图三尖瓣反流严重程度智能评估方法的评估结果与超声医师人工评估的结果一致性较高,具有较好的可行性和诊断准确性。

本文引用格式

刘韩 , 王胰 , 舒庆兰 , 彭博 , 尹立雪 , 谢盛华 . 基于深度学习的超声心动图三尖瓣反流严重程度智能评估方法研究[J]. 中华医学超声杂志(电子版), 2024 , 21(02) : 121 -127 . DOI: 10.3877/cma.j.issn.1672-6448.2024.02.003

Abstract

Objective

To explore the feasibility and accuracy of deep learning-based intelligent assessment of the severity of tricuspid regurgitation by color Doppler echocardiographic flow spectrometry of the tricuspid valve.

Methods

A total of 2629 patients with tricuspid regurgitation diagnosed by echocardiography at Sichuan Provincial People's Hospital from October 2022 to April 2023 were selected, and 2629 color Doppler echocardiographic flow spectrometry images of the tricuspid valve were obtained. Two senior specialists used LabelMe software to label each complete cycle, and divided them into either a training set or a validation set at a ratio of 9:1. The YOLOv5 deep learning network was used to automatically annotate the regurgitation cardiac cycle. The performance of the automatic annotation model for the cardiac cycle was evaluated using average precision, accuracy, and recall. Two senior specialists classified the severity of regurgitation into mild, moderate, and severe levels for each single cardiac cycle regurgitation spectrometry image, and created datasets. The datasets were divided into a training set, a validation set, and a test set at a ratio of 8:1:1. The ConvNeXt deep learning network was used to evaluate the severity of regurgitation. The diagnostic performance of the regurgitation severity assessment model was evaluated using accuracy, recall, specificity, and F1 score.

Results

The model's average precision for intelligent detection of regurgitation heart cycle was 0.979, with an accuracy of 0.951 and recall rate of 0.972. The weighted average precision of the prediction results of the model's intelligent assessment of the severity of regurgitation was 0.938, with a recall rate of 0.928, specificity of 0.964, and F1 score of 0.953, all within a high value range.

Conclusion

The evaluation results of the intelligent assessment method for the severity of tricuspid regurgitation in echocardiography based on deep learning are highly consistent with those manually assessed by ultrasonographers, demonstrating good feasibility and diagnostic accuracy.

心脏瓣膜反流,也称为瓣膜反流或瓣膜逆流,是一种常见的心脏病。目前,全球约有2.09亿心脏瓣膜疾病患者,我国心脏瓣膜病患病人数约为2500万1。心脏瓣膜反流通常通过心脏超声检查进行诊断,而超声心动图频谱多普勒2是判断反流严重程度最重要的依据之一,但是目前心脏瓣膜反流严重程度评估主要由超声医师根据超声图像主观评估,其评估结果完全取决于医师的过往经验和专业水平,人工评判方式缺乏客观的量化评价标准,既耗费时间又费力,因此在临床实践中,医师很难对患者心脏瓣膜反流的严重程度进行准确的定性评估。为了克服这一难题,本研究拟开发一种基于超声血流频谱图的客观、智能化评判方法,以便更准确地评估心脏瓣膜反流的严重程度,辅助临床医师做出更合理的治疗决策。
根据瓣膜的位置,心脏瓣膜反流疾病可以分为二尖瓣反流、三尖瓣反流3、主动脉瓣反流和肺动脉瓣反流4;根据心脏瓣膜反流的严重程度又可以分为轻度、中度和重度。目前已有的结合深度学习智能评估心脏瓣膜反流严重程度的方法,主要包括二维超声心动图、三维超声心动图、心血管磁共振成像等。已有研究5-6采用卷积神经网络中的Mask R-CNN算法,对彩色多普勒超声心动图图像中的瓣膜反流进行自动定性评估,研究表明其定义的掩模区域在可行性和准确性方面表现优异。此外,还有研究7-8使用无监督方法提取超声心动图的表征数据,进行基于模型的聚类,最终实现较为准确的心脏瓣膜反流严重程度评估。本研究将基于深度学习的目标检测模型YOLOv59和基于卷积神经网络的ConvNeXt模型10与超声血流频谱图结合,旨在探索适用于三尖瓣彩色多普勒超声血流频谱图像的心脏瓣膜反流严重程度评估方法。

资料与方法

一、对象

选取2022年10月至2023年4月在四川省人民医院完成心脏瓣膜反流疾病检查的2629例受检者的三尖瓣彩色多普勒超声血流频谱图,采集图像格式为jpg,通过处理和标识总共获得了2629张三尖瓣彩色多普勒超声血流频谱图。

二、数据预处理与标注

1.数据预处理:获得实验数据后,从患者隐私及伦理规范的角度出发,将图像中所有的文本信息抹除,包括患者的姓名、性别、医院、编号等。
2.数据标注:本实验使用Labelme软件对数据集进行标注,由2位具有5年以上相关从业经验的专业医师对数据反流心脏周期进行标注,并依据《中国成人心脏瓣膜病超声心动图规范化检查专家共识》11对标注后的反流心脏周期的反流严重程度进行分级,其中轻度反流的周期给予“1”标签,中度反流的周期给予“2”标签,重度反流的周期给予“3”标签(图12)。首先在本地计算机上创建三尖瓣彩色多普勒超声血流频谱图图像数据集;然后以反流心动周期为单位,使用方框作为标记,标注出完整的心动周期,并且按照心脏瓣膜反流严重程度给予对应的标签;最后,每个图像在对应的文件夹内,获取一个.json文件,文件中包含创建的标签信息。单个受检者的三尖瓣彩色多普勒超声血流频谱图能够标记出1~8个心动周期。本实验一共标注、复核了15 345个反流心动周期图像用于训练心动周期自动标注模型;完成了8550个心脏瓣膜反流周期图像的严重程度等级评估,其中轻度3034张,中度2823张,重度2693张,用于训练反流严重程度评估模型。
图1 血流频谱图周期及严重程度标签示例
图2 Labelme软件的工作流程

三、心动周期自动标注深度学习网络的选择

本研究采用YOLOv5(图3)深度学习网络实现三尖瓣彩色多普勒超声血流频谱图反流心动周期的自动标注。本研究对YOLOv5深度学习模型改动很小,仅将模型的第1个卷积操作的输入通道由3改为1,因为将图像统一转为灰度图像能够提高图像的处理效率、突出图像的形状和纹理,并且不会影响模型训练的效果。YOLOv5在Docker搭建的Ubuntu 18.04的PyTorch环境中实现,批处理大小设置为16,初始学习率为0.0001,采用余弦学习率衰减策略。
图3 目标检测模型YOLOv5网络架构

注:Focus为注意力模块;CBL为特征提取模块;CSP为跨阶段局部连接网络;SPP为空间金字塔池化;Concat为连接模块;Conv为卷积;BN为归一化;Leaky relu为激活函数;slice为数据切片操作;Maxpool为最大池化层

四、反流严重程度评估深度学习网络的选择

本研究采用ConvNeXt(图4)深度学习网络实现三尖瓣彩色多普勒超声血流频谱图反流严重程度的评估。ConvNeXt参考了Transformer网络的结构和特征设计,但不需要执行图像分块合并、窗口偏移等复杂的操作。因此,本研究使用ConvNeXt网络能够达到类似于Transformer网络的性能,但计算量更小。ConvNeXt在Docker搭建的Ubuntu 18.04的PyTorch环境中实现,批处理大小设置为64,初始学习率为0.0001,学习率衰减策略采用余弦退火算法12
图4 卷积神经网络ConvNeXt网络架构

注:Block为模块;Downsample为下采样模块;dim为维度;Global Average Pooling为全局平均池化层;Lincar为全连接层;LN为层归一化

五、实验流程

1.心脏瓣膜反流严重程度智能评估模型建立的实验流程:本研究使用的是三尖瓣彩色多普勒超声血流频谱图来完成对心脏瓣膜反流严重程度的评估,实验流程分为四个部分(图5)。第一部分的主要作用是保护患者隐私,对采集到的数据进行去敏操作;第二部分是对数据的标注,并且使用python脚本对标注后的反流周期进行裁剪;第三部分是使用目标检测模型YOLOv5实现从血流频谱图中自动检测心动周期,这一部分只是将反流心动周期作为输入,并不带入严重程度的标签信息;第四部分是将第二部分裁剪后的反流心动周期图像作为输入,使用卷积神经网络的ConvNeXt模型对检测出来的周期进行心脏瓣膜反流严重程度定性评估。
图5 血流频谱图评估心脏瓣膜反流严重程度模型建立的实验流程图。步骤1:对数据的采集和预处理;步骤2:使用LabelMe对数据集进行标记,使用python脚本对标记后的反流心动周期进行裁剪;步骤3:使用LabelMe标记后的血流频谱图训练YOLOv5网络模型;步骤4:使用裁剪后的反流心动周期图像训练ConvNeXt网络模型
根据上述实验步骤,按照9∶1的比例将标注好的15 345个反流心动周期划分为训练集、验证集,用于步骤三中YOLOv5模型的训练;按照8∶1∶1的比例将分级、裁剪后的8550个反流心动周期划分为训练集、验证集和测试集,用于步骤四中ConvNeXt模型的训练。
2.心脏瓣膜反流严重程度评估模型的测试流程:心脏瓣膜反流严重程度评估模型测试包括3个步骤(图6)。使用实验中经过训练后的反流心动周期检测YOLOv5模型以及训练后的心脏瓣膜反流严重程度评估ConvNeXt模型,将采集到的数据预处理以后,直接放入模型中,经过YOLOv5模型的分析识别,标识出反流心动周期,并且自动裁剪成单个反流心动周期,然后将其作为ConvNeXt模型的输入,最终得到心脏瓣膜反流严重程度定性评估的结果。
图6 血流频谱图评估心脏瓣膜反流严重程度模型的测试流程图。步骤1:对数据的采集和预处理;步骤2:将预处理后的数据集输入到训练好的YOLOv5网络模型中,并且裁剪识别到的周期;步骤3:裁剪后的反流心动周期输入到ConvNeXt网络模型,得到瓣膜反流严重程度定性评估结果

六、统计学分析

为了评估所建立模型的性能,在训练过程中对验证集进行验证,并保存在验证集上表现最佳的模型。最后将保存的模型在测试集上进行预测。对于心动周期自动标记模型,采用平均精度、精确度、召回率对模型的性能进行评价,并且将人工标记与模型预测结果进行对比,其中平均精度是目标检测任务中常用的评价指标之一13,是衡量目标检测算法性能的关键指标。对于反流验证程度评估模型,使用精确率、召回率、特异性和F1分数对模型的性能进行评价,并构建混淆矩阵描述预测值与专业医师评估结果之间的差异。

结果

一、心动周期自动标识实验结果

使用1534张图像对YOLOv5模型进行预测,最终得到的结果为:平均精度为0.979,精确度为0.951,召回率为0.972。下图展示人工标注图像与YOLOv5模型标注图像对比(图7)。
图7 人工标注与YOLOv5模型标注的对比图。图a为人工标注;图b为YOLOv5模型标注

二、反流严重程度智能评估实验结果

对测试集中852张图像进行预测(轻度303张,中度280张,重度269张),由结果可看出,模型在轻、中、重各个程度判断结果的表现上各有不同,其中中度的精确率(0.882)、召回率(0.911)、特异性(0.941)、F1分数(0.896)均略低于轻度和重度(表1)。但整体精确率、召回率、特异性、F1分数均值均>0.92,处于较高值范围内。评估结果的混淆矩阵图(图8)显示,模型的预测结果中存在的误差大多集中在相邻严重程度上,轻度和重度预测的错误结果均集中在相邻的中度上,分别占预测总错误数量的85.7%和100%,在相邻严重程度之外的情况占预测总数量的比例均小于1.0%。
表1 卷积神经网络ConvNeXt模型预测结果
反流程度 测试图像总数 精确率 召回率 特异性 F1分数
轻度 303 0.966 0.931 0.982 0.948
中度 280 0.882 0.911 0.941 0.896
重度 269 0.965 0.941 0.969 0.948
均值 284 0.938 0.928 0.964 0.953
图8 卷积神经网络ConvNeXt模型预测结果混淆矩阵图

讨论

目前,利用人工智能辅助诊断已经广泛应用于超声心动图的分割识别、疾病检测、临床决策支持等各个方面,成为医学领域发展的重要方向14-15。但是对心脏超声血流频谱图智能评估反流严重程度方面的研究相对较少,Zhang等5使用卷积神经网络的Mask R-CNN算法对彩色多普勒超声心动图图像进行心脏瓣膜反流严重程度评估,平均精度达到90.0%;Atika等16使用彩色多普勒超声心动视频,采用多种深度学习方法进行心脏瓣膜反流严重程度评估,精度达到88.4%。本研究采用三尖瓣彩色多普勒超声血流频谱图,将实验分成数据预处理、图像标记与裁剪、训练YOLOv5网络模型、训练ConvNeXt网络模型4个步骤,并且实现了92.8%的智能评估精度,较既往研究有较大提升。
本研究结果表明,在心脏瓣膜反流严重程度评估方面,本研究采用的从图像采集到全自动化标注心动周期,最后智能化评估心脏瓣膜反流严重程度的方法是有效的,并且结果优于已有的方法。相较于传统的人工进行严重程度评估的方式,本研究的方法不再依赖人为主观评价。同时经过本研究的测试,输入三尖瓣血流频谱图像后,心动周期标注模型和心脏瓣膜反流严重程度评估模型在3090 GPU上的推理时间分别为21 ms和31 ms,均可以实现实时的结果输出。同时,预测结果中存在的误差大多集中在相邻严重程度上,这种误差分布模式与医师人工识别时的情况相类似,因此本研究结果与实际情况相符合。本研究提出的智能化反流严重程度评估方法,有利于心脏三尖瓣反流严重程度的精确诊断,为临床医师提供有力的辅助诊断工具。
本研究也存在一定的不足:受到数据集的限制,暂无二尖瓣、主动脉瓣、肺动脉瓣的临床图像数据,本研究目前仅针对三尖瓣彩色多普勒超声血流频谱图进行了实验。尽管存在数据限制的问题,但从原理上来看,二尖瓣、主动脉瓣、肺动脉瓣与三尖瓣之间没有本质上的区别,因此,将来可以继续跟进该实验并扩大数据集,以探索适用于各种心脏瓣膜反流疾病的评估方法。
综上所述,本文提出的智能定性评估三尖瓣反流严重程度的方法其评估结果与超声医师人工评估的结果一致性较高,具有较好的应用价值。该方法可提供实时辅助诊断,减少医师在临床判断过程中的不确定性,提高诊断准确性,为临床医师提供更好的决策支持。
1
董念国, 曹红, 周廷文, 等.心脏瓣膜病治疗进展[J].临床心血管病杂志, 2022, 38(6): 429-432.

2
Turkoglu I, Arslan A, Ilkay E. An expert system for diagnosis of the heart valve diseases[J]. Expert Syst Appl, 2002, 23(3): 229-236.

3
Lancellotti P, Tribouilloy C, Hagendorff A, et al. European Association of Echocardiography recommendations for the assessment of valvular regurgitation. Part 1: aortic and pulmonary regurgitation (native valve disease)[J]. Eur J Echocardiogr, 2010, 11(3): 223-244.

4
Lancellotti P, Moura L, Pierard LA, et al. European Association of Echocardiography recommendations for the assessment of valvular regurgitation. Part 2: mitral and tricuspid regurgitation (native valve disease)[J]. Eur J Echocardiogr, 2010, 11(4): 307-332.

5
Zhang Q, Liu Y, Mi J, et al. Automatic assessment of mitral regurgitation severity using the Mask R-CNN algorithm with color Doppler echocardiography images[J]. Comput Math Methods Med, 2021, 2021: 2602688.

6
Yang F, Zhu J, Wang J, et al. Self-supervised learning assisted diagnosis for mitral regurgitation severity classification based on color Doppler echocardiography[J]. Ann Transl Med, 2022, 10(1): 3.

7
Yang F, Chen X, Lin X, et al. Automated analysis of doppler echocardiographic videos as a screening tool for valvular heart diseases[J]. JACC Cardiovasc Imaging, 2022, 15(4): 551-563.

8
Casaclang-Verzosa G, Shrestha S, Khalil MJ, et al. Network tomography for understanding phenotypic presentations in aortic stenosis[J]. JACC Cardiovasc Imaging, 2019, 12(2): 236-248.

9
Jocher G, Stoken A, Borovec J, et al. Ultralytics/YOLOv5: v5. 0-YOLOv5-P6 1280 models, AWS, Supervise. ly and YouTube integrations[J]. Zenodo, 2021.

10
Liu Z, Mao H, Wu CY, et al. A convnet for the 2020s[C]//CVPR. 2022: 11976-11986.

11
郭颖, 张瑞生. 中国成人心脏瓣膜病超声心动图规范化检查专家共识[J]. 中国循环杂志, 2021, 36(2): 109-125.

12
Elsken T, Metzen JH, Hutter F. Simple and efficient architecture search for convolutional neural networks[C]. arXiv preprint arXiv:1711.04528, 2017.

13
Fang W, Wang L, Ren P. Tinier-YOLO: A real-time object detection method for constrained environments[J]. IEEE Access, 2019, 8: 1935-1944.

14
Zhou J, Du M, Chang S, et al. Artificial intelligence in echocardiography: detection, functional evaluation, and disease diagnosis [J]. Cardiovasc Ultrasound, 2021, 19(1): 29.

15
Wu Y, Peng B, Luo Y, et al. Ultrasound vector flow mapping in left ventricle: a do it yourself study[C]. PRAI.IEEE, 2021: 261-266.

16
Atika L, Nurmaini S, Partan RU, et al. Image segmentation for mitral regurgitation with convolutional neural network based on UNet, Resnet, Vnet, FractalNet and SegNet: a preliminary study[J]. Big Data Cogn Comput, 2022, 6(4): 141.

文章导航

/


AI


AI小编
你好!我是《中华医学电子期刊资源库》AI小编,有什么可以帮您的吗?