切换至 "中华医学电子期刊资源库"
高级检索
中华医学超声杂志（电子版）

中华医学超声杂志（电子版） >

2023 , Vol. 20 >Issue 04: 424 - 429

DOI: https://doi.org/10.3877/cma.j.issn.1672-6448.2023.04.008

心血管超声影像学

基于深度学习的超声心动图自动识别节段性室壁运动异常的研究

  • 杨菲菲 ,
  • 林锡祥 ,
  • 陈亦新 ,
  • 王秋霜 ,
  • 张丽伟 ,
  • 陈煦 ,
  • 张梅青 ,
  • 王淑华 ,
  • 何昆仑 , †
展开
  • 100048　北京，解放军总医院第六医学中心心内科；100039　北京，解放军总医院大数据中心
  • 100039　北京，解放军医学院
  • 101310　北京，北京安德医智科技有限公司
  • 100142　北京，解放军总医院第四医学中心健康医学科
  • 100048　北京，解放军总医院第六医学中心心内科
  • 100039　北京，解放军总医院大数据中心
通信作者：何昆仑，Email：

Copy editor: 汪荣

收稿日期: 2021-11-02

  网络出版日期: 2023-08-07

基金资助

北京市自然科学基金(7202198)

国家自然科学基金(82202265)

版权

未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计，除非特别声明，本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。本刊为电子期刊，以网刊形式出版。
收起

Automatic detection of regional wall motion abnormalities by echocardiography based on deep learning

  • Feifei Yang ,
  • Xixiang Lin ,
  • Yixin Chen ,
  • Qiushuang Wang ,
  • Liwei Zhang ,
  • Xu Chen ,
  • Meiqing Zhang ,
  • Shuhua Wang ,
  • Kunlun He , †
Expand
  • Department of Cardiology, The Sixth Medical Center of Chinese PLA General Hospital, 100048 Beijing, China; Medical Big Data Research Center, Chinese PLA General Hospital, 100039 Beijing, China
  • Medical School of Chinese PLA, 100039 Beijing, China
  • BioMind Technology, Zhongguancun Medical Engineering Center, 101310 Beijing, China
  • Department of Cardiology, The Sixth Medical Center of Chinese PLA General Hospital, 100048 Beijing, China
  • Medical Big Data Research Center, Chinese PLA General Hospital, 100039 Beijing, China
Corresponding author: He Kunlun, Email:

Received date: 2021-11-02

  Online published: 2023-08-07

Copyright

Copyright by Chinese Medical Association No content published by the journals of Chinese Medical Association may be reproduced or abridged without authorization. Please do not use or copy the layout and design of the journals without permission. All articles published represent the opinions of the authors, and do not reflect the official policy of the Chinese Medical Association or the Editorial Board, unless this is clearly specified.
Fold

摘要

目的

探讨基于深度学习算法的超声心动图自动识别节段性室壁运动异常的效能。

方法

本研究回顾性收集了2015年6月至2019年9月在解放军总医院第四医学中心门诊及住院患者的超声心动图2274例作为训练集和验证集，其中包括心肌梗死患者1137例；另于2021年3月至2021年5月前瞻性收集1324例连续性超声心动图影像作为测试集，其中包括105例心肌梗死患者。本研究分为三个步骤，包括切面识别、左心室心肌分割以及室壁运动异常检测，并进一步比较了模型输入多个切面与输入单个切面对节段性室壁运动异常识别效能的差异。

结果

本研究神经卷积网络模型，对心尖四腔心切面（A4C），心尖两腔心切面（A2C）和心尖三腔心切面（A3C）的识别准确性分别为95%、98%、94%。心尖三个切面对左心室内膜分割的准确性均优于对心外膜的分割，且对心尖四腔心切面的分割准确性最佳（89.16%）。无论在内部验证集，还是外部测试集中，模型输入心尖三个切面对节段性室壁运动异常的识别效能均优于仅输入心尖四腔心单切面（ROC曲线下面积：0.942 vs 0.897；0.937 vs 0.828）。

结论

深度学习技术不仅可以自动识别超声心动图动态视频图像，并且可以识别节段性室壁运动异常，深度学习模型可以应用于临床实践，有助于提高超声的诊断效率。

关键词： 深度学习; 超声心动图; 室壁运动异常; 人工智能

本文引用格式

杨菲菲 , 林锡祥 , 陈亦新 , 王秋霜 , 张丽伟 , 陈煦 , 张梅青 , 王淑华 , 何昆仑 . 基于深度学习的超声心动图自动识别节段性室壁运动异常的研究[J]. 中华医学超声杂志（电子版）, 2023 , 20(04) : 424 -429 . DOI: 10.3877/cma.j.issn.1672-6448.2023.04.008

Abstract

Objectives

To investigate the efficiency of a deep learning (DL) framework to automatically analyze echocardiographic videos in detecting regional wall motion abnormalities.

Methods

A total of 2274 echocardiographic videos of outpatients and inpatients in the Fourth Medical Center of the PLA General Hospital from June 2015 to September 2019 were retrospectively collected as training and validation datasets, and 324 consecutive echocardiographic videos were prospectively collected as the test set, including 105 patients with myocardial infarction. We developed a three-stage DL framework, including 1) view classification, 2) left ventricular myocardial segmentation, and 3) regional wall motion abnormality detection. The difference in the recognition efficiency of segmental wall motion anomalies between the model based on videos in multiple views and those in a single view was then compared.

Results

The classification accuracy of the neural convolutional network model was 95%, 98%, and 94% for apical four chamber view (A4C), apical two chamber view (A2C), and apical three chamber view (A3C) videos, respectively. The accuracy of left ventricular endocardial segmentation based on videos in the three apical views was better than that of epicardial segmentation, and the segmentation result based on apical four chamber view videos was the best (89.16%). In both the internal validation dataset and external test dataset, the performance of the model based on videos in the three apical views was significantly better than that based on the single apical four chamber view videos (area under the curve: 0.942 vs 0.897; 0.937 vs 0.828).

Conclusions

The DL algorithm can not only automatically analyze echocardiographic videos, but also detect regional wall motion abnormalities. DL models can be applied in clinical practice to improve the diagnostic efficiency of echocardiography.

Key words： Deep learning; Echocardiography; Regional wall motion abnormalities; Artificial intelligence

心肌缺血或心肌梗死会引起心脏节段性室壁运动异常，超声心动图通过显示这一特征，可以无创地检测出缺血或梗死的区域以及心肌功能，其已成为诊断冠心病的一线影像学技术，在临床应用广泛。但是，目前节段性室壁运动异常的检测，主要是由超声医师肉眼评估心内膜的位移和增厚率来决定的，其结果势必依赖医师的主观判断和经验，导致诊断的个体间变异性大，且易发生漏诊或误诊。
近几年，人工智能（artificial intelligence，AI）在医学影像学领域发展较快，尤其深度学习技术，对包括肺部、乳腺、心脏、颅脑、肝脏等诸多器官疾病的MRI和CT影像均可实现接近或超越专家水准的自动识别与诊断［1, 2］。但是在超声心动图领域，因受到动态视频、图像分辨率不高等因素制约，结合AI的超声心动图研究刚刚起步，而且目前的研究多为静态图片的分析。本研究基于超声心动图动态视频图像，探讨深度学习技术自动识别室壁运动异常的可行性，并进一步验证分别输入心尖三个切面，与心尖四腔心单切面，模型的诊断效能是否存在差异。

资料与方法

一、研究对象

回顾性收集2015年6月至2019年9月在解放军总医院第四医学中心门诊及住院检查的超声心动图2274例，其中包括心肌梗死患者1137例，并按照1∶1匹配1137例无心血管疾病且室壁运动正常者作为对照组。以8∶2的比例将其分为训练集和内部验证集。后续本研究前瞻性连续性收集2021年3月至2021年5月1324例超声心动图影像作为测试集，其中105例确诊为心肌梗死患者。
心肌梗死患者的纳入标准为：（1）年龄≥18岁；（2）符合心肌梗死诊断标准［3］（急性和陈旧性），且超声心动图诊断节段性室壁运动异常者（前壁、下壁、后壁、侧壁、室间隔）；（3）超声心动图图像包括心尖四腔心切面、心尖两腔心切面和心尖三腔心切面的视频图像。排除标准：（1）年龄＜18岁；（2）符合心肌梗死诊断但超声心动图未见明显室壁运动异常者；（3）合并心房颤动和严重瓣膜病患者；（4）存在其他导致室壁运动异常的心肌病或者左束支传导阻滞等患者；（5）超声心动图图像缺少三个切面中任意一个者（心尖四腔心切面、心尖两腔心切面和心尖三腔心切面）。本研究获得解放军总医院第四医学中心临床试验医学伦理委员会批准（2019KY019-KS001），前瞻性研究中入院所有患者均签署知情同意书。

二、仪器与方法

1.超声心动图检查：嘱患者左侧卧或平卧，由3名具有10年以上工作经验的心脏超声科医师，分别于心尖切面、胸骨旁长轴和短轴切面、剑突下等切面，采集相应切面的二维、彩色多普勒、脉冲多普勒、M型等超声图像。采集时长为：正常窦性心律患者采集至少3个心动周期，包括所有静态和动态图像。采集切面具体内容及要求依据2019年美国心脏超声协会（American Society of Echocardiography，ASE）成人经胸超声心动图采集图像指南［4］。超声心动图仪器包括Phillips iE-elite超声诊断仪（探头S5-1，频率1~5 MHz）、Phillips CX50便携超声诊断仪（探头S5-1，频率1~5 MHz）、Phillips EPIQ 7C 超声诊断仪（探头X5-1，频率1~5 MHz）、GE Vivid E95超声诊断仪（探头M5S，频率1.5~4.6 MHz）和迈瑞M9cv便携超声诊断仪（探头SP5-1 s，频率1~5 MHz）。所有的图像均以DICOM格式下载和存储在服务器中，每个病例同时有超声心动图报告和临床资料。
2.一般临床资料收集：收集纳入患者的一般临床资料，包括性别、年龄、临床诊断、心脏超声主要参数等。
3.神经卷积网络模型训练方法和框架：（1）切面分类模型：利用超声心动图医师标注的心脏切面33 404张图片，通过神经网络训练，开发了一种可实现29个超声心动图切面自动分类的XceptionNet神经网络模型。（2）分割模型：首先由超声心动图医师分别勾画心尖三个切面的左心室心内膜和心外膜轮廓，采用每个视频中每三帧标注一帧的原则进行。将医师标注好的心尖四腔心切面493个视频（8555帧图像），心尖两腔心切面332个视频（5768帧图像）和心尖三腔心切面366个视频（6389帧图像）输入网络来训练分割模型LSTM-Unet，从而实现左心室的自动勾画。（3）节段性室壁运动识别模型：模型整体是一个多输入、多分支合并的结构，其中主要包含两个部分：对于每个切面的特征提取器R2+1D模块［5］和对提取出来的特征进行分类的全连接模块。①R2+1D：对于视频类型的数据，因为其包含三个维度（时间、宽、高），所以使用3D卷积的方式进行处理会消耗大量的时间和计算力。R2+1D通过对三个维度进行分解，同一时刻仅对视频的时间维度或者空间维度进行卷积，从而实现计算量的大幅度降低。其具体做法是将3×3×3的三维卷积核分解成3×1×1的时间卷积核和1×3×3的空间卷积核。每一个卷积层都包含激活函数LeakyReLU层和组归一化层GroupNorm层。②全连接模块：如图1所示，心尖四腔心切面（A4C）、心尖三腔心切面（A3C）和心尖两腔心切面（A2C）三个切面分别对应三个特征提取支路的输入。经过自适应平均池化层后，每一个支路会提取出1024个特征，进入全连接分类模块的数据为3072个特征。分类模块包含三层全连接层（包含dropout层和LeakyReLU激活层），最终输出的是无心肌梗死的分数和心肌梗死的分数，分类结果为分数高的类别。
图1 节段性室壁运动识别模型结构示意图

注：R2plus1D为残差网络结构：R=residual残差；D=dimension 维度；Feature Extrator为特征提取器；Adaptive avgPool为自适应池化；Classfication Module为分类模块；Normal为正常人；MI为心肌梗死患者

三、统计学分析

采用SPSS 22.0软件对数据进行统计学分析。符合正态分布的计量资料以
x¯
±s表示，计数资料以例（%）表示。绘制受试者工作特征（receiver operating characteristic，ROC）曲线，并计算曲线下面积（area under the curve，AUC）以及识别节段性室壁运动异常的敏感度、特异度和准确性以评价模型的效能。

结果

一、一般临床资料

本研究训练集纳入1137例临床确诊心肌梗死的患者，平均年龄（71.0±13.0）岁，男性812例（812/1137，71.4%），左心室射血分数（left ventricular ejection fraction，LVEF）为（44.0±8.6）%。前瞻性连续收集1324个超声心动图影像作为测试集，其中105例（105/1324，7.9%）心肌梗死患者，平均年龄（62.3±12.7）岁，男性77例（77/105，73.3%），LVEF（47.7±9.0）%（表1）。
表1 训练集和测试集心肌梗死患者一般临床资料
临床资料 训练集（n=1137） 测试集（n=105）
年龄（岁，
x¯
±s）		 71.0±13.0 62.3±12.7
男性［例（%）］ 812（71.4） 77（73.3）
并发症
高血压［例（%）］ 385（33.9） 63（60.0）
高血脂［例（%）］ 543（47.8） 30（28.6）
糖尿病［例（%）］ 448（39.4） 20（19.0）
心肌梗死部位
前壁［例（%）］ 489（43.0） 31（29.5）
下壁［例（%）］ 300（26.4） 36（34.3）
侧壁［例（%）］ 17（1.5） 4（3.8）
多个壁［例（%）］ 331（29.1） 34（32.4）
常规超声参数
LVEF（%，
x¯
±s）		 44.0±8.6 47.7±9.0
LVEDV（ml，
x¯
±s）		 111.0±39.3 116.7±36.9
LVESV（ml，
x¯
±s）		 60.0±29.4 62.7±29.9
LV（mm，
x¯
±s）		 48.0±6.5 49.5±5.6
RV（mm，
x¯
±s）		 31.0±3.5 31.6±3.1
LA（mm，
x¯
±s）		 40.0±4.5 38.6±3.6
RA（mm，
x¯
±s）		 32.0±4.1 33.0±4.0

注：LVEF为左心室射血分数；LVEDV为左心室舒张末容积；LVESV为左心室收缩末容积；LV为左心室侧径；RV为右心室侧径；LA为左心房侧径；RA为右心房侧径

二、模型对于超声心动图切面分类以及左心室分割的效能分析

本研究神经卷积网络模型，对A4C，A2C和A3C的识别准确性分别为95%、98%、94%（图2）。心尖三个切面，对左心室内膜分割的准确性均优于对心外膜的分割，且对心尖四腔心切面的分割准确性最佳（89.16%，表2）。
图2 归一化混淆矩阵

注：A4C-2D为心尖四腔心二维切面；A2C-2D为心尖二腔心二维切面；A3C-2D为心尖三腔心二维切面

表2 模型对于超声心动图切面分类以及左心室分割的效能分析
超声心动图切面 切面分类准确性（%） 左心室心内膜分割IoU（%） 左心室心外膜分割IoU（%）
心尖四腔心切面 95 89.16 70.24
心尖两腔心切面 98 87.24 64.78
心尖三腔心切面 94 85.80 65.75

注：IoU为重叠度

三、模型输入心尖三个切面与输入心尖四腔心单切面对节段性室壁运动异常识别效能的比较（内部验证集）

ROC曲线结果显示，在内部验证集中，模型输入心尖三个切面对节段性室壁运动异常的识别效能优于只输入心尖四腔心单切面时的识别效能，包括ROC曲线下面积、敏感度、特异度和准确性（表3）。
表3 模型输入心尖三个切面与输入心尖四腔心单切面识别节段性室壁运动异常的效能比较（内部验证集）
超声心动图切面 AUC（95%CI） 敏感度（95%CI） 特异度（95%CI） 准确性（95%CI）
心尖三个切面 0.942（0.930~0.957） 0.857（0.839~0.881） 0.916（0.890~0.939） 0.875（0.855~0.898）
心尖四腔心切面 0.897（0.855~0.927） 0.772（0.744~0.809） 0.880（0.858~0.920） 0.805（0.781~0.828）

注：AUC为ROC曲线下面积；95%CI为95%可信区间

四、模型输入心尖三个切面与输入心尖四腔心单切面对节段性室壁运动异常识别效能的比较（外部测试集）

ROC曲线结果显示，在外部测试集中，模型输入心尖三个切面对节段性室壁运动异常的识别效能优于只输入心尖四腔心单切面时的识别效能，包括ROC曲线下面积、敏感度、特异度和准确性（表4，图3）。
表4 模型输入心尖三个切面与输入心尖四腔心单切面识别节段性室壁运动异常的效能比较（外部测试集）
超声心动图切面 AUC（95%CI） 敏感度（95%CI） 特异度（95%CI） 准确性（95%CI）
心尖三个切面 0.937（0.913~0.958） 0.867（0.820~0.931） 0.868（0.807~0.914） 0.938（0.924~0.950）
心尖四腔心切面 0.828（0.781~0.872） 0.724（0.663~0.822） 0.806（0.740~0.859） 0.847（0.828~0.866）

注：AUC为ROC曲线下面积；95%CI为95%可信区间

图3 心尖三个切面与心尖四腔心单切面识别室壁运动异常的ROC曲线（外部测试集）

讨论

本研究发现，利用深度学习模型可以自动识别超声心动图动态视频切面，分割左心室心肌，并进一步鉴别节段性室壁运动异常者。此外，本研究还验证了多切面比单切面更加适用于模型特征的提取，对于自动识别节段性室壁运动异常，用心尖三个切面的模型效能明显优于心尖四腔心单切面的识别。
近年来，随着计算机能力的发展和算法的互相促进，AI得到了飞速的发展。深度学习是当前AI领域研究最多、应用前景最广的方向之一，相较于传统机器学习算法，深度学习在图像处理方面具有明显优势［6, 7］。深度学习在超声心动图切面识别、疾病分类等方面已经有了初步探索，其对于超声心动图参数的自动测量和分析诊断，与专业医师手动操作相比具有明显优势，深度学习有助于排除人为主观因素的干扰，减少心脏超声诊断个体间差异和个体内差异，提高诊断的准确性和一致性。同时，可以大大缩短诊断时间，提高超声诊断效率［8］。
超声心动图切面的分类识别是其诊断疾病的基础，Zhang等［9］报道了应用神经网络模型可以实现23个心脏超声切面的识别，准确性为84%。本研究开发的神经卷积网络模型，可以准确地对29个心脏超声切面进行分类识别，这些切面既包含了二维的动态视频，还包含M型、多普勒频谱等多种类型的超声切面，其中对心尖三个切面识别的准确性达94%以上。
本研究开发的神经卷积网络模型在自动挑选出心尖三个切面后，再对左心室心内膜和心外膜进行分割，这样就可以把左心室心肌提取出来。根据视频中每一帧之间心肌的运动来识别节段性室壁运动异常。既往关于AI在心肌梗死中的研究并不多，Kusunose等［10］入选了300例心肌梗死的患者，通过输入超声心动图短轴三帧静态图像，利用深度学习技术来识别节段性室壁运动异常，深度学习算法与心脏超声医师识别的ROC曲线下面积相比无明显差异（0.99 vs 0.98，P=0.15）。本研究的模型是直接输入的动态视频，对模型性能要求更高，该模型的效能无论在内部验证集，还是外部测试集均取得了很好的识别结果，ROC曲线下面积分别为0.942和0.937。并且本研究选用的测试集为真实世界的连续性数据，此结果可代表该模型在实际应用中的水平。
本研究进一步验证了分别输入多个切面与单个切面，是否对模型效能产生影响。理论上对模型输入多个切面会比单个切面信息多，可能模型识别效能会更好。但是输入多个切面，会大大增加模型的训练难度，使其收敛缓慢，而且对算力要求高。目前，指南将左心室心肌分为17节段，心尖四腔心、三腔心和两腔心三个切面可以显示这17个节段。但是在实际临床工作中，对于心尖这三个切面，往往心尖四腔心较两腔心和三腔心更容易采集，所以图像更为标准和清晰。而且对于低年资超声医师或基层医师来说，大家往往只参照心尖四腔心来识别室壁运动异常。多切面输入是否会对模型造成干扰，或者对于模型来说，是否单切面识别已经足够。基于这一假设，本研究验证了多切面和单切面的区别。结果显示，无论内部验证集和外部测试集，心尖三个切面的模型识别效果均明显优于单个切面。因此本研究结果表明，给予模型输入越多的信息将更加有利于模型对于特征的提取，提高模型的识别效能。
本研究尚存在一定的局限性：（1）本研究为单中心研究，今后需要进一步行多中心前瞻性研究进行验证。（2）本研究目前只是识别是否存在室壁运动异常，未来的研究将进一步具体到某个心肌节段的室壁运动异常。
综上所述，深度学习技术不仅可以自动识别超声心动图动态视频图像，并且可以识别节段性室壁运动异常，深度学习模型可以应用于临床实践，有助于提高超声的诊断效率。

参考文献

原文顺序 | 文献年度倒序 | 文中引用次数倒序
1
Das N, Topalovic M, Janssens W. Artificial intelligence in diagnosis of obstructive lung disease: current status and future potential[J]. Curr Opin Pulm Med, 2018, 24(2): 117-123.

2
Rajkomar A, Dean J, Kohane I. Machine learning in medicine[J]. N Engl J Med, 2019, 380(26): 1347-1358.

3
Ibanez B, James S, Agewall S, et al. 2017 ESC Guidelines for the management of acute myocardial infarction in patients presenting with ST-segment elevation: The Task Force for the management of acute myocardial infarction in patients presenting with ST-segment elevation of the European Society of Cardiology (ESC)[J]. Eur Heart J, 2018, 39(2):119-177.

4
Mitchell C, Rahko PS, Blauwet LA, et al. Guidelines for performing a comprehensive transthoracic echocardiographic examination in adults: recommendations from the American Society of Echocardiography[J]. J Am Soc Echocardiogr, 2019, 32(1):1-64.

5
Tran D, Wang H, Torresani L, et al. A closer look at spatiotemporal convolutions for action recognition[C]//2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), IEEE, 2018.

6
Grewal PS, Oloumi F, Rubin U, et al. Deep learning in ophthalmology: a review[J]. Can J Ophthalmol, 2018, 53(4): 309-313.

7
Obermeyer Z, Emanuel EJ. Predicting the future-big data, machine learning, and clinical medicine[J]. N Engl J Med, 2016, 375: 1216-1219.

8
Alsharqi M, Woodward WJ, Mumith JA, et al. Artificial Intelligence and Echocardiography[J]. Echo Res Pract, 2018, 5(4): R115-R125.

9
Zhang J, Gajjala S, Agrawal P, et al. Fully automated echocardiogram interpretation in clinical practice[J]. Circulation, 2018, 138(16): 1623-1635.

10
Kusunose K, Abe T, Haga A, et al. A deep learning approach for assessment of regional wall motion abnormality from echocardiographic images [J]. JACC Cardiovasc Imaging, 2020, 13(2 Pt 1): 374-381.

Options
文章导航

/

〈 〉

版权所有 中华医学会 中华医学电子音像出版社有限责任公司  京ICP备14006079号-1  网络出版服务许可证：(署)网出证(京)字第075号

AI
小
编
AI小编
你好！我是《中华医学电子期刊资源库》AI小编，有什么可以帮您的吗？