切换至 "中华医学电子期刊资源库"
综述

人工智能在胎儿超声心动图中的应用与进展

  • 孙利华 ,
  • 马明明 ,
  • 陈冉 ,
  • 朱江 ,
  • 赵博文 , 1,
展开
  • 1.310016 杭州,浙江大学医学院附属邵逸夫医院超声科 浙江省胎儿心脏超声诊断技术指导中心
  • 2.31000 杭州,浙江省妇科重大疾病精准诊治研究重点实验室 浙江大学医学院附属妇产科医院超声科
通信作者:赵博文,Email:

Copy editor: 吴春凤

收稿日期: 2023-12-10

  网络出版日期: 2024-07-09

基金资助

国家自然科学基金(81974470)

浙江省自然科学基金(LY18H180001)

版权

未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计,除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。本刊为电子期刊,以网刊形式出版。

Progress in application of artificial intelligence in fetal echocardiography

  • Lihua Sun ,
  • Mingming Ma ,
  • Ran Chen
Expand

Received date: 2023-12-10

  Online published: 2024-07-09

Copyright

Copyright by Chinese Medical Association No content published by the journals of Chinese Medical Association may be reproduced or abridged without authorization. Please do not use or copy the layout and design of the journals without permission. All articles published represent the opinions of the authors, and do not reflect the official policy of the Chinese Medical Association or the Editorial Board, unless this is clearly specified.

摘要

先天性心脏病(congenital heart disease,CHD)在所有新生儿中占1%,是最常见的出生缺陷,也是新生儿先天性出生缺陷死亡的主要原因[1],准确的产前诊断可显著提高CHD的围手术期治疗效果和手术成功率,降低新生儿死亡率。胎儿超声心动图由于具有无创、无辐射、实时、动态等优势,已成为胎儿CHD主要的筛查和诊断工具[2]。在过去的20年中,在产前诊断CHD的准确性方面取得了重要的研究进展,既往多项研究报道了胎儿超声心动图可以准确检出CHD,准确率高达85%[3,4]。然而,由于部分地区缺乏专业的胎儿心脏超声筛查人员及产前筛查条件不完善,造成产前CHD的检出率存在明显地区差异[5]。Quartermain等[6]进行了一项大型研究,研究表明一些社区产前检出CHD的概率仅为34%。另一项国际研究表明,一些国家的CHD产前检出率低至14%[6,7,8]。近年来,人工智能(artificial intelligence,AI)在胎儿心脏超声领域得到迅速发展,通过AI可以自动化、标准化显示胎儿心脏各个诊断切面,并能准确地做出诊断,有望减少对操作者经验的依赖性,从而改善不同地域之间的CHD检出率差异[9]。在本综述中,笔者将简要介绍AI的概念并讨论AI在胎儿超声心动图方面的应用情况及未来发展方向。

本文引用格式

孙利华 , 马明明 , 陈冉 , 朱江 , 赵博文 . 人工智能在胎儿超声心动图中的应用与进展[J]. 中华医学超声杂志(电子版), 2024 , 21(07) : 741 -744 . DOI: 10.3877/cma.j.issn.1672-6448.2024.07.017

先天性心脏病(congenital heart disease,CHD)在所有新生儿中占1%,是最常见的出生缺陷,也是新生儿先天性出生缺陷死亡的主要原因[1],准确的产前诊断可显著提高CHD的围手术期治疗效果和手术成功率,降低新生儿死亡率。胎儿超声心动图由于具有无创、无辐射、实时、动态等优势,已成为胎儿CHD主要的筛查和诊断工具[2]。在过去的20年中,在产前诊断CHD的准确性方面取得了重要的研究进展,既往多项研究报道了胎儿超声心动图可以准确检出CHD,准确率高达85%[3,4]。然而,由于部分地区缺乏专业的胎儿心脏超声筛查人员及产前筛查条件不完善,造成产前CHD的检出率存在明显地区差异[5]。Quartermain等[6]进行了一项大型研究,研究表明一些社区产前检出CHD的概率仅为34%。另一项国际研究表明,一些国家的CHD产前检出率低至14%[6,7,8]。近年来,人工智能(artificial intelligence,AI)在胎儿心脏超声领域得到迅速发展,通过AI可以自动化、标准化显示胎儿心脏各个诊断切面,并能准确地做出诊断,有望减少对操作者经验的依赖性,从而改善不同地域之间的CHD检出率差异[9]。在本综述中,笔者将简要介绍AI的概念并讨论AI在胎儿超声心动图方面的应用情况及未来发展方向。

一、AI的定义

AI是计算机科学的一个领域,专注于以类似人类的方式学习、推理和自我纠正的算法的发展,能够模拟、扩展人类智能及执行相关任务[10]。机器学习是AI的一个重要子集,可以从数据中学习、识别图像并作出决策[10]。在机器学习领域中,深度学习应用最为广泛,深度学习是机器学习的强大进化,在深度学习结构中,卷积神经网络(convolutional neural network,CNN)常用于医学图像处理任务,在超声图像自动分析方面具有巨大潜力[11,12,13]。目前CNN的深度学习算法包括ResNet、U-Net、DeepLab和生成对抗网络。ResNet网络架构应用于图像识别领域,U-Net和DeepLab主要应用于图像分割方面,生成对抗网络主要用于生成以假乱真的图片,以克服数据不足的问题。

二、AI在胎儿超声心动图中的应用

目前,AI在胎儿超声心动图中的研究越来越广泛,主要集中在图像采集、图像优化、自动化测量、识别异常值、疾病诊断分类等方面。

(一)胎儿心脏超声图像采集

任何超声诊断过程的第一步都是获取适当图像。与成人超声心动图相比,获得胎儿超声心动图的图像在很大程度上依赖于许多因素,包括胎儿位置和操作者获取和识别图像的经验。诊断过程中的后续步骤也受到获得图像的质量和能力的影响。自动化识别和存储最佳胎儿心脏平面的过程可以提高超声医师的效率,减少图像的可变性,产生高质量图像,提高产前CHD的检出率。胎儿心脏超声智能导航技术(fetal intelligent navigation echocardiography,FINE)是近年发展起来的一项新技术,是以四腔心切面为基本切面,采集胎儿心脏容积数据,寻找并标记心内结构靶点,智能化、标准化地快速自动生成CHD筛查所需的9个标准切面[14]。近年来,对于FINE的研究主要围绕胎儿超声心动图检查标准切面的显示及对胎儿CHD的诊断效能方面。Garcia等[15]开展了一项前瞻性临床研究,该研究纳入207例正常胎儿,每例胎儿进行常规胎儿超声心动图检查及FINE检查,结果表明FINE成功获取具有诊断价值的标准胎儿超声心动图切面率为98%~100%。近年来,赵博文团队[16,17,18]对中晚孕期超声心动图诊断的圆锥动脉干畸形(右心室双出口、完全型大动脉转位、法洛四联症)胎儿,通过FINE联合VIS-Assistance®获取标准诊断平面进行了一系列的研究,观测FINE获取圆锥动脉干畸形关键诊断切面及诊断要素的显示成功率,结果显示FINE对于常见胎儿CHD各诊断切面及诊断要素的显示率高,且具有良好的重复性及一致性,表明FINE技术有助于胎儿圆锥动脉干畸形的筛查与诊断,在远程会诊及教学方面具有潜在的临床应用价值。Yeo等[19]的研究显示,FINE检查CHD的敏感度为98%,特异度为93%,因此建议在常规筛查中实施FINE,提高产前CHD的检出率。
AI的另一个潜在用途是从胎儿心脏超声心动图成像数据库中自动获取9个标准诊断切面。Baumgartner等[20]首次引入SonoNet模型,使用CNN从一组超声视频中检测标准诊断切面,省去了超声医师停止并获得必要图像的需要。SonoNet模型利用大约1000个健康胎儿的心脏超声图像,自动检出四腔心、左心室流出道、右心室流出道和三血管切面,检出率分别是95.00%、78.50%、73.08%、81.90%。最近,Arnaout等[21]开发了一种能够自动识别胎儿心脏切面的CNN神经网络模型,该模型基于1326张二维超声灰阶图像来区分正常和异常胎儿心脏的5个标准切面(腹部平面、四腔心切面、左心室流出道切面、三血管切面、三血管气管切面),实现了0.99的曲线下面积,95%的敏感度,96%的特异度和100%的阴性预测值,模型敏感度与临床医师相当,可以显著提高胎儿CHD的检出率。

(二)胎儿心脏超声图像优化和质量控制

除了图像采集,图像质量对于胎儿CHD的准确诊断至关重要。然而,由于胎儿的不自主运动、心脏体积小而复杂、超声斑点噪声及伪影等影响,以及一些从事产科超声的医师缺乏胎儿超声心动图的专业知识,使得超声心动图的图像质量良莠不齐。近年来,关于胎儿心脏超声图像自动质量控制的研究鲜有报道。Abdi等[22]采用CNN回归模型将6919幅胎儿心脏四腔心切面超声图像与心脏病专家确定的相应质量评分相比较,结果显示训练模型与专家间的平均绝对误差为0.71±0.58,从而实现了心尖四腔心切面质量的自动评估。Abdi等[23]提出了一种基于循环神经网络的深度学习模型,该模型可以自动区分胎儿超声心动图5个标准切面(四腔心、三腔心、二腔心、大动脉短轴、左心室短轴乳头肌水平切面),并与心脏病专家确定的相应质量评分相关联,该研究纳入509例病例,包含了2450个胎儿超声心动图5个标准切面数据集进行测试,与专家确定的质量评分相比较,该模型的平均质量评分准确率达到了85%。Dong等[24]提出了一种通用的深度学习框架,用于胎儿心脏四腔心切面的质量控制,该框架由3个基于CNN的网络(B-CNN,D-CNN,ARVBNet)组成,分别用于进行粗略分类、分类细化和解剖结构检测,在胎儿超声心动图数据集上的试验证明了质量控制框架的有效性,也展示了ARVBNet的泛化和适应性,在临床实践中,这种类型的算法可以提供对图像质量进行定量评估,并为新手实时提供图像优化信息。

(三)胎儿心脏超声智能自动测量

胎儿心脏结构、功能和多普勒频谱的测量是胎儿超声心动图工作流程的重要组成部分。将AI应用于工作流程的优势是可以减少获取标准测量的时间和节省体力,同时还可提高重复性。实时测量的自动化还可以防止因为时间延迟而造成的测量异常。Sulas等[25]开发了一种算法,使用全连接神经网络自动识别胎儿超声心动图的多普勒模式,平均准确度可达88%,对于与CHD相关的节律异常或细微生理变化的患者具有很好的实用价值。为了更准确、有效地预测胎儿左心室容积,Yu等[26]提出了一种基于反向神经网络的二维超声单平面低压容积的测定方法计算胎儿左心室容积,研究发现反向神经网络法与四维超声获取的左心室容积具有最高的一致性相关系数[0.9691(95%CI:0.9663~0.9717)]及组内相关系数[0.9401(95%CI:0.9348~0.9449)],同时该模型进一步获取的左心室功能相关参数与四维超声获取的数据比较也具有最好的一致性,该模型对胎儿每搏量评估的平均偏差为0.03 ml,95%可信区间为-0.15~0.20 ml。Bridge等[27]首次使用端到端神经网络框架从正常胎儿超声心动图视频中直接预测心脏周期并利用深度学习模型对胎儿心脏超声四腔心切面、三血管切面及左心室流出道切面进行自动识别、注释和特征提取,为将来异常胎儿心脏切面的自动测量和诊断奠定了基础。Cai等[28]提出基于知识蒸馏技术构建的胎儿心脏超声图像分割网络模型对1300例胎儿心脏超声图像三血管切面进行了精细化分割,结果显示该模型较现有的最常用的分割模型(U-Net模型及DeepLabv3+模型)获得了更精确的分割边界,并且在定量评价指标上均有提高,平均交并比、像素准确率、Dice系数分别为68.6%、81.4%、81.3%。Xu等[29]使用DW-Net模型对895个胎儿心尖四腔心切面的多个解剖结构进行自动分割,结果表明DW-Net较其他的主流图像分割方法具有更好的分割效果,骰子相似系数为0.827,像素精度为0.933,受试者操作特征(receiver operating characteristic,ROC)曲线下面积为0.990,DW-Net模型对胎儿心尖四腔心切面精确自动分割,有利于进一步提取早期胎儿超声心动图的有用临床指标,提高CHD产前诊断的准确性和效率。

(四)胎儿CHD的识别

提升AI产前检出CHD的能力是一个持久的研究目标。Komatsu等[30]利用CNN开发了SONO模型来检测363例胎儿心脏解剖结构,并在四腔心切面和三血管切面周围的连续横截面视频中标记结构异常,结果心脏和血管的ROC曲线下面积分别为0.787和0.891,实现了胎儿超声心动图中每个心脏关键结构的自动检测,并适用于异常胎儿心脏结构的检查。周小雪等[31]提出一种基于生成对抗式网络的深度学习模型——DGACNN,研究将正常和异常收缩末期四腔心切面静态图片3596张和动态视频图像100幅作为训练集、测试集和验证集,对DGACNN模型进行训练、测试和验证,发现在假阳性率20%范围内时,该模型识别胎儿CHD的准确率为84%,ROC曲线下面积为0.881,在产前筛查方面具有很大潜力。Gong等[32]提出了DGACNN模型,该模型利用110 000个视频图像来增强胎儿视频数据集,并使用视频转移学习来分类图像是否可能有CHD,从胎儿超声视频片段中筛查CHD的识别率达到85%。Nurmaini等[33]利用Mask-RCNN(MRCNN)对764张胎儿超声心动图图像进行处理,将其用于胎儿间隔缺损的检测和分割,该模型自动将胎儿心脏分割为心房、心室和主动脉,实现了对心腔的良好检测性能,对右心房的检测率为97.59%,对左心房的检测率为99.67%,左心室为86.17%,右心室为98.83%,主动脉为99.97%;并识别出房间隔缺损、室间隔缺损位置,MRCNN的平均精度均值高达99.48%。Anda等[34]提出了基于深度学习的智能决策支持系统,该系统可以收集和分析数据、与其他的系统框架交流,从经验中学习并根据新的病例进行相应的适应,是第一个用于妊娠早期CHD筛查的AI。Arnaout等[21]在一个大型胎儿超声数据集上使用神经网络,首先使用监督模型分类各种心脏切面,然后对正常或异常解剖结构进行分类,识别复杂的CHD,该数据集包括1326例胎儿超声心动图,约400例患有严重CHD,此外将含有0.9%CHD的4180个胎儿作为测试集中,使用分割模型计算标准胎儿心胸测量,显示>95%的敏感度和特异度,这些结果非常有前景,使AI的算法接近专家的准确率。

三、挑战和未来方向

AI对于胎儿CHD的研究尚处于初步阶段,由于许多研究采用较小的数据集,限制了AI的通用性。为了解决这个问题,采用更为广泛的、更大的数据集非常重要,但在胎儿领域支持这些研究的基础设施相对匮乏。Diller等[35]对此问题提出了一个创新的解决方案,利用机器学习通过从现有图像生成合成帧来扩大训练图像池,在这些数据上训练分割网络产生了与原始数据基地相当的结果,类似的方法可适用于AI在胎儿超声心动图中的应用。其次,特定于供应商的算法限制了模型对更广泛人群的泛化,且大多数模型使用需要定量手动数据标签的监督学习算法。此外,随着新技术的出现,资源有限的区域可能较少使用这些技术,可能会对社区之间日益扩大的差距有潜在影响。建立强大的AI辅助超声模型,多中心、多样化的数据应纳入未来的研究,必须建立数据质量控制标准以确保数据集的质量。
AI在改善胎儿CHD的检出方面具有重要潜力。正如本综述所展示的,AI在胎儿超声心动图的图像采集、自动化测量和疾病状态的识别方面已经取得了重要进展。然而,到目前为止,AI在该领域的增长受到了数据缺乏、实施新技术的资源有限等问题的限制。尽管如此,AI技术在医学成像领域仍然有很大的潜力,AI技术在胎儿超声心动图方面的快速发展,使其有望成为胎儿心脏超声心动图的常规诊断工具。
1
Reller MD, Strickland MJ, Riehle-Colarusso T, et al. Prevalence of congenital heart defects in metropolitan Atlanta, 1998-2005 [J]. J Pediatr, 2008, 153(6): 807-813.

2
Kanwal A, Sheikh AM, Saher T. Determining the factors causing delayed referral for fetal echocardiography at a tertiary care hospital [J]. J Saudi Heart Assoc, 2018, 30(3): 205-210.

3
Randall P, Brealey S, Hahn S, et al. Accuracy of fetal echocardiography in the routine detection of congenital heart disease among unselected and low risk populations:a systematic review [J]. BJOG. 2005, 112(1): 24-30.

4
Li Y, Hua Y, Fang J, et al. Performance of different scan protocols of fetal echocardiography in the diagnosis of fetal congenital heart disease: a systematic review and meta-analysis [J]. PLoS One, 2013, 8(6): e65484.

5
Zuhlke L, Lawrenson J, Comitis G, et al. Congenital heart disease in low- and lower-middle-income countries: current status and new opportunities [J]. Curr Cardiol Rep, 2019, 21(12): 163.

6
Quartermain MD, Pasquali SK, Hill KD, et al. Variation in prenatal diagnosis of congenital heart disease in infants [J]. Pediatrics, 2015, 136(2): e378-e385.

7
Bakker MK, Bergman JEH, Krikov S, et al. Prenatal diagnosis and prevalence of critical congenital heart defects: an international retrospective cohort study [J]. BMJ Open, 2019, 9(7): e028139.

8
Oster ME, Lee KA, Honein MA, et al. Temporal trends in survival among infants with critical congenital heart defects [J]. Pediatrics, 2013, 131(5): e1502-e1508.

9
Garcia-Canadilla P, Sanchez-Martinez S, Crispi F, et al. Machine learning in fetal cardiology: what to expect [J]. Fetal Diagn Ther, 2020, 47(5): 363-372.

10
Davis A, Billick K, Horton K, et al. Artificial intelligence and echocardiography: a primer for cardiac sonographers [J]. J Am Soc Echocardiogr, 2020, 33(9): 1061-1066.

11
陈凯玲, 王文平. 基于超声影像的人工智能在肝脏局灶性病变中的研究进展 [J]. 中华超声影像学杂志, 2021, 30(9): 824-828.

12
于腾飞, 何文, 甘从贵, 等. 基于深度学习超声在乳腺肿块四分类中的应用价值 [J]. 中华超声影像学杂志, 2020, 29(4): 337-342.

13
朱业, 谢雨霁, 谢明星, 等. 人工智能在心血管超声的应用 [J]. 中华超声影像学杂志, 2021, 30(4): 356-361.

14
Veronese P, Bogana G, Cerutti A, et al. A prospective study of the use of fetal intelligent navigation echocardiography (FINE) to obtain standard fetal echocardiography views [J]. Fetal Diagn Ther, 2017, 41(2): 89-99.

15
Garcia M, Yeo L, Romero R, et al. Prospective evaluation of the fetal heart using fetal intelligent navigation echocardiography (FINE) [J]. Ultrasound Obstet Gynecol, 2016, 47(4): 450-459.

16
Ma M, Li Y, Chen R, et al. Diagnostic performance of fetal intelligent navigation echocardiography (FINE) in fetuses with double-outlet right ventricle (DORV) [J]. Int J Cardiovasc Imaging, 2020, 36(11): 2165-2172.

17
Huang C, Zhao BW, Chen R, et al. Is fetal intelligent navigation echocardiography helpful in screening for d-transposition of the great arteries? [J]. J Ultrasound Med, 2020, 39(4): 775-784.

18
汪贤臣, 赵博文, 李世岩, 等. 胎儿心脏超声智能导航技术在法洛四联症中的诊断效能[J]. 中国医学影像学杂志, 2021, 29(6): 603-613.

19
Yeo L, Luewan S, Romero R, et al. Fetal intelligent navigation echocardiography (FINE) detects 98% of congenital heart disease [J]. J Ultrasound Med, 2018, 37(11): 2577-2593.

20
Baumgartner CF, Kamnitsas K, Matthew J, et al. SonoNet: real-time detection and localisation of fetal standard scan planes in freehand ultrasound [J]. IEEE Trans Med Imaging, 2017, 36(11): 2204-2215.

21
Arnaout R, Curran L, Zhao Y, et al. An ensemble of neural networks provides expert-level prenatal detection of complex congenital heart disease [J]. Nat Med, 2021, 27(5): 882-891.

22
Abdi AH, Luong C, Tsang T, et al. Automatic quality assessment of echocardiograms using convolutional neural networks: Feasibility on the apical four chamber view [J]. IEEE Trans Med Imag, 2017, 36(6): 1221-1230.

23
Abdi AH, Luong C, Tsang T, et al. Quality assessment of echocardiographic cine using recurrent neural networks: feasibility on five standard view planes [C]//International Conference on Medical Image Computing & Computer-assisted Intervention, 2017: 302-310.

24
Dong J, Liu S, Liao Y, et al. A generic quality control framework for fetal ultrasound cardiac four-chamber planes [J]. IEEE J Biomed Health Inform, 2020, 24(4): 931-942.

25
Sulas E, Ortu E, Raffo L, et al. Automatic recognition of complete atrioventricular activity in fetal pulsed-wave Doppler signals [J]. Annu Int Conf IEEE Eng Med Biol Soc, 2018, 2018: 917-920.

26
Yu L, Guo Y, Wang Y, et al. Determination of fetal left ventricular volume based on two-dimensional echocardiography [J]. J Healthc Eng, 2017, 2017: 4797315.

27
Bridge CP, Ioannou C, Noble JA, et al. Automated annotation and quantitative description of ultrasound videos of the fetal heart [J]. Med Image Anal, 2017, 36: 147-161.

28
Cai Q, Chen R, Li L, et al. The application of knowledge distillation toward fine-grained segmentation for three-vessel view of fetal heart ultrasound images [J]. Comput Intell Neurosci, 2022: 1765550.

29
Xu L, Liu M, Shen Z, et al. DW-Net: A cascaded convolutional neural network for apical four-chamber view segmentation in fetal echocardiography [J]. Comput Med Imaging Graph, 2020, 80: 101690.

30
Komatsu M, Sakai A, Komatsu R, et al. Detection of cardiac structural abnormalities in fetal ultrasound videos using deep learning [J]. Appl Sci, 2021,11(1): 371.

31
周小雪, 张莹莹, 张烨, 等. 人工智能技术在胎儿超声心动图四腔心切面筛查中的应用[J]. 中华超声影像学杂志, 2020, 29(8): 668-672.

32
Gong Y, Zhang Y, Zhu H, et al. Fetal congenital heart disease echocardiogram screening based on DGACNN: adversarial one-class classification combined with video transfer learning [J]. IEEE Trans Med Imaging, 2020, 39(4): 1206-1222.

33
Nurmaini S, Rachmatullah MN, Sapitri AI, et al. Accurate detection of septal defects with fetal ultrasonography images using deep learning-based multiclass instance segmentation [J]. IEEE Access, 2020, 8: 196160-196174.

34
Anda U, Andreea-Sorina M, Laurentiu PC, et al. Learning deep architectures for the interpretation of first-trimester fetal echocardiography (LIFE)—A study protocol for developing an automated intelligent decision support system for early fetal fechocardiography [J]. BMC Pregnancy Childbirth, 2023, 23(1): 20.

35
Diller GP, Vahle J, Radke R, et al. Utility of deep learning networks for the generation of artificial cardiacmagnetic resonance images in congenital heart disease [J]. BMCMed Imaging, 2020, 20(1): 113.

文章导航

/


AI


AI小编
你好!我是《中华医学电子期刊资源库》AI小编,有什么可以帮您的吗?