运用模拟技术进行技能评估首先要明确基于模拟的技能评估能否反映学员在临床实践中的技能表现，了解基于模拟和基于真实孕妇的技能评估方式在教育测量学指标上的异同。法国学者Chalouhi和国内学者赵永锋等开展了基于模拟和基于孕妇考核方式的对照研究。Chalouhi等^［16］首次对比了在超声模拟器和志愿者孕妇上进行技能考核的效果。29名学员在孕妇和模拟器上分别获取6幅中孕期标准切面图像，并进行双顶径、腹围、股骨长度的测量。考官依据主观判断将学员的技能熟练度评为1~10分。结果显示学员在模拟器和孕妇上表现出的技能熟练度差异无统计学意义（6.5±2.0 vs 5.9±2.3，P=0.31），2种方式的考核成绩显著正相关，2种考核方式均有较好的评分者间信度（模拟器考核r=0.888，孕妇考核r=0.873）。赵永锋等^［17］探索了运用模拟器替代孕妇评估住院医师产科超声实践技能。30名超声科住院医师在孕妇与Simbionix模拟器上分别进行Ⅲ级产科超声检查，完成产科超声指南中建议的解剖结构筛查和生物学测量等内容，运用核查表对技能进行评分。结果显示：模拟器考核得分与孕妇考核得分呈显著正相关（r=0.784，P<0.01）。2种考核方式区分度均高，难度适中，信度良好。孕妇考核的评分者间信度组内相关系数（intra-class correlation coefficient，ICC）为0.762，重测信度ICC为0.760；模拟器考核评分者间信度ICC为0.838，重测信度ICC为0.878。这两项研究表明，在模拟器上进行产科超声实践技能评估可行，2种考核方式成绩密切相关说明基于模拟的考核能反映学员对真实孕妇进行产科超声检查时的技能表现；其次研究还证实2种考核方式的难度、区分度、信度等参数类似。当然，研究也发现了二者的一些差别。学员在模拟器上考核的得分略高于基于真实孕妇考核^［17］，在模拟器上获取的图像质量也略优于在真实孕妇上^［16］。其可能原因是学员在孕妇上考核面临更多心理压力；此外，模拟器基于教学设计，排除了肥胖、胎位等因素造成的不利影响，获取切面图像的难度有所降低。

由于需要真实孕妇参与，类似对照研究不多，一些其他领域的研究证据支持运用模拟技术替代真实患者评估技能的有效性。Sheehan等^［18］回顾了417项运用模拟技术评估临床技能的研究，其中28项研究分析了基于模拟的技能表现与基于真实患者的技能表现之间的关系，这些研究毫无例外地证实了在模拟器上得分越高的学员在临床实践中表现得更好。由此研究者认为运用模拟技术评估产科超声技能有较好的应用前景，有望成为基于孕妇考核的替代方案。基于模拟的考核可以在任何时间、任何地点进行，无需招募志愿者孕妇，不会干扰正常的超声诊疗工作，更具可行性和经济性。

运用模拟技术进行技能评估还需要了解采用何种评价方法更为恰当。同时，需要明确评估指标能否有效区分不同层次超声医师的技能水平，怎样制定科学的考核合格标准，以及评价方法的信效度如何。国内外学者探索了基于图像质量、综合能力、生物学测量精度、模拟器内置参数等评估指标对学员的实践技能进行评价（表1）^{［10-11，16-17，19,20,21,22,23,24,25,26］}，这些评价方法从不同的维度观察了超声医师的技能表现，各有其优势，为开展基于模拟的产科超声技能评估积累了经验。

1. 图像质量：基于图像质量的评价方法应用最为广泛。高质量的超声图像可以提供清晰的解剖结构和病变信息，是诊断异常和正确进行生物学测量的前提。国内外产科超声检查指南对于标准切面图像的定义有着广泛的共识，在日常工作中超声医师对标准切面图像有深入的了解，因此依据图像质量进行评估易于理解，便于实施，较为客观，是国内外专家共识所推荐的方法。

在国际上较早采用图像质量进行产科超声质量控制的是法国学者Salomon^［19］。Salomon依据切面上呈现的解剖结构判断图像质量，如四腔心切面依据呈现四腔、心尖、十字交叉、一支肺静脉、胸主动脉、适当放大图像这些细则，将图像质量评为0~6分。这种评分方法有较好的评分者间一致性（ICC=0.86），被众多学者采纳，用于在模拟环境中评估学员技能^{［16，20］}。其局限性是仅选择了几个代表性切面进行评价，在后续指南中，Salomon等^［27］对其他中孕期产科超声标准切面图像质量及测量方法提出了建议。

2018年ISUOG和AIUM^［11］共同发布了住院医师妇产科超声能力评估共识，定义了对切面图像质量的要求及考核通过标准。依据图像优化和切面上呈现的解剖结构为标准切面制定了3~11条得分项，达到75%左右的得分项，该切面方可判定合格。如四腔心切面要求正确调节聚焦，恰当放大图像，显示胸腔横切面，胸壁一侧显示不超过一条肋骨，胸腔横切面呈圆形，显示脊柱横切面，显示心脏四腔，学员需要达到5/7以上并呈现必需的项目，该切面方为合格。该共识基于指南制定，是目前较为权威的评估方法，其局限性是通过标准为专家主观设定；此外，如果将该方案用于综合能力评估，如何设置通过标准也是有待解决的问题；该方案的可行性和信效度还需要在实际应用中验证。

产科超声规范化培训考核标准中国专家共识^［10］对早孕期及中孕期标准切面的图像质量进行了量化，依据图像优化、解剖结构呈现、生物学测量方法设计得分项，对考生留存的图像进行评分。评分标准中依据项目完成的难易度每项赋分0.25~6分不等，图像中显示不应出现的解剖结构则倒扣分，如心脏四腔心切面有11个得分项，2个扣分项，共10分。操作考核满分100分，早孕期占20%，中孕期占80%，操作考核以40%的权重计入总分，考核总分≥70分判定为合格。该评估方案基于指南设计，有利于为培训提供反馈。其局限性是得分项赋分的高低、早孕与中孕得分的权重以及考核合格标准均为专家主观设定。

以留存图像的质量评价技能存在一定局限性：考官无法了解学员在获取标准切面时是否按要求对切面上的解剖结构进行了识别和检查。为此，Zhao等^［21］设计的产科超声能力评估工具（obstetric ultrasound competency assessment tool，OUCAT）不仅依据图像质量，还依据扫查的流程对学员的操作技能进行了评估。Zhao等将中孕期产科超声检查的内容设计为含123项的核查表，学员需要按指南对图像质量的要求显示标准切面，检查并指认图像上重要的解剖结构。OUCAT的优点是基于指南和专家共识，评分册设计规范，贴近临床工作的要求。研究者收集了运用OUCAT在模拟环境中评估实践技能的信效度证据，结果显示OUCAT成绩可以有效区分不同层次学员的技能水平，产科超声专家成绩优于有经验学员，有经验学员的成绩优于新手学员（70.3±10.7 vs 39.8±15.0 vs 20.5±10.6，P<0.001）。研究者通过对比组法确定了合理的考核通过标准，将45分作为合格标准时既没有新手学员通过考核（假阳性）也没有产科超声专家考核不及格（假阴性）。考核的信度良好，内部结构信度Cronbach's α系数为0.978，三家研究中心的评分者间信度分别为0.868、0.877、0.937，重测信度ICC为0.732。这一研究证实了基于模拟的技能考核可以客观地对超声医师的技能水平进行评价，有较好的信效度和可行性。该方案的局限性是评分项较多，考核需要通过实时观察或回放考试视频进行评分，考官工作负荷大；此外，核查表没有量化图像质量的优劣。当然，OUCAT核查表的设计也有其优点，简单易用，客观性强，美国医学教育评监委员会认为评估医学生在医疗流程中的表现的最佳方案是运用核查表和模拟技术^［28］。

另一项Rosen等^［22］的研究也通过图像质量以及识别解剖结构评估学员技能水平，Rosen在模拟器上评估了学员显示双顶径/头围测量切面、透明隔腔、侧脑室后角、颅后窝池的能力，从图像优化、获取解剖标志、解剖标志识别的准确性3个方面运用等级评分表进行评价。该方法的优点是评估更为全面，采用等级评分表更利于量化技能的优劣，局限性是每幅图像从3个维度进行等级评分，增加了评分的复杂性，如果推广到其他产科超声标准切面，评估工作量太大。

2. 综合能力：产科超声依赖于操作者多个维度的能力，以获取高质量的图像并作出正确判读，为临床决策提供依据。丹麦学者Tolsgaard等^［23］开发了客观结构化超声技能评估量表（objective structured assessment of ultrasound skills，OSAUS），从仪器使用、图像优化、系统性检查、图像判读、数据记录5个维度对产科超声技能进行了综合能力评价。Tolsgaard纳入了30位超声医师进行产科超声技能考核，运用等级评分表将每项技能表现评为1~5分。结果显示OSAUS评分可以区分不同层次超声医师的技能水平，新手学员、有经验学员和胎儿医学专家的OSAUS评分差异具有统计学意义（1.5±0.4 vs 3.3±0.6 vs 4.4±0.4，P=0.003）。Tolsgaard运用对比组法确定合格分数线为3.0分，以此为合格标准时没有假阴性和假阳性。信度分析显示OSAUS有良好的内部一致性信度（Cronbach's alpha=0.96）和评分者间信度（ICC=0.89）。

OSAUS量表可以有效评估超声实践技能，建立的合格标准有助于确定能独立从事临床实践的超声医师，在教学研究中被广泛引用。Gueneuc等^［29］运用OSAUS量表在模拟教学课程中评估了40名学员的产科超声技能，发现临床培训前额外接受模拟训练的学员得分优于仅接受传统临床训练的学员（3.450 vs 2.375，P<0.001），证实模拟教学可作为传统产科超声教学方式的有益补充以提高技能水平。Grandjean等^［14］在其模拟教学课程中亦采用了OSAUS评估培训前后学员进行胎儿生物学测量时的技能表现。OSAUS的优势在于能力评估的维度更为全面，使用等级评分表有助于量化技能的优劣。局限性：一方面是OSAUS评分主观性强，对考官的专业素养要求较高；另一方面OSAUS是对技能的整体评价，与产科超声检查指南脱节，无法针对学员完成某一项任务时的不足进行反馈。

3. 生物学测量精度：生物学测量数据有助于评估胎儿生长和发育情况，辅助临床医师预测分娩方式。生物学测量的精度与测量切面图像质量、游标放置的方式、超声入射角度等因素密切相关，高度依赖操作者的手法，部分学者采用生物学测量的精度作为评价技能的指标。Burden等^［24］通过观察测量值与参考值之间的误差评估学员技能的改善程度，18名超声学员和8名产科超声专家在模拟器上进行了头臀长、双顶径、枕额径、股骨长度的测量，将其测量结果与仪器内置的参考值对比发现培训前学员测量的误差显著高于专家，接受模拟培训后，学员测量的精度得到了显著提升，接近专家水平。Andreasen等^［20］采用胎儿体质量预测的准确性作为技能评价指标对模拟教学效果进行了评价，准确性定义为产前预测胎儿体质量与出生后胎儿真实体质量之间的差异，结果显示接受模拟训练的学员胎儿体质量预测的准确性提高了32%，而对照组学员预测体质量的准确性没有明显改善。应用生物学测量精度评价产科超声技能的优势在于其客观、定量，而局限性在于只反映了产科超声技能的一个方面。

4. 模拟器内置参数：多数超声模拟器自带评估模块，方便在培训中对学员进行形成性评估。Dyre等^［25］证实运用模拟器内置的评估模块评价超声医师的技能水平有较好的效度。20名新手学员和9名产科超声专家在Medaphor模拟器上完成了10个产科超声模块，这些模块共包含126项评价指标，考生完成1个模块时，模拟器会自动反馈该模块下各评价指标的通过情况，类似于核查表。Dyre发现模拟器1/3的评价指标可以有效区分新手学员和专家，新手学员和专家的考核成绩差异具有统计学意义（中位数17.5% vs 90.0%，P<0.001）。Dyre通过对比组法确定72.2%为合格分数线，以此为考核通过标准时没有假阴性与假阳性。模拟器评价指标之间的内部一致性效度高（Cronbach's alpha=0.98），重测信度ICC为0.62。除此之外，传感器生成的定量参数也有助于评估学员的技能。Dromey等^［26］采用超声探头的移动数据作为依据评估新手和有经验超声医师进行胎儿生物学测量的能力，其认为移动探头的方式、完成扫查所需时间、探头移动距离亦可以作为衡量医师技能水平的指标。Sheehan等^［18］尝试了将学员在模拟器上获取的图像切面与标准化切面之间的偏差角度为指标评估学员获取经胸超声心动图切面的技能。

这些研究表明运用模拟器内置评估模块或传感器定量参数评估实践技能也具有可行性，其优点是无需引入外部评分者，可以在训练中实时给予学员反馈，既可以应用于形成性评估又可以应用于总结性评估。当然，这些结论是否可以推广到其他模拟训练系统仍需要进一步证实。该评估方式的另一个局限性是评估的内容并非基于指南或专家共识而制定，其有效性仍值得探讨。除此之外，并非所有模拟器指标均能很好地区分新手和专家^［25］。仪器的内置参数高度依赖特定的制造商，缺乏通用性，而全球各地使用的模拟器系统又各不相同，因此，研究者往往无法完全依赖这些模拟器内置的参数作为评价指标。

5. 主观评分：主观评分高度依赖于考官的专业素养，虽然评分简便，但是易受个人经验、观点等因素影响，评价结果的一致性差，不推荐在技能评估中采用。在Chalouhi等^［16］的研究中采用了考官的主观判断将学员的熟练度评为0~10分。Zhao等^［21］的研究分析了考官主观评分与OUCAT客观评分之间的关系，考官对技能熟练度的主观评分与OUCAT客观评分之间呈正相关（r_s=0.852，P<0.001）。但当考官依据主观判断对学员是否通过考核进行评判时，数据显示考官主观评判的通过率低于由OUCAT合格分数线确定的考核通过率（18.0% vs 42.7%，P<0.001），作者推测考官在进行主观评判时可能会基于自身的技能水平作出更为严苛的判定。

6. 人工智能（artificial intelligence，AI）评估：AI通常指计算机程序具备的执行人类智能相关的思考、学习、推理等过程的能力。目前，技能评估多需要高素质的产科超声专家对学员的能力进行观察和评价，费时、费力且容易受主观偏见影响。AI可以对图像和视频进行自动化评估，替代专家，实现对实践技能客观、一致的评估。简单来说，将学员考核的视频、图像、传感器参数等多种来源的评估数据导入AI模型后，AI模型利用数据和算法对学员的技能水平进行分类或评分。在外科领域，研究者探索了从手术视频中提取运动数据或从手术机器人和传感器中提取运动数据，通过AI实现对外科医师手术技能的评价^［30］。在妇产科超声领域，AI可以实现对标准切面的自动检测以及对切面图像的质量控制^［31］。虽然目前AI还未应用于产科超声技能评估，AI评估的有效性和通用性也需要验证，但近年来AI技术的迅猛发展让研究者有理由相信AI评估结合模拟技术在产科超声技能评估中有巨大的发展潜力。

效度是考核能够准确测出考生技能水平的程度，信度是指考核评分的一致性、可靠性和稳定性。《教育与心理测试标准》中列出了5个效度证据的来源：内容效度、内部结构效度、与其他变量的关系、反应过程效度、结果效度，其中信度分析包含于内部结构效度中^［28］。设计的产科超声技能评估方案能否精准地测量出考生的实践技能是研究者需要关注的重要问题，因此一种评估方案进行推广前有必要从多个维度收集其信效度证据。Tolsgaard、Dyre、Zhao等学者的研究参考这一架构，收集了评估方案的信效度证据，这些结果均支持基于模拟的技能评估方案有较好的信效度^{［21，23，25］}。不同的应用场景对考核信度有不同的要求，对于一般的考核而言，0.7~0.8的信度是可以接受的，但应用于高利害性的考核时，信度应该大于0.9^［32］。现有的研究数据显示基于模拟的这些考核方案都有较好的信度，可以满足产科超声实践技能评估的需求，但如果要将这些方案作为产科超声的准入性考核，则需要进一步优化设计以控制误差来源。