运用模拟技术进行技能评估首先要明确基于模拟的技能评估能否反映学员在临床实践中的技能表现,了解基于模拟和基于真实孕妇的技能评估方式在教育测量学指标上的异同。法国学者Chalouhi和国内学者赵永锋等开展了基于模拟和基于孕妇考核方式的对照研究。Chalouhi等
[16]首次对比了在超声模拟器和志愿者孕妇上进行技能考核的效果。29名学员在孕妇和模拟器上分别获取6幅中孕期标准切面图像,并进行双顶径、腹围、股骨长度的测量。考官依据主观判断将学员的技能熟练度评为1~10分。结果显示学员在模拟器和孕妇上表现出的技能熟练度差异无统计学意义(6.5±2.0
vs 5.9±2.3,
P=0.31),2种方式的考核成绩显著正相关,2种考核方式均有较好的评分者间信度(模拟器考核
r=0.888,孕妇考核
r=0.873)。赵永锋等
[17]探索了运用模拟器替代孕妇评估住院医师产科超声实践技能。30名超声科住院医师在孕妇与Simbionix模拟器上分别进行Ⅲ级产科超声检查,完成产科超声指南中建议的解剖结构筛查和生物学测量等内容,运用核查表对技能进行评分。结果显示:模拟器考核得分与孕妇考核得分呈显著正相关(
r=0.784,
P<0.01)。2种考核方式区分度均高,难度适中,信度良好。孕妇考核的评分者间信度组内相关系数(intra-class correlation coefficient,ICC)为0.762,重测信度ICC为0.760;模拟器考核评分者间信度ICC为0.838,重测信度ICC为0.878。这两项研究表明,在模拟器上进行产科超声实践技能评估可行,2种考核方式成绩密切相关说明基于模拟的考核能反映学员对真实孕妇进行产科超声检查时的技能表现;其次研究还证实2种考核方式的难度、区分度、信度等参数类似。当然,研究也发现了二者的一些差别。学员在模拟器上考核的得分略高于基于真实孕妇考核
[17],在模拟器上获取的图像质量也略优于在真实孕妇上
[16]。其可能原因是学员在孕妇上考核面临更多心理压力;此外,模拟器基于教学设计,排除了肥胖、胎位等因素造成的不利影响,获取切面图像的难度有所降低。