
正颌外科因手术设计和操作复杂,对医生的临床经验要求较高,传统教学模式难以满足复杂的正颌外科手术设计和操作的培训需求。虚拟现实(virtual reality,VR)技术为此提供了新的解决途径,但由于模型构建不精确、手术设计过程复杂、模拟手术内容单一、实时性与仿真性难以兼顾、缺乏自动化评价功能等问题限制了其推广应用。人工智能(artificial intelligence,AI)技术因其在数据挖掘、图像处理等方面的强大能力,为正颌外科临床和教学带来多重潜力,可有效弥补传统VR教学的不足,可应用于个性化模型构建、智能诊断、术后预测、虚拟手术仿真及个性化反馈和辅导等方面,有望推动正颌外科教学向更精准、高效的方向发展,促进医学与技术的融合,加速临床应用的转化。
版权归中华医学会所有。
未经授权,不得转载、摘编本刊文章,不得使用本刊的版式设计。
除非特别声明,本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
牙颌面畸形是指因颌骨生长发育异常所引起的颌骨体积、形态结构以及上下颌骨之间及其与颅面其他骨骼之间的位置关系失调的异常,正颌外科是以研究和诊治牙颌面畸形为主要内容的学科[1]。正颌外科学科整合面广,手术设计复杂,操作难度高,风险较大,且手术在口腔内操作,视野暴露欠佳,手术教学困难。现阶段正颌外科专科医师培养主要通过理论授课、病例教学、手术示教、尸体解剖等方式,培养周期长。加之医患关系复杂,患者对治疗效果要求不断提高,学生操作机会日益减少,传统教学已难以满足教学培训要求[2]。
随着计算机科学以及数字化外科的发展,越来越多的新兴技术被运用到医学教学。虚拟现实技术(virtual reality,VR)在医学教学中发挥重要作用,基于VR技术的医学教学系统能够为受训者提供一个安全、可重复、可记录的虚拟医疗环境,弥补教学资源的不足,降低教学成本,避免不可预测的手术风险及医疗纠纷[3]。然而,现阶段VR技术仍存在许多不足,如硬件设备成本高、对系统计算能力要求高、虚拟建模分辨率不足、触觉反馈的真实性和实时性难以平衡及缺少实时反馈及客观评价的环节[4]。
人工智能(artificial intelligence,AI)是计算机科学的一个分支,致力于创造能够独立思考和运行的程序、算法和机器,从而制定决策和解决问题。AI技术已逐步应用于正颌外科的临床和教学中,并进一步推动教学方式的变革。AI在数据挖掘、图像处理等方面的强大能力,能够显著降低VR系统所需要的计算能力,从而提高设备性能,降低硬件和软件成本,同时也可以实现新的功能[5]。本文将阐述VR技术在正颌外科教学的应用及发展,探讨AI技术如何在正颌外科教学中赋能VR技术,并思考其现存问题及未来发展方向。
基于VR技术的正颌外科的教学分为虚拟手术设计及虚拟手术仿真两方面。
虚拟手术设计的挑战之一在于学习颅颌面复杂的解剖结构与标志点。学生需要了解三维头影测量、牙颌面畸形诊断、手术设计、术后面貌预测及手术导板制作等内容。此阶段通常使用数字化设计软件在非沉浸式虚拟现实系统中实现(图1A)。常用的数字化设计软件有Mimics(Materialise,比利时)、ProPlan CMF(Materialise,比利时)、Dolphin(Dolphin Imaging and Management Solutions,美国)[6]。学生通过软件与真实患者数据交互,进行测量、分析、截骨、位移等操作,直观理解颌骨解剖形态和治疗流程。谢福平等[7]将ProPlan软件用于正颌外科教学,相比于传统模型外科教学,学生接受度高、教学效果好。颜光启等[8]的研究表明利用数字化虚拟软件进行正颌外科教学比传统授课式教学更能调动学生的兴趣,可以有效缩短教学时间,提升教学效果。


在正颌外科教学中,手术操作至关重要。为了提高教学效率、降低教学成本,基于VR技术开发的沉浸式虚拟手术仿真系统被相继研发和应用(图1B)。当受训者在现实世界中控制操作设备进行模拟手术时,虚拟场景中的手术器械也进行相应的移动,与虚拟组织器官相互作用,并通过触觉反馈系统、三维或二维视觉渲染及音响设备实时传递给受训者,呈现出仿真切割、截骨、钻孔等手术操作时触觉、视觉及听觉的实时反馈效果[9]。Wu等[10]开发了能够完成Le Fort I型截骨手术的训练系统VR-MFS,该系统通过构建轴对齐包围盒和回归方程计算实现碰撞检测和触觉反馈。张楚茜等[11]开发了名为CMF Robot Plan的虚拟手术软件,该软件带有开放式端口,用于虚拟正颌手术练习,有助于初学者提升手术规划能力和临床技能。Zaragoza-Siqueiros等[12]则开发了一个集成了触觉反馈的VR手术规划系统OSSys。该系统能够自动化完成头影测量分析及牙颌面畸形诊断,同时提供具有触觉反馈的虚拟颌面数字模型,用于进行模拟手术。进一步的研究表明,OSSys具有良好的教学和培训价值,相较于传统学习方法,接受OSSys培训的学生在颌面部解剖标志点的识别和头影测量分析上表现更准确;在手术设计方面,与专家设计结果的差异较小;在手术操作方面,OSSys能够有效提高学员的技能水平,减少手术误差并缩短手术时间[13]。
随着三维建模、力触觉反馈、视觉渲染等技术的不断发展,基于VR技术的手术设计及仿真系统在正颌外科教学中取得了一定的进展,但在其成为广泛应用的教学工具之前,仍需要克服许多技术局限:①虚拟模型构建:传统VR系统构建的三维模型在细节方面仍不够精确,且现有的正颌手术仿真系统绝大多数仅针对骨组织进行建模,少数具有颌面部软组织的模拟系统,其软组织模型也不具备真实的生物力学特征[14]。②手术方案设计:目前缺少针对手术设计方面的虚拟仿真教学系统,学生只能基于已有的数字化设计软件并在专业医师的指导下进行学习。③虚拟手术的仿真性:在力反馈计算方面,模拟手术中的碰撞检测及力反馈精度不足,与实际临床操作仍有差距。受限于计算能力,虚拟手术的仿真性与实时性难以兼顾。④手术内容:现阶段正颌手术模拟器主要实现针对骨组织的截骨、钻孔等手术操作,而缺乏对软组织操作的模拟。⑤手术指导与评价:传统VR环境中受训者仅能与虚拟环境进行手术操作层面的感知交互,只能由专业医师主观评价手术操作结果,缺乏自动化实时指导和量化技能表现的评分系统[15]。除此之外,VR技术在正颌外科教学推广中也受到设备要求高、病例数据隐私保护、政策等限制。
随着AI的兴起和计算机图形学的进步,VR技术得到飞速发展。AI在医学数据处理中的优异表现,推动了VR与AI的深度融合。AI模型利用多模态数据进行牙颌面畸形诊断和治疗,增强手术设计稳定性,助力个体化诊疗,也用于手术设计教学。另外,VR结合AI开发手术模拟器,能够提升计算效率,强化仿真。虚拟环境中的智能辅导系统能自动指导与评估手术效果,为传统VR环境注入新功能[16]。这种融合将革新正颌外科教学,提升手术设计质量,强化学习培训,使医学更智能、精准(图1C)。
牙颌面畸形患者个性化虚拟模型的构建通常基于多模态临床数据,如颅颌面CT、牙齿激光扫描、三维面部摄影图像等,近年来AI在正颌外科虚拟模型构建及处理中起到重要作用,如解剖结构的分割、CT与光学牙模的配准、解剖标志点定位等。Liu等[17]提出一个基于由粗到精CNN框架的多阶段深度学习网络SkullEngine,它能够在3 min内完成对口腔颌面锥形束CT(cone beam computed toenography,CBCT)的分割和标点。牙齿与牙槽骨分割是三维建模的重要步骤,Cui等[18]利用V-Net定位牙齿的感兴趣区域,通过分层形态学引导网络对牙齿结构进行自动分割,并引入一种滤波增强级联网络来增强牙槽骨和软组织之间的对比度,显著提高牙槽骨与牙齿的分割性能。利用迭代最近点算法将光学牙模与CT图像配准能够实现构建具有精确牙列解剖结构的颌面模型[19]。将上述算法整合于VR正颌教学系统,有助于实现虚拟手术设计和虚拟手术仿真中构建精确化、个体化的颌面模型,从而进一步提高教学质量和教学效率。
颌面部关键解剖标志点识别及三维测量是正颌、正畸专业学生必须掌握的基本技能。通过在个性化虚拟模型中标点并与自动化结果对比,有利于学生对于颌面部解剖结构和关键标志点的掌握。何琴等[20]在本科生头影测量教学中辅助应用Uceph软件,激发了学生的学习兴趣,有利于相关知识的学习,提升了教学满意度。深度学习在头影测量标志点检测及测量中表现优异,有助于相关教学软件的升级迭代。
牙颌面畸形的诊断和手术设计依赖于患者的各项检查、分析结果及临床医生的经验,无法直接通过公式进行总结。通过短时间的临床培训,学生难以掌握个性化诊断和方案设计[21]。将辅助诊断和手术设计功能整合至VR系统中,有助于培养学生临床思维,促进自主学习。Jeong等[22]研究发现CNN能够通过面部正侧面的照片来判断患者是否需要正颌手术,准确率达到89.3%。Kim等[23]提出多通道模型和投票策略集合模型,对骨性错颌畸形分类的准确性超过93.0%。Cheng等[24]的研究提出了一种回归神经网络VSP Transformer,以患者性别和三维头影测量结果作为输入,实现对颌骨位移向量的预测,平均绝对误差为1.41 mm。然而,现阶段的研究大多停留在临床前的算法开发阶段,目前尚无研究在正颌外科教学中应用这些AI算法,未来应进一步将手术诊断与设计相关的AI算法应用于教学工作,客观评价其对教学效果的作用。
精准的术后面貌预测是正颌外科医师设计手术方案的依据之一,开发一个快速、精准的术后面貌预测方法能够让学生直观地感受骨段移动与术后面貌形变的关系。由于面部软组织和骨组织之间非线性的关系,现有数字化设计软件的面貌预测结果仍存在较大误差[25]。尽管有限元法被认为是生物力学预测的最精准方法,但其高运算量和长计算时间限制了其应用[26]。Lampen等[27]基于PointNet++开发了一种用于预测有限元模拟正颌术后面貌变化的深度学习网络,通过输入术前面部特征、截骨位移及边界类型进行学习,该网络相比有限元法精准性高,计算时间短。Ma等[28]通过FSC-Net学习从骨骼变化到面部形状变化的非线性映射,精准性优于计算时间更长的有限元法。
AI在虚拟手术培训系统开发中也发挥着重要作用。通过重建患者虚拟模型,可以实现从单一实例到个性化病例的虚拟手术训练内容的扩展。通过融合AI技术,能够显著提升力反馈VR模拟器在手术教学中的真实性、沉浸性及交互性。Zhao等[14]研究了一种结合手势识别、软组织生物力学模型和碰撞检测的口腔颌面虚拟手术训练系统,通过支持向量机算法对手部轮廓、手掌、指尖等数据进行分类,手势识别的准确性达到80.0%以上,将手势识别模块与碰撞检测技术整合至颌面手术VR教学系统,可以增强虚拟手术的交互性和沉浸感。
现阶段的正颌手术仿真系统绝大多数仅针对骨组织,少数具有颌面部软组织的模拟系统,其软组织模型也不具备真实的生物力学特征。由于软组织具有几何形状复杂、非均匀性、各向异性、黏弹性等特性,在对软组织进行模拟操作时,仍然没有一种方法可以同时满足计算速度和精度的要求。Cheng等[29]提出基于粒子滤波技术预测软组织和手术器械之间的非线性和非高斯力的方法,实现了在不损失视觉效果的前提下良好的触觉交互效果。虚拟手术仿真系统不仅能够进行手术教学,还能够为下游的算法的开发提供结构化数据。Munawar等[30]提出了一个名为AMBF+的VR模拟手术框架,该框架能够通过VR设备提供具有触觉和视觉反馈的手术训练功能,同时可以在用户进行虚拟手术时实时生成图像、深度等数据,可用于计算机视觉算法的开发和训练。
外科手术培训通常需要对术者的操作进行准确、客观、无偏见的评价,但现有的VR手术模拟器通常缺乏自动评价的能力,尽管视觉评分量表被视为虚拟手术操作评估的金标准,但该评分仍然依赖专业医师,存在主观性[15,31]。应用AI分析VR模拟手术过程中产生的数据,可以为操作者提供自动反馈和个性化指导。常用的评价指标包括手术时间、动作平滑度、定位、角度、出血量、力量、速度、加速度等[32]。
许多研究聚焦于应用AI技术对各类模拟手术操作的技能水平进行分类,以实现对操作者学习情况的客观评估。尽管尚未开发出针对正颌外科的自动化评估系统,但在缝合操作、神经外科、骨科、普通外科等模拟手术领域已有大量研究。Funke等[33]提出的利用3D-CNN对模拟缝合操作的视频进行自动评估,在区分术者操作水平方面的准确性达到95.1%至100.0%。Yilmaz等[34]基于LSTM网络开发了智能连续专业监测系统(intelligent continuous expertise monitoring system,ICEMS),用于提取模拟手术视频中的性能指标,能够区分不同医师的操作水平。
AI个性化辅导系统不仅能在操作过程中对术者的技能进行评估,还可以通过视觉、触觉等维度为术者提供实时个性化反馈,如虚拟手术助手(virtual operative assistant,VOA)和技能转移系统(transfer system)。VOA是一项集成技能评估和个性化反馈的计算机平台,该系统以专家操作水平为基准,使用支持向量机算法对术者的操作表现进行分类,并在虚拟手术中为术者实时提供以操作熟练度为导向的视听反馈[15]。一项随机对照试验表明,在虚拟手术环境中,与专家指导相比,利用VOA进行手术学习的医学生在技能掌握方面表现优异,两组学生在认知负荷、正向激励和消极情绪方面差异无统计学意义[16]。在触觉反馈信号方面,Fekri等[35]采用基于LSTM-based-RNN开发了一套适用于钻孔手术培训的技能转移系统,该系统通过学习专业医师操作过程、动力学特征、钻头及骨的物理特征等数据,构建专家操作行为模型,从而在术者进行模拟钻孔手术时产生即时触觉反馈指导信号。
总之,人工智能+虚拟现实技术在正颌外科临床和教学中具有巨大应用潜力,基于临床问题进一步开发AI算法,将AI智能技术整合进虚拟手术设计软件及虚拟手术仿真系统中,期望在未来开发出一套精度高、沉浸性好、计算速度快并具备自动评价反馈功能的正颌外科一站式教学系统,为学生提供个性化、智能化的学习平台。值得注意的是,在开发AI算法时,需要注意对患者信息和隐私的保护,确保数据储存、传输及处理时对信息的脱敏。一些AI算法虽然表现出良好的性能,但其鲁棒性、泛化性和可解释性仍需进一步探究,基于单中心数据训练AI算法容易导致过拟合,进而降低模型的泛化性,限制了模型在外部数据集的应用和推广。因此,进一步完善牙颌面畸形患者诊治、教学相关的数据收集和标注工作仍然十分重要。在虚拟手术仿真中,VR系统应当具备模拟手术过程记录和数据结构化处理的功能,在模拟手术操作时收集多模态数据,有助于针对于教学场景下算法的开发。未来,通过临床试验并设计客观评价指标探索AI算法结合VR技术对正颌外科教学效果和教学效率的作用,并结合学生的反馈进一步完善教学系统,最终助力正颌外科医生培养与学科建设。
所有作者声明无利益冲突





















