虚拟现实、增强现实技术作为新兴的数字技术，目前在医学领域有着广泛的应用，尤其在整形外科有着巨大的应用价值和前景。该文回顾了虚拟现实和增强现实技术概念的发展历程，介绍了在整形外科中实现所需的技术要素以及在术前设计、术中导航、手术训练等方面的具体应用，总结了目前虚拟现实和增强现实技术在整形外科中的应用现状、存在的不足，并对未来的发展方向进行了展望。
版权归中华医学会所有。
未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
除非特别声明，本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
三维成像、手术导航、三维(3D)打印等数字技术已广泛应用于整形外科的术前设计、术中导航及术后评判[1]。未来人工智能也将在整形外科的决策与评估方面发挥重要作用[2]。作为新兴的数字技术，混合现实技术是一种将真实环境与数字环境混合的技术，虚拟现实和增强现实都属于这个范畴。整形外科的特点是以形态判断手术效果，而虚拟现实、增强现实技术的应用能给医生更加客观、精准的引导。运用虚拟现实技术进行术前设计、手术训练，改善了手术效果，但在术中引导方面依然存在缺陷。而增强现实技术能将虚拟图像在术中叠加，从而实现更精确的导航。这两项技术在整形外科往往同时应用，为了能让读者更好地理解目前这两项技术在整形外科中的应用与不足，也为了促进这两项技术更广泛的应用以及产生更具创新性的技术，本文对虚拟现实、增强现实技术在整形外科中的应用作一系统回顾。
虚拟现实以计算机技术为核心，结合相关科学技术，生成与一定范围真实环境在视、听、触等方面高度近似的数字化环境，用户借助必要的设备与数字化环境中的对象进行交互，可产生亲临真实环境的感受和体验。1965年，计算机图形学奠基人Sutherland博士提出了一种新的显示技术，观察者可以直接沉浸在计算机控制的虚拟环境中，如同在现实世界中一样，同时还可以自然方式与虚拟环境中的对象进行交互[3]。1986年，Fisher等[4]报道了头戴式广角立体显示的虚拟现实系统。1987年，Foley等[5]报道了数据手套在虚拟现实系统中的运用。1989年，Lanier J提出了Virtual Reality一词，逐渐成为这一学科技术领域的专用名称[6]。Burdea和Coiffet[6]在Virtual Reality Technology一书中用沉浸、交互和构想(immersion，interaction，imagination)3个词概括了虚拟现实的基本特征。进入21世纪，随着虚拟现实各环节关键技术和相关计算机软硬件的进一步发展，虚拟现实技术更加广泛而深入地应用于军事、医疗、工业、教育文化等领域。
与虚拟现实不同，增强现实强调在真实场景中融入计算机生成的虚拟信息的能力，不隔离观察者与真实世界之间的联系[6]。增强现实目前有2种被广泛接受的定义。第1种是1994年Milgram和Kishino[7]提出的"现实-虚拟连续体"，它描述的是如何对虚拟物体和真实相结合的显示环境进行分类，如图1所示，真实世界和虚拟现实在两端，增强现实和增强虚拟以及两者之间的部分均属于混合现实，靠近真实世界的叫增强现实，靠近虚拟现实的叫增强虚拟，增强现实是将虚拟图像叠加在真实场景中进行增强显示，因此更接近于真实世界。从这个定义上讲，将广义的混合现实看作轴，从左至右是一个从"增强的真实环境"到"增强的虚拟环境"的演化过程。第2种是1997年Azuma[8]提出的，认为增强现实技术应有3个具体的特征：(1)虚实结合；(2)三维注册；(3)实时交互。而增强现实真正兴起于20世纪60年代，Sutherland[9]发明了一种"透视"头戴式显示器，可以同时观察虚拟图像和真实物体。1990年，波音公司的研究人员Caudell和Mizell[10]开发了头戴式显示系统，以便工程师能够使用叠加在电路板上的数字化增强现实图解来组装电路板上的复杂电线束，并在论文中首次使用了Augmented Reality一词。1992年，出现了早期的增强现实原型系统，如KARMA机械师修理帮助系统[11]。1999年Hirokazu Kato和Mark Billinghurst共同开发了第1个增强现实开源框架：ARToolKit[12]。增强现实技术在医学领域的应用也有一定的历史。1992年Bajura等[13]报道了第1个用于超声增强图像的视频式头戴显示系统。Masamune等[14]、Fichtinger等[15]提出了一种可以实时显示CT切片的图像叠加系统，在一个半透明的镜子上可以同时看到患者的情况和与其对齐的CT切片。近年来随着计算机图形图像及便携头戴式显示器等关键技术的发展，出现了包括谷歌眼镜、微软HoloLens等一系列代表性产品。因此，增强现实技术逐渐贴近大众生活，在工业、医疗、影视娱乐、古迹复原等领域有越来越多的应用。
从概念发展的回顾中可以看到，虚拟现实和增强现实都属于混合现实的范畴，严格地讲，虚拟现实是将数字环境完全替代了真实环境，而增强现实则是将虚拟图像叠加到真实场景中增强用户体验。虽然概念不同，但是虚拟现实与增强现实的联系非常紧密，同样都涵盖了计算机视觉、图形学、图像处理、传感器技术、显示技术、人机交互等领域，有很多的相似点：首先，都需要计算机生成相应的虚拟信息；其次，使用者都需使用头盔或者类似显示设备进行信息呈现；再次，使用者需通过相应设备与计算机虚拟信息进行实时交互。所以在整形外科实际应用中，两者往往不可分割，常同时使用。
通过复习文献，我们将虚拟现实技术在整形外科领域实现所需的要素分为模型数据获取、建模、表现技术和交互设备4部分(图2)。
(1)实际测量：运用三维扫描仪、摄像机、运动捕捉设备、专业数据采集设备(如CT、B超、MRI等)直接获取实际的模型数据。(2)人工构造：人工或借助建模软件生成模型数据，如构建物体3D模型。
(1)景物外观建模方法：用于表现虚拟对象的空间结构和外观。(2)基于物理的建模方法：针对刚体、柔性物体、不定形物和人体运动进行建模。
将数字空间中各种虚拟景物模型通过不同的表现方法和算法渲染在表现设备上，以沉浸方式呈现给用户，提供视觉、听觉、触觉、嗅觉、味觉等逼真感受。
(1)场景显示设备：头盔式显示，如非透视式头盔；桌面式显示，包括工作台(反射镜和桌面显示屏)、投影机、计算机、立体眼镜；投影式显示，包括计算机、大屏幕、融合器、多个投影仪、立体眼镜；手持式显示，如智能手机；自由立体显示，无需佩戴设备。(2)触觉交互设备：如力反馈操纵杆、触觉数据手套。(3)跟踪定位设备：有源跟踪定位分为电磁式、声波式、光电式；无源跟踪定位分为机电式、惯性式。
我们将增强现实技术在整形外科领域实现所需的要素分为模型数据获取、建模和表现技术、注册跟踪技术和增强图像显示技术4部分，其中最关键的是注册跟踪技术和增强图像显示技术(图3)。
(1)基于传感器的注册跟踪技术：根据信号发射源和感知器获取的数据求出物体的相对空间位置和方向，可分为机械式、电磁式、超声波、光学式、惯性传感器。(2)基于计算机视觉的注册跟踪技术：根据一幅或几幅真实场景图像反求观察者运动轨迹，确定虚拟信息"对齐"的位置和方向，代表性的是AR Toolkit和AR Tag。(3)综合视觉和传感器的注册跟踪技术：根据硬件设备定位用户头部运动位置，借助视觉方法对配准结果进行误差补偿。
(1)头戴式显示设备：视频透视式头盔显示器，如微软HoloLens眼镜；光学透视式头戴显示器，如Google Glass。(2)计算机屏幕显示设备。(3)手持式移动显示设备。(4)投影显示设备。
Hsieh等[16]应用包含立体眼镜(带追踪器)、装有三维虚拟现实模拟系统的计算机手术设计系统，对1例下颌畸形咬合不正患者、1例内翻足导致的右膝骨关节炎患者，以及1例腰椎间盘突出患者，进行截骨、骨肌肉融合等术前模拟。该系统解决了软组织变形的算法问题，可应用于肌肉骨骼系统疾病的术前设计，但是软组织变形模拟尚不够精准。Tsai等[17]应用CT图像三维重建对1例颧骨截骨病例、1例下颏假体置入病例进行术前模拟，带有触觉反馈的操作模拟器可以指导术者更加精确地完成设计，该模拟器可推广应用于面部轮廓手术的术前设计。Zhang等[18]设计了一个在头颅骨模型上进行上颌骨骨折复位的模拟设计系统，操作者利用触觉反馈装置将虚拟骨折部分移动到正确位置，反馈装置会给予反馈协助操作者进行操作。Doscher等[19]在术前对新生儿小颌畸形导致气道阻塞患者行CT图像三维重建，医生和生物医学工程师通过网络会议根据三维模型进行下颌骨牵引成骨术的设备选择、矢量规划、手术定位设计。但是采用这样的三维模型依然无法模拟牵引对软组织形变造成的影响。Seruya等[20]对4例颅缝早闭患者也采用相同方法进行截骨设计和颅骨复位恢复颅骨穹窿外观，制作切割定位点指导真实手术。Wang等[21]将50例小耳畸形伴半侧颜面短小患儿的三维重建图像进行模拟设计患侧耳，模拟生成的校正参数可以提高双侧耳对称度，为颜面不对称患者的耳再造手术提供了新的方法。但是术前的设计在术中往往很难得到实时的比对，从而进行适当地修正，提高手术的精确性，缩短手术时长。Ikawa等[22]报道了1例因左侧下颌骨切除术引起面部不对称患者，术者将CT图像三维重建的虚拟图像进行镜像处理，设计了用于下颌骨重建的钛网，有助于患者功能和外观的恢复。Fernandez-Alvarez等[23]在面部异体移植手术中，利用AYRA软件对5具冻存尸体面部骨骼和肌肉进行测量和评估，选取与受体缺损区域解剖吻合度最高的尸体面部进行移植。通过与传统方法进行比较，表明虚拟现实软件是一种有效识别供体面部特征的便捷方法。Dornells和Alonso[24]应用虚拟现实技术对面部体积进行精确测量，这种方法未来在整形外科领域可能会有广泛的应用。Lin等[25]应用三维成像技术准确评估美容重建手术结果及软组织和面部轮廓随时间的变化情况。
Olsson等[26]对3例复合下颌骨缺损患者，采用包括立体眼镜、红外相机追踪设备、触觉反馈装置、显示器、半透明镜等装置的虚拟手术设计系统，进行术前设计游离腓骨骨皮瓣，红外摄像机追踪术者佩戴的立体眼镜位置，保证术者可以从不同角度观察图像，术者进行骨切除、设计腓骨皮瓣，利用触觉/力反馈装置进行调整，最终设计出最佳手术方案。这个系统不仅可以设计出大小合适的骨性移植物，在对组织瓣存活至关重要的软组织和血管的设计方面也很完善。但该系统也存在误差、术前设计需要额外时间等问题。Eckardt等[27]对1例下颌骨及颊黏膜浸润复发性鳞状细胞癌患者，应用三维立体软件进行术前设计、选取合适的去除范围和游离腓骨皮瓣。Woo等[28]报道了1例因枪击伤行下颌重建手术的病例，术者利用三维重建图像在术前设计合适的游离腓骨皮瓣，并制作快速成型模型用于指导手术。Gacto-Sánchez等[29]回顾了70例乳房再造病例，其将患者术前腹部CTA图像进行三维重建后导入VirSSPA软件，设计、选取合适的腹壁下动脉穿支皮瓣，与多普勒超声评估方法相比，手术时间平均缩短2 h 8 min(P<0.001)，皮瓣并发症明显减少(分别为0例和14例，P<0.001)，提示该方法可能会提高皮瓣存活率，但需要更大样本量进一步证实。在1例右上肢Ⅲ度烧伤患者身上，该团队也采用VirSSPA软件模拟供、受区血管情况及缺损面积，设计选取合适的穿支皮瓣进行移植[30]。
Pereira等[31]利用显微手术术前设计智能手机，将CTA重建的三维图像与真实部位照片进行叠加，设计出旋髂浅动脉穿支皮瓣解剖路径图，术中发现与实际血管和淋巴结位置相吻合，这项技术节约了手术时间，改善了手术效果，并减少了供区并发症。Cifuentes等[32]利用增强现实技术将动态红外热成像图投射到患者大腿前外侧上，以便术者对穿支皮瓣进行评估，并设计出获取皮瓣的可靠路径。
很多研究从CT等影像设备上获取模型数据，运用Mimics、3D slicer等软件进行三维重建，应用不同的注册方法实现虚拟图像与真实场景的配准，再通过头戴式显示设备、手持式显示屏、投影显示设备[33]等显示图像，依靠追踪设备实时跟踪实现术中导航。
虚拟现实导航技术较早地被运用于颅颌面外科，精准地引导手术。Yu等[34]在104例颌面手术中，将术前CT图像进行三维重建，在图像软件中进行术前设计和模拟手术，利用骨锚定物标记进行术中注册，利用手术器械和放置在患者头部的光学感应器，实时追踪器械与患者头部的位置实现术中导航，术中通过观察屏幕显示器进行手术。术后评估显示与术前模拟误差为(1.46±0.24) mm。Zhang等[35]应用同样的方法对40例面中部创伤后畸形患者进行矫正手术，误差在1 mm以内。
虚拟现实导航技术虽然精度上完全满足临床需求，但是需要术者一直在术区与显示屏幕之间来回切换，会造成术者的不适、手术时间的延长。因此增强现实导航系统应运而生，术者可以直视术区观察虚拟图像叠加在真实环境中。Zhu等[36]在一项纳入了93例下颌角截骨整形术患者的回顾性研究中发现，与经验判断相比，应用增强现实导航技术手术截骨线精准性更强，可靠性更高(P<0.01)，但与采用个性化导板组相比无明显差异。该研究是将患者头部CT图像进行三维重建，术前设计确定截骨线，然后制作带有二维标记物的咬合夹板，对咬合夹板以及牙模进行三维扫描用于注册配准，术中追踪摄像机获取标记位置进行配准并实时追踪，虚拟图像投射到术者佩戴的头盔式显示器上，与真实场景融合显示增强图像，引导术者精确实施手术。虽然增强现实技术精度更高[术后CT与术前设计误差是(1.18±0.34) mm，经验判断组是(3.64＋0.77) mm]，但是需要更长的准备时间以及成本，并且在急诊状态下无法使用。Li等[37]也报道了增强现实技术运用于下颌角截骨整形术的研究，但是该研究是一个体外模型试验，并且注册技术采用的是连接在下颌骨上的二维标记物。目前，固定在骨组织上的标记方法是最精确的注册方法，但是往往在实际应用中因其有创性不易被医患双方接受[38]。从Qu等[39]进行的20例半侧颜面短小患者分组对照试验结果中，可以看出利用增强现实导航技术进行截骨位置标定和口内牵引器的放置比传统方法更加准确(P<0.01)。但是颞下颌关节的灵活性和幼儿窄小的面部都会限制增强现实技术的应用，并且对于无牙患儿咬合夹板也无法使用。Zhu等[40]报道了在12例眶距过宽患者的矫正手术中，采用增强现实导航技术进行手术，大大缩短了手术时间，术后效果与术前设计基本一致。Mitsuno等[41]报道了3例颧骨骨折复位术、2例鼻裂畸形整形术及1例复杂面部骨折复位术病例，采用增强现实技术在术中评估体表改善情况，但误差达到了3～4 mm，可能与运用的注册技术是体表黏附标记有关，精度没有骨组织锚定标记物和咬合夹板高。Mischkowski等[42]报道了5例Le FortⅠ型截骨术的病例，术者术中实时观察手持式显示设备X-Scope屏幕上的增强图像导航上颌骨的移位。而在一项Le FortⅠ型截骨术体外模型实验中，采用了一种新型头戴式透明显示器术中实时观察增强图像引导上颌骨移位，取得良好效果，但是用于临床还需对在体内环境下的准确性进行评估[43]。Zinser等[44]对16例下颌后缩患者采用手持式设备可视化显示技术，进行术中导航辅助双上颌骨截骨术。Mezzana等[45]对9例因下眼眶和外侧眼眶暴露患者行外眦剥离术中，运用基于iPhone的增强现实系统实时评估外眦韧带位置情况。
增强现实技术在骨组织手术(如颅颌面手术)中应用较为广泛，而在软组织整形方面还处于探索阶段。Jiang等[46]在皮瓣移植动物实验中，将术前虚拟模型与现实手术环境叠加后投射到头盔显示设备上，方便术者安全快速地获取皮瓣。该研究采用了精度较高的骨组织锚定标记的注册方法，但是误差还是达到了(3.474±1.546) mm，主要原因可能与软组织变形有关，但是这个误差依然是皮瓣移植可以接受的范围。有研究表明，HoloLens眼镜在手术中的应用改善了决策和手术流程[47]，Pratt等[48]在6例下肢修复重建手术中，戴上HoloLens眼镜进行术中导航，根据穿支血管位置精确分离血管、游离皮瓣，可以大大减少麻醉时间和手术相关并发症。Nishimoto等[49]在对1例淋巴水肿患者进行淋巴管静脉吻合手术中，根据透明式眼镜设备显示的红外图像进行手术，但是术中依然存在明显的图像匹配精准度差、跟踪延迟等问题。一项对于整形外科医生的研究显示，Google眼镜在手术室的应用是有效且具有巨大前景的[50]。Chimenti等[51]在尸体上进行手部骨折经皮钉扎术中，应用Google眼镜而无需再转移视线到别的显示设备上，可以使注意力持续保持在手术区域，大大缩短手术时间。Zheng等[52]在乳房再造模拟手术中，将获得的MRI数据合成3D模型投射到术区作为虚拟导板引导术者进行手术。Schreiber等[53]对4例面部不对称的患者行自体脂肪移植术时，应用三维表面扫描技术对其面部对称性进行客观分析，将虚拟图像投射到患者面部指导术者进行脂肪注射。这2种以投影为显示方式的增强现实技术，可以使术者无需戴头盔或者智能眼镜，避免不必要的不适，并且术中可以实现多人同时观察图像，但是存在深度感知不足以及曲面投射变形的问题[54]。
一直以来，学徒-导师模式是整形外科医生培训的主要方式，但最近20年，随着计算机技术的发展，虚拟现实技术在手术训练中的应用，使外科医生可以在进行真实手术之前学习基本的手术技能[55]，而外科技术的不断发展及新技术的引入加快了手术模拟系统应用于手术训练的进程[56]。Olsson等[57]设计了一个包括触觉反馈装置、立体眼镜、沉浸式工作台的颅颌面复杂骨折手术训练系统供医生使用，研究表明在经过一定训练后，外科医生可以在更短时间内完成一台复杂手术。Lin等[58]开发了具有相似配置的用于训练锯骨技能的模拟系统，研究发现在训练6次以后，年轻医师和高年资医师的手术时间均明显下降(P<0.001)，证实了该装置在手术训练中的有效性。Wu等[59]也介绍了相似的用于颅颌面手术训练的虚拟系统，帮助初学者熟悉掌握颅颌面手术流程。Schendel等[60]开发了一种触觉反馈装置辅助的手术模拟系统用于唇腭裂修复手术训练。Wang等[61]设计的下颌角截骨整形术的模拟器配备了触觉反馈装置，可提供高保真的视觉和触觉反馈，增强在虚拟手术环境中的感知程度。Huang等[62]将虚拟现实头戴式装置与数码显微镜结合，应用于显微手术训练，证实这是一种经济、便利的手段。Khelemsky等[63]证实了一种叫Touch的新型认知虚拟现实模拟器在眶底重建中认知层面训练的有效性。
目前手术训练主要应用于颅颌面外科，并且训练的有效性很大程度上取决于图像显示设备的清晰度及精准度，触觉反馈装置的灵敏度。另外，在手术训练模拟中软组织变形也是影响手术训练效果的重要因素，因此目前在软组织整形方面的手术训练还处于探索阶段。
虚拟现实技术在整形外科教学中也有较多应用。Smith等[64,65]应用虚拟现实软件动态展示颧骨抬高术中对颧骨脂肪垫的不同处理方法，除皱术中对SMAS筋膜采用不同的处理技术产生的效果，以及探索衰老过程中面部的变化进行整形外科教学，并将颅面解剖生成了虚拟现实图册，方便广大整形外科医生及医学生学习。Atherton等[66]开发了一个基于虚拟现实技术的手机应用，可以用于3D海报展示和手术教学。Vartanian等[67]鉴于鼻解剖学习的难度制作了一个人鼻部3D虚拟模型用于教学。Dayan等[68]应用虚拟现实技术模拟咽鼓管扩张过程，探究其发生机制及腭裂修复的并发症。
虚拟现实技术因其强大的沉浸感，在改善患者体验方面也发挥着重要作用。研究表明，对进行颌面整形手术的患者术前采用虚拟现实技术，让其沉浸在放松、平和的环境中，可以达到缓解术前紧张的效果[69]。而Hoffman等[70]发现虚拟现实技术可以作为减轻烧伤患儿痛苦的有效手段，是一种花费少、不良反应小、可以推广使用的控制疼痛的方法。虚拟现实技术对成人烧伤患者，尤其是战斗相关的烧伤患者，也有明显减轻痛苦的作用[71,72]。
随着数字技术的发展及医患双方对手术效果要求的日益提高，虚拟现实、增强现实技术在整形外科中将发挥越来越重要的作用。这两项技术目前为优化手术流程、缩短手术时间、改善手术效果、减少并发症发生、提高术者手术技能等方面提供了强有力的支持。但是由于存在价格昂贵、注册配准精确度低、跟踪延迟、图像显示深度不足等缺点，目前在整形外科中的应用尚不普遍，还有较大改进空间，未来随着头戴式设备价格的进一步下降、图像处理软件的改进以及5G技术的引入，将进一步促进这两项技术更好地服务于整形外科。
虚拟现实、增强现实技术依然存在很多不足之处。针对注册技术，需要寻找一种更加精确但是无创的方法，比如不依赖于标记的术中激光扫描轮廓，或者高清摄像机获取术中图像进行配准[73,74]；针对跟踪技术，在目前应用最为广泛的光学感应器的基础上进一步发展提高跟踪精度和减小延迟性；针对显示技术，头戴式显示设备应该向更加轻便、便宜、高效的方向发展，头戴式设备引起的术者不适、虚拟图像叠加的不真实感以及图像延迟也是值得关注的问题[75]，而投影技术在克服图像深度感知缺乏以及曲面投射变形的问题后可能是一个更好的选择。而在术前设计和手术训练方面，更高清的图像显示设备以及更加灵敏、逼真的触觉反馈装置将提高术前设计的精确性和训练的有效性。目前虚拟现实、增强现实技术主要应用于骨组织手术，软组织整形方面的应用还处于探索阶段，未来在经过相关技术、设备的改进以后，可以应用于精准度要求更高的美容手术，提高医患双方对于手术的满意度，解决目前美容外科中存在的问题。另外，这两项技术可以让医生以更加真实和具有互动性的方式向患者模拟手术效果，进行个性化设计。混合现实作为最新出现的概念，从广义上讲是将真实环境与数字信息混合的技术，而真实环境与数字信息不同程度的结合将激发更多的新技术服务于整形外科；也有学者认为混合现实与增强现实不同，是一种更加强调数字化现实与虚拟信息结合的技术，而不是完全的真实环境与虚拟信息的结合，因此数字化现实在未来依托于计算机技术和相关设备的开发，将扩展和完善整形医生的视觉感受及体验，更好地服务于整形外科。
可以看到，虚拟现实、增强现实在整形外科有广阔的应用前景与价值，这其中需要整形外科医生与计算机学科、工程学科等专业人员展开更加深入的合作促进这两项技术在整形外科中的应用，推动整形外科向更加安全、精准、高效的方向发展。
本文作者与论文刊登的内容无利益关系。
The authors have no financial interest to declare in relation to the content of this article.
