增强现实是一种将计算机模拟的虚拟图像叠加于现实图像的视觉处理技术，通过追踪模块、匹配模块及显示模块等核心组件实现图像的合成与实时更新。近年来，增强现实已在多个医疗相关领域有所应用，如医疗教学、远程医疗援助、手术导航系统等。作者将就增强现实在整形外科相关领域的应用及相关进展进行综述。
版权归中华医学会所有。
未经授权，不得转载、摘编本刊文章，不得使用本刊的版式设计。
除非特别声明，本刊刊出的所有文章不代表中华医学会和本刊编委会的观点。
近年来，虚拟现实(visual reality，VR)及增强现实(augmented reality，AR)技术发展迅速，并在娱乐、教育、办公等领域大放异彩，成为最具前景的科技热点之一。二者均利用计算机技术合成并展示虚拟影像，区别在于VR脱离现实情境，将使用者带入沉浸式的全虚拟环境；而AR则是将虚拟图像叠加至真实图像之上，并能够随着环境的变化实时更新[1]，其本质是利用虚拟图像增加现实情境的信息量。AR技术在医疗领域的应用在一定程度上实现了解剖结构的"可视化"，并能跨越物理空间的距离，如解剖学教学、远程医疗援助、血管走行示踪等[2]，在外科学领域，基于AR技术的手术导航系统在骨科[3]、泌尿科[4]、神经外科[5]、口腔科[6]等学科均有相关的报道。本文将对AR技术在整形外科领域的探索尝试进行综述。
AR技术的起源可追溯到20世纪60年代头戴式显示装置(head-mounted display，HMD)的发明，这一发明是当今AR及VR技术的雏形，具有划时代的意义。1992年，波音公司职员Tom Caudell在其论文中首次使用了增强现实一词，用以指代将虚拟图像叠加于现实图像的技术。1997年，Ronald Azuma定义了增强现实的概念范围[7,8]，提出增强现实的3个基本特征，即：将虚拟与现实的结合、实时互动以及匹配技术。
时至今日，AR技术升级为虚拟现实、实时互动及三维显示技术的综合应用[9]。实现AR技术的核心构件由追踪模块(tracking module)、匹配模块(registration module)及显示模块(display module)3部分组成[9]。追踪模块由摄像头及光学传感器等构成，负责现实图像的采集及输入，匹配模块识别现实图像上的匹配标记(registration marker)或特定的解剖标记点，作为将虚拟图像叠加于实际现实图像的定位依据，显示模块则是将最终合成的复合图像呈现给使用者的装置。
匹配模块是AR系统，尤其是基于AR技术的手术导航系统的关键组件，其技术成熟与否决定了虚拟图像与现实图像的"融合"是否精确和谐。合格的AR匹配系统应当使虚拟图像与现实图像对位"重合"(overlapping)，并且在视野内物体发生移动时，仍能及时响应，保持对合关系的相对稳定。手术导航系统使用的匹配技术大致可分为2类，即标记匹配及无标记匹配。
标记匹配根据标记的固定方式可进一步细分为：皮肤标记，嵌入式螺钉或导板以及咬合板标记[7](图1)。几种标记方式各有利弊，尚无适用于所有情形的通用标记。皮肤及皮下软组织形变较大，轻微的体位变化即可能导致空间结构的改变及标记的移位，因而皮肤标记在实际使用过程中局限性较大，仅适用于软组织较少且体位较恒定的情况。嵌入式标记因与骨面紧密相连，因而位置较为恒定，匹配更加准确，然而标记置入过程却会增加患者的创伤以及手术的复杂程度。咬合板标记利用患者在通常条件下咬合平面较恒定的特点进行匹配，相对来说结果较可靠且无创，在颌面外科手术中较有优势，但其技术流程更加复杂，且需要制作牙模，过程繁琐，同时对于具有松动牙齿或缺牙的患者无法使用。
无标记匹配主要运用激光或超声进行轮廓扫描，根据较为恒定的解剖标志进行匹配，Suenaga等[10]探索了选取牙列的特定点作为匹配依据，进行匹配的AR导航系统，由于牙列相对于上、下颌骨的位置较为恒定可靠，因而该系统尤其适用于口腔颌面外科。其匹配用时在3 s以内，误差在1 mm以内，比一般的光学追踪系统要精确。
显示技术是另一个集中体现AR技术革新的领域，尽管仍有AR系统使用传统的显示器或平板电脑作为显示媒介[1]，但大多数外科领域的AR系统采用可穿戴设备(wearable device)，特别是HMD设备进行复合图像的显示。目前最广为人知的用于AR技术的可穿戴设备主要有谷歌公司推出的Google Glass，微软公司的HoloLens，索尼公司的SmartEyeglass以及爱普生公司Moverio BT-20等产品[2]。由于这些设备大多数同时搭载高清摄像头用于术区影像的捕捉，因而同时充当了手术导航系统的追踪模块和显示模块。
不同于传统显示器，医师在使用HMD设备时，免去了频繁低头、抬头变换视野的麻烦，节省时间的同时也能减少此过程中的身体的晃动，减少手术操作中的失误[3]。另一方面，许多HMD设备，如谷歌公司推出的Google Glass，可以采用语音及手势控制，使得医师在操作过程中不会破坏无菌状态，不影响手术的进程[13]。此外，一些HMD设备，如微软公司的HoloLens，输出图像时会同时向双眼投射相位不同的左右眼视觉，并根据瞳距对图像进行校准，使得形成的图像更加立体逼真，甚至可以实现全息成像[14]，成像效果远好于传统屏幕的平面成像。
然而，利用穿戴式设备实现AR技术也具有一定的局限性。首先是设备的续航问题。轻便的设备通常使用电池作为供电源，其续航时间有限，Google Glass在集中使用过程中仅可维持1 h，HoloLens续航能力稍好，但在集中使用的条件下也只能连续使用2～3 h[14]，这样的时长对于完成1台手术仍然较为勉强，尤其是对经验不足的年轻医师。诚然，一些设备，如日本Westunitis公司推出的PicoLinker通过使用电缆传输和供电，能够解决部分续航以及图像延迟问题[3]，却因这样的设计失去了便携性，电缆自身也不利于无菌条件维持和术者灵活移动。其次，HMD存在佩戴舒适度的不足，部分医师反映佩戴HMD时间稍长后，会因不适应三维图像而感到眩晕和恶心[14]；另一方面，由于头面部对于重量较为敏感，即使轻如Moverio BT-20(仅有88 g)，仍会让佩戴者感到设备过于沉重[15]。此外，由于网络传输的带宽及设备自身的计算能力有限，一些设备，尤其是使用无线网络进行传输的设备，在使用过程中可能出现画面延迟或不够流畅的问题[15]。由此可见，可穿戴设备还需进一步地发展和完善才能更好地满足AR技术的需求。
外科手术有时会需要在显露不佳的条件下，对不可见的深部组织进行操作，如骨科医师向椎弓根或股骨颈内置入承重螺钉，颌面外科医师利用口内切口进行下颌角截骨术。这些情形下，影像学资料以及及时的操作反馈就显得尤为重要，手术导航系统(navigation system)就是一类针对此类情形的手术辅助系统，利用术前影像学资料及术中实时的影像变化指导手术的进程，使术者按照系统的指导和反馈进行操作及修正(图2)。另一方面，一些手术涉及极易误伤且误伤后可能导致严重后果的解剖结构，如神经外科医生切除颅内肿瘤，导航系统的引导校正也具有很重要的意义。
基于AR技术的导航系统可以追踪并匹配图像，使得虚拟图像较为准确地叠加于术区实际图像之上，并可随着视野中的物体移动发生相应地实时变化，叠加关系保持不变，使得术者可以便捷稳定地依照图像引导实施手术，相比传统导航系统更具优势。如果叠加的图像是骨骼、肌肉等深部解剖结构，则复合图像能够产生一种"透视"(see through)的视觉效果，即透过表层看到深部的解剖结构[17]，对于深及骨骼的手术操作具有直观的指导作用(图3)[10]。
Hiranaka等[3]对比了传统屏幕显示的导航系统及映射于可穿戴设备的AR导航系统在完成定位导针置入操作过程的差异，发现AR导航组无论是在操作准确性还是效率方面均显著优于传统导航系统。
基于AR技术的导航系统在外科学的诸多分支均有报道，如普外科利用AR技术在腹部显示最佳的腹腔镜穿刺点，引导穿刺器的置入；肿瘤外科将PET-CT图像叠加于术区，显示出核医学图像上呈高代谢的前哨淋巴结，以便于在切除受累淋巴结的同时减少正常组织的损伤；神经外科手术显微镜搭载AR系统，于术区显示术前CTA结果，帮助术者识别血管走行及毗邻关系，帮助探查及分离[2]。
在整形外科领域，AR手术导航技术目前最深入的应用主要集中在颅颌面外科相关手术。Zhu等[18]选取了12例患有眶距过宽征的患者，使用基于咬合板标记匹配的AR导航系统对其完成了眶距增宽矫正术，上述患者均获得明显的外观改善，术后患者泪点间距与术前相比具有显著差异，且术后与术前设计方案的预测值没有显著差异，可见手术达到了较好的矫正目的，且与术前设计相符合。相类似的，Qu等[8]将20例半侧颜面短小患者随机分为试验组及对照组，对照组使用AR导航系统显示术前设计的下颌骨截骨线，并依据截骨线位置行口内延长器置入术，术后对比2组实际截骨平面与术前设计的差异，发现2组均与术前设计较吻合，且试验组精确程度显著高于对照组。
采用口内切口入路的下颌角截骨术，因术区显露不佳而较难掌握截骨平面位置，传统上十分依靠医师的经验判断。而利用计算机辅助设计(computer aided design，CAD)技术制作出的个性化导板可以在术中比照术前设计，指导截骨操作，已被广泛使用。而近年来，AR导航系统也被用于指导该手术的操作，为探究其与前2种手术方式的差异，Zhu等[11]对93例分别利用AR导航系统、个性化导板技术及徒手行下颌角截骨术的患者进行回顾性研究，通过对比患者术后CT三维重建图像与术前设计截骨线的吻合程度，以及手术准备时间、截骨过程用时等因素，发现虽然AR导航技术相比徒手手术准备时间长，但截骨过程用时短，手术总时长并没有显著差异，且AR导航组的实际截骨线与术前设计线更加吻合，因而在达到更好手术效果的同时也降低了因偏离术前设计的截骨线而造成血管或神经损伤的概率。另一方面，相对于CAD技术的个性导板法，AR导航技术虽然具有价格更加昂贵以及需要多种程序辅助的缺点，却具有更多的灵活性，必要时可以在术前甚至术中临时修改手术设计，不会耽误手术的进行，因此，AR技术在一定程度上是2种传统方法的升级及替代。
AR手术导航系统的另一个创新应用是与手术机器人技术结合。一方面，手术导航系统拓展了手术医师的视觉，使得他们能够更精确地把握术区的情况；另一方面，手术机器人则升级了手术医师的双手，使其克服了手臂的肌肉疲劳和颤动，提高了手术操作的安全性及精准度，因此这样的组合无疑是手术辅助技术的又一次革新。Lin等[7]率先进行了尝试，开发了结合AR手术导航系统的手术机器人，并将其应用于5例患者的颅骨模型模拟下颌角截骨术，一侧使用AR导航手术机器人，另一侧使用普通机器人作为对照，结果表明试验组在截骨准确性及操作稳定性方面显著优于对照组(图4)。Zhou等[9]则将该技术进一步改进后进行了动物实验，在2只实验犬上模拟了下颌角截骨术，共进行了4条截骨线的截取，系统运行流畅，术后实验动物未出现严重并发症，截骨线与设计线偏差较小。尽管目前AR手术导航系统与手术机器人的结合仅停留在动物实验阶段，但其优势已逐渐凸显，随着技术进步，十分具有临床应用前景。
AR技术对手术的导航作用还体现在其他方面，如Nishimoto等[15]利用吲哚菁绿产生荧光对淋巴系统具有示踪作用的特点，在注射吲哚菁绿后患者的术区采集荧光信号，将其与实际的下肢图像进行叠加，显示于可穿戴设备上，使得术者可以"透视"淋巴管的走行，便于直观地探查并分离出管径较大的淋巴管，并最终将其与静脉吻合，与笨重的传统荧光显示装置相比，大大节省了手术时间。
基于穿支血管设计的带蒂皮瓣具有设计灵活、血供稳定的特点，因而近年来在整形外科领域得到了越来越广泛地应用。然而，穿支血管变异较多，术前及术中需花费大量时间探索其走行路径。术前行皮瓣供区的CT血管造影(CTA)可以显示并定位皮瓣供区的多条穿支血管，为皮瓣血管蒂的设计提供较可靠的信息，准确率高于超声多普勒探查，可以有效减少术中穿支探查的时间和术后皮瓣因血运不足而坏死的概率。
传统方法中，手术医师会在术前设计阶段仔细阅片，选择合适穿支并设计好皮瓣切取方式后，测量穿支投影点与重要解剖标志的距离，并利用测量的数据在术中进行穿支的定位和探查。这样的方法复杂、耗时且缺乏穿支血管的深度定位，在多个穿支存在的情况下很容易出错。AR技术将术前检查得到的CTA重建图像与术野中的实际图像相复合，使得手术医师在做切口前即可"透过"患者的皮肤"看见"皮肤下的组织结构，更利于准确探查和分离皮瓣血管蒂。
Jiang等[12]对利用AR技术进行CTA图像复合及皮瓣设计进行可行性探索，于比格犬行胸背动脉走行区"绘制"了穿支血管走行图，并以此为依据进行了皮瓣设计及切取，术后进行测量比对，定位的总系统误差为(3.474 ± 1.546)mm，基本做到了安全、精准，证明利用AR技术进行穿支血管探查及皮瓣设计的可行性。Pratt等[13]则将该思路运用于临床实践，使用AR技术为6例患者进行了穿支血管的显示和皮瓣设计，并利用设计的皮瓣进行了下肢创面修复手术，均取得较好的手术效果，且手术时间较短。
然而，值得注意的是，该技术具有潜在2个缺陷。首先是软组织极易发生较大的形变，影响图像匹配和复合的准确性，进而造成图像误差甚至不能显像，因而需要最大限度地避免及修正手术体位下的软组织形变。其次，CTA对于穿支血管的显示精度有限，其能够显示的最小血管管径为1 mm，因此部分小穿支在图像上可能无法显示，在实际操作过程中可能造成误伤甚至影响皮瓣血供，可以在采集CTA图像前适当充盈扩张小血管，使其在较大管径状态下采集图像。
判断患者外貌轮廓变化在整形外科临床实践中十分重要，关乎手术最终结果是否符合患者的诉求。然而以往的工作中，绝大多数评估判断是根据患者本人的术前、术后影像学资料进行肉眼对比，涉及骨骼轮廓的手术还可以结合患者术前、术后CT图像的测量进行评估，但前者因其随机性和主观性而不甚准确，后者则增加了患者射线暴露且耗时长，无法进行灵活地反复对比。利用AR技术则可以进行无射线、多次、客观的手术效果评估，既可在术中进行指导手术的进程，亦可用于术后随访观察远期疗效。Mitsuno等[16]利用AR技术对比手术中术区实体与模拟图像之间外观轮廓的差别，评估手术效果，该技术被运用于患有颧弓骨折、面裂及骨瘤的8例患者，均可以顺利运行，且对比结果与实际测量评估结果一致。可见，利用AR技术不失为一种经济、快捷的手术效果评估方式。
Proximie是基于云技术的远程医疗平台，可以远程连接指导医师和操作医师，双向传输操作医师术野的实时影像，并可以将指导医师提供的意见通过AR技术显示在影像上，比如用手指出或用线条标注出重要结构，添加文字注释等。比起抽象的语言指导，AR技术提供的复合图像可给予术者更加直观和准确的指导，节省了因语言表述差异反复确认和校正的过程，提高了远程会诊的效率。Greenfield等[1]报道了1名黎巴嫩贝鲁特的外科医生通过Proximie平台指导巴勒斯坦加沙地区的1名医生，为1例18岁女性爆炸伤患者完成了复杂手部修复手术的案例。相比于实际派遣医疗援助队伍到偏远甚至战争地区进行援助，AR技术辅助的远程医疗可提供一种更可靠、更有效率、更经济安全的医疗援助方案。
AR技术的兴起为外科学尤其是整形外科学领域带来许多革新应用，大大简化了一些手术操作的复杂程度，且技术的不断进步推动这一技术继续延伸。混合现实(mixed reality，MR)就是一个典型的例子，其整合了多种AR功能，如手术导航、数据图片调用、手术影像记录及即时通讯等。使用者可以在视野里任意部位摆放所需的全息图像、三维图像及二维窗口，通过复杂数据包的调用获得帮助手术决策的信息，实现充分的人机互动；同时还可以通过搭载通讯软件进行可选的双向实时图像传输，实现深度的人际互动，在外科培训教育和远程医疗援助方面很有应用前景[14]。然而，上述功能的流畅实现仍需微型计算机、可穿戴设备、AR综合处理软件等软、硬件技术的进一步革新进步。另一方面，随着技术的进步和普及，AR技术的实现门槛越来越低，医师们可以通过利用已投入市场的商用穿戴式设备以及免费的开源软件(如AR Toolkit)等自行搭建AR系统，甚至可以在没有专业人员指导的情况下完成。相信AR技术在不远的将来会成为外科学领域的基础技术，并为手术操作带来更多革新体验。
本文作者与论文刊登的内容无利益关系。
The authors have no financial interest to declare in relation to the content of this article.
