AR技术应用到手术中
3月27日，医院的手术室中，主刀医生温树生和他的助手团队，正在为一名肺动脉闭锁合并严重室缺的患儿进行手术。这个手术室里同时存在着“两副”病变心脏及血管：一个在接受手术的宝宝体内，一个则在温树生和手术助手的MR(混合现实)眼镜里。
“某一个单项技术应用于医疗临床，医院都进行过。比如用VR进行术前方案确定，美国的约翰·医院今年初就做了两例，还发了论文。我们是全球第一次将三种技术结合在一起使用的医疗机构，而且这种结合，取得了很好的效果”，医院院长、心脏外科专家庄建表示。
患者刚两个月、体重3公斤医生看到的都是最袖珍的脏器
患者是一名刚刚两个月的病童，体重仅仅3公斤。病童的主干血管，被分裂成了5条细微的支线血管。恢复肺动脉的过程，需要将这五条都找到，并缝合在一块。手术过程中，还不能对旁边的胸腔脏器组织造成损害。婴儿手术，注定了医生看到、切割、游离、包扎的，都是最袖珍的脏器、组织。
这对医生的考验非常大，对患儿的折磨也是巨大的。需要在孩子的左右侧胸上分别开一个大大的切口，一个供医生施展手术，一个专门给医生来观察、发现、寻找、探查这些细微的血管走向。“一台手术下来，需要10小时以上，全程需要体外循环，对孩子的术后康复又多了一层考验。”
依靠虚拟心脏指引手术时间被压缩了6小时
3月27日这天，两个大切口被缩减成了一个切口。医生遇到不知道的血管走向时，打开混合现实眼镜，就能从眼镜里调取到一个立体的心脏来进行观察。这个只存在于眼镜里的心脏，与病痛的心脏接近%一致，是根据对病童的CT影像检查重建好的。温树生需要查看血管走向时，只需把这个虚拟三维心脏影像投射到手术台上方，或者直接把虚拟心脏放到患者胸腔内同实际心脏重合，这样就能根据影像的指引一条条地把侧支血管找到，进而完成后续步骤。
利用先进的影像检查和三维重建，再加上居于世界前沿的混合现实技术，温树生一旦遇到疑问，就可以从酷炫的眼镜里调取出一个三维的心脏来。借助这颗实时“漂浮”在术野上方的虚拟心脏指引，原本十多个小时的手术，被压缩到4小时。原本会在侧腹壁用手术刀划开的切口也免了，孩子能更快康复。关键是，使用类似的手术技术，并不额外增加任何的手术费用。医生头戴的混合现实(MR)眼镜，不到3万元，按患儿病变心脏接近1：1构建出来的虚拟心脏，也没有什么额外的成本增加。
AR显示屏
揭秘
患者、家属戴上VR眼镜到“心里”了解病变在哪
“做复杂手术时的适时引导，做外科医生的训练，将来用VR技术，还能非常形象地向患者、家属进行疾病讲解……”，庄建对于将VR、AR、MR，以及3D打印这些当下热门的先进技术和传统的外科医学结合，所发生的技术革命充满憧憬。庄建表示，之所以将三大影像领域的辅助神器，首先都聚焦在了儿童先天性心脏病领域，完全是因为复杂性先心的病变解剖结构非常复杂，手术是其唯一的根治方式。
庄建院长测试AR
只需要进行CT检查不额外增加患者负担“以前，类似的手术，外科医生要通过影像检查来了解病变情况。还要对人体解剖结构有着极深造诣，并且还要有着很强的空间感。需要把二维的影像片在脑内形成一个立体的映像”。类似的经验技能，其中一项都要有很深造诣且需要长期训练，何况是要同时具备多项。有了打印技术，虚拟现实技术，甚至混合现实技术后，就能很好地进行术前的手术演练，术中手术指引。
“目前应用于复杂先心领域，也同样能够应用于骨科、神经外科、肿瘤切除等诸多医学领域。”庄建表示，由于这一系列的设备，价格并不高昂，患者以前只要进行CT检查，现在依然只要进行CT检查，并不额外增加患者的负担。此外，三维重建也就是几十分钟的过程，VR、MR眼镜这医院投资。将来，在对患者和家属进行术前讲解时，完全可以让他们戴着VR眼镜，走进自己的“心里”来切身体会。
类似的让医生戴着一个酷炫的眼镜在其引导下的手术，省医已进行了四台，均实现切口减少、手术时间大大压缩。“对于心脏病患者而言，外科手术过程中进行体外循环的时间越短，患者恢复得越快”，庄建表示。目前，省医团队正计划与一系列科技企业进行合作，将这些技术和省医2万多例先心病资料结合起来做一套辅助诊疗系统。利用这套系统，医生和患者能够直观地了解病情，系统也能根据病情给出一个初步的判断供医生、患者选择。“用什么手术方式治疗最好，更加一目了然。”
手术医生不用全程戴着眼镜来操作手术做手术的医生，同时要观察病变心脏和虚拟心脏两个“靶器官”，会不会干扰到医生的具体判断呢？温树生作为最早期的体验者，有着很直观的感受。“那个MR混合现实眼镜确实比较沉重，戴久了医生也会觉得不舒服。”但好在，即便是再复杂的手术，医生也不用全程戴着那个眼镜。只有在医生无法通过直视、记忆找到血管时，才需要调取或固定在病变心脏上。用的时候可以调出，不用的时候，就把眼镜摘了，专心手术。
“戴上那个眼镜，拇指、食指一扣，就能通过眼镜里的光标固定虚拟心脏。过程有点像美国大片《钢铁侠》在空中打开操作界面，用手抓取想要的文件。”温树生表示，而类似大片里表现出来的轻型化、操作简单化的混合现实，也正是这一技术的改进方向。
如何确保MR、VR眼镜里的虚拟心脏，和真实的病变心脏一致呢？这有赖于现代医学影像技术的进步。“虚拟图像的数据来源，都是患者CT影像检查的结果，然后通过软件重建后导入系统里，生成三维图像和眼镜里的虚拟心脏。”团队的影像专家、省医心导管室主任黄美萍表示，心在的CT设备，已经能做到极高的精度、准度，再加上重建软件的修正，进入眼镜的虚拟心脏和真实的病变心脏已能保持高度一致。
知多D
混合现实技术如何在手术中应用
第一步：根据影像检查重建的三维图像，用3D打印出一个1：1的模型。借助这个模型，医生可对复杂病例进行术前练手；
第二步：根据三维重建后的影像资料，在特殊的系统里，完全构建出一个和病变心脏高度一致的VR虚拟三维图。将虚拟心脏放大到一个真实房间那么大时，医生可戴着VR眼镜，走到这颗虚拟心脏的内部，看看心房、心室和每一条血管的流向，很快就能找到真正狭窄、几近闭塞的心血管位置。
第三步：用三维重建的资料，构建一个立体的病变心脏，存放于混合现实的眼镜里。真正手术时，再遇到不太确定的地方，戴上混合现实眼镜，调出这个立体心脏，用来指引手术完成。
出品：南都采编指挥中心
统筹：南都科学新闻工作室
主持：陈养凯
采写：南都记者王道斌实习生杨丽云通讯员张蓝溪靳婷
图片由受访者提供
南方都市报App
赞赏
转载请注明：http://www.chinahjfu.com/xxbmfzl/3917.html
