虚拟现实在现代医学中的手术模拟应用

1）简介

随着现代医学的进步，微创手术技术得到了快速的发展。微创手术因为患者创伤小，并发症危险小而且恢复快速，广受患者和医生的欢迎。但是相比于普通手术，微创手术对医生提出了更高的操作要求，这也使得微创手术的事故发生率居高不下。微创手术事故率较高的原因主要是目前医生的微创手术训练手段存在很大的局限性。如果医生在尸体上进行微创手术的训练，则会存在尸体数量有限、无动态特征等弊端；如果在动物上进行微创手术的训练，则存在解剖结构有差异，不能理解并发症等问题；如果在病人身上进行微创手术的训练，那对病人的伤害是很大的，而且无法重复进行训练。

虚拟手术的出现很好地弥补了上述存在的问题。利用虚拟现实技术营造逼真的手术环境，可以降低训练成本，同样的手术环境可以进行各种不同的手术训练，而且可以让用户反复进行训练。由于是在虚拟环境中进行的训练，所以此种训练方式也是安全可靠的，不存在对患者造成伤害等问题。不过虚拟手术的实现需要集合多种关键技术，包括医学图像处理技术、软组织建模及形变仿真技术、复杂医学数据实时可视化技术、实时逼真力反馈技术以及系统的集成、评价和验证。接下来介绍我们在上述关键技术中取得的若干具体技术进展。

2）虚拟现实中的若干关键技术

基于非局部低秩超声图像去噪技术。图像的噪声将在很大程度上影响三维建模的准确度，为此我们利用引导图像提高相似区域查找的准确度，提出Truncated Weighted Nuclear Norm和Structured Sparsity来更有效地实现低秩化。在去噪的同时还能保留图像的细节，比现有方法更能提高图像分割和后续三维建模的准确性，如图151.8所示。

图151.8　基于非局部低秩的超声图像去噪技术

腰椎间盘MR图像自动定位与分割技术。我们构建了多尺度图像分割网络基于多模态的随机像素点去除技术。设计了多尺度多通道的三维卷积神经网络，极大提升了定位和分割准确率。采用基于多模态的随机像素点去除技术，抑制了过拟合问题并提高了准确率。我们的技术达到的定位误差为0.36 mm，分割结果能够达到91.34％的准确率，如图151.9所示。

血管血流建模与仿真技术。手术中通常会见到很多血管，因此血管和血流的建模就极其重要。我们构建了基于平滑粒子流的血流仿真，能够达到很好的效果。我们还构建了基于血管生长模型的肝脏及肝脏肿瘤血管生长仿真，还实现了血管网络的三维几何建模，如图151.10所示。

图151.9　腰椎间盘MR图像自动定位与分割技术

图151.10　血管血流建模与仿真技术

基于生物力学原理的大尺度软组织形变建模技术（见图151.11）。在手术场景仿真中，要实现对人体器官组织在复杂的交互环境下产生形变过程中的交互和力学反应进行逼真的模拟。在交互作用方面，要进行手术器械与软组织的交互，以及进行软组织与软组织的交互。在力学反应方面，通过嵌入网格来进行形变建模，自动生成针对多组织（肿瘤、血管、器官组织等）数据的嵌套六面体网格。在真实性方面，基于Patch Green Coordinates的插值通过patch分块处理，获得更加平滑的插值效果，并使之体积守恒。

图151.11　基于生物力学原理的大尺度软组织形变建模技术

软组织与手术器械的触觉交互建模技术（见图151.12）。在软组织形变方面，我们主要使用了混合几何模型，其中力学形变的模型与用作渲染的表面网格相对独立。使用基于点的形变模型，尤其在拓扑结构发生变化（大尺度形变）的情况下，可以高效地对可形变模型进行仿真。在接触建模方面，实现了软组织—软组织的交互、手术器械—软组织的交互，以及多频率视触觉仿真方法的交互。(www.xing528.com)

图151.12　软组织与手术器械的触觉交互建模技术

复杂边界条件下交互式剪切视触觉仿真技术。我们在表面进行几何建模时，要保持切痕与切割路径的一致性以及体积守恒；在里面进行物理建模时，表面几何建模应独立，以避免计算的不稳定性。此外，我们还提出了适用于混合几何模型的表面网格重建方法，以及拓扑结构发生变化时混合几何模型的更新方法，如图151.13所示。

图151.13　适用于混合几何模型的表面网格重建方法以及拓扑结构发生变化时混合几何模型的更新方法

三角网格的平滑优化技术。当使用医学数据进行三维手术场景的重建时，数据的噪声会不可避免地生成一些规则的网格和瑕疵，严重影响手术场景渲染的效果和模型的真实感。为此，我们联合信息互补的点法相域和面法相域进行滤波，以检测模型的特征边缘信息；还利用加入边缘和质心约束的拉普拉斯变换进行网格的平滑优化。从而使得在平滑过程中不丢失模型的重要几何特征，很好地保持了体积的不变性，如图151.14所示。

图151.14　多分支血管三维模型的平滑和优化

基于逐段圆柱形状假设的血管网格曲面高质量中心线提取技术。血管中心线是血管建模的重要依据，也是血管介入手术交互的重要信息，但高质量的提取难度很大。血管的拓扑结构复杂，且存在细小分支及血管病变（如血管瘤）等，目前的方法大多基于体数据，效果并不好。我们提出了基于类圆柱假设的串联离散几何处理算法，首先进行网格分割，然后旋转对称轴，再进行主元分析，从而可以有效提取具有复杂拓扑结构和几何结构（血管瘤）的血管中心线，如图151.15所示。

图151.15　基于逐段圆柱形状假设的血管网格曲面高质量中心线提取技术

流体模拟中细节增强技术。在烟雾模拟中存在数值耗散问题，忽略网格分辨率以下的涡流计算，从而导致小尺度特征信息丢失；在液体模拟中存在拉伸不稳定性问题，边界粒子支持域不完整造成粒子分布不均，影响数值稳定。为此，我们通过对局部流体粒子进行光滑粒子流体力学（SPH）湍流建模，可有效恢复流体在网格分辨率以下的湍流细节，保证仿真场景内的涡量守恒。通过对流体粒子邻域的分析处理，使所有粒子满足数值计算紧支撑的条件，同时引入粒子分布调整机制，可有效防止细流破裂，实现具有丰富细节的液体模拟，如图151.16所示。

图151.16　流体模拟中细节增强技术

3）全息增强现实导航——肝脏穿刺增强现实导航

在综合上述技术的基础上，结合人机交互接口设计，我们实现了全息增强现实导航——肝脏穿刺增强现实导航，如图151.17所示。当肿瘤位于肝脏内部时，医生是无法通过肉眼直接对肿瘤进行观测的。如果通过传统的超声/CT的二维影像导航方式，这将严重依赖医生的经验，手术往往耗时较长。目前我们结合HoloLens首次实现了柔性体（腹部体模）穿刺增强现实导航，以往HoloLens仅应用于骨科医疗手术导航，尚不能应用于柔性体手术的导航。我们首先构建异构腹部体模解剖模型，然后实现体模穿刺过程中的形变预测，进而实现术中场景动态跟踪配准。传统CT引导下肝脏体模穿刺的平均精度是8.52 mm，我们实现的增强现实引导肝脏体模穿刺的平均精度为3.23 mm，使得手术精度大大提高。

图151.17　肝脏穿刺增强现实导航