多模态影像融合技术在博物馆建设与文物保护中的应用

前述如此高的精度要求，一般的三维数据采集和后期处理很难达到，这就需要运用多模态影像融合技术的支撑。

“多模融合”是“多模态影像融合”的简称，它是以数字化技术为基础，集合人工智能图形分割算法、3D WEB渲染技术、3D数据传输优化技术等，对文物精准采集的数字化信息进行多模态影像融合的技术。比如，医疗上常用到的CT、MRI、B型超声等，每种设备各具优势，各自输出图片和诊断，将这些不同的多种方式采集的图片和诊断数据，同时合成在一个可视的三维模型中，可帮助医生更直观地进行诊断和治疗，这种技术在医学上也刚刚被突破并进行临床应用。

目前，国内博物馆界3D数据普遍采用的是贴图法。首先，使用激光扫描仪进行3D数据扫描建模，精度一般设定为小于或等于0.3毫米，有的部分扫描采集还使用贴点、喷粉等方法获取三维图像，对布光也有较高要求；其次，采用数码相机拍摄6—8张彩色图片；后期处理先建一个模型，再将图片贴上去，这样一件文物的三维模型就完成了。采用这种方式，采集、处理的速度快，可以满足一般网络平台鉴赏、陈列演示的需要。但细节丢失严重，拼图接缝明显，变形误差较大，造型复杂（如镂空）的阴暗面的数据采集不到，对部分透明、反光较重的文物，如果不在文物上贴点或喷粉，更是束手无策，如果将贴的图片拿掉，文物就变成了光溜溜的没有细节只有形的裸模，甚至就是一张二维图片。所以，这种低模数据，不可能成为“备胎”。

多模融合技术本质上是一种复杂的数学计算。运用这种技术构建的三维模型细节精准不会丢失，能将文物的纹理色彩信息真实还原，达到浑然一体的效果，完全反映了文物的真实面貌，其细部表现，有时候已经超出了人眼识别的范围，使文物在硬盘里得到“永生”，其数据不但可供文物保护修复、复制、研究、3D打印使用，经过减面，也完全可以满足陈列展示、宣传、网络交互、出版等需要；3D打印出来的成品的几何尺寸与原文物别无二致，是真正的克隆和“备胎”。其唯一的缺点就是数据太大了，需处理的时间比较久，一般的电脑难以显示，对存储设备有很高的要求。(www.xing528.com)

文物上的多模融合就是根据文物的形状、材质及纹理深度，在数据采集时，兼顾多种类扫描设备和技术的优势，用近景测量技术、结构光扫描和激光扫描等方式完成一件文物数字信息的高标准采集，后期将构建的多个数字模型融合在一起，有效规避采集过程中的环境影响，弥补采集设备的短板，准确还原文物的尺寸精度和纹理信息。简单地讲，多模融合后的数字模型尺寸精准，细节丰富，其色彩及纹理是通过“算法”算出来的，而不是用照片贴出来的。目前，文物上的多模融合技术还是一道难题，国内很多在博物馆从事该项研究的技术人员还没有攻克这道难关，国内只有极少数医疗机构部分人员自主研发的软件可以实现。因此，目前国内博物馆3D数据采集普遍使用贴图法也是可以理解的。

文物数字化保护，是对文物进行抢救性记录和保全文物全面信息，将文物资源由物质资源向数字资源转化的工作，是永续的文物保护研究和不断挖掘转化利用文化资源的基础，也是实现文物资源长久保存并发挥其更大作用的基础性工作。博物馆数字化保护的基础和核心要求，就是采集数据的精度和纹理还原的精准性。只使用一种方式构建的模型不能达到精度的要求，用贴图法还原纹理信息难以满足精准性的需要。目前，多模融合技术是解决文物数字化信息采集精度和纹理还原精准性的最佳途径。