多源视觉信息感知：位姿成像

位姿是位置和姿态的总称，用来描述物体或目标之间的对应变换关系。位姿感知是求解目标本体坐标系相对于参考坐标系的变换关系的过程。基于视觉测量目标的位姿感知，就是用单目或多目摄像机采集任务目标的图像，解算目标体坐标系相对于测量像机组基准坐标系的位姿参数。位姿感知是视觉测量中的基础问题，广泛应用于交会对接、视觉伺服、机器人定位与导航、物体识别与跟踪、增强现实和人机交互等任务。在计算机视觉、摄影测量和机器人等领域，已对位姿感知算法开展了大量研究。从二维图像中获取深度及相机姿态信息方面，常用的算法都依赖几何计算。已有研究大多利用几何线索的显式推理来优化三维结构，得到其中的深度信息。常用的深度估计与三维位姿恢复的几何方法有立体视觉、SFM（Structure From Motion），以及视觉定位与地图构建VSLAM技术。

基于视觉的测量技术，利用追踪航天器上的光学传感器对目标航天器成像并通过图像特征提取和解算实现位姿测量。基于视觉的测量技术具有直观、精度高和自主性强等优势。目标航天器可依据其结构是否已知分为合作目标和非合作目标，针对空间合作目标的视觉测量技术已开展了深入研究和成功应用。同时，由于缺少目标已知结构信息和合作标志且通常需要同时对目标结构进行三维重建，增加了针对空间非合作目标的视觉测量的难度。然而，正因为不需要目标的合作信息，突破了合作目标测量方法的局限，使得针对非合作目标的视觉测量系统具有很高的研究和应用价值。

（1）位姿估计方法。根据所使用观测数据的不同，位姿估计可分为2D-2D、2D-3D、3D-3D共3类。2D-2D方法使用不同位姿下传感器对目标所成的二维图像作为输入，多见于单目视觉应用场景；3D-3D方法使用两组三维点云作为输入，多见于双目视觉、TOF相机等深度相机应用场景；2D-3D方法综合使用传感器对目标所成的二维图像和三维点云作为输入，多见于RGB-D相机等混合视觉应用场景。对非合作目标进行位姿成像感知，需要充分利用其固有特征。目前，针对基于视觉的位姿测量开展了大量研究，尤其是基于点、线及轮廓等几何基元的二维图像与三维模型之间的位姿感知工作取得了一系列研究成果。

2D-2D方法先在两帧图像中提取特征点，通过匹配或跟踪建立特征点间的对应关系，然后使用八点法、五点法等计算本质矩阵，进而从本质矩阵获取旋转和平移分量。2D-3D方法使用目标上三维点及其经相机成像后在图像中的二维投影求解位姿，该问题称为n点透视问题（PnP）。PnP问题可以通过包括EPnP在内的多种方式进行求解，但至少需要4个共面点或6个非共面点的对应信息才具有唯一解，但使用更多的对应点则引入冗余、减小误差。虽然2D-3D方法可以获取6自由度位姿，但其与2D-2D方法一样被认为是粗略估计方法，在精度要求较高的应用中往往作为精确方法的初值使用。3D-3D则被认为是一种精确估计方法，常用方法是迭代最近点（ICP）算法及其改进版本。Arantes等人以目标上选取的36个点作为已知，获取其在成像中的二维坐标，通过人工给定方式建立2D-3D对应关系。Nishida等人假设目标三维CAD模型已知，通过双目立体视觉获取目标三维点云，然后使用ICP算法与已知CAD模型进行匹配求解相对位姿。Opromolla等人对基于三维模型的非合作目标位姿测量开展研究，重点针对不同ICP算法对结果的影响进行了仿真分析。直线特征相比点特征对光照变化和图像噪声的鲁棒性更强。基于直线特征的位姿估计已有大量研究成果，其本质在于采用某种形式对直线进行表示，建立目标上的直线及其在成像图像中所成直线间的对应关系，进而解算位姿。如D′Amico等人在PRISMA任务中使用追踪星Mango上的单目相机检测目标星Tango的边缘，采用Hough变换检测直线，并在已知Tango三维模型的前提下通过模型匹配对其位姿进行测量。此外，Kanani等人首先采用离线学习的方式建立各视角下目标成像轮廓二维模型数据库，然后通过图像分割提取出目标的剪影和轮廓，进而通过两者间的匹配来求解位姿。(www.xing528.com)

深度学习已经成为计算机视觉、图像处理等研究领域的热点。在三维特征学习方面，三维物体表示方式主要包括以下4种：多视角图像、三维模型的二维映射、三维体素和点云。Su等人基于多视角图像进行三维形状识别，对每幅图像单独进行CNN（卷积神经网络），然后进行信息融合。Qi等人将三维形状通过结构规则的体素表达，进而在体素的基础上设计卷积神经网络，将三维CNN运算直接扩展为三维CNN。Mottaghi等人针对三维模型建立一个由粗及细的3层结构，分别采用HOG（Histogram of Oriented Gradient）特征及CNN模型提取全局形状特征及局部特征，利用PCBP算法求解目标函数，得到最终的识别与姿态估计结果。Wohlhart等人针对基于三维模型的目标检测及位姿估计的问题进行研究，所提取的特征在维度上、分类性能上均优于目前广泛采用的HOG特征及Line MOD等。Crivellaro等人提出基于CNN的三维物体检测与位姿估计方法，在复杂背景、遮挡等情况下都表现出优越的性能。Sundermeyer等人提出了一种增强自动编码器的方法，通过在潜在空间学习目标位姿的隐式表达来实时获取三维位姿，该方法不需要大量的真实标注数据，具有较强的泛化能力，而且本质上就能处理目标与视角的对称性。

（2）位姿估计应用。在空间非合作目标视觉的位姿测量领域，美国、欧空局、德国、加拿大等拥有先进航天技术的国家和组织已开展了大量研究并成功应用于交会对接等空间任务。其中，美国已进行了大量空间视觉测量地面演示验证和在轨试验。早在20世纪90年代初，德国宇航中心便对非合作目标的在轨服务开展研究，并在其TECSAS项目中演示了对航天器的接近和交会、绕飞监测、机器人捕获等实验。此外，加拿大与美国合作开发了多个非合作目标视觉测量系统。其中，TriDAR作为第一个基于3D传感器的空间视觉实时跟踪系统，已成功应用于实际空间对接任务。

针对空间非合作目标的相对位姿感知，国内学者也开展了一些理论和算法研究。基于目标航天器已知的结构模型信息，通过特征点匹配和单目迭代算法可解算目标位姿。苗锡奎等人采用单目视觉，提出利用星箭对接环部件提供的单圆特征，以对接环平面外参考点到圆心距离的欧氏不变性作为约束，提出一种虚假解剔除方法，得到星箭对接环的真实位姿。Liu等人参考了RPnP的方法，提出一种鲁棒高效的方法。当前，国内相关机构的研究人员主要针对空间交会对接、空间机器人应用开展了相应的视觉观测方法与算法的研究。其中，空间交会对接是我国载人航天第二期工程的重要内容。同时，“天宫一号”与“神舟”系列飞船无人交会对接任务的顺利完成，标志着基于合作目标的自主交会对接技术已经日益成熟。