双目立体全景视觉系统标定原理

在计算双目立体全景视觉系统的立体深度时，两台全景视觉系统是严格按照水平对齐排列的。在实际情况下，因为安装精度等原因，两台全景视觉系统并不会严格地水平对齐，总是存在一定偏差，并且全景视觉系统之间的基线bl 也无法通过实际测量得到。因此在使用双目立体全景视觉系统之前需要对其进行标定，确定其相对位置关系和基线长度，标定原理及结构如图15-11 所示。

图15-11 双目立体全景标定原理图

双目立体全景视觉系统标定相较于单目全景视觉系统的标定更加容易，其原理可以参考普通的双目相机标定方法。在对单目全景视觉系统进行标定后，准确的投影关系就可以确定，各种计算机视觉算法也可以正常应用。通过使用第三方视觉检测库Aruco 来完成对双目立体全景视觉系统的标定工作。Aruco 是一个开源的增强现实库，可以用来完成追踪、识别、定位等计算机视觉任务，本研究主要应用Aruco 的定位功能。需要注意的是，Aruco 库支持的相机模型不包括全景视觉系统，因此需要对Aruco 前端的图像检测部分进行修改，将全景图像进行热点区域展开。

双目立体全景视觉系统标定的坐标系关系如图15-12 所示，两个全景视觉系统分别为CAM1 和CAM2，由CAM2 到CAM1 的姿态变换矩阵为 ，标定板为印有特定Aruco 图样的平板。两台全景立体视觉系统同时对同一个Aruco 标定板进行检测识别，得到和 ，可以得出

图15-12 双目立体全景标定的坐标系关系(www.xing528.com)

两个全景视觉系统之间姿态变换矩阵计算，重复计算多对双目图像，得出最优。是位姿变换矩阵，无法进行加减运算，通过多个计算结果得到最优解。

构造非线性优化问题来求解，设置为第i 张图像中第j 角点在CAM1 坐标系下坐标，为CAM2 坐标系下的坐标，根据变换关系：

构造优化问题

式中，和分别为左右相机观测到的Aruco 标定板上的角点在各自坐标系下的坐标。为了避免优化过程中旋转矩阵的正交性约束有可能导致优化失败的问题，在实际标定过程中，位姿变换矩阵 中的旋转部分使用四元数来参与优化，在得到最优结果后转换为旋转矩阵。整个标定的算法流程见算法1。