立体视觉几何校正前后的场景投影及畸变问题

立体视觉通过寻找两个平行安装的摄像机所捕捉到的图像之间的对应关系来完成场景深度的计算。场景中的每一个点对于摄像机都是可见的,它被投影到摄像机的数字传感芯片上,并由图像上的一个像素来描述。假设一个场景点出现在两个摄像机的图像中,我们可以在两个图像中分别找到同一个场景点对应的像素。在立体图像中寻找对应关系的过程被称作立体匹配。水平位移又称视差,可以用来计算场景深度。如果计算所有像素的场景深度,就会形成一个稠密视差图,它具有和原摄像图像相同的数据规模,保存的是每一个像素的视差。事实上,并非所有的点都能在两个摄像机中成像,所以视差图并不完整。我们称这些丢失的像素为“遮挡点（occluded）”。视差图通常和摄像机成像是一致的。稠密视差是立体匹配的一种方法,另一种方法是通过寻找图像中边缘或矩形的特征来求取视差。这种情况下产生的视差图并不稠密,我们称之为基于特征的立体图像。本章仅介绍稠密视差图,因为它的研究结果应用更为广泛。

图8.1a是场景点P在图像平面的投影,π_l和π_r的光心分别是O_l和O_r,光心间的距离为b。场景点P=（x,y,z）^T由世界坐标系而定,它在图像平面上的投影用像素坐标表示为p_l=（u_l,v_l）^T和p_r=（u_r,v_r）^T。

点p_l和p_r位于核线g_l和g_r上,核线由核点e_l和e_r定义,如图所示,核点是图像平面和基线的交叉点。每个相对应的像素位于其他图像相对应的核线上。核线g_r对应于像素p_l,g_l对应于p_r。

如图8.1b所示,如果核线与基线平行并且与图像行相对应会很有利,因为沿着单张图像的行来搜索对应的像素,相对于针对整个图像或沿着斜核线来查找,会减少搜索点。这个设定可以通过校正实现。在校正图像中,所有核线都是水平的,核点无穷多,对应像素有相同的v坐标,只要知道摄像机的几何位置（可由立体摄像机标定计算出来）,就能校正图像。

图8.1 立体视觉几何校正前和校正后

a）校正前 b）校正后

实际使用时,镜头会畸变,所以本章给定的理想中心投影的假设就会不成立。为了解决这个问题,摄像机图像必须利用径向畸变和切向畸变模型来消除畸变,这些模型都是由单个摄像机标定得出的系数产生的。与立体视觉几何矫正不同,要对每个摄像机单独消除畸变。关于单个或立体标定的详细信息可以在参考文献[592,504,205,74]中找到。通常使用的工具包括加州理工大学标定工具箱^[3],在OpenCV库^[4]中可以找到。

为了实现快速的立体视觉几何矫正和畸变消除,可以离线计算某种反向变换图。它们可以立即实现对图像的立体视觉几何矫正和畸变消除。如图8.2所示。

图8.2 用于立体视觉几何矫正和畸变清除的反向变换(www.xing528.com)

一旦在起始时刻计算了这种反向变换图,就可以在运行时段对所有的图像做相同的变换。详细地讲,一个反向变换可以用于计算由畸变非矫正图像坐标（U_dr,V_dr）^T无畸变的、立体视觉几何矫正后的图像的坐标（u,v）,其坐标关系如下：

dst（u,v）=src（mapx（u,v）,mapy（u,v）） （8.1）

其中：

mapx（x,y）=u_dr mapy（x,y）=v_dr （8.2）

在本章中,我们假设立体图像是无畸变且经立体视觉几何矫正的。使用视差图（disparity map）,可以通过三角法计算每一个像素的深度。表示为

这里,z是场景点和对应的摄像机之间的距离;b是立体摄像机的基线;f是摄像机的焦距;d是像素的偏移。摄像机坐标的3D数据为

K是摄像机标定（calibration）矩阵,像素由齐次坐标（uz_c,vz_c,z_c）^T表示,z_c由公式（8.3）计算得出,K和f可以利用单个摄像机标定确定。更多关于立体视觉和三维重建的内容可以查阅参考文献[172,504]。

之前阐述了立体视觉中所有重要的基本原理,接下来,将介绍一些适合于智能摄像机和嵌入式系统通用的立体匹配算法。