深度信息采集技术探析

一、立体匹配

从机器鼠的双目视觉中获取深度信息，需要匹配相同目标在左、右两目上对应的位置并计算相应的视差，利用两目的视差来确定目标的深度。因此，如何匹配相同目标在左、右两目的位置以及匹配的程度成为深度信息获取的关键。由于经过立体校正后的双目图像是行对准的（图6-11（a）），因此可以在对齐的每一行内利用匹配算法寻找像素间的匹配关系。常用的立体匹配算法有BM[4]、SGBM[5]以及GC[6]等。这3种匹配算法所得到的重建精度逐次升高，但是相应的每一帧的计算速度逐次减慢。考虑到机器鼠的实时性要求，我们选择BM算法作为立体匹配算法。

图6-11　实验鼠双目视差图与深度图（见彩插）

（a）被识别物体；（b）视差图；（c）根据视差图还原的深度图

BM算法需要进行双向匹配：首先以图6-11（b）为参考，根据匹配的成本函数计算图6-11（b）中某一像素点Pl在图6-11（c）中的最佳匹配点；然后以图6-11（c）为参考，利用相同的方法计算出在左图的最佳匹配点；最后比较与Pl是否一致，如果一致，则匹配成功。对于匹配的成本函数，选择SAD算法[5]，其基本思想是寻找像素差绝对值之和最小的像素块，计算公式如下：

式中，Limg、Rimg分别表示左、右相机图像，图像大小为MI×NI；SAD搜索的像素块区域大小为mI×nI。

由式（6-16）可知，对于图6-11（b）某一像素块，遍历图6-11（c）同行所有相同大小像素块，找到与图6-11（b）像素块最相似的像素块作为最终匹配结果。

通过调节BM算法中的SAD区域尺寸、预处理滤波器窗口大小及预处理滤波器的截断值等参数可以对计算出的视差图进行调节，从而获得比较理想的视差图，如图6-11（b）所示。

在许多情况下，可以直接使用视差图获取物体的深度信息。例如，检测目标物是否在工作台上等，但是对于机器鼠而言是不够的。为此，需要从图6-11（b）中还原物体的真实深度。若图6-11（b）上任意（x，y）处像素点的值用d表示，那么可以通过下式还原深度：

式中，cx，l和cy，l分别为图6-11（b）的图像中心坐标；cx，r为图6-11（c）图像中心的水平方向坐标；Tx为图6-11（c）相对于图6-11（b）的水平方向的偏移量；fl为左目相机的焦距。(www.xing528.com)

最后，式（6-17）等号右边的Z值即为利用视差图还原得到的深度信息的值。经计算，图6-11（b）所对应的深度信息图如图6-11（c）所示。

二、RANSAC去噪与深度值测量实验

通过计算得到的深度图可以直观地看出立体匹配的效果：对于纹理信息比较强的区域，匹配点比较稠密，这样与原图的匹配效果较好；反之，对于纹理信息不明显的区域，匹配点比较稀疏，与原图的匹配效果差。由于匹配误差的存在，目标区域内每个像素点的距离值存在异常数据，如果直接对这些距离值取平均值会导致最终的计算结果与实际距离值误差较大，因此首先需要去除异常数据，然后再计算均值。

为此，采用随机采样一致性（RANSAC）[7]的思想去除异常数据。RANSAC是一种稳健的模型拟合算法，可以从一组包含有异常数据的数据集中拟合出准确的数学模型。RANSAC的算法流程如图6-12所示。具体地，仅对目标区域内有视差值的像素点进行计算：假设原始数据有NR个，首先，随机采样nR个数据，并计算出它们的均值μnR；然后，计算出每个数据点与μnR的距离eμ，如果大于某一阈值Eμ，则标记该数据，对上述步骤迭代KR次后，统计每个数据被标记的次数并排序；其次，去除被标记次数前Nr大的数据；最后计算剩余NR-Nr个数据的均值μ作为目标的平均距离。

测距实验如下：将双目系统与目标的水平距离设置为3种不同的值，即100 mm、200 mm和300 mm，如图6-13（a）～（c）所示。对于每种不同的距离值测试3次，共进行9组实验。从重建出的视差图中可以看出，距离双目系统较近的视差图细节丰富，视差值比较大，而距离双目系统较远的目标视差图细节较少，视差值也比较小。每组实验结果采用上述RANSAC方法去除异常数据后，根据重建出的深度信息计算出了物体距离成像平面的距离值和误差值，实验结果如表6-3所示。

图6-12　RANSAC的算法流程图

图6-13　目标测距实验结果图

（a）实物图；（b）目标距离100 mm；（c）目标距离200 mm；（d）目标距离300 mm

由表6-3可知，随着测量距离的增大，双目系统的测量误差也在逐渐增加，最大误差约为实际值（300 mm）的11%。在同一个测量距离下，多次测量结果的误差基本保持不变，表明该双目视觉系统具有较好的稳定性。总体来说，这里介绍的双目视觉系统测距性能较好。误差方面，距离双目系统较远的目标测距误差较大。一方面，由于较远的目标在左右两个相机中成像较小，进行双目立体匹配时匹配点的数目较少，同时匹配效果较差，对最终的测量结果带来较大的误差；另一方面，由于这里介绍双目视觉系统的基线很近，能够测得的距离比较近，而且相机的像素较低，因此在目标距离双目系统较远时会带来较大的误差。

表6-3　目标测距实验结果