光流估算速度场的方法

当物体运动时，物体在图像上所产生的亮度模式也会发生运动。这种亮度模式的明显的运动，被称为光流。在我们的想象中，光流会对应于某一速度场，但是，正如我们接下来要说明的，其实，并不是一定非得这样！

首先，让我们来考虑一个特殊的情况：在成像系统的前面，放置着一个理想的均匀球面，并且，球面在不停地转动着（如图11.3(a)所示）。球面是弯曲的，因此，球面所成的图像的亮度（或明暗）会发生变化，但是，图像上的这种亮度（或明暗）的模式，并不会随着球面的转动而发生变化，因此，图像不会随时间而发生变化。在这种情况下，尽管速度场不为0（注意，速度场是根据球的运动速度，通过式(2.4)计算得到的），但是，光流却处处为0。接下来，让我们来考虑另一种情况：球面是固定的，而光源绕着球面运动（如图11.3(b)所示）。图像中的明暗会随着光源的移动而变化，因此，光流显然不为0，但是，速度场却为0（因为球面的运动速度为0）。此外，虚像和阴影也会导致：光流和速度场不一致的情况。

图11.4　图像亮度模式的明显的运动，是一个很“别扭”的概念。要确定：第二张图像中的亮度等值线C′上的某一点P′对应于：第一张图像中的亮度等值线C上的哪一个点P，并不是一件容易的事。

对我们来说，我们能（从图像序列中）得到的信息是光流，而不是速度场。因此，我们不得不依赖于下面的这个事实：除了像我们上面所讨论的特殊情况以外，光流和速度场的区别并不是很大。这将使得我们可以利用图像的变化，来估计：物体和相机之间的相对运动。

我们上面所说的“图像亮度模式的明显运动”是什么意思？考虑：t时刻图像上亮度为E的某一点P(如图11.4所示)，在t+δt时刻，它将对应于图像上的哪一点P′？也就是说，在时间段δt内，图像亮度模式如何运动？通常情况下，P点附近会有许多：具有相同亮度值的点。如果在图像中的相关区域内，亮度值的变化是连续的，那么点P会位于亮度值为E的亮度等值线C上。在t+δt时刻，在C的附近，会有一条：亮度值也为E的亮度等值线C′。但是，点P和P′分别对应于C和C′上的哪一点？这个问题是很难回答的，因为，通常情况下，这两条亮度等值线甚至连形状都不一样。

因此，我们注意到：我们不能通过变化的图像的局部信息，唯一地确定出光流。我们也可以通过另一个例子，来将这一个观点说清楚。考虑图像中的一个“小块”，该“小块”的亮度是一个常数，并且，其亮度不随时间而变化，我们可能会认为：这个“小块”的光流“最可能”是处处为0，但是，事实上，这个“小块”内的点可以在这个“小块”内任意自由移动。可见，尽管有多种可能，但是，我们会选择最简单的解释，来对：我们观察到的变化的图像（或者，在这个例子中，图像是不变的）进行说明。

图11.5　令E(x,y,t)为：t时刻点(x,y)处的辐照强度，(u,v)T为：这一点上所对应的光流。我们期望：在t+δt时刻，图像上(x+δx,y+δy)处的点具有相同的辐照强度，其中，δx=uδt,δy=vδt。这一条件被称为亮度恒常假设。

我们假设：像素点的运动是由于相机和（场景中的）物体之间的相对运动引起的。于是，对应于同一个物体表面“小块”的像素点，在不同时刻出现在图像中的不同位置。我们进一步假设：在物体运动的过程中，某一个物体表面“小块”所对应的所有像素点，其亮度始终保持不变，称为亮度恒常假设，如图11.5所示。

令E(x,y,t)为：t时刻点(x,y)处的辐照强度；令u(x,y)和v(x,y)分别为：这一点上所对应的光流向量在x轴和y轴方向的分量。我们期望：在t+δt时刻，图像上(x+δx,y+δy)处的点具有相同的辐照强度，其中，δx=uδt,δy=vδt，参见图11.5。于是，下面的等式成立：

这一个约束条件并不足以唯一地确定u和v。显然，我们需要用到如下假设：向量场是几乎处处连续的。如果图像的亮度值关于x、y和t的变化是光滑的，那么，我们可以将E(x+δx,y+δy,δt)展开成Tay lor级数的形式，于是，我们得到：

其中，误差项e包含：关于δx、δy和δt的二阶以及高阶误差。消掉上式中的E(x,y,t)，然后，等式两边再除以δt，最后，令δt→0。于是，我们可以得到：上式正好是：E关于t的全微分方程，即：

(www.xing528.com)

图11.6　亮度梯度的局部信息，以及亮度关于时间的变化率，只提供了：关于光流向量的一个约束条件。光流向量必须位于：一条和亮度梯度垂直的直线上。我们只能确定出：光流向量在亮度梯度方向上的分量。

的展开式。我们可以将式(11.3)简写为：

式(11.5)被称为：光流约束方程。它提供了一个关于光流(u,v)T的约束条件。偏导数Ex、Ey和Et可以从图像中估计出来。式(11.5)中，

考虑一个由u轴和v轴所张成的二维空间，我们称这个空间为速度空间，如图11.6所示。满足光流约束方程的光流向量(u,v)位于：速度空间中的一条直线上。通过对：Ex、Ey和Et的局部测量结果，我们只能确定出这条直线。

我们可以进一步把光流约束方程写成如下形式：

其中，“·”表示：两个向量的内积。从上式中，我们可以看出：沿着亮度梯度方向（即：∇E=(Ex,Ey)T）的光流分量的大小为:

但是，我们不能确定光流在垂直于图像梯度的方向（即：亮度等值线方向）上的分量的大小。光流的这种不确定性也被称为孔径问题。

出于实际应用的需求，我们还是要想办法克服上述困难，完成光流估计任务。我们可以有两种不同的解决问题的思路：

1.先离散后求解，直接导出可行的光流估计算法。

2.先求解后离散，完善理论模型，进而推导出解析解，最终给出相应的离散算法。

第一种思路所建立的方法又称为稀疏光流法；我们将第二种思路所得出的算法称为稠密光流法。