使用视觉芯片实现实时跟踪技术

可视目标跟踪系统能够利用焦平面视觉传感器来预处理场景信息。与基于帧的探测器相比较,这种预处理在一定意义上减轻了处理器的计算负担,能够实现成本低、功耗低,并且可使结构紧凑。不同种类的视觉传感器的出现使焦平面预处理系统能够支持一种快速的可视跟踪。由Analogic使用ACE16k可视化芯片^[529,590]生产的Bi-i可视系统,即DVS^[317],与neuricam公司的VISoc可视化处理器^[10],或者基于CSEM^[460]可实现对比度和定向提取功能的传感器,对实时目标跟踪来说,均可成为有潜力的平台。

生物激励光跟踪传感器的硬件实现由Etienne-Cummings^[110]和Indiver^[250]分别描述。然而,前者仍然需要一个额外的处理阶段来产生跟踪结果,后者已经提供了对象位置代码,这种代码以模拟电压信号形式出现在可视化传感器的专用输出引脚上。然而这样有一个弊端就是这些传感器的额外空间增加了芯片的信号处理周期,结果导致像素处理效率下降。在这些芯片中一种低于320×240像素的分辨率是很普通的,而且,它们中的大多数都不能输出人眼可视的图像。但是能提供预处理、可视景物的抽象数据。表11.1给出了所引用的可视跟踪系统之间的比较,主要有关键参数和作为数字电路优点的时间分辨率。

表11.1 使用不同可视芯片的实时跟踪结果的比较

（续）

Lizenberger等人^[328]和Delbruck^[140]已经实现了基于DVS进行目标跟踪的嵌入式视觉系统和基于异步地址事件数据的快速追踪算法。这种嵌入式系统由一个数字视屏编码器（DVS）组成,这个编码器包含了一个128×128像素生物阵列,具有类似生物自动自发信号的功能。这些像素能响应一些相关的轻微强度的改变,在像素矩阵中通过公用的总线能瞬间迁移地址,即它们的位置。这种场景信息的编码策略被称作地址-时间表示法。这种基于事件的方法在检测移动目标时,能从根本上克服基于帧追踪目标时存在的对应问题。由于视觉传感器获得的信息与时间无关,每一个像素沿着物体运动的路径都会产生事件,与物体的速度无关。物体的连续运动路径包含在一个向量之中,该向量由像素地址及其对应时间戳组成。优化目标跟踪算法,使之能运行在最小的存储和计算资源上,可在低功耗DSP芯片或微处理器中实现。成像传感器的像素能抑制恒定的背景信息,仅仅反映场景的变化部分,因此可完成移动物体的检测。对一个典型的多目标运动跟踪任务,从20簇存储区中选择1簇作为缓冲区即可满足要求,且仅需几K字节的存储空间。因为处理事件的速度极快,并不需要事件缓冲区。

图11.2 描述了嵌入式系统的总体框架和动态视觉传感器

图11.2描述了通用的嵌入式系统结构,包括一个成像传感器、一个先进先出缓存存储器、来自AD公司的BF537 DSP。时钟频率为600MHz时钟频率,128kbit内存和32Mbit外部SDRAM。对于高分辨率视频系统进行数据处理来说,这种有限的存储资源远远不够,因为它连常规视频处理的需求也不能满足。可视传感器和DSP总共需要2.5W的电能。阵列内生成事件的像素地址通过15bit的并行总线传到FIFO,实施一个简单的4段式握手协议。FIFO位于传感器和DSP之间,能够满足地址事件发生的峰值,并且它的存储访问频率可达40MHz。在处理阶段,DSP收到的每一个地址事件被贴上标签,标签上的时间戳以处理器的时钟周期为基准,其精度为1ms。整个处理过程中包括了AE的获得和时间戳生成、聚焦、跟踪,也包括速度的粗略估计。

简单的算法可以总结成如下步骤：

①从先进先出的缓存中接收新的AE。

②从簇列表中找到新的AE所在簇,计算该簇的地址X_E=（i,j）到所有簇中心的距离R。

③如果找到一个簇,其中心x满足R=x-x_E＜R_K,即小于搜索半径,那么就相应地更新所有簇特征。

④如果没有发现满足条件的簇,则寻找中心为X_E的新簇,并用低权重、容量缺省值和创建时间进行初始化,这样赋予该簇一个新的标签（唯一的识别码）。

图11.3解释说明了簇的更新过程。某运动物体具有速度v和原始簇中心x（t）,如果x_E是其边缘产生的AE地址,则新的中心坐标x（t+dt）计算如下：

x（t+dt）=x（t）α+x_E（1-α） （11.1）

其中,（0＜α＜1）是算法的参数,dt是当前和最近一次AE被存入簇时间差,这样就通过改变α来控制簇中心,通常选择α靠近1,从而得到平滑的轨迹,同时边界范围R_C得到更新：

R_C（t+dt）=max{R_min,R_C（t）·α+R·（1-α）} （11.2）其中,R_min是参数,其主要功能是保证边界限定在一定的范围之内。搜索距离如果大于边界线的大小,则允许边界扩展来自适应跟踪物的大小。否则,就应该允许簇缩小。为每一个簇定义搜索距离R_X,作为边界尺寸R_C的因子：

图11.3 地址事件簇的连续轨迹(www.xing528.com)

其中,R_multiple（通常1＜R_multiple＜3）和Rmax是算法的参数,最小化条件保证边界块大小保持在设定的范围之内。在追踪期间,两个簇接近的情况下,R_multiple系数就显得很重要的,合理地选择它的值将会阻止一个簇直接越过另一个簇,因为其搜索半径是受限的。而且R_C的最大变化范围由参数α确定。

事件发生的平均频率可反映在簇的权重W中,从而有：

很不活跃的簇有低的AE频率,且其权重也低。

在算法的实际应用中通常为每一个参数,如位置、大小、权重等分别定义一个α是不错的选择（α_X,α_R,α_W）。

周期性（根据不同应用从10～100次/秒不等）地扫描当前的簇列表,由于删除过时的、不活跃的簇,同时更新速度矢量。

如果物体边缘的一个新事件位于其所属簇的搜索范围之外,物体将会分裂为两个重叠的簇。图11.4说明了这个方案。连续发生的事件可能归属于新簇C₂,从而取代存在已久的簇C₁,而且物体也许会永久地分裂成两个（或者更多）的簇。如果相对应的物体产生的所有事件归属于新簇,取代存在已久的旧簇,新簇可能会合并旧簇,这样就导致了物体轨迹的不连续,因为物体会频繁改变它的标志。

为了防止簇列表被创建的时间所存储。此后,搜索列表把AE重新归类,旧簇将会改进。因此,由于很少或者说没有事件属于它,新的、重叠的簇将会很快消失、被清除。因此,使用此算法能得到一个光滑连续的轨迹。

图11.4 重叠簇的地址时间轨迹

该算法只占用很少的存储空间,因为只有簇列表不得不被保存在存储空间里。对于以下所讨论的大部分测试场景（汽车轨迹、人类轨迹）约20个簇组成一个列表即可满足算法需求。该簇列表仅需2kB的存储空间就足够了计算的复杂度适中。因此,为一个新事件要计算多次时间地址和簇中心的距离。使用矩形边界窗代替圆形边界窗能减少计算复杂度,但是要为每一个事件更新每一个簇的特征。当前算法在实时车辆AE数据中使用时间步长为1ms。

这个系统用来监视道路交通情况的变化。掌握道路情况变化策略能够预示即将来临的交通堵塞。这个视觉系统安装在被测路线上方,并对来自行驶车辆的AE数据进行处理。图11.5显示了3个静止图像,图像上有以大约30km/h的运动速度行驶的两辆汽车在3s内的轨迹。为了可视化AE数据,针对某一固定时隙间隔中的像素活动性,以类似图像的方式表达其直方图。图中显示了目标在过去1s的轨迹。对所有的道路,可以观察到典型的超过50m的轨迹算法。图11.6描述了6辆车在两条路上的运动轨迹。基于摄像机的安装高度和光学参数,通过简单的几何投影把视觉传感器的坐标转换成通用的世界坐标。x轴显示了路的长度,单位是m（包含了车辆方向信息）,y轴显示了路的宽度,单位是m。两个邻近的车辆轨迹之间的距离是0.2m。

图11.7给出了基于AE仿真数据的行人追踪算法应用结果。AE仿真数据来自一个140×180像素点的视频序列。在左侧,从2s的视频序列提取了两幅图像,在右边,给出了场景的AE仿真数据及其追踪结果。图11.7中圆形指示不同人的位置,目标被唯一的ID号码识别,并且用一个箭头表示运动方向和速度。例如,ID198被直接追踪,ID227是在下一个序列中消失的阴影效应。

图11.5 利用动态视觉传感器监控2辆汽车在一条路上的运动轨迹

可以在开放性资源jAER^[139]中找到^[4]美国经济评论上说明的不同算法。

图11.6 评估汽车轨迹

图11.7 使用AE数据对人的跟踪