多源视觉信息感知与识别：动态视觉传感器

动态视觉传感器（DVS）是一种新型的动态成像传感器。这种传感器的成像速度不受曝光时间和帧速率限制，像素的响应时间在微秒甚至纳秒级，且输出信号格式不是帧而是运动物体激发的事件流。因此，DVS在检测超高速运动物体方面有极大优势。DVS传感器输出事件的特点使得有效过滤背景数据成为可能，进而大幅度节省数据量，同时降低后续传输和处理成本，使实时处理变得简便。目前，国内外针对DVS信号的算法研究主要涉及追踪、三维重构、SLAM（Simultaneous Localization and Mapping）、目标识别和分类等。相关技术主要应用于包括增强现实（AR）/虚拟现实（VR）、无人驾驶、机器人在内的相关领域。随着国内外对DVS的关注度不断提升，在DVS研究上的投入不断加大，相信在不久的将来会向更工业化的应用方向发展。

动态视觉传感器（DVS）受生物视觉成像机理启发，并在硬件上实现了差分，因而具有过滤背景、精准捕捉运动物体以及高动态范围成像等优点。与传统相机相比，DVS具有更广泛的应用场景、数据量明显减小并且处理成本低廉等优势。

（1）DVS产品。目前研发DVS产品的公司主要有3个，即苏黎世联邦理工学院Tobi Delbruck教授创建的ini Labs公司、巴黎视觉研究所Christoph Posch教授创建的Prophesee公司以及新加坡南洋理工大学陈守顺教授创建的Celepixel公司。此外，其他团队也在DVS方面开展过相关研究，如Teresa Serrano-Gotarredona教授在2012年研发了128×128 Sensitive DVS（sDVS），Christoph Posch在2014年推出了Retinomorphic Event-Based Vision Sensors，以及韩国的三星先进技术研究院也在2017年推出了640×480的VGA动态视觉传感器。

（2）DVS应用。许多公司或机构都在致力于推动DVS的产业化。其中，iniVation公司发明、生产和销售神经形态相关技术，在DVS产业化方面起了很大作用；三星开发了Gen2和Gen3动态视觉传感器，并致力于基于事件的视觉解决方案。目前IBM研究公司（The Synapse Project）和三星公司合作，致力于将TrueNorth芯片（作为大脑）与DVS（作为眼睛）相结合；Prophesee公司开发生物启发和自适应的方法，以满足自动车辆、连接设备、安全和监视系统的视觉传感和处理需求；Insightness致力于建立移动设备空间感知的视觉系统，如硅眼技术；SLAMcore是AR/VR、机器人和自动驾驶汽车开发本地化和映射解决方案；AIT（Austrian Institute of Technology）销售神经形态传感器产品：如纸箱生产过程检验、UCOS通用计数传感器、IVS工业视觉传感器；Celepixel公司提供集成的感知平台，包含各种组件和技术，如处理芯片组和图像传感器。同时，很多团队致力于基于事件（即DVS信号）的算法研究，也取得了相应进展。总体来看，目前国际上的主流研究领域涉及追踪、光流、旋转估计、视觉测程、三维重建、SLAM等。

DVS因其能以低延时和最小冗余捕获视觉信息，近年来引起了国内学者的广泛关注。动态视觉传感器DVS相关的研究主要涉及事件驱动算法，具体包括目标分类、目标识别和跟踪、立体匹配、超分辨率和事件数据集的搭建。

（1）目标分类。清华大学的施路平团队于2016年将随机森林分类器与像素级特征相结合，显著提高分类准确性。随后将CNN学习的深度表示有效地转移到事件流的分类任务上，通过结合时间编码和深度表示解决时空事件流的分类问题。(www.xing528.com)

（2）目标识别和跟踪。天津大学徐江涛团队提出了基于多方向事件的识别系统，该系统结合识别和跟踪功能，且提取多尺度和多方向的线特征，丰富了只有单向运动训练样本的多方位目标识别特性。该系统提供了一种用于前馈分类系统的跟踪识别体系结构，以及一种使用事件数据对多方向目标进行分类的地址重排序方法。在事件流中实现目标跟踪的主要挑战来自噪声事件、事件流形状的快速变化、复杂背景纹理和遮挡等情况。为了应对这些挑战，清华大学施路平团队提出了基于相关滤波机制的鲁棒事件流模式跟踪方法，不仅在上述挑战中实现良好的跟踪性能，而且对于不同尺度、可变姿态和非刚性形变具有鲁棒性；同时具有快速的特点。

（3）立体匹配。浙江工业大学张剑华团队与新加坡国立大学的合作者共同提出了完全基于事件的立体三维深度估计算法。该算法考虑临近事件之间的平滑约束，仅使用单个事件属性或局部特征消除模糊和错误匹配。

（4）超分辨率。为了克服动态视觉传感器（DVS）物理极限的限制，如空间分辨率和相对较小的填充因子所引起的时空纹理模糊性，清华大学施路平教授团队提出一个两阶段方案来利用DVS输入生成具有高空间纹理细节和相同时间属性的高分辨率事件流。

（5）事件数据集的搭建。神经形态视觉研究需要高质量且具有适当挑战性的事件流数据集，以支持算法和方法的改进。然而，目前可用的事件流数据集有限。清华大学施路平教授团队利用流行的计算机视觉数据集CIFAR-10，使用动态视觉传感器（DVS）将10 000个图像帧通过重复闭环平滑移动转换为10 000个事件流，命名为CIFAR10-DVS。这项工作提供了一个大型的事件流数据集，该数据集为算法性能比较提供了初始基准，将促进事件驱动的模式识别和目标分类算法的发展。