智能视频分析技术——视频识别与行为分析

视频分析技术最早出现在20世纪90年代初。“911”事件前，它主要处于研究实验室阶段，由政府和学术界提出。Agent Video Intelligence公司认为视频内容分析起源于计算机视觉，是从人工智能研究中衍生出来的。首次商业化应用是基于国防高级研究计划局（De-fense Advanced Research Projects Agency）开发的视频移动侦测（VMD）算法。

智能视频分析主要是视频识别和行为分析两个方面。智能视频分析对视频监控技术是一个质的提高，但目前国内还只停留在对流媒体的处理上。例如图像识别，实时图像识别是对视频的图像压缩序列进行实时处理，来达到不同应用环境的要求。目标类型识别用于识别目标的类型、位置，进一步可以实现人像匹配、车辆分析；目标自动跟踪技术是通过对移动目标的识别，自动控制摄像机来跟踪目标的移动，监视目标的整个移动过程。这些智能化工作方式在多种应用环境下都很有价值。而对于图像分析，移动目标的分析技术是通过对画面中移动目标的识别，分析统计目标的类型、流量、运动方向、速度等信息，可以用于交通道路指挥自动化以及重要场合自动检测分析，也可以用于环境监控中的自动化监测报警。

视频监控系统智能化的发展，是仿生学引导的结果。智能视频（Intelligent Video，IV）技术源自于计算机视觉（Computer Vision，CV）与人工智能（Artificial Intelligent，AI），其目标在于将图像与事件描述之间建立一种映射关系，使视频监控系统从纷繁的视频图像中分辩、识别出关键目标物体。视频监控系统借助计算机强大的数据处理能力（智能视频分析要求采用专用的算法处理芯片，不能用编码剩余的CPU计算能力来做视频分析，否则会拖累客户对产品的满意度）。过滤掉视频中无用的或干扰信息、自动分析、抽取视频源中的关键帧信息。如何在模仿视觉的基础上模仿人脑功能，使视频监控设备具有一定的智能，能够给出分析、判断和结论，而并非只对传感对象的物理量作忠实的记录。现阶段，对成百上千的摄像机信息进行屏幕“监视”，对存储的海量信息进行回放“检索”，对可疑信息进行人工对比、分析都是通过人工的方式来进行的，但人是很容易疲劳的，在监视或检索的过程中易丢掉大部分信息。所以寻找不会疲劳的眼睛和大脑，分析所监控的内容、减轻监控人员负担、提高监控效率是视频监控智能化的目标，即目标识别模式从“目视解释”过渡到“机器解释”。基于计算机视觉技术的智能视频分析因其可从纷繁的视频图像中分辩、识别出关键目标物体，可自动分析、抽取视频源中的关键帧信息，形成相应事件和告警的监控方式，正成为智能视频监控系统（Intelligent Video Surveillance System，IVSS）最合适的需求。视频监控智能化的关键技术是视频图像识别分析软件（Intelligent Video Software，IVS）。

（一）智能视频监控系统的构成

智能化视频监控系统的核心智能分析系统目前有两种架构：嵌入式视频分析和纯软件视频分析。嵌入式视频分析可以在前端直接对视频信息进行处理，减少了视频信息上传的网络带宽压力，并且安装简单易于系统集成。但是这种架构开发复杂，灵活性差，扩容与升级比较困难。纯软件视频分析是在视频监控系统的后端，由专门的视频处理服务器来实现的，这种模式功能比较强大，并且容易扩容。但是它需要视频监控系统前端将所有的视频信息都上传到服务器，这对网络带宽的压力是非常大的。

智能视频监控的最终发展目标是要能辅助人们或者能自动从浩瀚的图像信息中提取出人们感兴趣的有用信息。例如从监控场景中辨认出物体、行为或特征，能跟踪特定的目标等。

目前，通用的智能视频分析技术主要功能模块分为五类：目标检测、目标跟踪、目标识别、行为分析以及基于内容的视频检索和视频增强。

从硬件角度来看，IVS系统结构主要部分包括视频数据采集的摄像机、用于目标跟踪的高速快球、智能视频分析用高性能计算机（高级别的还应具有图像存储功能）、传输以太网、集中管理服务器及软件等。

视频采集摄像机：固定安装的高感度摄像机，用于拍摄监视现场的高清晰图像，为智能分析提供基础视频数据。

数字硬盘录像机：用于对视频采集摄像机摄取的图像内容进行高速分析与数据处理，并对比安全管理规则或用户设定的条件给出报警或结果，同时，它也承担着将图像数据编码、压缩及录制保存的功能。

智能跟踪高速球：自动根据IVS的分析结果及系统设定，当智能视频分析判别有违反安全规则（报警）时驱动高速球型摄像机迅速转到事件区域，以提供给系统使用者近距离、高清晰观察现场实际状况的可能。

报警控制单元及报警探测器、警灯警号：对于极为重要的监视现场，工程设计时可能需要更多的（一种以上的）安全防护手段，即除了智能视频分析以外还安装有其他类型的报警探测设备，针对这种使用需求，一般智能视频监控系统还设计有报警控制单元，它不但为各类报警探测器的接入提供了可能，同时，还具备了将智能视频分析报警或报警探测器给出的报警用来直接驱动警灯、警号的能力。

现场显示设备：由于智能视频分析系统具有消除多余无用信息而只将关键报警信息上报的能力，使得安全人员能够通过设在巡逻现场的显示设备直接获得有用资讯，从而使他们根据真实情况、迅速采取最有效的措施。

远程监视控制中心服务器：受设备成本、系统稳定性影响及目前计算机的计算能力限制，单台IVS系统的视频采集分析路数一般为4路摄像机，当现场需要对更多的摄像机进行智能视频分析时，需要选用多台IVS来满足使用需求，同时，考虑到采用IVS构建大规模智能监控系统的需求，一般智能视频监控系统还设计有远程监视控制管理中心服务器，以便使系统管理人员能在异地对现场进行实时监控和根据语音提示处理突发事件。

目前很多厂商推出的智能视频监控系统大都采用适合不同需求的智能分析模块。如禁区报警、绊线报警、遗弃物报警、拥挤度分析，都是由不同的模块完成的。各类智能分析模块在通常情况下即可立即投入应用，对于具有特殊要求或环境情况极为复杂的现场，智能分析模块需要根据监视现场的情况及客户实际需求单独定制。

（二）现阶段的智能视频分析应用

目前典型的“智能”主要集中在以下四个方面：

（1）摄像机保护。这是首要任务，如果摄像机得不到保护，其他的一切都免谈。因此对摄像机被遮挡、被移动、模糊等情况能及时自动转移、报警并通知维护人员。

（2）入侵检测和运动目标跟踪。对非正常进入监视区域的可疑目标及时检测，能够识别单个或多个目标的运动情况（如运动方向、运动速度等）。在检测到可疑目标后，发送控制指令使摄像机自动跟踪目标，在物体超出该摄像机监控范围之后，自动通知邻近的摄像机协同工作，继续进行跟踪并发出报警信号。

（3）滞留物和搬移物报警。当场景中（如候机室、会议室等）某一物体（如包裹、手提箱等）在敏感区域停留的时间过长，或原场景中存在的物体（如手提电脑、贵重仪表）被无故搬移时，系统就发出报警信号，同时自动在前面的视频画面中查找放置滞留物或搬走原有物品的可疑人。

（4）群体行为分析。包含对人群、车流等目标的正常行为和异常行为分析。能够对场景中群体的正常行为进行分析，如统计穿越出入口或指定区域的人或车的数量、高速公路交通流量，识别人群的整体运动特征，包括速度、方向等。也能够对场景中群体的异常行为进行分析和判断，如检测、分类、跟踪和记录过往行人、车辆及其他可疑物体，判断公路上是否有车辆非法停靠、是否有故障车辆，是否有行人及车辆在禁区内发生长时间徘徊、停留、逆行等行为，检测公共场所是否有人员的集聚、奔跑、斗殴等异常行为。

目前，智能视频监控产品在一些细分市场增长较快，比如交通领域，相关的智能产品开发和应用相对比较成熟，如道路状况分析、车辆统计、车牌识别、逆行、压黄线、违章停车，包括交通状况的监控，以及违法行为的抓拍等，都已有广泛应用。(www.xing528.com)

（三）智能视频分析系统的主要功能

大部分视频智能分析产品都基于Object Video公司的图像分析技术，采用Object Video OnBoard平台来设计。如迪威泰克数码开发出“沸点”BP-IVS系列智能视频分析监控系统，包括了数字图像录制、安全规则比对、报警控制管理、高速目标跟踪，以及视频网络传输、集中控制管理等多重功能，形成了一套完整的“智能视频分析”（IVS）系统，该系统于2006年9月在“北京城铁13号线安防与反恐系统”工程中投入使用。

现阶段，智能视频分析系统主要功能体现如下：

（1）内容分析：在任何情况下，重要信息数量会大大低于背景信息数量，例如，地面、建筑物等静态信息以及风吹草动、水波、雨雪、树影等动态信息都可被智能视频分析系统判断属于背景信息，而重要信息则是人、车等活动信息，智能视频分析首先对图像内容进行分析，剔除那些无用的背景信息。

（2）对象识别：智能视频分析软件内设“对象分析引擎”，能够根据不同的活动目标的大小、运动速度及运动规律准确识别出人员、动物、车辆或其他对象，成功地将重要信息分离出来。

（3）分析比对：智能视频分析系统软件具有可制订的安全规则，可以对分析得到的各类活动目标与所制订的安全规则相比对。例如，在图像中指定的区域设定“虚拟”的安全界限，一旦识别“目标对象”跨越这一安全界限，系统将会激活警报，提示监控人员予以关注或处理警情。

（四）智能视频分析系统主要应用领域

（1）高级视频移动侦测（Advanced VMD）：在复杂的天气和光线环境中（例如雨雪、大雾、大风、树影摇动等）精确侦测和识别单个或多个目标的运动情况、运动方向、运动特征等。安全规则包括了禁区报警、绊线报警、尾随检测、运动方向异常报警等多种类型。

（2）物品丢失或位移检测（Moving Detection）：系统可自动检测监控场景中的物体丢失或被移动，主要用于在复杂场景中的贵重物品和关键设备的监控。

（3）物体追踪（MotionTracking）：在侦测到移动物体后，根据物体的运动情况自动发送PTZ控制指令，使摄像机能够自动跟踪物体，在物体超出该摄像机监控范围之后，自动通知物体所在区域的摄像机继续进行追踪。

（4）人脸识别（Facial Detection）：自动识别人物脸部特征并与数据库进行比较以验证人物身份。此类应用又可以细分为“合作型”和“非合作型”两大类，“合作型”应用需要被监控者在摄像机前停留一段时间，通常与门禁系统配合使用。“非合作型”则可以在人群中识别出特定的个体。

（5）车辆识别（VehicleIdentifica-tion）：根据车辆形状、颜色、车牌号码等特征进行识别并反馈给监控者，用于被盗、疑似车辆追踪等。

（6）非法滞留（Object Persistence）：当一个物体（如箱子、包裹、车辆、人物等）在敏感区域停留的时间过长（或超过了预定义的时间长度）即产生报警。典型应用场景包括机场、火车站、地铁站等。

（7）烟火检测（Fire Detection）：根据火情产生过程中烟与火所表现出的时空特征进行烟、火实时检测，可用于森林防火或易燃、易爆等危险品储藏区域的烟火检测。

（8）人流量统计（People Counting）：统计穿越入口或指定区域的人或物体的数量。例如，为业主计算某天光顾其店铺的顾客数量。人流量统计是人脸识别的典型应用，人脸识别门禁系统中的“均匀面反射”光源系统极大地提高了人脸模板采集的质量。人脸布控系统中的“去光照”技术大大改善了光线变化对人脸识别的影响。

（9）人群控制（Flow Control）：识别人群的整体运动特征，包括速度、方向等，用以避免形成拥塞或及时发现异常情况。典型的应用场景包括超级市场、车站、候机楼等人员可能大量聚集的地方。

（10）人体行为分析（Action Analyze）：在目标检测分类的基础上，利用人体的各种行为特征对其所进行各种行为的描述和分析，提取那些危险和有潜在危险的行为，如打斗、抢夺和突然倒地等行为。

（11）注意力控制（Attention Control）：统计人们在某物体前面停留的时间。可以用来评估新产品或新促销策略的吸引力，也可以用来计算为顾客提供服务所用的时间。

（12）交通流量控制（Traffic Flow）：用于在高速公路或环线公路上监视交通情况，例如统计通过的车数、平均车速、是否有非法停车、是否有故障车辆等。

随着视频监控技术从模拟系统向半数字系统和全数字系统的快速转变，智能视频分析系统利用内容分析引擎和推论引擎软件对视频数据进行全面分析并依据所设定的安全规则实施告警，必将使单一的视频压缩、运动检测、网络传输、人工控制指挥中心这一传统的模式提升为更为先进、全新的、革命性安全管理策略。智能视频分析技术将加速数字视频取代模拟视频的速度，随着智能视频分析系统的采用，进一步提高监控效能，传统的（在中央控制室中）集中监控的模式也将逐步转向到分布监控模式，监控中心工作人员将从枯燥地屏幕观察中解放出来，不再固守于传统的监控室，而投身于更靠近监视与行动现场的地方，而由智能视频分析系统向保安人员自动传达可疑目标的位置信息，更迅速地处理现场情况，满足长久监视与“反恐”快速反应的需求，可以预见，跟随IVS的到来，智能化视频监控将迅速融入各类安全控制系统发挥重要作用。