智能视频监控系统：实现目标检测、行为识别与报警

（一）智能视频监控

1.概念

智能视频监控是指采用智能视频分析算法，利用计算机视觉技术对视野范围内的目标进行行为的分析和内容提取，当发现符合某种规则的行为（如越界、游荡、滞留等）发生时，自动发出提示信号，采取特定对应措施（如声光报警、移动监测并记录）或通知监控人员进行人工干预等。

智能视频监控（Intelligent Vision，IVS）技术，作为人工智能技术源于计算机视觉（Computer Vision，CV）研究的一个分支，是一项新兴的安防技术，有着广阔的发展前景。智能视频监控技术是指利用计算机视觉的方法，在不需要人为干预的情况下，通过对视频序列进行实时自动分析，实现对目标的定位、识别和跟踪，并在此基础上进行行为分析，以达到完成日常管理和对异常情况预警的目的。

2.基本原理

智能视频监控系统通常包括图像采集、视频图像处理、数据通信、决策报警以及传感器控制与服务系统等主要部分。其工作的基本原理如图8-21所示。

图8-21 智能视频监控系统工作原理图

图像采集模块通过摄像机捕获监视场景的光学图像，经A/D转换输出数字视频图像，为视频图像处理提供数据。它对场景的视频图像进行分析、处理，包括对视频流中的运动目标检测。对检测出的目标分类识别，通过传感器控制与服务系统对云台或摄像机等进行反馈控制实现对运动目标的自动跟踪。对运动目标的行为进行分析理解，由决策报警模块根据视频图像处理的结果和预定的报警规则，完成启动报警的判断与决策，在报警的同时实现对运动目标的录像。系统中视频图像数据的传输和控制及反馈信号的通信由数据通信模块完成。

3.系统构成

基本的智能视频监控系统主要由视频数据采集、视频数据编码、视频数据传输以及视频数据分析处理和异常行为报警等部分组成。其组成框图如图8-22所示。

4.逻辑架构（见图8-23）。

（1）视频采集。由摄像机进行视频采集。摄像机可以是可见光摄像机、微光摄像机、红外摄像机、红外热像仪等。

（2）智能视频分析。这是智能视频监控的核心，主要实现目标检测与跟踪、目标行为识别，当检测出违反规则的行为时自动报警。

（3）监控端。由高性能的PC实现。主要功能：一是报警规则设置，对智能视频分析模块需要用到的报警规则进行设置；二是报警信息处理，接收智能视频分析模块的报警信息，通过智能视频报警处理软件实现报警信息的处理。

图8-22 智能视频监控系统组成框图

图8-23 智能视频监控系统的逻辑架构图

5.物理架构

智能视频监控系统的物理架构包括后端服务器方式和采用DSP方式。后端服务器方式，主要基于PC实现运动目标的自动识别与跟踪，其硬件结构如图8-24所示。

这种方式结构简单、成本低，对于简单的目标跟踪算法能保证系统的可靠性。如果将其应用于区域内视频监控系统中，同时对多个场所进行监控，由于PC的处理速度较慢，不容易实现图像的实时处理；另外，基于PC的图像处理系统因PC的体积大，不适合将其嵌入到区域内视频监控系统的图像处理终端机当中。

采用DSP方式。这种方式将分析工作交给编码器（或录像机）或IP摄像机，由前端设备的DSP完成分析工作。主要包括：基于DSP+FPGA双处理器实现、基于双DSP实现、基于单片DSP实现。基于单片DSP实现运动目标识别与跟踪的典型硬件结构，如图8-25所示。

图8-24 基于PC的运动目标自动跟踪系统的硬件结构

图8-25 基于DSP的运动目标跟踪系统的硬件结构

系统将主机采集到的图像分成两路：一路专门供给嵌入式板做图像分析，另一路专门发送到监视器，便于观察实时跟踪效果。系统结构紧凑、体积小，不仅能实现图像处理的实时性，而且能实时地进行图像显示。此外，系统的报警和录像任务由监控人员控制，从而避免误判现象。

（二）智能视频分析技术

1.概念

智能视频（Intelligent Video，IV）技术源自计算机视觉技术，它能够在图像及图像描述之间建立关系，从而使计算机能够通过数字图像处理和分析来理解视频画面中的内容，自动分析和抽取视频源中关键信息。

智能视频分析技术通过视频图像识别分析软件来实现，它以数字视频监控系统为基础，借助于计算机强大的数据处理功能，对视频画面中的海量数据进行高速分析，过滤用户不关心的信息，仅仅为监控者提供有用的关键信息。这样既减轻了监控工作人员的负担，降低了误报、漏报现象的发生；又能自动进行视频行为分析，及时识别可疑人员和可疑活动，提醒（或警报）安全工作人员关注相关视频画面，有足够的时间对将要发生（或正在发生）的威胁进行处理，也就是通常所说的“事前处理”，真正起到安全防范的作用。智能视频分析技术是监控技术第三个发展阶段“机器眼+机器脑”中的“机器脑”部分，利用机器，将“人脑”对于视频画面的监控判断，进行数据分析提炼特征形成算法植入机器，形成“机器脑”对视频画面自动检测分析，并作出报警或其他动作。它借助计算机强大的数据处理能力过滤掉视频画面无用的或干扰信息、自动分析、抽取视频源中的关键有用信息，从而使摄像机不但成为人的眼睛，也使计算机成为人的大脑。

2.智能视频分析过程

智能视频分析模块获取视频序列后，首先通过图像恢复或超分辨率复原技术提高图像质量，然后对场景中的目标进行检测、分类和跟踪，进而实现视频内容的分析理解，包括场景中的异常检测、人的身份识别以及视频内容的理解描述等。最后根据设定的规则产生报警，进而触发后续业务处理。作为智能视频监控的关键技术，智能视频分析技术可分为动态视频目标检测定位、动态视频目标跟踪、动态视频目标分类识别、行为理解与描述、异常事件分析等部分。

智能视频监控系统一般采用模块化的设计方式，智能视频分析模块实现对运动目标的自动检测、识别、跟踪和报警，是实现智能视频监控的核心。

该模块可以部署在监控系统的前端采集部分，也可以置于监控中心。其产品形态可以是嵌入式DSP板卡的方式（板卡可以集成在视频服务器、数字录像机、摄像机等设备中），也可以是纯软件的方式。智能视频分析模块接收上位机发送的告警规则设置；对固定摄像头摄取的图像内容进行高速分析与数据处理，实现目标检测和识别，对比预先设置的报警规则或用户设定的条件给出预警、报警或处理结果。在发现威胁目标并进行报警的同时，对目标进行自动跟踪。工作流程图如图8-26所示。

1）目标检测。将输入的视频图像中变化剧烈的图像区域从图像背景中分离出来，它处于视频监控技术的前端，是各种后续处理的基础。目前，算法主要包括背景减法、相邻帧差法和光流法等。

2）目标分类。利用一些图像特征值实现目标类型（一般是人和车）的甄别。用于目标分类的特征有空间特征和时间特征两种。空间特征包括目标轮廓、目标尺寸、目标纹理等，时间特征包括目标大小的变化、运动的速度等。

3）目标跟踪。依据目标及其所在的环境，选择能惟一表示目标的特征，并在后续帧中搜索与该特征最匹配的目标位置。常用的跟踪算法包括：基于特征的跟踪算法，基于3D模型的跟踪，基于主动轮廓模型的跟踪以及基于运动估计的跟踪等。

4）智能分析。智能分析位于智能视频监控的高级阶段，是实现视频监控智能化的关键。包括异常检测、身份识别及视频内容理解等。

异常检测中典型的异常包括用户定义的异常情况和非常规事件，检测方法分为基于模型的方法和基于分类器的方法。

图8-26 智能视频分析模块工作流程图(www.xing528.com)

身份识别包括人脸识别和步态识别。

视频内容理解是指在对序列进行低级处理的基础上，对场景中的事件进行分析和识别，用自然语言等加以描述。

根据目前智能视频分析技术的成熟度，智能视频监控应用场景主要包括人数统计、车牌识别、事件检测和视频诊断等。

1）人数统计。统计穿越入口或指定区域的人或物的数量。例如可为商场统计每天的客流量。

2）车牌识别。识别车辆的形状、颜色、车牌号码等特征，并反馈给监控者。此技术可应用于车辆“黑名单”追踪。

3）事件检测。对视频进行周界监测与异常行为分析。异常行为包括双向越界、单向越界、进入禁区、离开禁区、徘徊、无人值守、骤变、人员聚集、烟雾检测、快速运动、逆行、打架等事件。

4）视频诊断。对视频图像出现的雪花、滚屏、模糊、偏色、画面冻结、增益失衡和云台失控等常见摄像头故障作出准确判断并发出报警信息。该技术可应用于平安城市的建设中，自动检测摄像机的状态，从而减轻维护人员的工作强度。

（三）运动目标检测

动态视频目标检测技术是智能视频分析的基础，主要是指通过监控画面识别目标区域的图像变化，从监控场景中将目标提取出来。运动目标检测和提取是指通过运动及图像特征分析（如色彩灰度、边缘、形状等），检测视频序列中是否存在与背景有相对表现观运动的前景目标。如果有，则将其从原始图像序列中提取出来。实际应用中，目标的检测往往是跟踪系统的一部分，检测算法直接影响着后续的跟踪处理乃至整个监控系统的跟踪性能。

运动检测的方法有背景消减法、光流法和帧间差分法。各种方法对比见表8-7。

表8-7 目标检测方法对比表

（四）运动车辆的检测

视频监控系统中的运动目标主要是人和车辆。

1.背景的提取

背景的提取主要有三种方法，具体见表8-8。

表8-8 背景提取的方法对比表

（续）

2.背景的自适应更新

在监控的过程中，由于室外光照强度和方向的经常变化，以及一些不可预测的天气状况的突然变化，背景图像都会发生变化。如果不能及时地更新背景图像将产生错误的检测结果，对此应采取相应的背景图像更新策略。对于长时间的目标检测来说，背景的光照必然是随时间变化的，必须采用自适应估计和更新当前背景的方法。

在背景更新时应遵循两个原则：

1）背景模型对背景变化的影响速度要足够快，背景的变化可能是由光照变化等因素引起的背景本身颜色的变化，也可能是背景区域的变化，如前景和背景的相互转化。如果背景模型不能迅速跟上实际背景的变化，检测结果中就会出现大范围的噪声或者不合理的长时间静止前景物体。

2）背景模型对运动目标要有较强的抗干扰能力。

3.运动车辆的提取

运动目标的提取方法主要有背景消减法、光流法和帧间差分法。

4.运动车辆影子的去除

阴影是由于运动车辆遮挡了光源的直接照射而在场景上形成的暗区域。由于运动车辆造成的阴影会随着车辆的运动而运动。利用相应的方法把视频中的运动车辆分割出来，在大部分情况下是存在阴影的，这样就会使分割出来的运动车辆面积比实际的大，甚至可能造成两个分割后的物体区域粘接在一起，以至于图像分析时，常常将阴影错误地理解为前景，产生了一系列与阴影有关的问题，如目标的合并和丢失，以及形状的扭曲，进而导致误判或者错判。

阴影去除方法主要有基于边缘检测的阴影去除方法和基于HSV空间阴影检测方法，具体见表8-9。

表8-9 阴影去除方法对比表

（续）

（五）行人检测

在图像序列中，采用背景差分法获得前景物体。获得的前景物体包括机动车、非机动车、行人等有用的信息，还包括镜头中飘落的树叶，被风吹起的杂物等干扰信息。其中最主要的信息为车辆和行人。如果要从不同种类的前景物体中识别出行人，可以利用下面几个特征：

1.人体的形状

人体在直立或行走时是长条形，相对于机动车和非机动车，有较高的高宽比。对于行人，通常都是保持直立或行走的姿势。而在人负重的情况下，如背包，形状有些改变。

2.行人的速度

行人步行受个人意志支配，可自由选择步行位置和步行路线，运动轨迹具有随意性。但行人的速度低，速差小。据统计成人的步速大约为1.4m/s，儿童为0.6m/s，交叉口处大约为1.2m/s，其中单人步速为1.29m/s，结伴而行的步速为1.17m/s。在剧院、体育馆、学校附近为1.2～1.5m/s，在商业、交通、游览场所的步速为0.8～1.2m/s。可见最高步速与最低步速的差别几乎可以忽略，而且行人加速与减速的时间也可以忽略，直接到达理想速度，又由于行人启动、停止的反应时间为0.3～0.5s，几乎不需要时间，所以行人只存在两种状态：静止或者以基本相同的低速度前进。

3.行人运动的非刚体性

车辆和行人运动最根本区别在于车辆行驶是一种刚体运动，而人的行走是一种非刚体运动。所以行人行走中由于四肢的摆动，轮廓变化较大；而车辆行驶中，轮廓基本不变化。