基于VSD的监控视频数据分析优化

如果有一种技术能代替人智能阅读视频，并将其转化为计算机和人都看得懂的描述语言，在信息管理系统查询时，直接通过输入文本关键字就有相应的图像或视频片段推送出来，那将大大提升业务效能，甚至可以通过个性化的定制，由系统自动推送人们想要的图片或视频剪辑信息，这就是视频监控对视频结构化描述技术的现实迫切需求。

视频结构化描述技术对视频资源内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息。从数据处理的流程看，视频结构化描述技术能够将监控视频转化为人和机器可理解的信息，并进一步转化为应用部门所需的情报，实现视频数据向信息、情报的转化。

要将视频内容以结构化的文本描述出来，必须依赖图像处理技术、模式识别技术、语义技术等对视频数据进行多层次、多尺度的特征提取和语义组织，如图8－3所示。

图8－3　视频对象特征提取示例

在视频结构化描述系统中，首先将视频传送到描述设备，机器在这里对内容进行分析理解，并产生结构化的描述信息输出；接着对描述数据进行传输和存储，原始视频存储方式不变。视频结构化描述系统应用的拓扑结构如图8－4所示。

视频结构化描述技术改变了以往视频监控系统被动、单向式数据采集的模式，实现了主动视觉感知、信息自动提取和主动推送，是建设新一代视频监控系统的基础。

图8－4　视频结构化描述系统拓扑结构图

视频结构化描述技术的应用模式可以分为前端式和管理服务平台式。视频结构化描述技术在前端的应用，主要是指通过前端视频采集设备内嵌的SoC系统实现对现场视频流的实时分析和情报信息向服务平台的主动推送。这也是现在视频监控终端发展的主流趋势，即“智能前置”，是指把一些典型的视频分析功能在视频采集端实现，是视频的分布式异构计算处理概念的体现。通过“智能前置”可以在前端实现视频在线分析功能并上传文本格式的分析结果，视频资源则根据文本检索的需要按需调用，大大节约了对网络带宽的需求。

视频结构化描述技术在管理服务平台层的实现方面，可以充分利用云计算环境下计算资源和存储资源高效弹性调配的优势，搭建视频解析中心，实现对海量离线视频资源的自动文本解析。在采用视频专网进行数据传输的情况下，也可以在管理平台实现在线视频资源的结构化描述和主动情报推送。视频结构化描述系统用于日常公共安全信息智能处置，可以极大地节约警力，提升警务效能，实现视频监控系统从单纯的数据被动采集到情报自动生成的飞跃式发展。

不妨以交通监管领域为例来介绍一下视频结构化描述技术的应用。视频结构化描述技术在交通领域的应用，是在对目标对象（机动车、行人）的特征表达（颜色、车型、衣着风格等外观特征和速度、步态等运动特征）和身份甄别（车牌号、人脸信息等）以及场景理解（如路口、市民广场、学校等典型场景，见图8－5）的基础上，对交通事件进行语义网架构下的结构化文本表达（见图8－6）。以记叙文写作为例，记叙文通过时间、地点、人物、原因、经过、结果6个要素对事件进行准确全面的描述；视频结构化描述技术可以通过“时间、目标、场景、行为”等语义要素自动实现对交通监控视频资源的结构化文本表述。

图8－5　场景理解及描述示意图

图8－6　交通视频的结构化描述(www.xing528.com)

视频结构化描述技术在智能交通控制领域的应用，将全面提升智能交通的管控水平和信息服务水平，实现车辆和路网全景式“可视化”管控，为交通信息的情报化分析和交通管理模式的转变提供了强大的科技保障，也为降低能耗、改善环境污染、提升城市形象提供了先进的技术支撑，具有巨大的社会效益和经济效益。

下一代公共安全系统提供了一个云平台的架构，用于展示怎样处理、组织、管理和存储大规模的异构数据，如图8－7所示。

图8－7　用于下一代公共安全系统的“前＋后”云平台框架

由于有限的带宽限制，采用了“前＋后”的模式，即视频、音频和其他非结构和结构化数据从感知器诸如摄像头或者从现存的信息系统等在“前”部分的预处理中收集，然后将结果进行统一标准格式的封装，并传送到“后”的数据中心，该中心具有较强的存储和计算能力，以支持更复杂的计算和应用。该模式可以在“前”数据预处理之后避免因分布式异构数据引起的网络拥塞。此外，基于云计算和虚拟化技术，云中心可以实现多信息的资源整合，并为如数据挖掘和语义推理的多数据分析和应用提供统一的计算和存储环境。

以视频监控系统为例，从摄像头中收集视频数据，基于ARM的处理设备，被嵌入其中用于做一些例如视频编码、车牌识别以及语义描述下的颜色识别等预处理，结果是将包括图片和结构化描述，以标准格式转移到后台，原始的视频数据被存储到数据库部署下的近镜头中。该中心为公安部门提供了一些支持深度分析和应用的资源。从公共安全系统收集的数据是非常巨大的和异构的，这将给数据的有效存储和组织、快速检索和计算带来了巨大的挑战。诸如虚拟化、分布式存储和计算等云计算技术被用来解决这些问题。

为了提高任务计算和处理的效率，MapReduce、Spark、Storm和其他分布式处理模型被用于处理如内容分析、语义建模和推理以及其他复杂数据分析和挖掘这类任务。以视频检索为例，MapReduce将用来解决这样一类任务，即关键点被用视频中的时间表示，视频数据被分为若干个部分，然后所有的任务同时进行。虚拟化用于支持资源整合和优化利用。

在目前的信息系统中，数据检索技术是数据访问、数据分析等应用的基础。检索可分为三种类型：结构化数据检索、图片和文本以及其他非结构化数据检索和语义检索，这三种检索结果都是与知识库数据库关联的推理方法。

一些策略被用于提高数据检索效率和可用性。对于大规模结构化数据检索，分布式并行数据库系统和查询优化技术一直备受关注和应用。为了检索非结构化数据和高维数据，在特征提取和索引结构的过程中采用了降维技术，并且上述处理和任务可以在分布式计算框架下运行。

从公安系统和传感器收集到的数据包括结构化数据、视频、音频、图像、网页和其他非结构化数据以及从数据处理和计算结构中得到的数据都是异构的，做出有用的策略来存储和组织这些数据，对有效地在不同领域支持数据分析、数据检索和其他计算任务是非常关键和必要的。

对于结构化数据，采用并行数据库并且根据数据访问的频率和特点，对各种应用程序的访问频率和特征进行了优化，以满足统计、检索、分析和可视化等应用。同时，对于分析应用，数据可以被存储在关系数据库以及NoSql数据库，如Hbase通过列可以被用于将这些数据存储于分布式文件系统，如HDFS和GPFS等，以便其他计算模型能够快速、高效地访问数据。

视频结构化描述技术在平安城市项目中得到了广泛的应用。平安城市是集成灾难事故预警、生产安全监控系统、并联动报警、门禁及广播系统，用于进行治安管理、城市管理、交通管理、应急指挥的特大型、综合性强的管理系统。其概念涵盖了社会治安、城市交通状况、城市消防服务以及各种人为灾害和自然灾害的预警和处警等多方面内容，是在加快城市安全系统建设，加强城市安全防范能力，建设平安城市、和谐社会的背景下提出的。

平安城市项目的建设最初是以公安治安监控的应用为主，启动伊始定位于城市视频资源和信息的有效管理和应用。目前，随着校园安全、环境污染监控以及城市重大活动的临时可布置监控等业务领域对联网监控系统的需求，平安城市建设从单一的公安部门应用向城市的综合监控系统过渡，通过城市不同部门、不同领域间信息资源的深度共享和互联互通，城市管理机制创新和业务重构，最终实现平台化、集成化、网络化和智能化的“城市警务信息综合平台”。

在公安信息化建设深入开展过程中，智能视频监控成为实现平安城市智慧化建设不可或缺的部分，其中，视频结构化描述技术是构建智能视频监控系统的关键技术。从数据处理的流程和工作机理看，视频结构化描述技术能够将监控视频内容转化为机器可理解的知识，并进一步转化为公安实战所用的情报，实现视频数据向信息、情报的转化。在视频结构化描述技术思想的指导下，改造传统的视频监控系统，使之形成新一代智能视频监控系统——智慧化、语义化、情报化的语义视频监控系统。

公安部第三研究所作为视频监控领域的“国家队”，致力于视频监控系统的智能化，提出了视频结构化描述技术，并进行了深入的实际研究。所开发的基于视频结构化描述技术的相关产品成功为北京“9.3阅兵”提供了保障，为最终实现平安城市向智慧型平安城市的升级和过渡提供了技术的保障。