视频结构化描述技术简介

视频结构化描述（Video Structilized Description，VSD）是对视频内容按照语义关系，采用时空分割、特征提取、对象识别等处理手段，组织成可供计算机和人理解的文本信息，图7－1所示为技术原理示意图。简单讲视频结构化描述是一种视频内容信息提取技术，它是2008年至2009年期间，由公安部第三研究所在对视频监控应用需求和技术调研的过程中提出的。

图7－1　视频结构化描述技术原理示意图

视频结构化描述包括两层含义：一是视频内容语义化，即在标准化的视频内容描述规范组织下，把视频中各个感兴趣的目标和其特征及行为识别出来，以文本的方式来描述视频内容，这是一个视频信息情报化提取的过程；二是视频资源关联化，建立单（跨）摄像头视频资源的语义互联，使得利用数据挖掘手段进行高效分析和语义检索成为可能，也使得视频资源同其他信息系统资源进行语义互联成为可能，这是一个视频信息组织、管理与挖掘，并辅助业务需求的过程。该技术是构造新一代视频监控网络的基础，实现视频监控网络的情报化、智慧化和语义化，使得视频监控系统级、网络化、跨警种、多元化的应用成为可能，实现视频监控系统由单纯的数据采集模式向融合数据采集、内容处理和语义信息服务为一体的集成化模式的转变；该技术也是与多级联网相耦合的多级视频解析中心建设的基础，可以为跨域跨警种提供统一的高层次警务视频情报化服务体系，为公安图像信息化、视频侦查、三级联网建设等提供支撑，进一步提升公安机关的工作效率，增强公安机关利用视频监控系统打防控管的能力和安全维稳的能力，促进视频警务工作模式的创新。

视频结构化描述的首要关键问题与主要创新点是将视频理解与语义网技术相融合，包括利用语义技术的视频数据结构化描述，利用语义网数据管理结构的海量视频数据有效组织管理以及利用语义技术的用户业务的规则化描述和推理。

视频结构化描述首先是一项视频内容处理的技术，它强调特定监控环境下的视频内容知识的建模和表达，同时也涉及知识的表达，属于传统机器视觉和知识表达的交叉研究领域。结合应用看，它是由视频内容信息提取和表达、内容信息管理以及内容信息检索和服务等多个方面组成的一个技术体系视频结构化描述技术，具有强烈的应用性，先期研究成果已经应用到交通视频监控系统中（见图7－2、图7－3），对视频信息的情报化起到示范作用。就视频处理技术而言，当前以智能视频、车牌识别技术为代表的视频信息提取技术具有一定的实用性。其中“智能视频分析”的核心是运动目标检测与分析算法，主要用于车辆、行人跟踪和行为分析等。针对不同的监控应用，结合视频结构化描述的一些研究成果，实现视频内容信息的标准化接入警用信息系统，能够充分挖掘现有技术的潜力，为率先实现视频监控系统的情报化应用打下基础。视频结构化描述技术的突破，结合视频处置智能前置以及视频传感器变分辨率感知技术，这三种技术的有机组合，将极大地减轻网络传输压力，为各种手持终端的视频监控提供了极具实用性的解决方案。

图7－2　行人和车辆结构化描述示例(www.xing528.com)

图7－3　视频结构化描述在交通视频监控中的应用

视频结构化系统支持在原有视频监控系统基础上的无缝升级，它的优势体现在以下几个方面：

（1）系统采用旁路连接，可在前端采集设备及网络传输等条件不改变的情况下对现有交通视频进行在线分析，保持和现有系统的最大兼容性。

（2）系统支持离线视频解析，能够对海量离线视频数据进行视频解析，并自动生成标注和语义化文本表达。

（3）系统支持语义化视频资源检索，并按需调用视频剪辑。

（4）系统采用模块化设计方案，可以提供模块化功能集成。