视频结构与检索原理优化

视频检索的基础是图像检索，首先对视频进行结构化分析处理得到少量图像帧，然后对少量图像帧进行处理，完成检索。

一个完整的视频结构组成如图7-7所示。由整体到局部可将视频流依次分为场景、视频组、镜头和关键帧。视频是一个完整的全局描述，由一系列场景组成，每个场景是一节相对完整的故事。视频组是指介于物理镜头和语义场景之间的结构部分。场景是摄像机在不同空间或时间拍摄的视频段组成的情节，而由摄像机在固定时间或空间拍摄完成的连续动作称为一个镜头。所有的视频均由镜头衔接形成，多幅连续关键帧快速连接起来就是一个镜头。关键帧也是视频组成的基本单位，对视频内容的分析，也就是对结构的基本单元进行内容的挖掘与提取。

图7-7　视频结构组成(www.xing528.com)

基于图像本身的属性，可以更有效、全面地反映图像所包含的内容。基于内容的视频检索即从这个原则出发，无须人工对视频内容进行标注，使用诸如颜色、纹理、形状、空间关系等其他特征来表示和索引图像帧，进行图像的相似度比较。以图像内容进行视频检索的基本流程如图7-8所示。

图7-8　视频检索流程

基于内容的视频检索输入的是图像，需要根据对视频的结构化分析，首先从视频流中提取关键帧，用关键帧表示整段视频流；接着对图像内容进行分析，从中提取图像的颜色、纹理、形状或其他特征；然后建立输入图像和关键帧之间的特征矢量索引关系，利用特征进行相似度度量，计算输入图像与关键帧的相似性；最后，找到相似关键帧所在视频中的具体位置，将结果返回给用户。