视频镜头自动分割技术

镜头是由摄像机连续拍摄得到的一些图像帧序列组成，是视频分析的基本单元。镜头分割技术研究如何将连续的视频流自动分割成长短不一的镜头，其关键在于如何自动地找到切分点。选择切分点的主要依据是镜头之间的变换，镜头变换又是由视频剪辑操作产生的，具体是指一段连续的视频帧到另一段连续的视频帧之间的转换。由于视频剪辑手法的多样性，使得镜头变换方式也存在多种情况，这就在一定程度上使得镜头的自动分割具有多种判断依据。

镜头变换整体上可以分为两类:突变和渐变。镜头的渐变是指在发生镜头转换的时候在时间或空间上具有一定的过渡效果，前一个镜头缓慢地转换为后一个镜头，两个镜头的视频帧之间有一定的重叠性，如:溶解、淡入淡出等效果都属于镜头的渐变。如图4-4所示，是镜头发生淡入淡出这种渐变方式的一个例子。

图4-4　镜头的淡入淡出

镜头的突变是指前一个镜头与后一个镜头之间没有过渡，直接在单独的一个图像帧上发生聚变，两个镜头之间没有重叠的图像帧，也没有时间上的延迟。这种突变的情况相邻帧之间的变化比较明显，可以利用底层内容特征，通过距离函数的计算找到镜头边界，即:如果相邻两个图像帧之间的距离值超过某个阈值，则认为是出现了新的镜头，需要进行切分，否则就属于同一个镜头。而镜头的渐变就没有那么明显，难以通过内容分析的方法检测出来，也是镜头分割研究中的难点。

如上所述，采用基于内容特征的分析方法实现镜头分割，首先要选择一种或几种图像帧的视觉特征，将图像帧映射到特征空间，计算相邻帧之间的距离，以此为依据判断是否发生了镜头变换。于是，特征选择的不同，以及距离函数的定义不同就形成了不同的镜头分割方法，主要包括:图像像素差法、颜色直方图法、绝对帧间差法、压缩域差法等等，分别介绍如下。

1.图像像素差法

像素是图像的组成单元，当视频从一个镜头变换到下一个镜头时，相邻图像帧对应位置上的像素就会发生变化，因此可以根据发生变化的像素个数来判断是否需要进行镜头分割。这种方法对摄像机的移动十分敏感，并且对噪声的容错性较差，还需要在实验过程中手工调整最佳的阈值范围。为此，一些文献提出了改进方法，例如:在对比相邻图像中发生变化的像素之前，先对图像进行矩阵滤波，以减小摄像机移动和噪音所产生的负面影响。(www.xing528.com)

还有一种叫做图像数值差的方法，是在图像像素差的基础上演变而来的。图像数值差方法首先将图像帧分成若干个子块区域，然后比较区域中对应像素点上的差别。

2.颜色直方图法

颜色直方图是图像的一种视觉特征，常用于视频镜头分割，通过比较相邻两个图像帧的颜色直方图特征，如果直方图之间的距离大于预先设定的阈值，则说明出现了镜头变换，需要进行分割。这种方法比较适合于突变镜头和擦除式的镜头分割。这种方法的缺点是由于颜色直方图特征无法体现出图像的空间信息，因此，两幅空间特征完全不同的图像帧有可能会有相似的颜色直方图特征，这也就可能引起镜头切分点的误识别。在有些文献中先将图像划分成若干个区域，然后再比较相应区域的颜色直方图，以减少噪声的影响。

3.绝对帧间差法

除了颜色直方图之外，图像还具有其他的视觉特征。绝对帧间差法就是一种最直观的检测方法，通过计算相邻两个图像帧对应的视觉特征间的绝对差值，来判断是否发生了镜头变换。

4.压缩域差法

上述方法在对视频的图像帧处理之前，都要进行图像解压，主要是因为传统的图像特征计算方法都是建立在像素的基础之上，也就是非压缩意义上的特征统计。压缩域差法直接从原始的视频流中提取特征，不需要图像解压，如:可以采用JPEG压缩图像帧的DCT系数作为图像帧之间的距离计算标准，从而加快镜头分割的处理速度。