视频关键帧计算方法详解

关键帧是用来代表视频镜头的图像帧，因此也称为代表帧。当视频流被划分成镜头之后，往往可以发现在同一个镜头中相邻时刻的图像帧在内容特征上相差不大，因此，如果把每个镜头中所有的图像帧都用来进行视频分析，将会产生大量的冗余信息，并且也不利于视频索引和视频摘要的建立。可以从镜头所包含的成千上万的图像帧中提取若干个关键帧，用于描述一个镜头的主要内容。此外，通过关键帧还可以实现视频内容的快速浏览。如图4-3所示，是从英国BBC电台播放的一段节目中提取的几个关键帧。

关键帧的选取对视频分析和应用都起着重要的作用，本节将介绍下列几种基本的关键帧计算方法。

图4-3　关键帧示意图

1.镜头边界法

该方法是将镜头边界上的图像帧作为关键帧，即镜头中的第一帧图像和最后一帧的图像。这种方法假定镜头中的图像帧序列变化不明显，可以选择开始的第一帧和结尾的最后一帧代表整个镜头的全部内容。其优点是操作简单，且运算量小，适用于内容活动性小，或者是保持不变的镜头类型；缺点是不适合于视觉内容较为复杂的视频镜头，并且限制了关键帧的数目，各种长短不一、内容各异的视频镜头均采用首尾两个图像帧作为关键帧，显然有些以偏概全，缺乏灵活性。

2.内容特征法(www.xing528.com)

该方法的基本思想是根据图像帧之间的视觉特征差异来判断是否产生了新的关键帧。具体地，先将镜头中的起始帧作为关键帧，然后采用基于内容特征的方法，计算后续的图像帧与第一个关键帧之间的距离(距离值的计算可参考第二章中介绍的相似度计算模型)，如果距离超过了规定的阈值，说明发生了较为明显的内容变化，则将其作为第二个关键帧，依此类推，再将后面的图像帧与第二个关键帧相比较，直到对比完镜头的最后一帧为止。

3.运动分析法

摄像机的运动是视频镜头中图像帧发生变化的重要因素。内容特征法没有考虑拍摄视频时摄像机的运动轨迹，因此不能体现出图像帧序列中运动信息的变化，对关键帧提取的准确性会造成一定影响。运动分析法将相机运动分成两类:相机的焦距变化和相机的角度变化，相应地，由相机运动产生的镜头分割也分成两类。对于第一类由焦距变化而分割成的镜头，提取首尾两个图像帧作为关键帧；而对于第二类由相机角度变化分割出的镜头，当图像帧与上一个关键帧在内容特征上的重叠率超过给定阈值时，则认为是一个新的关键帧。

4.聚类分析法

以上三种方法都是以单独的视频镜头为对象来计算关键帧，忽略了镜头之间的相关性，不同的镜头可以描述相同的场景，因此，对整个视频流中所有镜头分析得到的关键帧集合，仍然可能存在较大的冗余信息。聚类分析方法不但分析了镜头内的特征相似性，而且还考虑了镜头之间的相关性。

聚类方法在人工智能、模式识别等领域有着广泛的应用，常用于在未知类别名称和类别个数的情况下，对样本进行合理分类，使得同一类的样本间观测距离较近，不同类的样本间观测距离较远。目前，已经提出了多种基于聚类的关键帧提取方法。例如:可以先从每个镜头中选取若干个代表帧，然后对这些代表帧进行聚类，最后从每个类中选取离质心最近的帧作为关键帧。