边信息计算的优化技巧介绍

WZ帧的解码首先需要产生一个边信息[3]，边信息既可以通过同一个相机的时域上的帧产生，以消除时间上的冗余，称为相机内的内插（Intra-Camera Interpolation）； 又可以通过不同相机间的帧产生，以消除空间上的冗余，成为相机间内插（Inter-Camera Interpolation）。而将这两种方法融合起来，效果将会更好。然而，如何将二者进行高效的融合，目前仍是一个较为困难的任务，主要方法如下。

10.1.1.1 基于内插的方法

针对这个问题，文献[4]在设计多视角分布式视频编解码结构时，采取I帧、WZ帧时间和视间都相邻的方式，使得计算当前WZ帧的边信息时，可以采用周围四个方向的关键帧进行内插的方式得到。但其将视差估计引入边信息生成器来获取视角间的相关性，解码器的性能极其低下。类似地，文献[5]也提出了多视角分布式视频的编解码框架。将第一个视角作为参考视角，采用传统的视频编码方法，其他视角基于已解码的第一视角进行视差补偿得到各视角的边信息。文献[6]在PRISM编码框架的基础上，根据Epipolar Geometry在解码端加入视差搜索，并将此框架称作PRISM-MC。在PRISM-MC的解码端，对于一个宏块，有多个通过帧间运动搜索得到的候选块作为边信息进行解码。PRISM-MC也将视差搜索得到的块作为候选块进行解码，直到CRC校验值匹配为止。

10.1.1.2 基于融合的方法

F.Dufaux[7]等人提出了多视角分布式视频的边信息融合方法，并通过计算融合模板来辅助最优边信息的合成。文献[8]提出了多视角分布式视频编解码框架，并提出了三套边信息生成方法： 基于时间相关性的方法、基于视间像素相关性的方法、基于视间运动矢量相关性的方法，有效地提升了边信息的精度。

尽管边信息的计算方法在最近几年有了一定的发展，其精度也在一步步提升，然而都没有突破传统独立编解码的压缩性能。直到Yang Yang[9]等提出的“Two-terminal Video Coding”，通过独立编码联合解码的方式，成功地实现了对传统双目系统独立编解码的性能超越，并随后将其拓展为三通道和多通道视频编解码系统。但其性能的优越是以牺牲编码端复杂度换来的，破坏了分布式视频编码中要实现简单编码器的初衷。(www.xing528.com)

10.1.1.3 基于预测的方法

上述研究文献中提出的这些方法都是在编码端把各帧看成独立信源，各帧之间进行独立编码，编码方式类似于传统的帧内编码。在解码端，利用时域相邻帧的高度相关性，通过对已解码重建帧的运动估计进行时域内（外）差求取边信息[10]。利用边信息和解码器联合迭代解码以重构当前待解码帧。由于在解码端需用运动估计抽取时域相邻帧的相关信息，所以此类系统中的编码器可以较为简单，从而把计算量较大的帧间预测（如运动估计）转移到解码端[11]。而在解码端采用的相关性挖掘技术，是在未知原始数据的条件下进行的，而这种方式只能是近似的估计，相当于一种“猜测”，几乎达不到较优的精度。

前面已提及，在多视角分布式视频编解码中的视频信号通常分成两路输入：一路用传统的帧内编码，称为关键帧（Key帧）； 另一路用Wyner-Ziv编码，称为Wyner-Ziv帧（WZ帧）。因此，边信息的计算方法按所用视频的类型可分为外推（Extra-polation）和内插（Inter-polation）。外推即是用前面已解码的WZ帧和Key帧构造边信息。缺点是已解码的WZ帧的重构误差会降低运动补偿的可靠性，因而很少使用。内插就是用临近的已解码的前后关键帧通过插值技术进行重构，但需要用到下一解码帧而不能按顺序解码[12]。此外，结合网络服务质量，将信道编码与信源编码相结合，也可有效地提高编码效率，同时具备较好的率失真性能[13]，但如何将其与当前边信息计算方法进行融合，是一个悬而未解的问题。

总的来讲，目前针对多视角分布式视频编解码系统中最为关键的边信息计算问题[14]，最简单的就是直接用前一解码的关键帧，或者用前后两个关键帧的平均值。当物体的运动趋势较大时，直接法或平均法重构的边信息将很不可靠。这些算法不但会产生像素重叠和空洞，而且会带来方块效应。其他一些算法都是在ME、MC和OBMC（Overlapped Block Motion Compensation）功能块上做一些改进。还有一些算法在这些基础上利用其他条件改善边信息的质量，如多参考帧、迭代边信息、hash 和bit面逐级优化等等。