编码端边信息生成优化策略

在MDVC中，如何对单个视角间和相邻视角间的边信息进行融合，是目前一个活跃的研究方向，融合算法的性能直接决定了编码器的率失真性能。一种较为常用的融合算法是基于时域范围内，基于帧差的运动补偿算法，其性能较经典的边信息生成算法有较大的提升。此外，还有基于二进制掩膜的融合算法、基于视差补偿的算法等。但随着近年来人工智能算法的兴起，其在边信息生成等方面显示出很大的潜力。本章提出了一种基于神经网络的边信息生成算法，充分利用了神经网络的学习能力和全局优化能力，取得了较好的视频重建质量。

10.2.2.1 MDVC的失真模型

设网络中的丢包率为P，则传输过程中的失真可以表示为

式中，表示第v个视角中的第n 帧中的第i个系数的值（未量化），为其重建后的值，dec_r为编码端变换操作过程中产生的误差，dc_ref为参考帧在传输过程中引起的失真。此外，设WZ编码后的分别可表示为和表示经过WZ编码后的值； 可视为随机变量，表在解码端得到第v个视角中第n 个帧中系统y的值。故经过WZ编码器处理后的，可以在编码端得出解码后的概率分布可以表示为

式中，为拉普拉斯参数， 为边信息与编码端对应的WZ帧的方差，可表示为

通过上面的分析可知，结合噪声模型与初始视频数据，可以在编码端估计出边信息。同时，根据边信息与初始视频数据的对应关系，也可得出对应的编码端码率控制算法[1]。

10.2.2.2 边信息融合算法

结合空间和时间边信息可以有效的提高MDVC边信息的质量，进一步提高边信息的预测精度，降低解码端的反馈次数。我们参考了文献[1]的方法，并对其进行改进，设计了一种基于人工神经网络的边信息融合算法，基本原理如图10-6所示。

(www.xing528.com)

图10-6 边信息融合算法的原理

图10-6 中，边信息由时域和空间域（视角间）边信息融合而得，二者分别采用运动补偿帧内插（MCFI）和位差补偿的视点间预测方法（DCVP）求得[18]。MCFI算法在邻近的参考帧之间搜索运动轨迹，并采用运动补偿帧内插技术生成边信息，在视频帧画面较为平滑的情况下，其生成的边信息质量较高。DCVP算法对参考帧进行运动补偿内插，得到当前帧的视点间的预测帧。融合算法中采用神经网络进行计算，其结构如图10-7 所示，其中SIt和SIs分别为时域和空域边信息。为优化神经网络中的参数，首先从相关的视频帧中完成特征提取[1]，对神经网络进行训练。这些帧包括： 已解码的WZv，t=1 帧； 前后两个关键帧KFv，t=0 和KFv，t=2； 左右两个视角的关键帧KFv-1，t=1 和KFv+1，t=1。该算法中的神经网络的功能是以像素点为单位，判断最终的边信息是由对应的时域或空域像素构成的。

图10-7 边信息融合算法中采用的神经网络结构

综合上述分析，对应的算法流程如下：

（1）编码器初始化；

（2）采用不同的视频编码序列对神经网络进行训练，样本为Soccer、Football与较为平缓的视频序列Container、Bus、Daughter中得到特征；

（3）时间间隔t开始计时，视频序列中获取时域和空域边信息SIt和SIs；

（4）将SIt和SIs作为神经网络的输入，得到的网络输出即为边信息，并完成当前帧的编码；

（5）判断t=1.2 是否为真，如为真，则转向第（3）步，否则转向第（4）步；

（6）结束。