全媒体制播技术：虚拟演播室的关键技术创新

虚拟演播室的关键技术主要有摄像机跟踪技术、色键抠像与合成技术、图形渲染平台以及虚拟场景制作技术。

1.跟踪技术

与传统的演播室相比，虚拟演播室明显增加的一套系统便是摄像机跟踪系统。而摄像机跟踪技术也是直接影响最后节目效果的关键技术。后期的合成系统及场景生成系统等的工作均是建立在此基础上的。摄像机跟踪系统为其他系统提供摄像机、主持人、计算机虚拟场景之间的对应位置关系数据。对于摄像机而言，这些参数包括镜头运动参数（变焦、聚焦、光圈）、机头运动参数（摇移、俯仰）及空间位置参数（地面位置X、Y和高度Z），共八个参数，除调焦与沿光轴旋转外，其他六个参数在理论上讲都可以保持足够高的精度跟踪。

目前应用较广的跟踪方式是机械传感、网格识别、红外定位这三种跟踪方式。

（1）机械传感跟踪

基于机械传感器的跟踪方式是最先应用于虚拟演播室系统的一种跟踪方式，并且至今仍然广泛应用，如图8-7所示。

图8-7　机械跟踪

这种跟踪方式的原理，即是在摄像机的镜头上、液压摇摆头上装有精确的编码器，可以精确地检测相应参数，通过RS-232或RS-422端口送给控制计算机，要获得正确的透视合成效果，就要使虚拟背景的立体透视关系实时地跟上真实摄像机拍摄的状态变化。但虚拟摄像机的各项参数与真实摄像机间各项参数之间并非是一一对应的线性关系，这就增加了模拟控制的困难程度。为此，采用基于编码的传感技术，并对这些参数进行编码，经过分析判断这些参数的优先级别，并将这些编码信息传送到同步跟踪分析处理计算机进行优先译码，同时生成虚拟摄像机的参数，提供给图形计算机生成虚拟背景，跟随演播室内的真实摄像机进行同步变化。

机械传感跟踪方式先在摄像机镜头上安装好传感装置，获取摄像机变焦和聚焦的参数。然后将摄像机放置在云台上，在摄像机的云台上安装的高精度传感器和机械齿轮与装在镜头上变焦环和聚焦环上的齿轮咬合紧密。此时就可以对摄像机进行需要的拍摄操作，这四个跟踪参数通过控制端口传送到控制计算机进行处理。一些设备的机械传感跟踪摇移精度达到0.00035度，重复精度为0.00011度，俯仰精度达到0.00026度，重复精度为0.00013度，拍摄局部特写不受限制。

但机械跟踪的缺点是摄像机不能大范围地移动，不能根据演员坐、站来升降摄像机。而且在拍摄前有复杂烦琐的摄像机定位和镜头校准，不能与实景演播室混用一个演播室，摄像机等设备不能共享。ORAD机械传感器如图8-8所示。

图8-8　ORAD机械传感器

（2）网格识别跟踪

基于网格识别技术的虚拟演播室，是在演播室的蓝幕上用两种深浅不同、线条粗细不等、线间空格两两不相同的蓝色绘制的网络图案。蓝箱内的真实摄像机在摄取前景图像的同时，也摄录了网格图案的影像，将这一图像进行数字化处理后送入VDI-40打上标签，然后送入图形处理计算机，利用图像分析法，参照在摄像机中设置的起始参数，根据图像中的网格图案，计算出摄像机机头运动参数（摇移、俯仰）及空间位置参数（地面位置X、Y和高度Z）的变化，用这些参数的变化量去控制图形计算机生成虚拟背景的变化，使场景中物体位置的变化及透视关系与真实摄像机中看到的一致。

图像识别的原理简单，用图像分析的方法检测其亮度的变化，以求出每一帧图像中由于摄像机运动而引起的水平位移Δxi、垂直位移Δyi及放大系数Z的变化。用图像分析法求取摄像机运动参数的原理，主要是把摄像机的帧间的运动与亮度的时间、空间梯度联系起来。每一个像素位置都有如下关系成立：Gi=GxX+GyY+（Z-1）（GxX+GyY）。其中，Gi、Gx、Gy为图像亮度于水平、垂直方向及时间上的梯度。X、Y、Z则为水平、垂直位移及推拉镜头比例系数的变化。X、Y为像素在当前图像帧内的坐标值。由于每帧图像中都有大量像素，每点都可以列出一个如上的方程，因而可以得到一个已知条件高度冗余的线性方程组。由此可以求出运动参数的最小均方值。实验证明，为获得可靠的、质量足够好的摄像机运动参数，每帧取500-1000个有规律的点即可达到要求。ORAD的网格线如图8-9所示。

图8-9　ORAD的网格线图

网格跟踪是目前使用较广、最方便快捷的摄像机定位方式。其基本原理是，将摄像机拍摄到的网格或网格的一部分画面送到DVP500，DVP500将对这些画面进行实时计算，确定在实时情况下，摄像机相对于系统原点的位置参数X、Y、Z以及云台参数P、T、R和镜头参数Z、F，并且随着真实摄像机的运动，将实时计算参数的结果，提供给渲染引擎HDVG将与真实场景相对位置的场景渲染输出。

网格跟踪的特点比较鲜明：

①提供摄像机的八个定位参数。

②对摄像机的型号和镜头种类没有限制。支持任意类型的普通演播室摄像机。网格跟踪技术依靠图像分析定位，与摄像机以及镜头的种类、型号无关，DVP只要获得的视频画面符合要求，就会根据画面中所包含的信息来计算出摄像机的位置，因此，本系统支持几乎所有类型的摄像机，包括肩扛、手持甚至遥控摄像机。

③标准配置中，VDI支持四个机位（可以增加到八个机位）。VDI（数字视频识别器）可以在每一路通过它的视频信号中打上标签，并由DVP进行识别区分，因此，一个渲染单元就可以支持最多八个摄像机信号。

④无须镜头校准，定位快捷（只需要1帧），摄像机可以自由移动到任何地方进行快速定位，并且操作简单，尤其适合使用频率高，摄像机需要进行频繁移动的演播室。

⑤与传统的演播室相比，对演播室中的设备和安装方式没有特别的要求。网格跟踪方式不需要对摄像机进行任何改装，还可以根据需要随时增加摄像机数量，在摄像机的操作上与传统演播室的操作基本相同，因此维护简单方便，费用也很低。

⑥虚拟演播室可以与传统演播室相结合使用。对于虚拟和实景共用演播室设备的情况下，摄像机的频繁移动无法避免，网格跟踪方式可以任意移动摄像机位置。

当然，任何一种跟踪技术都不是十全十美的，单独使用网格跟踪，也是一样，例如大范围快速运动拍摄、摇臂的使用等。并且，图像中网格线的数量有限制，必须不能少于2×2条网格线。这对于拍摄特写镜头会有一定程度的影响。摄像机摄取的画面在任何时候都要至少看到两个网格，因为只有当被摄画面包含一定数量的网格时才能进行测量计算，使被拍摄物体的活动范围以及可拍摄范围受到一定的限制。还有像素级自动深度键等这些功能的实现还需要配合其他的跟踪技术。

（3）红外定位跟踪

在演播室的蓝箱上方两侧安装两台到四台可以发射和接收红外线的装置，对演播室摄像机布局的空间进行覆盖。在演播室摄像机顶部安装四个排列好的低强度红外线发射器。每个红外线发射器的发射频率都不一样，并且要求至少要被两台红外线摄像机拍到。图像计算机根据传送来的信号识别红外跟踪摄像机输出画面中的光源图像，通过对摄像机反射回的红外线进行处理，来计算和确定摄像机在演播室中的位置和方向。根据主持人佩戴的红外反射器反射回的红外线来获得主持人的位置，这样红外接收器接收到主持人的信号，就能感知深度也就是景深识别功能。

红外定位跟踪的特点：

①全自动，无须任何定位操作。

②配合网格信息，实时获得位置参数X、Y、Z。

③不受限制的360度拍摄并且提供最佳的影子和色键效果。

④摄像机可自由运动，不受任何限制，摄像机数可以自动调配。

（4）摄像机跟踪技术小结

任何一种跟踪技术都不是十全十美的，例如大范围快速运动拍摄、摇臂的使用、像素级自动深度键等这些功能的实现还需要配合其他的跟踪技术，这也是ORAD跟踪技术的一个优点，多种跟踪技术可以配合使用，相互之间扬长避短。(www.xing528.com)

在多种摄像机跟踪技术的配合方面，福建电视台根据自身的需求，做了相对应的设计，这部分将在下一节中详细阐述。

2.色键抠像与合成技术

最终输出要把所产生的三维背景和摄像机实际拍摄的前景图像合成在一起。在合成之前首先要把前景图像中的人物图像提取出来，使用传统的色键抠像技术分离人物图像和蓝色背景。由于前景图像要与最终的三维背景相结合，所以必须考虑前景图像的深度信息。深度是指背景和前景演员的各像素到摄像机的距离。所以这里的合成又被称为深度合成。对于虚拟三维背景，每一像素点的深度值很容易从虚拟摄像机的参数和三维虚拟背景模型中计算得出。但是对于实际拍摄得到的前景人物图像，其深度值是不容易精确计算出来的。不过考虑到前景人物自身的宽度和厚度与摄像机和人物之间的距离相对较小。所以可以认为人物的深度值是一个定值。当然相对于虚拟背景比较复杂的情况，则可以把前景图像分成几个深度值大致相同的部分，然后对每个部分进行估计，最后合成的时候，还需要注意的是由于前景图像是在演播室里实地拍摄的，而背景图像是计算机生成的，二者照明条件不同，需要设法减少分别制作时因照明条件的差异而产生的不协调感。

虚拟演播室采用了传统的色键合成系统，却突破了传统色键系统的限制，消除了摄像机不能与背景同步运动的致命弱点，做到真实的演员能深入到虚拟的三维场景中，并能与其中的虚拟对象实时交互。在虚拟演播室中演员在一间蓝色屏幕代替的真实背景里进行现场表演，计算机图形发生器实时产生一个逼真的虚拟环境，并按以下程序工作：摄像机镜头的定位、测量、运动走向及视角、视野处理，摄像机采集前景视频信号，同时摄像机上的跟踪系统实时提供摄像机移动的信息，这些数据被送至一个实时图形计算机，从摄像机的镜头视角再生成一个虚拟环境。以蓝箱为背景拍摄的摄像机前景图像，经延时后与产生于计算机的实时虚拟背景以相同定位时间进行工作，并通过色度键控器“联动”在一起，实时产生一个组合的图像。

由于计算机图形技术的迅速发展，计算机实时绘制各种复杂逼真的三维场景已成为可能。这些场景可以与摄像机摄制的视频信号完美地合成在一起，使演员表演的空间得到扩展。同时“虚拟摄像机”也可合成进系统中，它可实现的功能如在演播室范围外游移，以完全不同的场景出现或飞出演播室之外到达遥远的地方，并可在运动中安全、平滑地返回虚拟演播室场景，过渡到真实的摄像机。另外使用“虚拟蓝背景”技术可允许摄像机拍摄蓝背景以外的事物，不受现场演播室的局限。现场的演员可以在虚拟演播室中与三维背景呈现真实的透视关系，同时允许插入视频片断、互相作用的三维特技效果、图形、音频及其他更多的东西。这些效果是在节目拍摄过程中根据节目单或遵照导演的现场决定来完成的。如果提供许可，演员及旁观者也可以控制这些特技。所有三维场景可根据摄像机的运动进行实时更新。在感觉上，现场视频及三维场景是由同一台摄像机拍摄的，并且它们来自同一个源。虚拟演播室强调实时性，演员的现场动作与计算机场景能实时地合成，合成后的场景能及时地反馈给摄影师和演员，以便帮助摄影师调整拍摄动作，帮助演员调整表演动作。

3.图形渲染平台

图形工作站的渲染能力受到场景中的灯光数量、透明层数、透明物体大小、贴图大小与材质、多边形数量、动画复杂程度、视频窗口数量等多方面的因素影响。总之，图形工作站硬件的能力是有限的，因此要慎重衡量做好一个模型的各方面安排。

ORAD的HDVG是现今市场上最强大的三维渲染硬件，HDVG广泛应用于广播电视行业的各个领域，包括虚拟演播室、体育分析产品、虚拟广告等，并且，通过HDVG的渲染引擎软件，各种各样的应用软件都可以应用到HDVG的硬件平台。

HDVG板卡是HDVG的核心部分，由ORAD独自开发的一块高质量的可编程PCI视频板。独有的设计使得HDVG的渲染能力比目前市面上可利用的任何渲染平台都强大得多。配合一流的Nvidia图形加速卡，HDVG能输出丰富、逼真、高质量的三维视频画面。作为一个可升级的平台，随着Nvidia的不断更新换代，HDVG也不断升级。ORAD的图形工作站HDVG如图8-10所示。

图8-10　ORAD图形工作站HDVG

不同的图形工作站渲染能力的不同除了硬件质量的不同外，还取决于软件渲染引擎的设计，渲染引擎对各种功能效果需要的能力进行分配。因此，渲染引擎的优劣在很大程度上决定在实际应用中，系统是否能充分发挥硬件的性能。HDVG渲染引擎经过了长时间的实践检测，配合高性能的图形卡，达到了最佳的渲染性能。

配合最佳的渲染性能，HDVG同时提供2路不同的视频输入及2路环出。作为选配，HDVG可以增加不同视频输入通道的数量，最多达到16路。HDVG提供4路视频输出信号分别是，输出1/2——视频输出、输出3/4——键信号输出。HDVG提供了内置视频延时卡，提供一个信号输入及环出和两个视频输出。

HDVG也支持集群渲染功能，在特殊情况下，针对特殊的应用（如虚拟仿真领域），多个HDVG可以集连起来共同渲染一个图形，并且可以选择输出通道的数量及每个通道所输出的画面。

新一代的HDVG包含两个单元，其中一个单元为渲染单元，另一个单元为DVP500——数字视频处理器，它将对摄像机拍摄的网格信号进行处理并通过网络传递到HDVG。DVP500提供一个摄像机信号输入及环出及两个视频输出用来监看DVP500网格处理情况。

4.虚拟场景制作

二维虚拟演播室系统调用的虚拟场景是一张或一组平面图像，比如一套双机位的二维虚拟演播室系统就需要为每一个机位提供一张相应角度的图像，如图8-11所示，而一旦摄像机离开了预先设定好的机位位置，就无法正确地提供相应的虚拟背景。

图8-11　双机位二维虚拟演播室示意图

三维虚拟演播室系统调用的是标准的虚拟场景模型文件，根据摄像机推、拉、摇、移的变化进行实时的渲染。因此，一方面，可以随着摄像机角度及位置的变化看到具有真实感的虚拟场景，从而看到场景中虚拟物体的侧面和背面，使得整个场景更加逼真；另一方面，允许主持人进入到虚拟场景之中去，三维场景中的虚拟景物既能作为真实人物的背景出现，也能作为前景出现。可以把一些虚拟物体调到主持人的前面来，而且真实人物还能围绕虚拟景物运动，这就大大增加了场景的真实感，同时也丰富了节目拍摄手法。

一个三维虚拟场景需要大量的工作来处理运动和再生背景图像序列。图像序列既要实时生成，还要保证广播级的图像质量。图像质量和生成时间是一对矛盾，很难同时满足。为了解决这个问题常常采用中间描述结果处理技术。先生成虚拟场景的中间描述结果，在实时生成时，就可以用简单快捷的方法来获得高质量的图像，这种方法的基本思想是计算出给定视点的可视表面部分和不可视表面部分，这里既可以用分析的方法计算出每个对象确切的可视区域，也可以用数字的方法计算出到底哪些像素点是可视的，哪些是不可视的。不过大量中间描述结果往往需要较大的内存空间，这是一个用运行内存空间换取运行时间的策略。

5.虚拟演播室系统中的几项其他技术

（1）“像素级”深度键技术

处理演员在虚拟场景中的位置时，以前采用“分层次”深度键技术，物体被分别归类到有限几个深度层次中，演员在虚拟场景中的位置不能连续变化。对于“像素级”深度键技术，构成虚拟场景的每一个像素都有相应的Z轴深度值，因此演员在虚拟场景中的位置可以连续变化，使用这种技术后，虚拟物体、真实物体及表演者可在节目中动态地相互遮挡，从而增加了虚拟场景的真实感，如图8-12所示。

图8-12　“像素级”深度键效果

（2）“垃圾色块”技术

用虚拟演播室系统制作节目时，当摄像机拍摄到非蓝区域时会出现“穿帮”现象，为了解决这个问题，采用“垃圾色块”技术。当摄像机拍摄到非蓝区域时，自动由“垃圾色块”填补虚拟背景，具有背景保护功能，使演播的范围大大超出了演播室的蓝色背景范围。还可以用这个技术制作虚拟天花板。

（3）灯光

对虚拟演播室来说灯光非常重要，蓝色舞台需要被灯光照得非常均匀，灯光越均匀，用户需要在键控器上做的修饰越少，容易保留蓝背景上的阴影。

灯具的要求：虚拟演播室灯光系统是建立在新型的三基色柔光灯的基础之上的，这种灯发光均匀、阴影小、发热少、色温恒定而均匀，光布在主持人脸上自然而逼真。此种灯满足了虚拟演播室对光线的基本要求。

区域布光：在虚拟演播室，为了增强节目的真实性、活泼性，主持人都会有一定的活动区域，因此，对前景（主持人）布光不能像新闻类布光是定位的点布光，而必须进行区域布光。

立体布光：传统的新闻类演播室一般都运用三点式布光原理就能满足电视灯光的要求，而虚拟演播室技术采用的是色键消蓝技术进行抠蓝处理，因此，要消除蓝色对前景（主持人）的影响就必须要有立体布光的理念。先进行前景布光，后蓝箱布光：因为三基色柔光灯发光面积大，对前景（主持人）布好光后，必将在蓝箱上产生一定的光照度。因此，前景照度符合要求后，再对蓝箱进行适当补光就能满足计算机色键抠图的要求。前景与电子背景完美融合的关键在于前景与蓝箱科学而合理的布光。

照度的要求：虚拟演播室的照度不同于传统演播室，它要求前景与蓝箱背景照度相匹配，追求光照的一致性。另外，虚拟演播室栏目的灵活性、电子背景的多样性也要求照度必须满足不同栏目、不同电子背景的需要。