虚拟现实音频制作技术展望

姚国强

虚拟现实技术实际上是一种综合利用计算机系统图形技术和各种显示及控制设备接口，在计算机上生成多源的信息融合交互式三维动态视听虚拟及真实场景，结合空间感知的“即时定位与地图构建”技术（simultaneous localization and mapping，简称SLAM）。

这种技术可使设备实时获取到周围的环境信息，并能够精确地将虚拟物体放到正确的位置上；同时，还可以利用观影者的实体行为数据来使观影者沉浸于该仿真的虚拟环境中。所以说，虚拟现实技术实际上是一种具备新媒体特征的、包含视听触觉的新技术。

2014年，美国社交网络平台脸书公司（Facebook）宣布收购沉浸式虚拟现实技术公司——奥库鲁斯公司（Oculus），实现了时隔7年后虚拟现实技术的复苏。

进入2015年“VR元年”，全球资本市场向这一领域大规模投入，开始抢占工业4.0与“互联网+”时代的新型视听传媒市场，实现了虚拟现实技术的第三次爆发并由此派生出来360°全景视频、增强现实、混合现实和影像现实等虚拟现实技术。但是，目前对于虚拟现实图像及视频技术的研究方兴未艾，对虚拟现实技术中的音频制作技术的研究却乏善可陈。因此，尽快展开虚拟现实技术中的音频制作技术研究，提高国家文化技术“软实力”、深化推进国家经济“供给侧改革”、开创“大众创业、万众创新”局面对社会有着迫在眉睫的社会意义及理论意义。

我们知道，虚拟现实技术最终呈现给观者的是在虚拟环境中实施自主交互式的包含音视频的内容及触觉感知的内容。因此，这种内容创作技术可以说是建立在电影电视技术和计算机游戏技术之上的一种全新形态的多媒体技术。其中的视频与音频创作技术必然与电影电视和计算机游戏的创作过程有着传承和发展的关系。总结目前虚拟现实技术的专业特点，最为重要的、核心的特征就是具有计算机生成的可交互的、被称为“虚拟环境”（virtual environment，简称VE）的三维环境。

目前的虚拟现实技术特点是“实时”（presence）、“交互”（interaction）和“自主”（autonomy）；而其重要的技术特征则是“3I”：“沉浸”（immersion）、“交互”（interaction）和“构想”（imagination）。因此，虚拟现实技术中的音视频内容制作技术实际上是在传统电影电视技术和计算机游戏制作技术的基础之上有所创新和发展的一项新技术。

1968年，伊凡·苏泽兰（Ivan Sutherland）与学生鲍勃·斯普鲁（Bob Sproull）创造了第一个可以用于虚拟现实及增强现实的头戴式显示器系统，确立了VR的技术原理，第一次开启了头戴式虚拟现实系统的实验应用。由于设备非常沉重需要挂在天花板上，所以，该系统又被戏称为“达摩克利斯之剑”。

随着20世纪70年代末信息技术与计算机的兴起，虚拟现实技术在信息技术的支持下迎来了第二次高速发展期。1982年，游戏行业久负盛名的美国Atari公司成立了虚拟现实研究实验室。贾瑞恩·拉尼尔（Jaron Lanier）持续对虚拟现实相关技术进行研究和开发，并于1984年创办VPL Research公司，该公司在研究可视化编程语言和数据手套等虚拟现实设备方面取得了较大的进展。虽然拉尼尔提出了“虚拟现实技术”（virtual reality，简称VR），并使得“VR”成为当下广为人知的技术概念，但当时的VR试图商业化时却未能成功。

2012年，奥库鲁斯公司生产的VR产品——“Oculus Rift”眼镜，通过国外知名众筹网站Kick Starter募集到了160万美元的风投资金。

2014年，奥库鲁斯公司被著名的脸书公司以20亿美元的价格邀约收购。“Oculus Rift”眼镜吸引了大批开发者投身VR项目，正式打响了这场VR的世纪之战。此后，对Magic Leap的多轮风投使2015-2016年VR产业全面爆发。在所谓的“VR元年”之际，全球资本市场开始大规模地投入资金开发虚拟现实技术，抢占工业4.0与“互联网+”时代的新视听传媒市场份额，这预示着时隔多年的VR技术开始正式复苏，重返商业化的市场竞争，因而从发展的角度实现了VR技术的第三次爆发。

目前，虚拟现实大致可分类如下：

续表

现阶段开发制作VR、AR、MR及CR声音的主要工具引擎有unreal、unity、cryengine、torque、cocos、unigine等。在节目的编程开发及美术、声音设计上，新的工具引擎开发与画面、声音技术制作模块的优化和完善已然成为一个必不可缺的主要技术环节。开发新的硬件器材和相关的App、研究工具引擎的应用技术也正是VR音频制作进程中的主要任务。所以，尽管目前VR的开发发展迅速，但是仍处于没有国际统一技术标准的群雄割据状况，基本上是自说自话。为此，不仅要进一步开发出通用的VR硬件装备加入混合现实（MR）及影像现实（CR）的内容制作及播放环节中，还要进一步改造现有的传统观影场所，以适合发展中的各种形态和制式的虚拟现实影像的还放体系建构。通过体验VR、AR和MR的装具，我们可以发现，VR、AR和MR的音频随着内容分类的不同而呈现出制作模式的差异。音频的播放，在游戏应用和类似地图导航的应用中，是通过计算机游戏引擎和地图的变化来带动不同的声音素材在交互活动中实现播放的。由此，声效音频不一定具备影视同期声的精确声场定位，虚拟物体的声效也不一定匹配真实物体发出的声音。大部分声音只有简单的语音、声效和背景音乐，无刻意研发和创作的空间声还音体系。而在影像现实和360度VR影像中，声音的呈现方法则与现代数字立体声电影一样需要高度的逼真。所以说，这两类不同形态的声音导致了虚拟现实中的音频制作体系的不同。

有声电影的声音，如语言、音响及音乐在播放时必须与画面一一对应（声音蒙太奇中的对位手法除外）。而电影声音及画面的运动则被导演的艺术设计操控，所以观者在观影过程中是无法操控的，也不能在技术上与故事内容进行参与和互动。因此，电影中的声音与画面必然要与经过剪辑设计的时间线对应，只能通过导演设计的视角来观影和听声。例如，在电影《兵临城下》中，参加斯大林格勒战役的狙击手瓦西里在喷水池的尸体堆中隐蔽着，他利用战场炮声响起的时刻开枪射杀敌人。影片中，此段落是一个完整的外景场景，镜头经导演设计后并不会因为观看产生时间上的差异。因此影片在电影院放映时，电影中所有的语言及音响都会与影片的空间环境相一致，与实际发声的声源及发声时间相对应。

而交互式电子游戏的声音呈现方式是游戏参与者在触发了地图中的某个物体或者区域后才发声。因此，其语言及音响必然是在关卡中伴随游戏参与者的动作进展而互动的，而与背景音乐BMG的发声互不连贯。这样，其声音与画面就没有了必然的时间线对应，画面只能看到由游戏参与者和游戏设计者选定的视角。例如，在游戏《使命召唤》中，在斯大林格勒的关卡中，游戏参与者扮演狙击手瓦西里在喷水池尸体堆中隐蔽，游戏提示游戏参与者必须利用战场炮声响起的时刻开枪射杀敌人。游戏此关卡段落是一个完整的外景场景，游戏视角完全被设计成了游戏参与者的主观视角。由于游戏参与者的心理承受能力和反应灵敏度各有差异，有的游戏者可以立即完成射杀任务，而有些游戏者则可能需要很久才能完成射杀任务。这种互动能力的差异就产生了关卡时间长度上的差异。因此，语言及音响将伴随游戏者的操作而由游戏引擎带动同步发声，而背景音乐BGM则会不断地循环播放，以等待游戏者完成任务。这个游戏片段中的音乐和语言、音响就不会像电影那样同步。这就使得这两种声音在与画面相向而行时是互不一致的。

特别是在360度VR影像中，由于整个环境空间都已被事先拍摄下来，所以，当观者头戴眼镜随意调整视角在360度空间内自由观看时，声音的定位也是不一致的。仍以电影《兵临城下》中瓦西里在喷水池中狙击敌人的段落为例，在360度VR影像中，观者可以在360度空间中自由选择参与观看时的视角，这样就可身临其境地全方位体验和感受电影中战场的冷酷和血腥。由于在多次观赏过程中可以随意处于不同的环境位置，观者可以更加深入地感受到艺术家艺术创作与造型设计的美学意义。根据360度VR影像全视野无死角的图像特性，360度VR影像的声音制作工艺及流程必须融入对视频和观者运动捕捉的处理构思与设计。因此，360度VR影像中包含并兼容传统电影的声音制作工艺及流程。它也是最接近电影制作工艺的影像展示方式。(www.xing528.com)

首先，为了开发制作虚拟现实音视频产品，声音制作者必须掌握动作与运动捕捉技术。这其中包含了对观者的运动捕捉和对被拍摄物体的运动捕捉及三维空间跟踪三个部分。在虚拟现实内容产品体验过程中，观者完全沉浸在一个360度自由的互动虚拟空间中，在这个虚拟空间中，观者的身体会发生各种不同方位的运动。因此，通过光电摄影机及传感器采集和捕捉人体运动的数据来融合交互式三维动态视听虚拟及真实场景，以及结合空间感知的“即时定位与地图构建”技术来对声音的产生、声像的变化与角色语言的交互互动就变得非常重要了。

其次，开发制作虚拟现实音视频，还要掌握对被拍摄物体的运动捕捉技术。这种运动捕捉技术早已成为电影视频特效制作的一个重要环节。掌握了被拍摄物体的运动捕捉数据，在声音动作效果的处理上就具备了精准的时间性与空间性客观因果对应关系。这些数据还可以进一步结合虚拟现实开发工具和引擎，为各种不同的声音及实时的、随观者运动变化的空间声场建立起数据库基础。因此，声音制作者利用和处理好这些数据对于虚拟现实中的音频制作非常关键。

在拍摄360度VR影像作品时，由于打破了画框限制，观者可以跳出导演与剪辑预设的故事窗口，自由地融入场景之中。因此，传统的声音拾音方式必然要受到巨大的技术挑战，话筒和话筒员将面临无处可藏的困窘境地。为了避免穿帮，传统电影录音制作时会采取各种方法来隐藏话筒。如在“同期录音三原则”^[2]中，要求同期录音时，语言声音要优先于音响声音录制；画内声音要优先于画外声音录制；录音助理（话筒员）工作时要面向演员和摄影机。

而在“同期录音的五条基本原则”^[3]中，则指出了声画景别相一致的原则；画内突出主体的原则；画内声（台词）与前景声（台词）为主的原则；话筒尽可能逼近发声体的原则；收录主台词尽可能避免噪声的原则。

因此，当进行360度场景的同期声音录制时，如果是人物比较多的场景，就可以让录音助理作为串场的龙套人物角色进入画面中录音。但是在草原或沙漠、大海的场景中录制同期声，或者在交响乐队中录制演奏时，如果使用微型无线话筒，可能会导致录制的声音质量受损。因此，录音师需要掌握图像擦除技术来克服隐藏有线话筒的局限。例如，在一个360度VR影像静止的外景草原对话镜头中，话筒和话筒员可以随意接近拍摄对象，只要在后期制作时运用图像擦除技术擦除话筒和话筒员的影像，就能保证画面内容的完整性。如果所拍摄的是运动镜头，就需要掌握高水平的擦除技术。而当声音工作者掌握了这种擦除技术后不仅可以擦除录音员的影像，也可以擦除周围影响画面的其他不必要的人员或景物。从这个角度看，这个新技术必然会对声音创作以及其他部门产生积极而有益的促进作用。

ADR技术也就是自动对白替换技术（automatic dialog replacement）。ADR技术很早就被运用在了电影声音的制作之中。现在，ADR技术一样也在虚拟现实作品的声音制作中得到大量运用。在非真实的内外景拍摄时的同期录音，由于需要进行蓝绿幕背景的抠像特技摄影，受现场混乱或者大量动作捕捉器材设备及信号的影响，同期录音可能会非常棘手。此时，ADR技术就可以有效地展开对白替换，结合图像擦除和合成技术完成声场环境中的语言模拟还原。同理，在真实的内外景拍摄及同期录音时，前述的图像擦除技术、运动擦除复原技术和ADR技术相结合，也可以达到保证演员的语言质量的最终目的。

虚拟现实影像作品可使观者具备自主自由交互运动的观赏能力，因此，它无须传统电影中声音与画面剪辑设置好的对应时间线，而只具备传统电子游戏的音频制作特征。

另外，传统电影声音制作工艺中所有的声音素材添加与调整，立体声的分配完全靠声音设计师的主观艺术设计和传统的手工制作模式来完成，而音频参数的调整大部分是凭着录音师的创作经验和主观听觉感受来进行调整的，特别是拟音环节，完全是手工创作的。因此，这种制作方式是无法适应在虚拟现实中由观者主宰时间线的进程和互动随机的位置，以及在空间自由变化的情形的。此时声音艺术创作者就需要运用虚拟现实的引擎和开发工具来进行虚拟音频的制作和开发相关的App。掌握声音引擎的开发技术可以进一步促进VR声音的国际化技术开发。例如，我们可以利用类似C语言进行音频的虚拟周边设备的开发处理和虚拟全景电位器的声音素材自动分配，或者开发可以实时调用声音素材库的模块来结合画面运动进行动作捕捉和三维空间定位的数据，从而实现交互还原虚拟空间环境中的声音素材与立体声场的定位变化。

在虚拟现实的技术开发与内容制作领域，声音的数据量相对于图像的数据量要小得多，现有的计算机技术条件已具备可以快速实时上传下载的能力，声音的制作周期与人员配置也较为灵活。虽说VR的声音制作具备天然的优势，但是，我们也不得不意识到虚拟现实的音频制作之路上还存在很多挑战。例如，空间声场的还放技术还不成熟。目前，虚拟现实的观看和听音系统基本上是靠个人化的头戴装具模式来实现的，尽管头戴装具也具备了运动捕捉定位功能，但由于观者会随着内容进行交互运动，所以声音的传输应该采用无线技术，以避免产生线缆缠绕捆绑观者的危险。在此基础之上，我们可以进行虚拟听音装具的专利开发，以及开发出虚拟技术的听音衍生市场的商业应用版权技术。

耳机先天性的缺点在于还放低音的能力不如扬声器，因此，在有条件的情况下应该在耳机中设置低音补偿的扬声器。关于这一点，我们可以引申到对现有电影院的改造。为了适应在影院播放虚拟现实作品，我们可以参考观看立体电影的分发专用眼镜制度，通过分发无线接收音频的VR头戴式听音装具给观者，同时打开影院的低音扬声器，来盘活当下的立体影院资源。只有这样进一步地改造现有的影院才可适合多种形态和制式的虚拟现实还放体系。

综上所述，虚拟现实中音频制作模式将随着虚拟技术的新发展而出现新的变化。因此，新的机遇不仅可以带动虚拟现实技术与电影艺术逐渐形成各自新的制作艺术与技术制作体系；同时，有关的声音艺术理论与声音制作教育也将随着虚拟现实技术的发展进入到一个新的发展时代。

[作者系北京电影学院教授、博士生导师、国家一级录音师，上海大学上海电影学院兼职博士生导师、兼职教授]

[1] 本文系北京电影学院2017年度校级科研项目“电影声音创作及理论批评研究”（项目编号：XGH201702）的阶段性研究成果。

[2] 姚国强，王旭锋.影视同期录音的基本法则（上）——解析“同期录音三原则”[J].现代电影技术，2016（1）.

[3] 林临.电视剧同期录音浅谈[J].现代电视技术，2007（2）.