视听艺术空间数字化重构：异质混合的并存模式

混合空间，又称混合现实，其存在有着历史渊源。宗白华说过，“虚和实的辩证统一，才能完成艺术的表现，形成艺术的美”^[56]。早期的混合空间是真实空间和幻想空间的混合，这在文学著作中有着大量的相关描写，如陶渊明笔下的桃花源、曹雪芹笔下的太虚幻境、《水浒传》中九天玄女的宫殿、《皮皮鲁与鲁西西》的309暗室、《爱丽丝梦游仙境》中的仙境，等等，在文学家的笔下，真实空间和幻想空间常常交融在一起，表达着作者某种隐晦的主题思想。

在传统影视作品中，混合空间的存在也很多，如电影《博物馆奇妙夜》中神奇的博物馆，陈列着前所未见的史前生物骨架、凶猛的古代武士、文明被湮灭的部落、非洲稀奇动物、历史传奇英雄，等等，白天一切正常，而晚上所有东西都会复活；电影《潘神的迷宫》中，由竹节虫一样的精灵带去的那个神秘的迷宫；电影《回到未来》三部曲中是空间和未来时空的任意跳接；电影《时光机器》中主人公驾驶时光机进行的时间旅行……在影视作品中，混合空间的出现反映了创作者对于幻想空间的好奇或是对于真实物理空间的危机感。

在数字化的视听作品中，混合空间的呈现已经不仅限于幻想空间和真实空间的并存，代替幻想空间的是虚拟空间，由虚拟空间和真实空间共同组成了现在的混合空间，“异质性”是混合空间的重要特征。

1967年，福柯在巴黎发表过一次演讲《异质空间》（Des espaces autres），其文后来出版的名字是《不同空间的正文与上下文》，其中与“乌托邦”相对的“异托邦”（heterotopia）思想是他文章的核心。“乌托邦”是虚幻不存在的空间，是世人心目中的“桃花源”，最初来源于英国空想社会主义的创始人托马斯·莫尔（Thomas More）。而“异托邦”是现实存在的空间，是于我们熟悉的真实空间中存在着的“异域”元素，比如镜像空间、镜外真实空间、镜子三者组合在一起，就构成一个既有真实空间又有虚幻空间的“异托邦”世界。“异托邦”形成的“异质空间”有着区别于其他空间的特殊含义。

福柯将“异质空间”定义为：“可能在每一文化、文明中，也存在着另一种真实空间——它们确实存在，并且形成社会的真实基础——它们是那些对立基地（counter-sites），是一种有效制定的虚构地点，通过对立基地，真实基地与所有可在文化中找到的不同的真实基地，被同时地再现、对立与倒转。这类地点是在所有地点之外，纵然如此，却仍然可以指出它们在现实中的位置。由于这些地点绝对异于它们所反映与讨论的所有基地，更由于它们与虚拟地点的差别，我称之为差异地点。”^[57]在福柯看来，后现代社会与现代社会的差别就是这些差异的、断裂的、彼此矛盾和对抗的“基地”的存在，而异质空间就是建立在这些“基地”基础上的异域空间。

对于“异托邦”形成的“异质空间”，福柯总结了六点其异质特征：（1）异质空间由多种文化并列存在，不存在绝对普遍的形式。（2）每个异质空间都有其具体的作用，会随着社会的变迁产生文化的差异。这里福柯用公墓举例，认为公墓就是一处象征场所，是与普通空间不同的异域空间。（3）异质空间可以在同一个空间中呈现出多个互有矛盾、不相容的场所和事物。福柯认为花园是差异空间最古老的矛盾场所的例证，东方和西方都是如此，“从古代起，花园就是一种快乐的、普世化差异空间”^[58]。（4）异质空间可以容纳“相异的时间或者历史”。（5）异质空间既开放又封闭，必须具备某种共识或特定的仪式才能进入。（6）异质空间有着鲜明的两个极端特色，即虚幻性和真实性，既可以创造出一个幻觉性的异托邦，也同时可以创造出一个补偿性的异托邦，使人们反而质疑自己生活空间的不真实。

福柯的异质空间观念在数字时代也同样适用。数字时代视听艺术作品呈现的混合现实空间也存在异质的、断裂的特点，彼此矛盾对抗，乃至互相融合在一起，虚幻性和真实性充斥着视听艺术作品，真实与虚拟的界限已经模糊不清。

视听艺术作品中，混合空间由真实物理空间和虚拟现实空间组成，这两种空间，一个完全真实、一个完全虚拟，处于两个极端。除了两极之外，还存在着中间情况，就是增强现实空间和增强虚拟空间，这两种空间一个是现实空间中加入虚拟的成分，一个是虚拟空间中加入现实的成分。这四种空间构成了混合现实空间（见图3.3）。

图3.3 混合现实空间构成图

从真实物理空间，到虚拟现实空间，到现在的增强现实空间，体现了人类从早期认识空间、占有空间，到创造空间、虚拟空间，再到现在的控制空间、丰富空间的三个阶段，也体现了人类从不认知空间，到部分认知，再到全部认知甚至反作用空间的过程。

“增强”，意为加强、提高、扩大，等等。增强现实空间，英文称为Augmented Reality Space，这是一种通过三维显示技术、多传感技术、交互技术、计算机视觉技术等，将计算机生产的二维或者三维的虚拟信息应用到客观世界，从而使真实的环境和虚拟的物体共同叠加到同一个画面或空间同时存在的混合空间形式。按照维基百科的定义，增强现实是指在现实环境的实时成像中，对其中的某些物体附加上由计算机生成的诸如声音、视频、图像或者地理位置信息。简单理解，就是将计算机实时生成的一些信息附加在现实环境中叠加呈现出来，从而达到所谓补充增强现实世界的效果。

增强现实空间和虚拟现实空间是有明显差别的，虚拟现实空间强调其完全的虚拟性，所有的物体都是电脑制作出来的，而增强现实空间强调其真实性，是虚拟影像和真实环境的实时结合，虚拟影像的增加也是为了增强其真实性，所谓“增强现实”，意义就在这里。

目前，增强现实的应用方式有两种。一种技术是来源于图像识别，也就是将原本现实空间中的真实物体先进行图像的识别和分析，然后在这些真实物体上实时地呈现相应的虚拟信息，这些信息可以是二维或者三维的。另一种增强现实技术来源于感应器，不需要通过识别某种物体或者标记来呈现虚拟信息，而是通过GPS或者某种感应器，如重力加速器、指南针等来综合决定在当前真实空间中呈现相应的数据。

2006年，科幻小说作家弗诺·文奇（Vernor Vinge）出版了一本名为《彩虹尽头》（Rainbows End）的书，立刻受到读者追捧。弗诺·文奇是圣迭戈州立大学的退休教授，同时是数学家和计算机专家，他的小说逻辑严密、情节紧凑，不但有天马行空、想象力丰富的故事情节，也有着无比真实、经得起推敲的细节，大量细致又真实的描述使得虚构出的“异世界”和生活在其中的科族无比真实。文奇在小说中幻想了未来的人类会具有一些特异功能，如可以穿戴智能外衣和特殊的隐形眼镜等，通过这样一些虚拟视网膜显示技术，小说中的人物可以看到真实景物之外的计算机图表等附加的虚拟信息，主人公一直在与现实空间上附加的虚拟空间这样的增强现实空间进行着各类的交互。

文奇的《彩虹尽头》成为三个年轻人莱莫·范·德·克莱因（Raimo van der Klein）、克莱尔·布恩斯特拉（Claire Boonstra）、瑞彼德·休格（Rapid Sugar）的创业灵感源泉，他们将小说中的幻想世界变为了现实。三个年轻人成立了SPRXmobile软件公司，研发了使用AR技术的“Layar”浏览器。不到一年的时间，三个人推出了这款浏览器，不仅提供增强现实技术，还向开发者开放平台，开发者们为Layar贡献了上千“层”信息，并将AR技术的应用在生活与商用领域进行更多拓展。文奇在《彩虹尽头》中为我们想象了增强现实技术的四大应用——医疗、游戏、社交以及工作管理，都确实成了开发者攻克的主要领域。

增强现实技术在现代社会中的运用越来越广泛，它在商业推广、媒介营销，乃至历史遗迹的保护升级等方面都能有用武之地。

i蝶儿是曾经风靡日本的虚拟优惠券iButterfly的中文版，是一种基于增强技术研发的虚拟电子优惠券，2010年由日本电通公司研发，并在很短的时间内吸引了大量的用户。i蝶儿是一种结合移动终端、帮助商家进行移动端营销的方式。用户只要在移动终端中打开“捉蝴蝶”，就可以看到叠加在真实环境中的虚拟“蝴蝶”，用移动终端轻轻拍向蝴蝶，就可以把它们捉住并收藏，然后去享受商家的各种优惠。位置的不同，捕捉到的蝴蝶携带的信息也不一样，这样也使得用户们非常热衷于捉蝴蝶。国际多个知名品牌如屈臣氏、阿迪达斯等都成了i蝶儿的合作伙伴。

Total Immersion公司利用增强现实技术推出了Trylive Clothing虚拟试衣系统。消费者需要配备一部KINECT、一部电脑和一个高清显示屏，就可以将3D的虚拟服装试穿在身上，服装可以360度前后试看，而且随着消费者动作的变化产生变化，系统还可根据试穿者的身形调整试穿衣服的尺寸大小。另外，耐克、宝马、渣打银行等一些公司也已应用AR技术开发出互动游戏，以增加与科技产品武装起来的年轻消费者的亲密度。天猫也联手雷朋眼镜推出了增强现实互动体验，消费者不出家门，不用到门店中试戴，就可以看见眼镜戴在自己脸上的真实效果。

2012年，谷歌（Google）公司推出一款“增强现实眼镜”，其中镜片的中上部区域被设置成半透明的，专门可以用来叠加显示各类信息，包括新闻、商家信息、位置消息等。谷歌这款眼镜一经推出，在隐私权方面就引起大家热议，也有学者肯定了只有这些商业巨头的加入才能真正推广增强现实技术。谷歌将自己的眼镜称为“扩展现实”（Extended Reality），从本质上说，扩展现实和增强现实内涵一样，都是基于真实世界的延伸，以游戏的娱乐化精神对真实世界进行外延的结构。脸书（Facebook）CEO扎克伯格对虚拟现实和增强现实的未来都非常乐观，2016年4月，脸书在F8开发者大会上推出了一个带有360度摄像功能的设备，可以给Oculus Rift头盔捕捉虚拟现实图像，而Oculus Rift眼罩的发明人帕尔默·拉吉也认为增强现实和虚拟现实眼罩将合二为一，它可以像普通眼镜一样佩戴，这一点和谷歌眼镜不谋而合。

Blippar是全球首份虚拟增强现实报纸，与都柏林《地铁先锋报》、爱尔兰当地的电视节目合作推出，也应用了增强现实的技术。读者可以利用Blippar去选择性地浏览报纸上的“编辑选择”和其他广告内容。很多知名品牌都以一种鲜活的方式在报纸上投放广告。读者只要利用手机终端的Blippar就能看到在纸质报纸上看不到的有趣内容，如游戏、问卷调查等。Blippar可以用增强现实技术为读者提供一个更深层次的媒介参与以及与广告进行无缝互动的方式，这也是传统媒体与新技术结合的一次营销方式的尝试。

最近，有关历史遗迹重建的话题经常引起大家热议，对于重建的地点、费用颇有争议。2013年6月，西咸新区沣东新城和北京首都创业集团公司签订合作协议，计划累计投入380亿元，在即将建设的阿房宫国家遗址公园东侧建设控制地带，在外侧建设“首创阿房宫文化旅游产业基地”，而当地原投资2亿元的人造景点已被拆除。这样大举措、超力度的投资规模，其投资前景和价值引起众人的议论猜测。

相比较阿房宫的真实空间的重资重建，圆明园采用了截然不同的数字化手段。2012年，圆明园景区利用虚拟现实、增强现实技术“重建”了圆明园。科技人员将当年的圆明园场景全部用数字模型的方式建立，再用光学显示的方法将这些虚拟的数字模型图像叠加到真实的圆明园废墟空间上。游客在圆明园的某一个景区用移动终端去扫描二维码，就可以看到该遗址的数字复原影像，了解到今天的废墟残垣之上的历史宫殿的真实模样。目前，技术团队已经通过考古、建筑历史、计算机技术等多学科的协助，完成了30多个圆明园景区的三维重现。韩国国立故宫博物馆与韩国科技研究院也在科技的帮助下将增强现实平板电脑适用于世界级文化遗产——东阙图，游客可看到鲜活的、三维的昌德宫和昌庆宫的场景。

图3.4 杰弗里·肖的作品《金牛》(www.xing528.com)

增强虚拟空间，即“Augmented Virtual Space”，正好与增强现实空间相反，它是通过三维显示技术、多传感技术、交互技术、计算机视觉技术等，将现实空间应用到二维或者三维的虚拟环境中去，将真实环境和虚拟物体实时叠加到同一个画面或空间的混合空间形式。

相比较增强现实空间的运用，增强虚拟空间在现代社会的运用相对少些。德国艺术家杰弗里·肖（Jeffrey Shaw）的作品《金牛》（The Golden Calf）是一件典型的增强虚拟空间的艺术作品（见图3.4）。它由一个连接着电缆的LED监视器和一个白色基地组成，在监视器屏幕内有一个特殊的感应装置，可以在空间上进行定位，观赏者要手持这个液晶接口监视器屏幕，屏幕会在白色基座上显示出金牛的图像，观赏者可以拿着屏幕360度环绕基座来观察金牛，甚至还可以进入它的内部观看。而金牛身体表面金灿灿的光泽，可以反射现实空间形成镜像空间，这种镜像空间事先被数字摄像机拍摄下来重新反射定位到金牛身体上，这样，现实空间的物体被反射到了虚拟小牛的身上，金牛的即时影像被进一步强化，双重的折射更加增进了虚拟真实的可信度。金牛有着宗教意义，“虚拟物体可以将当代技术和古代追求内涵的宗教研究相联系，肖利用了虚拟物体的这种隐喻特性”^[59]。

2011年11月，迪士尼公司在纽约闹市区放置大型互动屏幕，当观众踏入摄像头的圆形区域时，观众的影像就被叠加到了屏幕中，可以和屏幕中的迪士尼人物一起翩翩起舞了，观众仿佛置身于迪士尼的欢乐世界中，可以看到形形色色的迪士尼人物并与之互动（见图3.5）。

图3.5 迪士尼公司互动屏幕 于2011年11月美国纽约

2012年3月初，凌仕（LYNX）男士香氛采用同样手法，在伦敦维多利亚车站大厅上演了一场旅客与天使邂逅的场面，让来往的旅客体验了一次增强虚拟技术的神奇效果。只要踏入摄影机的区域，旅客的影像就被投到了互动大屏上，你就可以和屏幕中虚拟的凌仕辣妹倾情互动。

增强现实空间让真实世界更真实，增强虚拟空间是让虚拟空间变得真实甚至超真实，而虚拟现实是模仿现实的虚拟空间，不管是虚拟还是真实，一切空间最终指向的都是真实的世界。增强现实空间和增强虚拟空间与虚拟现实空间有着不同的特性：（1）间离性。在异质混合空间中，主体和所存在的空间会保持着一种距离，这不同于虚拟现实空间的沉浸感，参与主体会非常清晰地感受到自己所处的位置与虚拟空间之间的关系。混合现实都不奢望重建或者映射现实世界，只是作为真实或者虚拟空间的一种延伸。（2）方位性。在虚拟现实空间中，沉浸性感受会让主体失去方位感，而在混合空间中，必须要有明确的方位定位，如在增强虚拟空间中，参与者必须要在固定的位置中才能被投到虚拟空间中，而谷歌眼镜更是需要明确的定位才能在真实空间上叠加虚拟信息。

全息（Holography）来自拉丁语，“特指一种技术，可以重现从拍摄对象反射回来的衍射光，其位置、大小与原先的一模一样。而观者从不同方位来观测被摄对象，其显示的像也同时变化。因此，通过全息技术拍摄的图片是三维的”^[60]。

1947年，全息术最早由匈牙利物理学家丹尼斯·盖布（Dennise Gabor）发现，盖布也因此获得了1971年的诺贝尔物理学奖。全息图有很多种，如投射全息图、反射全息图、彩虹全息图，等等。

全息术有两种呈现方式：全息摄影术和全息投影术。两种技术的空间呈现有各自的特点。

全息摄影是一种新型摄影技术，它可以记录被摄事物反射波的位相、振幅等全部信息。

摄影的秘密就在于对光的记录方式，无论是全息摄影，还是最早的银版照相术，都是一样的。所有的光都拥有三种属性，它们分别是光的颜色、光的明暗强弱以及光的方向。早期的黑白照片、银版照相方式只能记录下光明暗强弱的变化。彩色照片除此之外，还能通过记录光的波长变化反映出光的颜色。普通摄影方式不能记录反射光位相信息，不能记录物体的立体感。全息摄影除了能够把握光的明暗强弱、颜色外，还能捕捉到光的方向，它能同时捕捉光的三种属性。全息摄影通过激光技术，能够记录下光射到物体上再折射出来的方向，逼真地再现物体在三维空间中的景象。

全息摄影的原理是将激光分成两束，一束直接照在被摄物体上，经物体的反射会携带物体的有关信息；另一束直接透射在感光片上。投在被摄物体上的光束经过处理后也透射在感光片的同一区域，两束光发生相互的叠加，形成干涉条纹，完成一张全息图。

全息再现的方法是：用一束激光照射全息图，频率和方向与前面透射在感光片上的光一样，这样就可以再现物体的三维立体图像。从不同的角度看，可以看到物体的不同侧面，跟看到真的物体一样，只是能看到却不能摸到。1956年，丹尼斯·加博尔（Dennis Gabor）创造了正交全息拍照法，即运用传统的过滤光源，创建全息拍照的根本技术。1960年有了激光后，全息拍照成为适用技术，制成了平面阴极射线管，提出构成光学描绘的矩阵理论，等等。1971年，丹尼斯·加博尔获得诺贝尔物理学奖，以表彰他发明和发展了全息摄影术。最早利用全息摄影术进行艺术创作的是英国女艺术家玛格丽特·贝尼昂（Margaret Benyon），她的早期作品《毕加索》将其《阿维尼翁的少女们》利用全息摄影进行了再现。^[61]

如今全息摄影术已经被引入影视作品的制作中，“全息静动摄影术”就是现在电影数字技术的新宠，当然，它跟早期全息摄影术已经有了很大的差别。“全息静动摄影术”是指照相机以被摄物体为中心，以一定的间隔360度围成一圈，或者根据需要排成任何形状，在被摄物体运动时，所有的照相机同时开拍，得到一张不同角度的静止照片。将这些照片输入到电脑中，运用软件组接在一起，就形成了连续的画面。“全息静动摄影术”类似全息摄影，根据照相机排列的形状决定画面的运动轨迹，被摄对象可以在其中穿越多重时空。

在安迪·沃卓斯基（Andy Wachowski）执导的电影《黑客帝国》中，打戏非常多，导演对于镜头的腾挪转移运用极其灵活自如。尤其是在第二部《重装上阵》中，尼奥拿着一根铁棍和数十个黑衣墨镜人群斗时，导演摆脱正常的拍摄方法和取景视角，在高剪辑速率的打戏中，主体尼奥在跳跃或者翻腾时经常会被定格，而此时镜头会连着数个360度快速转移，若干秒后人物再恢复原状落地。人物的瞬间静止和镜头的快速转移拼接在一起，造成一种视觉奇观，“在这一镜头中，场的时间理解介入并中止了正常的时间流程。这样一种时间逻辑已经不只是一种由主观心理体验改造的时间感，而是不断综合加入空间理解的时间意识”^[62]。这组镜头便是“全息静动摄影术”的完美运用。

全息投影技术，“也称虚拟成像技术，是利用干涉与衍射原理，记录并再现物体真实三维影像的一种技术”^[63]。全息投影技术是通过空气或者一些特殊立体镜片形成三维立体的影像，并且可以从360度的任意角度观看到这个立体影像的不同侧面。

现阶段的全息投影技术有两种方式：第一种是空气投影，利用彩虹反射的原理，在气流墙上进行投影展示；第二种是激光束投影，利用氮气和氧气在空气中散开时形成的热物质，在空气中不断形成小爆炸从而形成影像。这两种方法在一些博物馆和为一些特殊商品做的展示中都可以看到。

2012年龙年春晚就真正实现了360度的视效舞台，整个舞台内部空间使用了共计8 000平方米的LED屏，创造了世界室内演出视频面积之最。另外，视频在播出时采用了全息投影技术，当萨顶顶在演唱歌曲《万物生》时，电视机前的观众可以看到花瓣四处散落的效果。这种技术是在电视直播时，在屏幕上直接投影出全息影像制作的虚幻景象。电视屏幕上可以把晚会现场实体舞台无法传达的空间转换、意象环境等都呈现出来，而这些内容，现场的观众是看不到的。

除了在我们常见的综艺舞台中能看到这样的全息投影技术外，现在很多其他的传统艺术形式也学习采用这样的技术，改变传统的空间呈现。例如全息舞蹈，这是由全息投影和舞蹈结合的数字表演形式，原理是由透明材料制成四面锥体，四个视频发射器将光的信号投射到这个锥体中的棱镜上，聚集而形成的一个虚幻的立体影像。而这个虚幻影像通过数字处理和舞者真实的影像共同叠加在一个空间中，观众可以裸眼从360度看到两个真实的和虚拟的影像互动，技术的进步可以让虚拟的影像宛若真实、真假难辨。

2011年7月9日，自称九维影像舞剧《观音》在长城脚下天龙源艺术剧院首演，导演将这部影像舞剧的空间变化运用到极致。首先，舞台的前景是一个2 400平方米的真实演出空间，在这个真实空间上方有一块1 200平方米的巨型全息投影幕，全息投影幕的顶部还悬挂了一块1 000平方米的反射幕，可以用镜像空间反射出实景空间和全息投影幕中的场景。另外，全息投影幕后还有一个2 000平方米的水面舞台，水面舞台后方有一个1 040平方米的环形银幕。这所有的空间（包括真实空间、全息投影空间、镜像空间）融合在一场演出中，彼此交错互动，会出现大量真实到极致的虚幻场景，让观众分不清真实三维空间与虚拟数字空间。^[64]

2012年4月15日，在美国Coachella音乐节上，美国说唱歌手德瑞博士（Dr.Dre）为纪念过世的2PAC^[65]，邀请制作公司创作的一次“复活”演唱会，用的是类似全息投影的方法。其具体的操作方法如图3.6所示，制作方利用一块聚乙烯屏、一块反射屏，通过摄像头把影像投射在反射屏上，反射屏再把影像折射到聚乙烯屏幕上，聚乙烯屏幕对观众来说是看不到的，这样表演者就可以和虚拟人物互动，而观众则看不到2PAC投射的聚乙烯屏幕，眼前的2PAC栩栩如生，宛若复活。

图3.6 2PAC“复活”演唱会投影方法