数字媒体叙事研究：主动媒体系统探索

三、主动媒体系统：线性叙事下的互动超媒体系统

通过具体案例分析，我们可以比较清晰地看出“本体互动”的面貌，特别是当作品的媒介科技主动性犹如用户主动性一样明显时，我们就可以更加清楚地看出互动两极的“本体参与”是如何进行的。主动媒体系统（active media system）的主要设计目标是使机器学习如何识别（倾听）、计算（思考）和反馈（说话），而不是侧重人类对机器的操作；另外，主动媒体系统是一个将互动程式和嵌入式线性叙事结构结合起来的超媒体系统，在这里我们将它的叙事方式称作“后线性叙事”，因为其中的线性叙事是依托其互动特性而成立的。我们将从智能媒介科技和参与叙事作品的主动用户两个方面来讨论本体互动的内涵。

（一）结构设计：沉浸式前端

图4.4　主动媒体系统的前端

主动式媒体框架是建立在识别技术和人工智能技术的基础之上的。该框架可以通过一个隐藏的智能前端自动感应观者的存在以及他们在观看时的反应，从而主动与观者互动。我们之所以将这种前端称为沉浸式前端，是因为技术在这里为我们提供了一个与虚拟环境之间非常直接、直观的链接；对用户来说，这个前端是完全透明的，就像一个电影观众直接面对一块大屏幕（如图4.4所示）。与之产生互动，用户不需要鼠标、键盘或任何操作工具就能与屏幕上播放的内容产生连接，而在后台完成计算运转的计算机，用户是完全看不到的。图4. 5描绘的就是主动媒体系统不同部件之间的一个物理组合。其中，感应器由一到两个摄像头组成，被悬挂在屏幕的上方。在互动发生的过程中，运算设备通过摄像头捕捉到用户的运动、声音或身体姿势；通过比对已经存储在记忆体中的影像文本翻译出用户给出的语音或者动作信息；然后给用户一个没有肌肉运动知觉的链接来对虚拟世界中的内容产生影响。因此，在这种互动过程中，用户能更集中注意力在他们所要体验的内容上，而不是去关注怎么操作机器。

图4.5　主动媒体系统的物理构成图解

当计算机识别出人脸的方向和它所关注的内容时，相应的媒体内容就会自动放大播放。

仅仅让计算机无处不在是不够的，我们还应该努力让它们成为不被察觉的。^[38]

当计算机识别出观众来到屏幕前时，设备就会为特定的信号程式激活一个编程接口（application-programming interface）。人的脸部影像、语言信号、手势和肢体语言等，都可以成为智能系统用来分析的信息，从而判定观者彼时的兴趣点和情绪变化；然后，在没有任何人为操作的情况下，自动提供与观者兴趣相关的媒体内容，例如一个广告片段或一个情节段落。我们以人脸识别为例说明，在计算机不同算法的支撑下，人脸和眼睛的方向是一个使机器和人之间产生互动的很好的渠道，脸、眼睛和嘴巴等面部特征在被摄像机侦测到之后，算法会根据存储的皮肤色彩、面部表情或五官位置的样本，来判断目前输入的图像特征，从而估测观看者脸和眼睛的方向，由此得知观众想要收看的内容位于屏幕的什么位置。如图4. 6所示，用户既不需要穿戴任何特别的设备（如身体感应器、眼镜、头盔等）来与计算机接触，也不需要在身体上接触任何机器设备，没有鼠标、键盘，甚至完全不需要知道如何使用计算机。最特别的一点是，用户在与计算机互动的过程中甚至并不知道播放的内容中存在着可选择的链接，只要完成“看”的动作，互动就会在无声无息中产生。如图4. 7所示，在显示器画面中，任何不同区域内的每一个人或物都可能是可以被激活的坐标格，从肉眼上我们无法看出画面中的银行卡、手机、汽车模型和百事可乐与电视屏幕上出现的类似画面有什么区别。但当使用者将目光投注在左下方的手机上时，运算系统会自动分析用户的面部角度和目光定位，默认用户此刻启动的是关于手机的链接，从而自动播放关于诺基亚手机的广告或故事；当用户将目光注视在奥迪汽车模型上时，系统就会激活右上方属于奥迪汽车的坐标格，用户也就会看到关于奥迪车的信息。

图4.6　人脸识别的实验系统

图4.7　主动媒体系统的实验过程

笔者认为，主动媒体系统是一种真正在模拟人类在现实世界中的互动沟通方式。这种沉浸式的前端设计就像人和人不通过任何媒介物直接对话和沟通一样，它是机器与用户之间的一种持续对话过程，只不过用户是在用他们的眼睛和脸说话，并且用户对对方是否回应以及如何回应并不知情，但他们可以在接收到反馈的信息之后再次用眼睛将自己的讯息传达给对方。这与生活中人与人之间的对话极为相似，我们跟一个人说话，起初并不知道对方产生良好互动，而在说话之后，对方的思考过程也正类似于主动媒体系统的不可见计算过程。我们也并不需要具备对对方的任何操控技巧，只需要等待我方信息的自然反应。因此，主动媒体系统的最终目标实际上是期望通过计算机无所不在和不可察觉的存在，创造出机器和人之间流畅、完整、自然的互动过程，同时，将数字媒体时代的人类从机器操作中解放出来，使人机互动有可能以一种直接对话的方式存在于生活的时时处处，就像鼠标和显示器一样普及。

（二）故事设计：（《滑动门》里的）用户参与作为情节发展

这里我们尝试将主动媒体系统与著名影片《滑动门》相结合，来阐述用户本体参与是如何帮助媒体进行后线性叙事的。《滑动门》是彼得·休伊特（Peter Howitt） 1998年完成的一部力作。影片的故事情节很简单，就是讲述居住在伦敦的海伦（格温妮斯·帕尔特洛饰）的事业和爱情同时和一列地铁发生了密不可分的关系，她是否能够赶上这趟列车成了决定她命运的转折点。影片以平行叙事的方法同时将情节的两个版本展现在观众面前。在第一个版本中，海伦赶上了地铁，在回家发现男友的不轨行为之前偶遇惹人喜爱的詹姆斯（约翰·汉纳饰）。随后，海伦于家中撞见男友杰瑞不忠，进而愤然出走，再次遇见詹姆斯，开始了新的感情，并且成功地重新面对未来生活。然而，就在海伦认为一切都变好的时候，詹姆斯一段未断的婚姻再次给海伦带来重创，于是，怀着詹姆斯孩子的她游离在痛苦的折磨中。最后，詹姆斯在雨中将真相和盘托出，二人和解，这时，海伦却被突如其来的车撞翻，死在医院里。

在第二个版本中，海伦错过了地铁，在回家路上遭遇劫匪并受伤。海伦回到家时男友刚刚结束偷情，于是她被蒙在鼓里继续着糊涂的恋爱关系。失业的她到餐厅做女招待，而男友则继续和前女友莉迪亚藕断丝连。在这个版本中，影片叙事发生了偏移，带动故事发展的成了海伦的男友杰瑞，海伦则被动地穿插在男友的外遇之中。当她最终因为莉迪亚的设计而当场发现二人的不轨关系之后，怀了杰瑞孩子的她在气急之下滚落楼梯，住院流产。康复的海伦与男友决绝。故事的结尾是：出院的海伦走进医院电梯，宿命般地遇见了曾经几次擦身而过的詹姆斯。两条行动线分离又汇合，最终归于一点：不管海伦是否赶上地铁，她最终都会遇到詹姆斯，只是时间的耦合问题罢了。

假如我们试图用语言按照影片前后的发展顺序去描述《滑动门》的情节，叙述就会变得支离破碎。该片已经突破了电影反映现实的界限，电影这时成为对现实本质的一个无限深的推测和无限远的遐想，它是对现实图景的多种想象性的虚拟传达。电影成为一座从简单化现实中重塑出来的生活迷宫，故事因着一个无法确定的偶然性（是否赶上地铁）而开始，两条运动线分别的进展都是合理的，并且遵循因果传承关系。当我们对二者分别进行描述时，一切都很清晰，但让我们迷惑的是，影片的两条线索在同一时空中交汇，在同一个人物海伦身上交汇，在同一组人物关系上交汇，也就是说，在《滑动门》中，两条线性发展的行动线在同一个结构中相互冲突与交媾，镜头的滑动与故意错位的剪接让我们多次看到两种处境下的海伦在同一个时空里共存，这让观众在故事本来的线性讲述逻辑中一次次陷入迷途。杰瑞作为一个含混的干扰信号，不时进入海伦两种处境的生活，让两条线索的分界变得越来越模糊。因此，虽然两条行动线都在清楚的逻辑中流动，但结构的交叉让观众的读解经常在它制造的“分叉路径（forking path）”面前踌躇不前。这种迷乱感非常近似于超文本小说和超视觉影像基于空间的叙事所带给我们的时空迷失。

在超媒体中，时间不再成为叙事的依据，无论是文字还是图片，所有的媒介材料都以空间为依据被安排于多条线索当中。这种做法使得叙事偏离了一条固定的线路，而成为一种任由计算机用户利用键盘和鼠标肆意浏览的“游牧空间”。与书本、电影等线性媒体不同，数字技术不只能够建构空间，还能够将我们历经的空间完整地呈现出来。^[39]《滑动门》利用剪辑将这种时空游走强行展现在观众面前，观众虽不能像面对电脑那样自己选择游走的方向，却可以真实感受到游走的快感。在两个版本同时进行的维度当中，时间的概念被淡化，不再按照顺序去排列。试想，如果用户在观看这部影片时可以在两个版本的海伦同时出现时，通过按键随意选择先看哪一个，这就会与我们在计算机中游走于“歧路花园（garden of forking path）”的感受非常类似。《滑动门》给观众展现的就是这样一幅图景，观众在这个段落看到因，却不能在紧接着的下一个段落中看到果，因为分岔路口上导演安排的是另一条行动线的果。在观看的顺序上，原因也不总是产生结果，而结果也不一定来自原因。然而，正如《歧路花园》的作者伯吉斯（J. L. Borges）所言，“时间”才是交叉小径花园这个巨大谜语背后的谜底，读者/观众在观看的过程中一定会为找出谜底而尽最大的努力。因此，当“时间”作为人类生活中最根本也是最重要的范畴，不可否认地与人类的物质世界乃至精神世界紧密相连的时候，当生活本身就像是一个故事，在时间的流程中从日出到日落，从出生到死亡，周而复始、日复一日的时候，就已经注定“时间”将永远不会，也不应该退出叙事艺术的舞台。就像我们对《滑动门》的读解，实际上就是一个不断识别其时空结构的过程。观众一定会在每一个分岔路口让思维停留数秒，以判断目前所看到的段落和镜头究竟属于哪一条线索上的哪一个时间位置。

如果我们不自恋而又固执地将数字媒体看做前卫艺术和所谓“游牧科学（nomad science）”的产物，而只是遵循数字媒体最核心的理念，把它看做一种控制和传播的科学，那么，我们熟知的传统线性叙事方式就不应与数字媒体大相径庭。试想，如果我们用主动媒体系统的框架代替传统电影技术来重新安排同一部影片，那么观众就可以在完全不自觉的情况下选择海伦是否踏上列车，是否碰上劫匪，是否在紧要关头推开自家的房门，是否在车厢里注意到另一个男人。如图4.8所示，在海伦赶地铁的场景中，如果观众将目光停驻在红线勾画的区域，系统就会主动激活与列车相关的坐标格，认为观众想要观赏海伦赶上列车的剧情，因此主动媒体系统就会播放第一个版本的内容；如果观众的目光停驻在蓝色勾画的区域，那么情节就会按照另一个版本进行。这样一来，同一部影片会具备许多分支，每一个分界点就如同是“超文本”中的链接，但又不像链接那样完全展示在使用者面前，它们隐藏在画面中，隐藏在屏幕背后的计算机程序中。观赏者既不知道哪里会有链接，也不知道自己何时会启动链接，但影片情节的发展和结束确确实实是取决于他们的眼睛和他们的选择。观众无意间成为影片的重构者，或者说是某种意义上的作者。

图4.8　主动媒体系统上的《滑动门》

在主动媒体系统的环境中，故事的两个版本都会按照线性逻辑发展，但是它们得以发展的前提是使用者的参与。虽然这里的使用者和原本电影环境里的观众对影片本身都只是发生了“看”的动作，但意义却是截然不同的。使用者的眼睛在这里不仅仅接收了银幕上的信息，并且改变了故事发展的方向以及人物的命运。从叙事层面来说，叙述过程串联起所有的事件，这个被串起的链条就是我们所谓的“情节”。在传统媒体的故事中，作者是这条链条的幕后主使，观众只能被动接受他的安排，是只讲一个版本也好，是两个穿插也好，是前后讲述也好，观众没有话语权。而现在，情节被选择权重构了，用户对这些选择拥有了最高特权，他们可以通过不止一条路径来从开头看到结尾，观众决定叙事线的诞生。主动媒体系统中使用者的参与过程本身就已经成为这根链条，它串起海伦赶上地铁、遭遇詹姆斯，或者错过地铁、与爱人擦肩而过等所有的事件。

图4.9　主动媒体系统的情节线图例

新的技术平台甚至可以让我们将原故事继续衍生开来，衍生出更多的分支情节。如图4. 9所示，一部电影或许可以衍生出无数的分支情节。例如，观众在A点选择海伦是否上车而产生两条分支情节之后，在版本一中，杰瑞是有一次与海伦和好的机会的。当海伦再次回到原来两人的住所时，在气氛已经有所缓和的情况下，她是否接听此时响起的电话就可以形成一个新的链接“B”：如果观众选择接听，海伦会因为听筒里响起第三者的声音而彻底决定与杰瑞决裂；选择不听，海伦就会在男友的忏悔中心软回头，走向结局“End a-b-c”。当观众在B点选择接听之后，海伦会彻底陷入与詹姆斯的新恋情当中，但詹姆斯与另一个女子未解决的婚姻关系又成为情节发展中的隐患，这时链接“C”代表了海伦是否会在街上看见詹姆斯与女子的亲吻。如果观众选择看见，或是并没有将目光投注到可以激活的区域，那么情节就会按照电影原情节中的版本一发展，走向结局“End a-b”，也就是海伦因车祸而死在医院的结尾；如果选择没有看见，那么故事情节则会发生其他变化而最终走向结局“End a-b-d”。这些场景和分支点就像是超文本小说中的链接点，但是它们又不像那些普通的链接，是清楚地展示在人们面前的。这些链接点是隐藏在主动媒体系统当中的，观众并不知道哪里有链接，或者何时会不小心启动链接，但剧情的发展又的确是根据观众的选择而展开的，观众可以反复多次观看这部影片，每一次得到的故事情节可能都不尽相同。

与之前学者们用“树”和“花园小径”来形容这种分支结构叙事不同，我们将它比喻成为“河流”，观众就是河上泛起的小舟，具有控制漂向何方的权利。之所以选择河流，一是因为这个叙事过程保障了情节流畅的线性发展。河流总是由源头起步，流向不同的江、河、湖、泊，最终归入大海。它就像是一条线性叙事的链条，由开始走向结尾，即使在不同的河道上运行，每一条线路也都是连续和有流向性的，都是线性的发展轨迹。泛舟其上的观众无论选择进入哪一条河、哪一条江，走向最终结局的过程都是线性发展的过程。二是因为同一个源头的水最终会有完全不同的命运，有的归入这个海，有的归入那个海，有的被拦起来做水坝，有的被引入田地用做灌溉。这与观众在与主动媒体系统交互过程中最终发现的不同结局极为相似，海伦因为被解雇而提前回家，同一个开始就有可能发展出在劫难逃、大难不死，甚至其他无数个完全不同的结局。以上两点正好契合了我们在第三章中所提出的“后线性叙事”的概念，在新技术提供的互动平台之上，观众的参与不仅使我们体会到了storytelling的过程，也使我们在同一个作品中获得了越来越多的stories。

李金铨：《大众传播理论：社会、媒体与人》，台湾三民书局1983年版，第127页。

【注释】

[1]Cameron，Andy.“ Dissimulation：The Illusions of Interactivity.”Millennium FilmJournal. 28（Spring 1995），pp. 33-47. Murtaugh，Michael.“The Automatist Storytelling System.”Diss. MIT Media Lab，1996.

[2]Glassner，Andrew. Interactive Storytelling ：Techniques for 21st Century Fiction. Natick，Mass. ：A.K. Peters，2004.

[3]Rogers，Everett M. Communication Technology：The New Media in Society，New York：The Free Press，1987.

[4]Crawford，Chris. Chris Crawford on Interactive Storytelling，CA：New Riders，2005，p. 25.

[5]Rogers，Everett M. Communication Technology：The New Media in Society，New York：The Free Press，1987.(www.xing528.com)

[6]Schneiderman，Ben. Designing the User Interface：Strategies For Effective Human-Computer Interaction，Reading，Mass.：Addison-Wesley，1987.

[7]Rice，Ronald E. and Frank Williams.“Theories Old and New：The Study of New Media.”The NewMedia ：Communication，Research，and Technology，Eds. Ronald E. Rice and Associates. Beverly Hills：Sage，1984，pp. 55-80.

[8]Lister，Martin，Dovey Jon，Seth Giddings，Grent Iain，and Kelly Kieran. New Media ：A Critical Introduction，London：Routledge，2003，p. 20.

[9]Jensen，JF.“Interactivity：Tracing a New Concept in Media and Communication Studies.”Nordicom Review，19，1998，pp. 185-204.p. 201.

[10]Steuer，Jonathan“Defining Virtual Reality：Dimensions Determining Telepresence.”Journal of Communication，42. 4，1992，pp. 73-93，p. 84.

[11]McMillan，Sally J.“Interactivity is in the Eye of the Beholder：Function，Perception，Involvement，and Attitude toward Web Site.”Proceedings of the 2000 Conference of the American Academy of Advertising，Ed. M. A. Shaver. East Lansing，MI：Michigan State University，2000，pp. 71-78.

[12]Chen，Milton.“Computers in the Lives of Our Children：Looking Back on a Generation of Television Research.”The New Media ：Communication，Research，and Technology，Eds. Ronald E. Rice and Associates. Beverly Hills：Sage，1984，pp. 269-286.

[13]Hawkins，Robert P. and Suzanne Pingree.“Measuring Time Frames of Communication Behaviors in Computer Use.”Paper presented at the International Communication Association. Montreal，May 1997.

[14]Kristof，Ray and Amy Satran. Interactivity by Design：Creating ＆ Communicating with New Media，Mountain View，Calif.：Adobe Press，1995.

[15]Flew，Terry. New Media：An Introduction，New York：Oxford University Press，2002，p. 21.

[16]Murray，Janet H. Hamlet on the Holodeck ：The Future of Narrative in Cyberspace，New York：Free Press，1997. Ryan，Marie-Laure. Narrative as Virtual Reality：Immersion and Interactivity in Literature and Electronic Media，Baltimore and London：The Johns Hopkins University Press，2001.

[17]Aarseth，Espen J. Cybertexi：Perspectives on Ergodic Literalure，Baltimore：Johns Hopkins University Press，1997.“We All Want to Change the World：The Ideology of Innovation in Digital Media.”Digital Media Revisited：Theoretical and Conceptual Innovation in Digital Domains，Eds. Gunnar Liestol，Andrew Morrison and Terje Rasmussen. Cambridge and London：The MIT Press，2003，pp. 415-439.

[18]Aarseth，Espen J. Cybertext：Perspectives on Ergodic Literature，Baltimore：Johns Hopkins University Press，1997，p. 49.

[19]Manovich，Lev. The Language of New Media. Cambridge Mass：MIT Press，2001，p. 55.

[20]Manovich，Lev. The Language of New Media，Cambridge Mass：MIT Press，2001，p. 56.

[21]Steuer，Jonathan“Defining Virtual Reality：Dimensions Determining Telepresence.”Journal of Communication，42. 4，1992，pp. 73-93，p. 85.

[22]CNNIC （China Internet Network Information Center）.“13th Statistical Survey on the Internet Development in China.”January 2004. 5 March 2004.〈http://www.cnnic.net.cn/download/manual/en-reports/13.pdf〉.

[23]Newhagen，John E.，John W. Cordes and Mark R. Levy.“Nightly@nbc. com：Audience Scope and the Perception of Interactivity in Viewer Mail on the Internet.”Journal of Communication，45. 3，1995，pp. 164-175.

[24]Flash fortress game，〈http://gamezone.qq.com/z/mini/20041228fortress.htm〉. 2006-3-1.

[25]Crawford，Chris. Chris Crawford on Interactive Storytelling CA：New Riders，2005.

[26]Cameron，Andy.“Dissimulation：The Illusions of Interactivity.”Millennium Film Journal，p. 28，（Spring 1995），pp. 33-47.

[27]Laurel，Brenda. Computers as Theatre，Reading，Mass. ：Addison-Wesley Pub.，1991.

[28]为了契合本书讨论用户与媒体叙事作品关系的目的，笔者只将计算机和人作为被考虑的两个方面，故此将以计算机和互联网为媒介所进行的人际交流，例如电子邮件、在线聊天等排除在讨论范围之外。

[29]Wand，Eku.“Interactive Storytelling：The Renaissance of Narration.”New Screen Media ：Cinema/Art/Narrative，Eds. Rieser Martin and Zapp Andrea.London：British Film Institute，2002，pp. 163-178.

[30]吟游诗人（英文是：bard）原指在凯尔特人中写作颂词和讽刺作品的人。推而广之，泛指部族中擅长创作和吟咏英雄及其事迹的诗歌的诗人和歌手。吟游诗人四处游荡，收集各种地方传说，四处传颂。

[31]Lord，Albert B. The Singer ofTales，Cambridge，Mass.：Harvard University Press，1960.

[32]本节中笔者将用户参与限定在叙事作品中，因为与讨论技术媒介的主动特性不同，广义的论断并不适用于用户一端的主动性、非叙事内容。例如，上网浏览和检索讯息，这时的用户参与并不会产生存在论的意义，用户对于媒介内容仅限于航行（navigation）、浏览的层次，始终是存在于内容以外的动作。

[33]Wand，Eku.“Interactive Storytelling：The Renaissance of Narration.”New Screen Media ：Cinema/Art/Narrative，Eds. Rieser Martin and Zapp Andrea. London：British Film Institute，2002，pp. 163-178，p. 163.

[34]Heidegger，Martin. Sein und Zeit （Cun Zai yu Shi Jian）. Trans. Chen Jiaying and Wang Qingjie.Revision ed. Beijing：San Lian Shu Dian，1999.

[35]Heidegger，Martin. History of the Concept of Time：Prolegomena，Trans. Theodore Kisiel. 1st Midland book ed. Bloomington：Indiana University Press，1992.

[36]Heidegger，Martin. History of the Concept of Time：Prolegomena，Trans. Theodore Kisiel. 1st Midland book ed. Bloomington：Indiana University Press，1992.

[37]我们将在第六章中详细论述用户是怎样存在于新的叙事形式中的，他们究竟如何帮助主流叙事继续生存。

[38]Borriello，Gaetano.“The Challenges to Invisible Computing.”IEEE Computer，33.11，2000，pp. 123-125，p. 123.

[39]Murray，Janet H. Hamlet on the Holodeck ：The Future of Narrative in Cyberspace，New York：Free Press，1997，p. 79.