多媒体画面语言学理论的发展与规则构建研究成果

任何理论的诞生都有其丰厚的历史底蕴，它离不开人们长期的摸索和深刻的实践，多媒体画面语言学理论的诞生亦是如此。早在20世纪80年代多媒体未曾流行时，天津师范大学游泽清教授所带领的团队在“盒式录像机”“交互式视频”领域的学术界产生了一定影响，尤其是录像技术研究走在全国的前列。1992年，团队的王志军教授等人开设了“多媒体教学软件的设计与开发”课程，之后出版了各学科的系列教材，并于2008年成为国家级精品课程。20世纪90年代，“多媒体”一词非常时髦，由于多媒体技术发展迅速、更新太快，专家们对“多媒体”概念的界定纵说纷纭。1994年，游泽清教授在全国的一次学术会议中提出：“多媒体是计算机领域的媒体和电视领域的媒体的有机结合，并且具有交互功能”。^[37]此定义澄清了多媒体这一概念性误区，在当时产生了非常大的影响。1996年，游泽清团队提出了数字视频压缩编码技术，这属于全国首创，以此技术为基础开发的非线性视频编辑系统产品热销全国各地。1997年，“全国多媒体技术开发与培训基地”（全国只建有两个基地）在天津师范大学成立。1998年起，游泽清本人及团队着重于多媒体教学软件的开发实践，由于团队的王志军教授等人自1992年以来一直在多媒体教学软件领域耕耘，积累了丰富的实践经验，很快就开发出版了系列教学软件、教材，取得了丰硕成果。2001年，随着教育部全国多媒体课件大奖赛的兴起，游泽清教授开始担任专家评委，随后发表了“多媒体教学软件点评及其依据”“多媒体画面语言的语法”等学术论文，从此团队在多媒体画面语言领域的研究道路上越走越远。梳理多媒体画面语言学理论的发展脉络，大致可以分为以下四个阶段。^[38]

（1）提出“多媒体画面语言”概念阶段（2001—2004年）

此阶段的主要工作是借助文字语言的观点来认识多媒体，提出“多媒体画面语言”概念，并揭示其内涵。具体体现在两个方面：一是指出“运动画面”是多媒体教材的基本单位，而非美术意义上的“静止画面”；二是明确了组成多媒体画面的基本元素，即图、文、声、像及交互。2003年，出版了《多媒体画面艺术基础》著作，2004年该课程成为国家级精品课程。

（2）创建“多媒体画面艺术理论”阶段（2005—2008年）

此阶段以多媒体画面语言的认知规律为切入点，进行了大量的基础性研究工作，一是指出在多媒体画面中除了图、文、声、像四类媒体基本元素外，形态、属性、空间、运动、字义都是画面的视听觉要素；二是对视听觉要素的界定过程中，提出了基本元素的“衍变”形式。此阶段形成了8个方面34条艺术规则，即3+4+1的艺术规则。3即突出主体规则、有序变化规则、匹配规则；4即背景规则、文本规则、解说规则、色彩规则；1即交互规则。2008年向外界发布了新艺术理论建成的消息，次年便出版了《多媒体画面艺术设计》著作。(www.xing528.com)

（3）“多媒体画面语言学理论”的初步形成阶段（2009—2011年）

此阶段以多媒体教材的应用为切入点，认为多媒体教材的应用实质上就是语用学的范畴，教学环境实质上就是语言学中的语境。在此指引下，确立了“多媒体画面学理论”包括三大方面，语构学、语义学和语用学，明确了在多媒体画面研究中语构学、语义学和语用学三者之间的关系，指出只有语构学是真正研究画面语言本身，语义学、语用学则属于应用范畴，其中语义学是研究画面如何表义，语用学是研究画面表义的适用语境，强调多媒体画面艺术规则的研究不仅仅是规范语言的表达，更需要在应用层面形成“设计格式”和“教学格式”，这使得多年来的分散研究第一次真正意义上实现了圆融，即“多媒体画面学理论”已经初步形成，并出版了《多媒体画面艺术应用》著作。

（4）“多媒体画面语言学理论”的进一步发展阶段（2012年至今）

自2012年以来，王志军教授带领团队进一步发展和丰富“多媒体画面学理论”。在理论基础方面，博采众长，从多媒体认知学习理论、符号学理论、可视化理论、深度学习理论等众多领域广泛吸取已有研究成果，把“多媒体画面语言学理论”定位于处方性的教学理论；在研究方法方面，由过去以哲学思辨、经验总结和概念演绎等定性研究为主转变为定性研究与定量研究相结合、传统的认知行为实验手段与现代的眼动跟踪技术相结合、实验室研究与自然情境下的教学实验研究相结合；在研究内容方面，瞄准薄弱点、着力点和生长点，在过去以语构研究为主的基础上，进一步开展语义研究和语用研究，注重语构、语义和语用三者之间的匹配，例如对不同的知识类型、不同的设备类型（如计算机、平板电脑、手机）、不同的资源类型（如微视频、网络课程、教学课件）多媒体画面如何呈现、大数据与多媒体画面语言研究、深度学习与多媒体画面语言研究等。此阶段的研究具有鲜明的时代特色，研究视角精细化、研究方法更加多样、研究内容更加丰富，相关研究成果是系列期刊论文、专著和博士论文。