图4-3的构想、图4-4的理论作用关系仅仅描述了教育图文融合的基本逻辑，表达过于模糊和宽泛，无法指导具体的实践，需要把该构想转化为具体、有目的、有意识的设计行为。为此，在构想和分层设计思想的基础上，提出如图4-5所示的图文融合设计模型（设计过程版）。由于认知心理层在理论基础中已经详细阐述，此处不再赘述，只对知识与思维层、设计层做介绍。
图4-5 教育图文融合模型（设计过程版）
（一）知识及思维层
设计者首先要深刻理解知识内容，对知识内容进行语义提炼，需要确定哪些知识内容适合采用图像类媒体，哪些适合采用文本类媒体。而且，图像语义与文本语义之间是高度逻辑相关的，二者共同诠释知识内容；图像类媒体与文本类媒体建立关联映射，二者共同表征知识内容。与此同时，需要根据知识内容，确定知识类型，需要大致区分为陈述性知识还是程序性知识。对于陈述性知识，主要以命题网络的形式表征，命题是陈述性知识的最小单元，而整块的知识以图式的形式表征；对于程序性知识，主要采用产生式或产生式系统的方式表征。
根据知识内容、知识类型等属性，需要确定知识结构，知识结构蕴含了知识之间的隐性逻辑关系，需要利用图文表征（结构图示）帮助学习者选择与知识结构匹配的加工方式。知识结构主要是指知识之间的组织关系，表现为时序（先后顺序）和逻辑（部分内部、部分与部分、部分与整体）关系。[10][11]为确保多媒体画面语言实现知识内容转化为相应的多媒体画面，使多媒体画面具有知识传递的功能，需要满足的前提条件是：（1）知识内容需要依据其结构特点进行认知加工设计；（2）知识内容的结构关系需要通过多媒体画面展示出来。在以上条件的作用下，寻找与知识结构相匹配的认知加工方式和图示呈现方式，即紧紧围绕“知识结构是什么——加工方式是什么——设计匹配的结构图示”的逻辑主线而展开。
据国外相关研究[12][13]，一些基本的知识结构主要包括过程、比较、概括、列举和分类。确定了知识结构之后，认知加工设计就应该为学习者提供建立与该结构相一致的引导，并形成具体的结构图示，只有这样才有助于促进学习者的认知加工。反过来，如果图示缺乏对如何组织知识内容的正确引导，学习者任何费尽心思的建构都可能是毫无作用的，即无法实现学习者的意义建构。
1.过程类知识结构
（1）特点：用来解释一些系统工作的原理或知识构成，是一连串明确的因果链。
（2）加工方式设计：知识点有固定的先后顺序；各知识点指示准确，先后逻辑顺序分明；对当前知识点所处的位置应该加以强调。
（3）画面设计：用图形符号来表示操作、数据、流向；关键步骤用数字序列一一罗列；按事件先后发生顺序依次呈现内容；各步骤采用有序变化的风格；可以用交互控制每个步骤。
（4）常见图示：流程图、环形图、决策树、时间图、鱼骨图/因果图、过程/任务图、帕累托图、系统/反馈图等，具体如表4-2所示。
表4-2 过程类知识结构与图示
续表
2.比较类知识结构
（1）特点：用来在两种或两种以上有某种联系的事物间辨别异同。
（2）加工方式设计：突出主体（或主题）；重视共性和差异，尽可能突出可比性。
（3）画面设计：大小、疏密、曲直、方圆、形状等形态对比；亮暗、轻重、软硬、粗细、质感、色彩等属性对比；各种媒体组合，共同匹配呈现。
（4）常见图示：维恩图、矩阵图、隐喻图、齿轮图、平衡图等，具体如表4-3所示。
表4-3 比较类知识结构与图示
续表
3.概括类知识结构
（1）特点：用来把事物的共同特点归结在一起，简明扼要形成观点；把本质、主要的属性抽取出来。
（2）加工方式设计：罗列出观点形成所依据的条件，用简洁的词语加以总结、强调；对观点提供支持性说明。
（3）画面设计：核心要点提炼出来呈现在画面的显眼位置，子观点呈现的级别小于核心要点；画面切分为条件区和概括区，两者占据的比例相互匹配；画面宜采用分时呈现，可以先呈现核心要点，通过演绎呈现所有子观点，也可以先呈现所有子观点，通过归纳呈现核心要点。
（4）常见图示：概念图、脑图、争论图、SWOT图等，具体如表4-4所示。
表4-4 概括类知识结构与图示
续表
4.列举、分类型知识结构
（1）特点：用来对具体事物的特定对象进行全面分析形成子集，并一一说明；或用来对事物按照种类、等级或性质分类，使事物有规律和有序化。
（2）加工方式设计：指出集合与子集之间的隶属关系；指出子集与子集之间的并列关系；指出分类的依据、分类的结果。
（3）画面设计：数字编号提纲式；花括号提纲式；表解式；总分、树形图解式；菜单和子菜单。(www.xing528.com)
（4）常见图示：关联树/层级图、金字塔、括号图、聚类图、列表图等，具体如表4-5所示。
表4-5 列举、分类型知识结构与图示
续表
（二）设计层
设计层的直接目的是生成多媒体画面的制作方案，需要解决三大关键问题：第一，如何去匹配教学的需要；第二，用什么类型的媒体，采取什么样的逻辑结构去表达教学内容；第三，媒体以什么方式（包括基本属性、组合形式、空间布局等）在画面上呈现。其中第一个问题是属于多媒体画面的语用设计。所谓“语用”，是指在设计层面针对教学需要的“假设”，对画面设计提出约束条件或规定性要求，有别于其日常用法——即在具体教学中的真正使用；第二个问题是属于语义设计，主要是实现媒体与教学内容的最佳匹配，应该遵循语义规则；第三个问题是属于语构设计，主要是实现各类媒体在多媒体画面中的最佳呈现，应该遵循语法规则。需要指出的是，语用设计（预设）、语义设计、语构设计三者之间并非相互独立的，而是相互间会产生影响。
1.语用层
正如前文所述，在设计层中的“语用”不是真正的使用，而是“预设”。作为设计者，必须在设计阶段了解或预测多媒体画面的使用“语境”，从而使真实的应用不会误入迷途。
何兆熊在《语用学概要》一书中指出，语用的基本概念是“意义”和“语境”。语用学中的“意义”不是指语义中所表达的意义，而是在具体应用的语境中所表达出来的意义。“意义”反映了作用与价值，是针对人而言；“语境”反映了特定的情境，是针对人所处的状况和状态。在多媒体画面的教学应用中，“意义”的对象包括学生、教师；“语境”是指教学环境，在本研究中主要指设备、工具等物理环境。从广义上讲，心理环境如师生关系、班风班貌也属于教学环境，但在本研究中不作考虑的范畴。语用层中学生变量包括他们的需求、价值观、经验、教育层次、动机、学习风格、习惯、学习能力等；教师变量包括他们的教学风格、习惯、经验、价值观、信息素养、操作技能、理解力、洞察力、专业知识等；设备、工具等外在环境包括呈现设备、图形工具、设计软件、学习场所等。以上因素对多媒体画面的设计都会产生影响。
2.语义层
在设计层中，“语义”是指具体的知识内容，在语义层需要解决采取什么样的逻辑结构去表达知识内容这一基本问题。作为设计者，首先需要理解和阐释知识内容，对客观存在的自由文本知识内容进行提取，形成具体的知识点。由于多媒体画面是表现知识点的一组画面，因此知识点的提取非常关键。内蒙古师范大学周越[14]认为，知识点是教学内容的微观单位，提出知识点的提取包括分类、约束、萃取、选择和延伸五个环节。具体原则是：分类是需要按照知识的类型去提取；约束是需要依据课程标准、教学大纲限定教学内容的范围；萃取是需要把教学内容和支持性教学材料区分开来；选择是需要依据学习者特征筛选知识点；延伸是需要将教学内容进行延伸到更深层的水平。
学习是系统化的过程，而基于单个、孤立的知识点学习往往是少数情况。因此，在把诸多的单个知识点提取出来之后，需要建立各知识点之间的关联。知识关联是指整个知识系统中知识节点之间的联系，使节点之间形成意义系统的联系。大脑对意义的探寻与生俱来，知识关联拓展了大脑思维的信息节点，有助于学习者完成知识的意义建构。知识关联需要理清知识节点之间的逻辑关系，这些逻辑关系包括因果、主次、层递、并列、总分等。
在确定各小知识节点之间的关联后，需要对整个知识系统进行组块与序列化。组块是对知识进行组织或再编码。美国心理学家米勒指出，短时记忆的容量一般为7±2个，组块的目的是尽量降低学习者的认知负荷，力求对学习材料赋予更多的意义，使学习者对知识的记忆更加富有成效、提取更加便捷。序列化是需要确定各知识组块之间上下位的关系，根据上下位关系有助于确立知识呈现的先后顺序。序列编排的通用方法是由简单知识到复杂知识，由简单技能（先决技能）到复杂的（终点）技能。
知识结构化是使知识之间的关联更加紧密，在全局层面上使知识更加完整、系统。高度结构化的知识能够促进学习者的迁移。知识结构化的方式主要有线性结构和非线性结构，其中链式结构和层级结构是线性结构的典型代表，非线性结构主要是指网络结构。语义层的知识结构化方式为语构层的画面组接提供了最直接的依据。知识结构化的本质是逻辑，它将各小组块、小序列的知识聚拢起来，使知识的表达更加灵活、条理和缜密，体现了设计者的思维方式，从而影响学习者的思维。
3.语构层
在语构层面，多媒体画面语言的表征应该从画面的构成要素出发，探寻各要素组成画面的最佳匹配方式。以“纯文字”的文章为例，文章是由“单词”“词组”“句子”“段篇”组合而成。对多媒体画面而言，“单词”相当于“单个媒体要素”，“词组”相当于“组合的媒体要素”“句子”相当于“单个画面”“段篇”相当于“画面组”，需要把这些要素组合成多媒体画面。因此，多媒体画面语言在语构层面的表征需要紧紧围绕“创建媒体要素——融合媒体要素——形成单个画面——组接画面”的逻辑主线依次展开。
（1）创建媒体要素
创建媒体要素，实质上就是将“纯文字”表征的知识内容转化为具体的媒体表征。在“多媒体学习的认知模型”中，知识内容以视觉、听觉的方式刺激学习者的感官，从而进入感觉记忆。依据感觉通道观，媒体要素主要分为两大类，视觉要素和听觉要素。视觉要素的媒体形式包括图片、文本、动画和视频；听觉要素的媒体形式包括解说、背景音乐、特效音乐等。如何把“纯文字”的内容转化成媒体呢？现以一段纯文字的知识内容为例：“勾股定理：在直角三角形中的两条直角边中，较短的叫勾，较长的叫股，斜边叫作弦。两条直角边的平方之和一定等于斜边的平方。”这段内容共2句话，图4-6是媒体要素创建过程的举例。
图4-6 媒体要素创建过程的举例
从图4-6可以看出，第一句内容是以图形表义，把直角三角形中勾、股、弦的抽象概念形象化描述出来。第二句内容给出了2种表征方法，第一种方法以图形表义，虽然在“表义”上没有什么问题，却没有充分考虑学习者的认知加工过程，导致学习者不清楚直角三角形中“a2+b2=c2”的结论是如何得出的。第二种方法也是通过图形表义，但其中蕴含了“面积比较”的认知加工过程，学习者只要通过简单的观察就能轻易得出“a2+b2=c2”的结论。很明显，第二种方法是比较好的表征方法。当然，如果把第二种方法设计成通过动画表义，即把“面积比较”的认知加工过程通过动画演示出来，效果应该会更好。因此，创建画面媒体要素最为关键的是需要深入理解知识内容，采用恰当的媒体“表义”，尽可能支持学习者完成认知加工。
（2）融合媒体要素
要使学习者增强对知识的注意度、记忆度、理解度，单一的视觉媒体或听觉媒体的刺激往往是无法完成的。“图文理解整合模型”中工作记忆阶段的文本（言语）与图像（非言语）之间存在互动转换、补充，可以通过创造协同效应使媒体融合的刺激效果大于单个媒体相加之和。如果把“创建媒体要素”看成是多媒体画面语言在“感觉记忆阶段”的表征，那么“融合媒体要素”完全是针对“工作记忆阶段”而言。从工作记忆加工类型来看，有三种类型，分别是“言语+非言语”“言语+言语”“非言语+非言语”。“言语+非言语”的融合方式有：文本+图片、文本+背景音乐、文本+动画、文本+视频、解说+图片、解说+背景音乐、解说+动画、解说+视频；“言语+言语”的融合方式有：文本+解说；“非言语+非言语”的融合方式有：背景音乐+图片、背景音乐+动画、背景音乐+视频。常见融合媒体要素的方法如表4-6所示。
表4-6 融合媒体要素的常见方法
（3）形成单个画面
汉语中，句子的成分一般有主干（主语、谓语、宾语）和非主干（定语、状语、补语）。与文字表达不一样，单个画面只能在有限的屏幕空间表达知识信息，依据“多媒体画面语言学理论”中提出的“突出主题（主体）”原则，需要对单个画面的屏幕空间进行划分，包括主干区（信息区）和非主干区（包括导航控制区、美化区等）。区域空间是用来显示的物质材料，本身没有什么特殊意义，但对于多媒体画面语言的表达来讲，主干区和非主干区的位置摆布体现了知识信息的编排、主次关系等。大量实践表明，一般情况下主干区（信息区）占用整个画面的60%～70%，不仅兼顾教学效率、突出主题，也符合审美艺术规则。[15]
图4-7 常见的画面空间划分方法
图4-7对常见的画面空间划分方法进行概括，其他划分方法都是在这个基础上演变出来的。需要特别说明的是，图4-7反映的只是主干区（信息区）和非主干区两者之间的大致分布区域，实际上两者之间的界限一般不是直线型的，区域范围也不是条框形状。考虑视觉美感要求，现实中对区域空间的划分，一般有两种方法。第一种方法是利用曲线条，通过线条长度、方向、粗细、虚实等变化进行区域划分，方便视觉阅读，获得良好的画面秩序感。第二种方法是利用色块，通过不同的色块进行区域划分，针对主干和非主干区域设计色彩，如采用相近的色调或明度不同的色彩分区，但色块的色调一般不能和整个多媒体课件的主题色调相冲突，主题内容、非主题内容（如一些辅助性、说明性信息）排布在不同区域，使得主次顺序分明。
（4）组接画面
要使学习者在“工作记忆阶段”中新建的知识与“长时记忆阶段”中已有的知识进行整合，即在知识与知识、知识或经验之间建立起各种联系，多个画面组接是必不可少的。画面组接是利用技术手段，依据知识的内在结构、学习者的认知特点、教学设计者的意图，把多组多媒体画面有规律地组合在一起。多媒体画面要满足学习者在知识整合过程中的线性学习、非线性学习要求，如学习者可以顺序地、沿着一个树状分支或任意地学习知识内容。与之相对应，画面组接的常见手段有三种：线性组接、分支组接和网状组接。由于学习者在知识或经验整合过程中的方式并不完全确定，因此与之相对应的多媒体画面在结构上也不是单一的，往往是三种结构共存，包括线性结构、分支结构和网状结构。图3-8是多媒体画面的常见结构，分别对线性、分支和网状组接做了标注，很好地诠释了画面组接对学习者在知识或经验整合过程中所起的作用。当学习者从“封面页”顺序进入“总目录”时，可以通过分支进入某一章、某一节学习，由于知识点之间具有一定的逻辑顺序，一般采用顺序结构链接各知识点，对于单个知识点，设置内部线性交互控制知识元的呈现；再者，学习者处于“知识内容模块”中的任意节点或任意画面，都可以返回到“总目录”进行学习内容的重新选择，也可以利用“学习支持模块”中提供的各种服务。“总目录”“知识内容模块”与“学习支持模块”三者之间的画面可以任意切换，形成了网状结构。
从技术角度讲，画面组接主要在画面的“导航控制区”采取交互来实现。线性组接一般是设置“上一页”“下一页”“继续”“返回”单个按钮或触摸手势来控制翻页来实现；分支组接一般是设置“菜单”“按钮组”“热区组”等多个交互控制路径来实现；网状组接由于需要在任意节点或任意画面中实现切换，属于最高权限的全局性交互，因此一般需要在任意节点或任意画面中都设置这一交互。如图4-8中，需要在任意画面中设置通达“总目录”“知识内容模块”与“学习支持模块”的交互。对于这些在任意画面中重复出现的全局交互，画面一般是设置隐藏的菜单来实现，可通过相关的命令或操作来激活。
图4-8 多媒体画面组的常见结构
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
