多媒体学习的认知机制：现代技术与教育心理学

随着多媒体越来越多地应用在教室中，很多教师也产生了困惑，多媒体真的那么好吗？多媒体学习到底有没有效果？在实际应用中，有些教师发现多媒体会分散学生的注意力，阻碍学习，有些教师则认为确实多媒体有助于提高学生的学习兴趣，也可以帮助学生更好地将新知识整合起来。那么，多媒体的实际效果究竟如何呢？

由于学习是一个受多种因素影响的综合过程，单单是一种多媒体技术的应用显然不能完全决定学习的效果，而是会受到内外多方面因素的影响，例如课程内容的安排、教师的教学方法等，或者学生的先前知识、学习动机、学习方式及学习控制能力等。对多媒体效果的探讨必然要涉及一个更深的层次，即人们对多媒体信息的加工机制，也就是说，人们如何将不同通道的信息整合起来的？心理学家们针对这个问题提出了不同的理论。

1.双重编码理论

Paivion的双重编码理论认为人有两种认知系统——言语系统和表象系统[13]。言语系统中，信息是以言语符号为单元进行存储，这是一种抽象的表征。例如对于“苹果”这个概念，存储内容就包括文字、读音和定义。如下图。

图5.3　苹果的心理表征

表象是指事物在头脑中的映像，表象包括图像表象和声音表象。例如当看到一个苹果，即使这个苹果不在眼前，人们仍然能够回忆起这个苹果，就像在头脑中又出现了苹果的图像似的，这就是苹果的心理表象。两个系统之间有相互的联系，也能够进行相互转换，例如，在“苹果”这个概念的存储中，即包括文字和语音，也包括苹果的表象。

双重编码理论认为，当学习者用言语和表象两种认知系统表征相同的材料时，如果言语信息和图画信息在时间和空间上一致，则在编码的过程中就会形成言语表征和视觉表征的连接，从而提高学习效果，并且能够增加学习者提取信息的路径。例如，当学生学习“苹果”这个词的时候，如果同时呈现一张苹果的图片，那么有利于帮助学生在头脑中形成“苹果”与画面信息的联接。当学生需要写出“苹果”时，可以通过头脑中的图画信息再联接到其字形信息，从而将两个字提取出来。

Paivio所做的实验还发现，如果给被试者以很快的速度呈现一系列的图画或字词，那么被试者回忆出来的图画的数目远多于字词的数目，这个试验说明，表象的信息加工具有一定的优势。也就是说，大脑对于形象材料的记忆效果和记忆速度要好于语义记忆的效果和速度。

从幻灯片进入教育技术以来，教师就开始大量使用“图形+文字”的呈现方式。根据Paivio的双重编码理论，这是因为图形和文字同时出现，可以增加学习者提取信息的路径，使学习者更好地记住所学的知识。

2.认知负荷理论

Sweller的认知负荷理论来自于经典的记忆理论，这种理论将人的记忆分为工作记忆和长时记忆，长时记忆的容量是无限的，存储时间也是无限的，而工作记忆的容量则是有限制的，时间也只能保持短短的几分钟。所有的信息在进入长时记忆之前，要经过工作记忆的加工[14]。有时候老师也会抱怨，给学生讲的话，学生“就是记不住”，“左耳朵进右耳朵出”，从认知过程上来理解，这就是教学内容没有被学生存储到自己的长时记忆中。在完成任务的过程中，工作记忆承担着类似“工作台”的作用，在这个工作台里对信息进行加工和操作，但“工作台”的容量是非常有限的，通常只有5～9个组块的容量。研究者者将需要加工和保持的信息量称为认知负荷。认知负荷如果超过工作记忆的容量，就会产生“认知超载”。例如在计算“12+23”的时候，认知负荷是没有超出容量的，学习者可以直接在工作记忆中进行计算。但如果要计算“34 895 702+12 975 622”，就超出了工作记忆的容量范围，难以在头脑中进行。

长时记忆的作用则类似于“仓库”，是用来存储各种知识，也包括各种复杂的认知结构，也称为“图式”。这些认知结构可以让学习者对信息进行组织，可以用更少的认知资源进行加工，降低认知负荷，为其他活动释放空间。学习的过程就是学习者通过工作记忆对新的材料进行理解加工，最终纳入到长时记忆中。

Sweller将认知负荷分为内在认知负荷、外在认知负荷和生成认知负荷。

内在认知负荷：是学习材料本身所含的概念以及关系所决定的，与学生自身的经验水平也有关系。学习材料如果很简单，包含的概念数量较少，概念之间的关系也简单，那么内在认知负荷就小，反之内在认知负荷就会很大。同样的学习材料，如果学生自身的经验不足，长时记忆中缺乏相应的图式，那么对于这个学生来说，内在负荷也会很大。例如，与一个不熟悉历史的学生相比，对一个熟悉历史的学生来说，194918742008的内在负荷就要小很多。对于后者，这组数字只有三个组块1949 1874 2008，但对于前者来说，这组数字有12个组块，超出了工作记忆的范围。(www.xing528.com)

外在认知负荷：外在的认知负荷是指因外在的信息呈现和教学处理而导致学习者耗费在与教学目标无关的操作（如信息搜索）上的认知负荷。这一般是由于教学设计不合理，教学信息呈现不当，导致工作记忆偏离形成图式的认知操作，使工作记忆需要承受额外的负荷。例如，学习者要用Excel表格来构建一个数据库，但学生对数据库的操作不熟练，导致学习者在操作上耗费了大量的时间和精力。外在认知负荷对学习起着干扰作用。

生成认知负荷：在图式获得和规则自动化过程中投入的认知资源的量，与学生的认知努力有关，对学习起着促进作用，是图式建构和自动化的工具。

认知负荷的这三种成分之间是一种相加的关系，所加之和不能超过工作记忆资源总量。一个学习任务的内在认知负荷是相对固定的，一般认为不能被教学设计所改变，但可以通过自动化的图式减少其总量，使更多的认知资源用于建构新的图式。外在认知负荷来源于教学增加有关认知负荷。

根据认知负荷理论，多媒体学习就是试图通过言语表征和图像表征互补，减少学习者的外在认知负荷，使学习者尽快从浅层语义表征与视觉影像达到命题表征与心理模型，增加生成负荷空间，促进深层理解。

3.多媒体生成学习模型

如果同时呈现两种表征方式，这两种方式是怎样相互作用的？学习者从文本和图中得到的信息是怎样整合的？梅耶（Mayer）吸取了双重编码理论的观点，提出了多媒体生成学习模型（Generative Theory）[15]。

梅耶认为，言语信息和图画信息在不同的认知系统中进行加工。当学习者学习言语信息（例如阅读一段文字）时，选择相关词语建构成命题表征，组织成言语心理模型；当学习图形信息（例如看一张关于发动机工作原理的示意图）时，选择重要图像形成图像表征。这是两种平行的心理加工模式，是一对一的映射联系。例如，学生学习关于发动机工作的原理，如果他们只阅读文字说明，那么他们需要一边阅读，一边在头脑中自己建立一个图形表征。如果只阅读插图，学习者要将插图中各个部件的关系用语言表征抽象出来，形成言语心理模型。如果同时学习言语信息和图画信息，这两种信息同时出现在工作记忆中，学生可以直接在工作记忆中将两个模型进行整合加工[16]。

图5.4　多媒体生成学习模型

多媒体的整合加工包括三个过程：选择、组织和整合。学习者是知识的建构者，首先要积极地先从视觉和言语信息中选择需要的内容，使这些内容进入工作记忆，这是一个信息筛选的过程。将重要的词语进行言语表征，其结果是建构命题表征或文本库。对于呈现的视觉信息，学习者则选择重要的图像进行视觉表征进入工作记忆，其结果是建构表象表征或图像库。

当学习者选择了视觉和言语材料之后，接着就会把进入工作记忆中的信息组织成一个连贯的整体，这个过程称之为组织。组织包括了言语短时记忆中言语知识的变化和视觉短时记忆中视觉知识的变化。经过组织，学习者形成了关于文中所描述情境的言语心理模型和视觉心理模型，言语信息和视觉信息以符合逻辑的方式联系在一起。

在分别建立言语模型和视觉模型之后，学习者要在这两种表征之间建立联系，并将所组织的信息与记忆中已有的、熟悉的知识结构联系起来。为使整合过程得以发生，视觉信息必须保持在视觉短时记忆中，同时，相应的言语信息需要保持在言语短时记忆中。

以前面的图5.2，“雨的形成原理”为例来看一下其中涉及的认知过程。首先学习者从右边的文字材料中选出重要的词语，包括主要物体如水、水蒸气、池塘；主要运动如蒸发、上升、遇冷液化等。与之同时，学习者从左侧的图中选重要的内容，如表示水蒸气的箭头，乌云等。

然后，将经过选择的言语和视觉信息组成连贯的表征。组织文字的过程需要依靠各个事件之间的因果链，如“水蒸气在高空遇冷所以液化”。同时也将图像组织成一个因果链，可以想象左边的图像变成动态的图画，显示水的变化过程。最后，学习者将水变化的言语表征和视觉表征一一匹配，整合起来。在整合过程中，意识到文字叙述的动作之间的关系和由图像呈现的动作之间的关系是对应的，例如“乌云过厚水滴下落成雨”对应从乌云到降雨的图像。这样两者就建立起了联系，在学习者头脑中发生了有意义的学习。