双重编码理论在广泛应用中得到不断发展，德国心理学家Schnotz对双重编码理论中存在的问题进行了完善，学术界称之为新双重编码理论。新双重编码理论更好地揭示了多媒体学习的工作机制，且得到了神经科学实证研究的支持。
（一）新双重编码的基本原理
Schnotz[12][13]基于符号学的理论对双重编码理论拓展，认为在多媒体学习中存在描述性表征和描绘性表征。描述性表征包括外部呈现的文本表征、内部的文本表层表征（浅层的心理表征）和命题表征（基于语义内容）；描绘性表征包括外部呈现的图像表征、内部的图像的视知觉认知（心象）和心理模型。需要强调的是，描述性表征是以符号结构为基础相互作用，文本表层表征是言语性组织，命题表征是概念性组织；描绘性表征是以类比结构映射为基础相互作用，视知觉认知（心象）是以特定的视知觉通道为特征的组织，心理模型是以抽象意义的概念为特征的组织。描述性表征和描绘性表征通过模型建构、模型检验实现二者之间的转换和补充。
基于以上思路，在双重编码的基础上，Schnotz（2005）提出了多媒体学习的图文理解的整合模型，如图3-3所示，学术界也称之为新双重编码理论。图文理解的整合模型的工作原理在文献综述中已经介绍，此处不再赘述（详见第一章第一节）。
图3-3 图文理解的整合模型[14]
新双重编码与双重编码的区别在于：（1）虽然二者都是基于双通道假设，但新双重编码理论认为图文加工的交互作用不是基于文本浅层表征和视知觉层次的图像表征；图文之间实质性的相互作用发生在语义阶段的命题表征和心理模型。（2）双重编码理论强调图文在工作记忆阶段中的整合，是基于符号结构的整合；而新双重编码理论认为命题表征和心理模型不存在结构整合，二者的交流是建立在模型构建和模型检实的基础之上。总括而言，新双重编码从理论层面解决了图像与文本（描述性表征和描绘性表征）之间的关联问题，这是双重编码理论没有涉及的。
（二）神经科学研究对新双重编码理论的支持
新双重编码理论得到了神经科学实证研究的支持。已有研究表明，在前语义加工阶段，文字刺激主要激活与语音加工和语义存储有关的左侧顶下叶、左侧颞上回（包括缘上回）和顶内沟，图像加工主要激活与物体识别有关的右外侧枕叶；而在后期的语义加工阶段，图像和文字共同激活的脑区主要包括左侧额下回、左侧梭状回、左侧颞叶皮质，具有明显的左半球优势效应。[15][16]具体体现如图3-4所示。
图3-4 图文加工过程及脑区示意图（李松清，2015）(www.xing528.com)
从脑成像的研究可以发现，在早期的前语义阶段，图、文加工遵循双通道的假设，二者存在差异，但在晚期的语义加工阶段，图、文加工共享了同一语义系统。事件相关电位对图、文加工的研究也发现了一致的结论。在信息加工的早期，图像独特地诱发了一个N300成分，而晚期图像和文字都诱发了N400效应。②
（三）新双重编码理论对多媒体画面设计的启示
新双重编码理论从符号学理论的视角对多媒体学习过程的外在表征和内在表征进行了区分，明确了其相互作用的机制，强调了描述性表征和描绘性表征的互补性，解决了二者的关联问题。其对多媒体画面设计带来的启示主要有：
（1）多媒体画面设计应注意知识内容的转化
从图文理解的整合模型可以知道，知识内容通过最初的感官刺激，到后期的命题表征和心理模型的建立，是不断深化的过程。多媒体画面中呈现的信息不是知识内容从书本的“照搬”，而是根据知识的特点，展示知识的结构，揭示知识背后的内在隐藏规律，尽可能使深层次、抽象的知识内容转化成浅层次的、形象的可视化表达。
（2）多媒体画面设计应注意知识内容与媒体类型的匹配
同样的知识内容，可以有不同的表征形式。如果当前的媒体类型适合表达知识内容，适合完成特定的学习任务，则有助于学习者建立内部心理表征，实现内部表征的联系与转换，从而促进学习者学习。反之，如果不匹配，将增加学习者认知负荷，阻碍学习者的学习。
（3）多媒体画面设计应支持学习者的思维建模
在工作记忆的后阶段，学习者都需要借助长时记忆中已有的认知图式建立命题表征和心理模型，并实现二者的“互动”。完成此过程涉及学习者的思维建模，因此，多媒体画面在实现知识表征的基础上，支持学习者利用多媒体画面中各要素的功能进行思维建模，完成分析、综合、比较、抽象、概括等思维加工过程。
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
