语义图示、知识类型对多媒体学习的影响

一、目的与假设

本实验将图像定位于语义图示，与知识类型结合起来，探讨语义图示与知识类型对多媒体学习的影响。研究提出如下假设：（1）有语义图示的学习材料比没语义图示的学习效果更好；（2）语义图示对不同知识类型的作用程度存在显著的差异。

二、实验方法

（一）被试

随机从某大学选取被试，专业不限，自愿参加。参加实验的人数共计78名，实验结束后，均获得一定的报酬。剔除先前知识过高、实验过程中眼动数据采样率小于75%的被试7名，最终进入统计分析的有效被试71人（年龄M=21.74，SD=1.81，其中女生41人，男生30人）。所有被试视力或矫正视力正常，无色盲和色弱，并随机分配到四组，分别是“陈述性知识有图示组”（18人）、“陈述性知识无图示组”（17人）、“程序性知识有图示组”（19人）和“程序性知识无图示组”（17人）。

（二）实验设计

采用2语义图示（有、无）×2知识类型（陈述性知识、程序性知识）的两因素完全随机实验设计。本实验的自变量为语义图示的有无和知识类型，因变量为（1）测验成绩：学习后的保持测验和迁移测验。（2）主观评定：学习材料感知难度、学习心理努力程度。（3）眼动指标：兴趣区眼动注视指标。无关变量为被试的先前知识水平。

（三）实验材料

1.先前知识问卷

包括被试的性别、年龄、专业、联系方式（手机号码）等人口学基本信息和对学习材料的先前知识经验调查。“细胞膜的介绍”和“有氧呼吸过程”先前知识的评定分别由两部分组成，第一部分是主观评定题，参照了Mayer的多媒体学习实验研究中的先前知识测试方法，共4道题；第二部分是客观问答题。以“细胞膜的介绍”为例，第一部分的第一道题为“你对细胞膜的相关知识了解多少？”从“非常不了解”到“非常熟悉”五个选项，依次计分为0～4分；第二道题为“高中阶段，您是理科生吗？”，包括“否”“是”两个选项，依次计分为0分、1分；第三道题为“您的大学专业和生物科学相关吗？”，包括“否”“是”两个选项，依次计分为0分、1分；第四道题为“高中阶段，假设生物满分是100分，您的分数一般处于（　）”，包括“低于60分”“60～69分”“70～79分”“80～89分”“90～100分”五个选项，依次计分为0～4分。第二部分的问答题为：“请您写出你所知道关于细胞膜的构成、特点、功能等相关知识”，共15个计分点，答对一个计1分。“有氧呼吸过程”与“细胞膜的介绍”的先前知识测验类似，第一部分和第二部分的满分均为25分。

2.保持测验和迁移测验

保持测验的目的在于考察被试对学习材料的识记、保持或再认能力。保持测验由9个填空题（9分）和5个判断题（5分）组成，共计14分，保持测验的答案能够直接从材料中获得。迁移测验是考察被试根据学习材料应用到新的情境中解决问题的能力。迁移测验由4个选择题（4分）、1个原理解释题（5分）、1个问题解决题（5分）组成，共计14分。所有测验试题由担任生物课程的专业教师根据材料编制，保证试题的有效性。

3.主观评定量表

同实验1。

4.多媒体学习材料

本研究中的陈述性、程序性知识都是关于生物学科的内容。陈述性知识是“细胞膜的介绍”，程序性知识是“有氧呼吸过程”，两段文字材料均在410字左右。根据文字材料，在参考相关教材的基础上制作出语义图示，并由生物学科的教师修改审定。由于实验采取2语义图示（有、无）×2知识类型（陈述性知识、程序性知识），需要制作4组不同版本的材料，分别是“陈述性知识有图示”“陈述性知识无图示”“程序性知识有图示”“程序性知识无图示”。材料利用Photoshop软件制作成图片格式，分辨率为1280×1024，背景统一设置白色。图5-22是四组材料画面的缩略图。

图5-22　实验2-1四组多媒体学习材料画面

图5-22左上角是“陈述性知识有图示”、右上角是“陈述性知识无图示”、左下角是“程序性知识有图示”、右下角是“程序性知识无图示”。

（四）实验仪器

同实验1。

（五）实验程序

首先，对来参加实验的被试随机分组。根据分组，测量学生的先前知识，先前知识问卷总分为25分，先前知识15分及15分以上的被试记为先前知识经验过高，考虑到被试是通过短信或电话预约来参加实验，因此，对先前知识过高的同学照样参加眼动实验，获得同样的报酬，但结束后该数据不纳入最后的统计分析。

然后，被试坐在眼动仪的机器前，进行眼睛校准。校准完毕，呈现眼动实验的指导语：“亲爱的同学，欢迎您来参加眼动实验。实验中将呈现关于生物方面的知识，请您以自然的速度阅读。当您感觉理解了材料中的内容后，按空格键退出。在阅读过程中，请尽量保持头部不动”，进入正式实验并学习材料。实验结束后，依次分别完成学习材料感知难度、保持测验、迁移测验和心理努力程度评定四份问卷，完成问卷的时间控制在20分钟以内。

（六）数据管理

同实验1。

三、实验结果

（一）后测问卷分析

为检验语义图示与知识类型对学习者多媒体学习效果的影响，对被试进行学习材料感知难度、保持测验、迁移测验、心理努力程度问卷调查，进行2语义图示（有、无）×2知识类型（陈述性知识、程序性知识）的两因素完全随机方差分析，其中自变量为语义图示和知识类型。保持测验都是客观题，由一位评分者评阅；迁移测验大多是主观题，由两位评分者评阅，最后取二者的平均分，迁移测验评分者的一致性系数为0.90。表5-6是实验2-1被试后测问卷的得分汇总。

表5-6　实验2-1被试后测问卷得分

学习材料感知难度：四组不同学习材料感知难度如图5-23所示。语义图示主效应显著（F（1，67）=4.92，p=0.030＜0.05，η2=0.068），有语义图示学习材料感知难度（M=4.43，SD=1.40）小于无语义图示（M=5.22，SD=1.64）；知识类型的主效应不显著（F（1，67）=0.83，p=0.366＞0.05）；语义图示和知识类型的交互作用不显著（F（1，67）=0.47，p=0.495＞0.05）。由于四组难度的均值都在4～5分，表明学习材料的难度中等。

图5-23　实验2-1不同组别的学习材料感知难度

保持测验：四组不同学习材料保持测验成绩如图5-24所示。

图5-24　实验2-1不同组别的保持测验成绩

语义图示的主效应显著（F（1，67）=5.222，p=0.025＜0.05，η2=0.072），有语义图示的保持测验（M=11.14，SD=1.78）大于无语义图示（M=10.08，SD=2.08）；知识类型的主效应不显著（F（1，67）=0.116，p=0.734＞0.05）；语义图示和知识类型的交互作用不显著（F（1，67）=0.056，p=0.814＞0.05）。

迁移测验：四组不同学习材料迁移测验成绩如图5-25所示。

图5-25　实验2-1不同组别的迁移测验成绩

语义图示的主效应非常显著（F（1，67）=13.034，p=0.001＜0.01，η2=0.163），有语义图示的迁移测验（M=8.17，SD=1.64）大于无语义图示（M=7.03，SD=1.13）；知识类型的主效应不显著（F（1，67）=0.535，p=0.467＞0.05）；语义图示和知识类型的交互作用显著（F（1，67）=4.690，p=0.034＜0.05，η2=0.065）。

简单效应分析：对于陈述性知识，有图示学习材料和无图示学习材料之间的迁移成绩无显著差异（F（1，67）=1.089，I-J=0.471，p=0.300＞0.05）；对于程序性知识，有图示学习材料和无图示学习材料之间的迁移成绩存在极其显著差异（F（1，67）=16.011，I-J=1.882，p=0.000＜0.001，η2=0.193）。

心理努力程度：四组不同学习材料心理努力程度如图5-26所示。语义图示的主效应边缘显著（F（1，67）=3.086，p=0.084＜0.1，η2=0.044），有语义图示的学习材料心理努力程度（M=5.71，SD=1.07）小于无语义图示的学习材料（M=6.19，SD=1.19）；知识类型的主效应不显著（F（1，67）=0.282，p=0.597＞0.05）；语义图示和知识类型的交互作用不显著（F（1，67）=0.061，p=0.805＞0.05）。由于四组的心理努力程度均值都大于5分，表明四组被试的心理努力程度都在中等以上。

图5-26　实验2-1不同组别的心理努力程度

（二）兴趣区眼动数据分析

本实验对四组材料的图示兴趣区和文本兴趣区进行了划分，并确保有图示组和无图示组的文本区面积和图示区面积大小差异不显著。(www.xing528.com)

本实验分析的兴趣区的眼动指标有：兴趣区停留时间百分比、兴趣区总注视时间、兴趣区注视点个数、兴趣区平均注视时间。兴趣区停留时间百分比是指注视停留在图示或文本区的时间与停留在整个动画上时间比值，数值越大说明对图示或文本的加工越长。兴趣区总注视时间是指注视停留在图示或文本兴趣区的时间总和，数值越大说明对兴趣区的加工时间越长，从某种程度说明该兴趣区信息提取更困难或是目标更吸引人；兴趣区注视点个数是指被试注视图示或文本区域的注视点数量，数值越大说明注视次数越多，表明该区域对被试更重要或更能引起注意。平均注视时间是指图示或文本区域所有注视点的持续时间的平均值，数值大小反映的是对信息提取的难易程度，持续时间越长往往意味着被试从该区域获取信息越困难或是目标更吸引人。

对各个指标进行2语义图示（有、无）×2知识类型（陈述性知识、程序性知识）×2兴趣区（图示区、文本区）三因素混合重复测量方差分析，其中，语义图示、知识类型是被试间变量，兴趣区是被试内变量。表5-7是实验2-1被试在兴趣区的眼动数据描述性统计。

表5-7　实验2-1被试在兴趣区的眼动数据描述性统计

兴趣区停留时间百分比：四个实验组不同学习材料兴趣区停留时间百分比如图5-27所示。

语义图示的主效应不显著（F（1，67）=0.354，p=0.554＞0.05）；知识类型的主效应不显著（F（1，67）=1.294，p=0.259＞0.05）；语义图示与知识类型的交互效应不显著（F（1，67）=0.085，p=0.771＞0.05）。

兴趣区主效应极其显著（F（1，67）=1080.692，p=0.000＜0.001，η2=0.942），对于有图示学习材料（无图示的除外），在文本区的停留时间百分比（M=65.98%，SD=12.23%）显著大于图示区（M=29.05%，SD=12.91%）。兴趣区和语义图示的交互作用极其显著（F（1，67）=204.47，p=0.000＜0.001，η2=0.753）。兴趣区和知识类型的交互作用显著（F（1，67）=4.90，p=0.030＜0.05，η2=0.068）。兴趣区、语义图示和知识类型的交互作用边缘显著（F（1，67）=3.91，p=0.052＜0.1，η2=0.055）。

图5-27　实验2-1不同组别的兴趣区停留时间百分比

简单效应分析：（1）从图示有无来看，对于文本兴趣区停留时间百分比，有图示学习材料和无图示学习材料之间存在极其显著差异（F（1，67）=187.033，I-J=-0.283，p=0.000＜0.001，η2=0.736）；对于图示兴趣区停留时间百分比，有图示学习材料和无图示学习材料之间存在极其显著差异（F（1，67）=192.472，I-J=0.289，p=0.000＜0.001，η2=0.742）。（2）从知识类型来看，对于文本兴趣区停留时间百分比，陈述性知识学习材料和程序性知识学习材料之间存在显著差异（F（1，67）=5.996，I-J=-0.051，p=0.017＜0.05，η2=0.082）；对于图示兴趣区停留时间百分比，陈述性知识学习材料和程序性知识学习材料之间存在边缘显著差异（F（1，67）=3.310，I-J=0.038，p=0.073＜0.1，η2=0.047）。

简单简单效应分析：（1）对于文本兴趣区停留时间百分比，当学习材料为有图示时，陈述性知识学习材料和程序性知识学习材料之间存在非常显著差异（F（1，67）=9.737，I-J=-0.092，p=0.003＜0.01，η2=0.127），当学习材料为无图示时，陈述性知识学习材料和程序性知识学习材料之间无显著差异（F（1，67）=0.105，I-J=-0.009，p=0.747＞0.05）。（2）对于图示兴趣区停留时间百分比，当学习材料为有图示时，陈述性知识学习材料和程序性知识学习材料之间存在显著差异（F（1，67）=6.535，I-J=0.076，p=0.013＜0.05，η2=0.089），当学习材料为无图示时，陈述性知识学习材料和程序性知识学习材料之间无显著差异（F（1，67）=0.000，I-J=0.000，p=1.000＞0.05）。

兴趣区总注视时间（s）：四个实验组不同学习材料兴趣区总注视时间如图5-28所示。语义图示的主效应极其显著，有图示学习材料在兴趣区的总注视时间和无图示学习材料之间存在极其显著差异（F（1，67）=15.010，p=0.000＜0.001，η2=0.183），对于文本兴趣区，有图示学习材料的总注视时间（M=65.06，SD=12.48）低于无图示学习材料（M=68.17，SD=11.20），对于图示兴趣区，有图示学习材料的总注视时间（M=30.15，SD=9.93）高于无图示学习材料（M=0.00，SD=0.00）。

知识类型的主效应边缘显著，陈述性知识在兴趣区的总注视时间和程序性知识在兴趣区之间存在边缘显著（F（1，67）=3.558，p=0.064＜0.1，η2=0.050），对于文本兴趣区，陈述性知识学习材料的总注视时间（M=69.41，SD=12.45）高于程序性知识学习材料（M=63.62，SD=10.89），对于图示兴趣区，陈述性知识学习材料的总注视时间（M=18.10，SD=12.69）高于程序性知识学习材料（M=11.33，SD=8.27）。

语义图示和知识类型的交互效应不显著（F（1，67）=2.088，p=0.153＞0.05）。

兴趣区主效应极其显著（F（1，67）=297.694，p=0.000＜0.001，η2=0.816），对于有图示学习材料（无图示的除外），在文本区的总注视时间（M=65.06，SD=12.46）显著大于图示区（M=30.15，SD=9.93）；兴趣区和语义图示的交互作用极其显著（F（1，67）=30.668，p=0.000＜0.001，η2=0.314）；兴趣区和知识类型的交互作用不显著（F（1，67）=0.063，p=0.803＞0.05）；兴趣区、语义图示和知识类型的交互作用不显著（F（1，67）=0.580，p=0.449＞0.05）。

简单效应分析：对于文本兴趣区的总注视时间，有图示学习材料和无图示学习材料之间无显著差异（F（1，67）=0.310，I-J=-3.149，p=0.580＞0.05）；对于图示兴趣区的总注视时间，有图示学习材料和无图示学习材料之间存在极其显著差异（F（1，67）=91.981，I-J=29.939，p=0.000＜0.001，η2=0.579）。

图5-28　实验2-1不同组别的兴趣区总注视时间（s）

兴趣区注视点个数：四个实验组不同学习材料兴趣区注视点个数如图5-29所示。语义图示的主效应非常显著（F（1，67）=10.102，p=0.002＜0.01，η2=0.131），对于文本兴趣区，有图示学习材料的注视点个数（M=218.99，SD=38.84）低于无图示学习材料（M=234.28，SD=42.24），对于图示兴趣区，有图示学习材料的注视点个数（M=84.63，SD=23.08）高于无图示学习材料（M=0.00，SD=0.00）。

知识类型的主效应无显著差异（F（1，67）=2.273，p=0.136＞0.05）；语义图示和知识类型的交互效应不显著（F（1，67）=0.929，p=0.338＞0.05）。

兴趣区主效应极其显著（F（1，67）=345.833，p=0.000＜0.001，η2=0.838），对于有图示学习材料（无图示的除外），在文本区的总注视点个数（M=218.99，SD=38.84）显著大于图示区（M=84.63，SD=23.08）；兴趣区和语义图示的交互作用极其显著（F（1，67）=25.106，p=0.000＜0.001，η2=0.273）；兴趣区和知识类型的交互作用不显著（F（1，67）=0.041，p=0.841＞0.05）；兴趣区、语义图示和知识类型的交互作用不显著（F（1，67）=0.634，p=0.429＞0.05）。

简单效应分析：对于文本兴趣区的注视点个数，有图示学习材料和无图示学习材料之间无显著差异（F（1，67）=0.608，I-J=-15.206，p=0.438＞0.05）；对于图示兴趣区的注视点个数，有图示学习材料和无图示学习材料之间存在极其显著差异（F（1，67）=138.370，I-J=84.105，p=0.000＜0.001，η2=0.674）。

图5-29　实验2-1不同组别的兴趣区注视点个数

兴趣区平均注视时间（ms）：四个实验组不同学习材料兴趣区平均注视时间如图5-30所示。语义图示的主效应极其显著（F（1，67）=282.984，p=0.000＜0.001，η2=0.809），对于文本兴趣区，有图示学习材料的注视点平均注视时间（M=295.43，SD=23.27）低于无图示学习材料（M=295.55，SD=18.76），对于图示兴趣区，有图示学习材料的注视点平均注视时间（M=343.43，SD=40.55）高于无图示学习材料（M=0.00，SD=0.00）。

知识类型的主效应无显著差异（F（1，67）=1.108，p=0.296＞0.05）；语义图示和知识类型的交互效应不显著（F（1，67）=1.057，p=0.308＞0.05）。

兴趣区主效应极其显著（F（1，67）=393.436，p=0.000＜0.001，η2=0.854），对于有图示学习材料（无图示的除外），在文本区的注视点平均注视时间（M=295.43，SD=23.27）小于图示区（M=343.43，SD=40.50）；兴趣区和语义图示的交互作用极其显著（F（1，67）=757.665，p=0.000＜0.001，η2=0.919）；兴趣区和知识类型的交互作用不显著（F（1，67）=0.000，p=0.994＞0.05）；兴趣区、语义图示和知识类型的交互作用不显著（F（1，67）=0.002，p=0.962＞0.05）。

简单效应分析：对于文本兴趣区注视点的平均注视时间，有图示学习材料和无图示学习材料之间无显著差异（F（1，67）=0.002，I-J=0.000，p=0.967＞0.05）；对于图示兴趣区注视点的平均注视时间，有图示学习材料和无图示学习材料之间存在极其显著差异（F（1，67）=636.412，I-J=343.43，p=0.000＜0.001，η2=0.905）。

图5-30　实验2-1不同组别的兴趣区注视点平均注视时间（ms）

四、讨论

（一）语义图示的有无与知识类型对多媒体学习效果的影响

语义图示的有无对多媒体学习效果的影响：本实验发现，有语义图示组的保持测验、迁移测验显著高于无语义图示组，有语义图示组的学习材料感知难度、心理努力程度显著低于无语义图示组。

知识类型对多媒体学习效果的影响：本实验发现，陈述性知识组和程序性知识组的学习材料感知难度、保持测验、迁移测验、心理努力程度均不存在显著差异。

简单效应：本实验发现，语义图示的有无和知识类型对迁移测验有交互影响作用。对于陈述性知识，有图示学习材料和无图示学习材料之间的迁移成绩无显著差异，对于程序性知识，有图示学习材料显著高于无图示学习材料。

本实验假设一，有语义图示比没语义图示的学习效果更好。本实验的结果是：有语义图示组的保持测验、迁移测验均显著高于无语义图示组，完全验证假设一。语义图示是对文本语义的可视化呈现，简洁清晰地展示出各知识点之间的关联，有利于帮助学习者突破浅层学习。该结论与Mayer的“多媒体认知原则”是一致的。

本实验假设二，语义图示对不同知识类型的作用程度存在显著的差异。本实验的结果是：在保持测验方面，语义图示与知识类型无交互影响作用；在迁移测验方面，对程序性知识，有图示显著高于无图示，对陈述性知识，有图示与无图示无显著差异，部分验证假设二。由于陈述性知识主要是概念、观点等事实性、描述性知识，能够直接加以回忆和陈述；程序性知识主要是操作、过程等技能性、动态性知识，需要借助于某种作业形式间接推测。与陈述性知识相比，程序性知识更加依赖外在语义图示的作用，这与本实验假设是基本一致的。

（二）语义图示的有无与知识类型对多媒体学习眼动行为的影响

在文本兴趣区停留的时间百分比显著大于图示区。有语义图示学习材料和无图示学习材料在文本兴趣区、图片兴趣区的停留时间都存在显著差异。陈述性知识和程序性知识学习材料在文本兴趣区、图片兴趣区的停留时间都存在显著差异，陈述性知识在文本区占的停留时间比显著低于程序性知识，陈述性知识在图片区占的停留时间比显著高于程序性知识。究其原因，程序性知识的语义图示采取的是产生式，而陈述性知识采用的是命题网络式，本实验的产生式语义图示比命题网络式更简洁，对被试而言，产生式语义图示的读图相对更容易，因而程序性知识组的被试在图示区花费了相对更少的时间，同时他们可以试图通过在文本区投入相对更多的时间来加强理解内容。

在文本兴趣区的总注视时间显著大于图示区。在文本兴趣区和图示兴趣区，陈述性知识学习材料的总注视时间都高于程序性知识。在文本兴趣区的总注视点个数显著大于图示区。在文本兴趣区的注视点个数，有图示和无图示的之间无显著差异，在图片兴趣区的注视点个数，有图示组显著多于无图示组。文本兴趣区的平均注视时间显著小于图示区，文本区的平均注视时间不会因学习材料的图示有无而发生显著变化。

从各个眼动指标来看，图示改变了学习者在画面学习中的注意力分配，但不管如何，终究是以文本阅读为主导。学习者在图示区的平均注视时间大于文本区，表明学习者倾向于通过语义图示的深度加工来理解内容。程序性知识和陈述性知识的语义图示表征方法不尽相同，一般来讲，程序性知识采取产生式，陈述性知识采取命题网络式，图示越简单越有可能使学习者转向对文本的深度加工。

五、结论

（1）有语义图示比无语义图示的学习效果更好。

（2）语义图示对不同知识类型的作用程度存在差异，理解程序性知识比陈述性知识更依赖语义图示的帮助。

（3）在图示学习材料中，图示会改变学习者在画面学习中的注意力分配，但终究还是以文本阅读为主导；本实验中，在教学信息量、难度比较对等的情况下，学习者阅读程序性知识图示比陈述性知识图示所占的时间比相对更少。

（4）图示区的平均注视时间大于文本区，表明学习者倾向于通过对语义图示的深度加工来加强对文本内容的理解，但简单的图示则有可能使学习者转向对文本的深度加工。

（5）以上（1）～（4）的结论表明，为纯文本知识内容设计可视化的语义图示是实现图文融合的有效途径之一。