深度学习实验结论：眼动指标与迁移成绩关联

1.得到验证的假设

（1）假设H1-2得到验证，即暂停行为投入与答题行为投入对比，被试首次注视时间差异显著，证明多媒体画面语言表征行为投入的方式影响被试早期加工。

（2）假设H5-1得到验证，即无行为投入与暂停行为投入、答题行为投入对比，被试外部拓展迁移成绩差异极其显著，证明行为投入要素显著影响被试外部拓展迁移效果。

（3）假设H5-2得到验证，即暂停行为投入与答题行为投入对比，被试外部拓展迁移成绩差异极其显著，证明多媒体画面语言表征行为投入的方式显著影响被试外部拓展迁移效果。

2.得到部分验证的假设

（1）假设H1-1得到部分验证，即无行为投入与暂停行为投入对比，被试首次注视时间差异不显著；无行为投入与答题行为投入对比，被试首次注视时间差异显著，证明行为投入要素可以在特定方式下影响被试早期加工。

（2）假设H2-1得到部分验证，即无行为投入与暂停行为投入对比，被试总注视时间差异不显著；无行为投入与答题行为投入对比，被试总注视时间差异显著，证明行为投入要素可以在特定方式下影响被试早期加工。

（3）假设H2-3得到部分验证，即无行为投入与暂停行为投入对比，被试总注视次数差异不显著；无行为投入与答题行为投入对比，被试总注视次数差异显著，证明行为投入要素可以在特定方式下影响被试早期加工。

（4）假设H4-1得到部分验证，即无行为投入与暂停行为投入对比，被试内部关联迁移成绩差异不显著；无行为投入与答题行为投入对比，被试内部关联迁移成绩差异显著，证明行为投入要素在特定方式下影响被试内部关联迁移效果。

3.未得到验证的假设

（1）假设H2-2未得到验证，即暂停行为投入与答题行为投入对比，被试总注视时间差异不显著，证明多媒体画面语言表征行为投入的方式不影响被试后期加工。

（2）假设H2-4未得到验证，即暂停行为投入与答题行为投入对比，被试总注视次数差异不显著，证明多媒体画面语言表征行为投入的方式不影响被试后期加工。

（3）假设H3-1未得到验证，即无行为投入与暂停行为投入、答题行为投入对比，被试新知理解成绩差异不显著，证明行为投入要素不影响被试新知理解效果。

（4）假设H3-2未得到验证，即暂停行为投入与答题行为投入对比，被试新知理解成绩差异不显著，证明多媒体画面语言表征行为投入的方式不影响被试新知理解效果。(www.xing528.com)

（5）假设H4-2未得到验证，即暂停行为投入与答题行为投入对比，被试内部关联迁移成绩差异不显著，证明多媒体画面语言表征行为投入的方式不影响被试内部关联迁移效果。

4.与深度学习研究范式有关的结论

（1）深度学习的实验研究范式结合了眼动行为实验与认知行为实验，眼动实验中的首次注视时间并不能与新知理解建立关联，因为首次注视是比新知理解更早期的加工指标。

（2）新知理解成绩是可以有效反映深度学习基础的变量，在测试内容上可以区别于保持性测试，实验结果反映出与内部关联迁移的明显区别，即新知理解成绩与内部关联迁移成绩之间并不存在必然的正相关关系。

（3）内部关联迁移与外部拓展迁移同属于深度学习阶段，在实验设计中将两者的认知行为测试内容的水平、范围进行有效区分，依然得到走势基本一致的实验结果，说明内部关联迁移与外部拓展迁移有着紧密的联系，内部关联迁移是外部拓展迁移的基础，外部拓展迁移是内部关联迁移的发展。

（4）无论是新知理解成绩，还是内部关联迁移成绩与外部拓展迁移成绩，实验结果都得到一致的结论：无行为投入方式下深度学习效果最差，实验诠释了不同学习行为投入方式影响深度学习效果的客观现象与程度差异，证明了“行为投入促进深度学习”。

（5）在未来的深度学习实验研究中，可以通过总注视时间、总注视次数等眼动指标与内部关联迁移成绩、外部拓展迁移成绩相结合的方式，探究深度学习是否发生、发生机制以及发生程度。

（6）注视热区图可以有效反应深度学习过程中学习者注意力的分配情况，作为辅助性工具注视热区图的分析结论可以为多媒体画面语言表征规则提供更多的科学依据。例如在实验中有一个非常有趣的内容，“气质的类型”中用对比漫画的方法理解和区分四种典型气质类型，每一行分别对应一种气质类型，漫画中区分气质间差异的关键主要体现在右侧一列。无行为投入学习者与主动行为投入学习者的眼动注视热区图之间有明显差别（如图3、图4所示），不难发现虚拟现实学习环境下视频学习过程中的行为投入会使学习者更能够将注意等认知加工资源集中在问题的关键点上。

图3　无行为投入的被试眼动注视热区图

图4　存在行为投入的被试眼动注视热区图

本研究的遗憾之一是，由于眼动实验设备所限，未能在虚拟现实学习环境Avatar网络虚拟教室中实现体感交互技术与行为投入的融合。研究认为，运用肢体动作、手势、语音等现实生活中常态化的行为投入方式与虚拟现实学习环境交互，可以有效地降低人机互动带来的无关认知负荷，提高眼动研究的精度或效度，在一定程度上改善实验室研究对非自然的操控方式（键盘、鼠标、滑屏等）的依赖，缓解了集中使用手指进行交互的压力，使学习者更加专注于深度学习任务本身。[26-27]