生物脑（如人脑）与类脑（如人工智能）都具备获取不同模态信号（如视听觉、皮电心率、眼动表情等）的能力。人的感官与外界交互的过程中，形成了获取信息的感觉通道，模态是感觉通道的符号表征系统。如果获取信息的通道是单一的，就是单一模态系统，简称单模态；两种以上意义表达或信息交流的综合符号表征系统，就称为多模态系统，简称多模态。
近年来，多模态成为诸多学科领域的研究热点，如神经科学、计算机科学和多媒体画面语言学等（表6-1）。多模态在教学行为、交互行为和情感行为中有不同的内涵、外延、指标和获取方式，选取关键信息或核心要素加以阐述，旨在用不同的视角全面地认识多模态（表6-2）。
表6-1 不同学科的多模态
① 何继军，沈辉，胡德文.EEG/fMRI融合分析综述：脑模型、算法和应用[J].计算机工程与科学，2007，（12）：74-81.
② 位东涛，蒙杰，李亚丹，等.基于个体差异的大样本脑影像数据在心理学研究中的应用[J].科学通报，2015，（11）：976-985.
续表(www.xing528.com)
①卢官明，李海波，刘莉.生物特征识别综述[J].南京邮电大学学报（自然科学版），2007，（1）：81-88.
②谢蓉蓉.多模态虚拟课程——基于多模态话语分析理论的未来网络课程新模式[J].中国电化教育，2012，（4）：74-79.
③刘明，胡加圣.大学外语视听教材的多模态化设计构想及要求分析[J].外语电化教学，2011，（2）：3-8、20.
④刘哲雨，侯岸泽，王志军.多媒体画面语言表征目标促进深度学习[J].电化教育研究，2017，（3）：18-23.
⑤张青妹.多模态微课的符号间关系与意义共建[J].现代教育技术，2015，（9）：65-69.
表6-2 不同行为的多模态
⑥Kress GK，Van Leeuwen T.Multimodia discourse：The mode and media of contempotary communication[J].Language in Society，2004，33（1）：115-118.
⑦张青妹.多模态微课的符号间关系与意义共建[J].现代教育技术，2015，（9）：65-69.
⑧王慧君，王海丽.多模态视域下翻转课堂教学模式研究[J].电化教育研究，2015，（12）：70-76.
⑨马莉，沈克.增强现实外语教学环境及其多模态话语研究[J].现代教育技术，2012，（7）：49-53.
⑩刘哲雨，王志军，倪晓萌.Avatar虚拟环境支持CALLA模式的教学研究[J].现代教育技术，2016，（7）：44-50.
免责声明：以上内容源自网络，版权归原作者所有，如有侵犯您的原创版权请告知，我们将尽快删除相关内容。
