教育机器人在学生评估和分析中的应用和研究综述

事实上，教育机器人相关的理论和应用已经得到了广泛的研究，目前，这些研究主要针对学生个体状态的评估和分析。近几年，这方面的研究成为了一个热点，一个重要的原因是疫情的出现加速了线上教学和网络教育的普及和推广。我们总结了一些教育机器人的相关工作，以便于读者进一步开展后续探索和研究。

2005年，王济军等[106][107]以情感计算理论为基础，表情识别技术为核心，提出了一种情感计算模型（AあectiveCom putingModel Based on Expression Recognition，或简称ACMBER）。该研究团队在2007年做了调查，调查发现很多学生在进行远程教育时存在情感缺失的情况。根据调查结果，65.7%学习者认为教师的鼓励和表扬能提高自己的学习兴趣和情绪（比较符合的占41.4%，非常符合的占24.3%），可见，情感的存在对教育来说是一个不可缺失的环节，但与此同时，调查发现，60.5%学习者在远程教育学习中经常感到孤独和苦闷（比较符合的占45.4%，非常符合的占15.1%）。作者指出，情感体验的好坏会影响人的调节知觉、记忆和思维等功能，比如，比较差的情绪状态会使人精神萎靡，使学习效率降低。具体来说，上网课时，受试者期望能得到老师的认可、同学的尊重，但隔着屏幕产生的情感的缺失会使受试者缺乏这些感性认知。作者基于这个提出可以将情感计算应用到远程教育的想法，首先进行面部定位，然后使用几何来获取各个面部器官的相对位置等去分类出受试者的表情状态。最后通过表情的识别再推导出测试者的情感，再将所得到的情感表征进行反馈，达到使测试者在远程学习过程中得到情感满足的目的。

2016年，孙亚丽[108]提出了基于OpenCV等系统做出的小学生课堂专注度的检测的研究。作者提出，在新课改背景下，对课堂教学提出了新的要求。一方面，可以根据学生的课堂表现因材施教；另一方面，也可以让老师去了解本堂课的教学质量，有助于教学安排的改善。国外学者Durbrow也是基于调查得知，学生的学习行为对成绩的影响在各个因素中占主导位置。作者根据OpenCV实现人脸检测，规定大多数学生的表现方向为专注意向，将绝大多数学生的抬头或者低头记录为学生的专注状态，再基于此对各个学生个体进行判别，进而可以计算出有效抬头数和有效低头数。最后将这个有效低头和有效抬头次数相加，来估算出班级总体的专注次数，进而对学生课堂表现状态进行判断。

2017年，段巨力等[109]提出了一种优化的学生上课专注度的分析评测系统。作者采用了Viola＆Jones面部检测算法，用优化的基于Haar的特征的A daboost算法对人脸进行识别，采用这个算法根据三个指标去测量学生的专注度，这三个指标分别是学生侧脸专注度判定的算法、学生低抬头专注度判定的算法和眼睛的张合度判定的算法。

2018年，李文倩[110]对学生进行人脸综合检测，最后通过各检测结果判断上课专注度。作者首先分析图片的Haar特征，然后进行积分图运算，根据Haar特征值交给Adaboost算法经行分类训练，结果发现在检测人脸方面体现出了很高的准确率，接着，将此算法运用到检测眼睛张合情况、检测打哈欠等表情状态上进行分类。作者利用上述特征对学生进行观测，用嘴巴特征、眼高特征等通过模糊逻辑的处理最终得到专注、正常、疲劳学生等的分类结果。

2019年，唐康[111]通过学生抬头率与学生表情预测学生专注度，通过全班学生的专注度预测课堂教学质量的评价方法。唐康对于抬头率反应专注度机制的评测和孙亚丽差不多，也是通过大多数学生的行为来判定个体的走神与否，具体来说就是以50%为标量去观测班级的抬头率来反应出应该是抬头为专注状态还是低头为专注状态。而在图像处理中，作者使用了优化的卷积神经网络模型进行人脸检测后，对检测到的人脸进行表情识别和评分，接着提取与表情相关的42个人脸d lib特征点，以及人脸的HOG特征，使用朴素贝叶斯分类器进行表情分类。然后通过事先分好的上课的五种表情状况进行分类，结合抬头率去综合测量学生的上课表现。

2019年，张双喜[112]利用深度学习的方法，结合课堂教学的场景，提出了一种新的人脸识别及专注度的判别方法，他提出了融合多深度神经网络的密集人脸检测方法（MDN）、融合SVM分类器的FaceN et的人脸识别方法（MSFN）和根据传统对眨眼、打哈欠等无法完全利用疲劳信息提出的基于深度学习的面部专注度判别方法（DFCN）。根据上面的三种方法，结合课堂环境下的考勤与学生学习专注度的判别，开发了课堂考勤与学生专注度判别系统。

2020年，钟马驰等[113]提出一种基于人脸检测和模糊综合评判的在线教育专注度研究方法。进行模糊综合评判简单来说就是使用隶属函数将原来带有模糊性的属性量化，再使用传统定量手段进行评判的一种方法。在学生走神的课堂情境中，作者将单位时间内水平面部偏转角均值、垂直面部偏转角均值、闭眼次数、打哈欠次数以及其他7种表情作为评判的第一层因素，将第一层对应的面部朝向、疲劳度、情绪对应为第二层因素进行模糊综合评判。在检测途中作者使用OpenCV的dlib库进行头部姿态评估，再用lib face库标记眼睛和嘴巴的特征点后进行眼睛开闭程度和打哈欠的检测，最后结合模糊综合评判，对测试者专注状态进行综合评分，得到受试者课堂表现的结果。

2020年，任婕[114]提出使用基于机器视觉的融合表情变化、注意力范围、身体姿态三个维度的学生专注度综合评价研究。首先，作者用OpenPose平台对学生的人体特征信息进行提取，该平台可以提取70个面部特征点和18个人体关键点，根据提取的关键点进行建模，为了提高准确率，作者在通过面部特征点检测学生表情变化时，采用了支持向量机的算法来进行分类。接着采用几何方法（用特征点以及特征点之间构成的向量角）进行头部姿态的估计，同时结合教室建立坐标系，确定学生头部姿态角度与注意力范围的关系。最后，将学生特定时间的行为转化成一维向量，再采取随机森林算法对参数调优，得到一个分类器，之后用层次分析法对几个维度进行融合。而该文章中作者采取了问卷调查的方式对一线教师进行大范围的调查来获取各个不同指标的权重进行分析。(www.xing528.com)

2020年，张璟[115]提出一种基于卷积神经网络（Convolutional Neural Networks，或简称CNN）的表情识别技术，并将其用于课堂专注度分析。作者首先针对实际课堂中出现的人脸密集、遮挡现象频繁发生和小尺寸人脸经常出现的情况进行讨论，作者提出了一种特征金字塔融合的人脸检测方法，并通过通道注意力和空间注意力的混合注意力机制增强有益信息。接着，针对移动设备的容量和计算要求，为了降低冗余的参数量，对传统卷积神经网络进行了压缩，提出了改进的轻量级卷积神经网络。最后，通过摄像头对教室进行实时拍摄，使用本文提出的人脸检测方法完成课堂考勤任务，结合表情识别技术对学生低头、面部朝向和微表情等进行专注度的联合判断和分析，实现课堂考勤和课堂表现报告的自动统计生成，提高了教学管理的效率。

2020年，袁霞[116]通过面部、头部、身体等多个维度的姿态信息，通过从特征层（Feature Layer）和模型层（Model Layer）两个层面来构建多维度特征融合模型（Multi-feature Fusion Model）的方法，用于检测教室环境下的课堂专注度评价模型。作者首先提出了两种新的特征处理方法，一是在Gabor小波变换基础上利用LBP算法处理面部情绪信息；二是利用A lphapose算法提取人体关键点信息并构建工作特征。然后对面部情绪特征、头部注视特征和人体姿态特征三种特征进行建模后识别，接着作者提出了多维度的课堂专注度评价体系。首先利用特征ID匹配算法排除干扰，然后基于关联性分析的线性加权融合方法（LE）对ID匹配后的多维度特征进行融合，最后从模型层面提出了基于Voting的多核学习方法（VML）对ID匹配后的多维度特征进行融合，以便于集成利用三维信息，比单一特征的检测体现出更好的效果。

2020年，陶溢[117]通过表情识别和头部姿态识别的模糊综合评判为学生精神集中情况评分。该项工作用TensorFlow作为框架，对受试者人脸进行实时检测和定位，并利用OpenFace 2.0面部识别模型计算头部的仰角、俯角和偏转角，然后再根据这些角度的变化（通过模糊数学处理）变成一定的专注度分数，以D jango作为网站设计框架实现专注度评价系统的可视化平台，并将数据反馈给老师，此网站平台支持的会看视频的功能还有助于教师回看课程去寻找课程的不足以及好的地方。

2020年，邓小海[118]通过心理学情绪理论设计了一种专注度评价方法，并融合进教学评估系统中。作者观察到的问题是：目前国内智慧教室系统的解决方案，大多偏向于功能架构层面，并且系统的融合度不高，导致对教育数据的分析严重不足；再者，不同设备的开发语言、通信机制存在较大的差异，导致子系统切换以及数据交流不畅。首先，作者将智慧教室系统划分为三个子系统：智能监控管理系统、智能录播系统以及课堂教学评估系统，系统操作界面结合了TPC7062Hn型触屏研发的智能系统控制器实现设备智能调控，提高系统操作的便捷性，再借助智能录播系统以及C#开发API接口完成三个系统的融合，解决系统融合性较差的问题。同时，利用face++提供的API接口实现自定义算法，再结合心理学开发出教学评估系统，可有效解决对教育数据分析不足的问题。

2020年，王鹏程[119]等利用人脸识别技术，通过整合多任务卷积神经网络（Multi-task Cascaded ConvolutionalNetworks，或简称MTCNN）模型、Insightface模型、静态表情识别模型提出一种新的专注度检测模型，应用于分析学生专注度。MTCNN是中科院深圳研究院在2016年提出的一个深度卷积多任务的框架，Insightface模型则是2018年英国帝国理工大学邓建康团队提出的一个模型，作者基于这两个模型来做人脸检测和识别，再整合静态表情识别模型，可以较为精确地测量学生走神的情况。

2020年，袁源[120]通过表情识别技术，识别学生在远程学习的表情，再通过三维学习情感模型分析了对不同学习状态下的学习者的表情特点。此研究目的在于及时发现学生在远程教育中可能出现的产生负面情绪的行为。此文作者也是采用了V iola-Jones目标检测框架去进行人脸检测，然后作者再使用基于广义多核的表情分类算法进行表情的分类。在这个具体例子当中，作者将检测指标划分为认知度、趋避度、疲劳度三个指标，再进行表情的分类。

上述工作为AI教育机器人真正走入课堂（承担起教师的角色）奠定了技术基础，但是，前面还有很长的路要走，大量有趣的问题等待着我们进行深入的研究和探索！