驾驶情绪检测：路怒诱发机理与自适应识别方法

情绪的检测识别是运用信号处理的方法对不同情绪状态下的心理、生理或体征行为指标进行特征提取、选择与分类识别，以判断被试所处的情绪状态。目前，国内外情绪识别主要通过四种方式—— 面部表情、语音、姿态（行为）和生理信号进行。

1.基于面部表情的情绪识别

东京大学的Kobayashi等人率先选取嘴巴、眉毛与眼睛这三个区域的60个特征点坐标来提取表情信号，并基于神经网络模型对愤怒、悲伤、高兴、恐惧、惊奇与厌恶等六个基本表情进行了机器识别，识别率达70%[63]。麻省理工学院的Pentland等人基于图像序列进行视觉感知，通过优化估计光流方法来提取面部结构特征并建立物理肌肉模型，该模型可生成一系列肌肉运动群的参数特征与面部空间模板，该模板具有随时间变化的特征，可被合成为高兴、厌恶、惊奇、愤怒和抬眉毛等几种表情[64]。剑桥大学的Kaliouby等人[65]截取了自动识别用户系统里的用户实时精神状态视频流，通过对截取的视频流里的头肩序列进行运动单元分析，利用隐马尔科夫分类器来分析面部表情，对用户的基本表情和混合表情进行识别的识别率较高。

随着基于面部表情特征的情绪识别技术越来越成熟，在交通安全领域，通过面部表情来识别驾驶人精神状态或情绪等相关主题也逐渐成为研究热点。美国亚利那州立大学的Paschero等人[66]运用网络摄像头采集驾驶人在高兴、悲伤、厌恶、恐惧、愤怒、惊奇等六种基本情绪下的面部表情信息，通过瞳孔定位技术获得嘴巴和人眼的位置，在进行相应的特征提取后建立基于经典神经网络和模糊神经网络的驾驶情绪识别模型。日本东京理工大学的Moriyama等人[67]，釆集了驾驶人在愤怒、平静和高兴情绪下的面部表情信息，采用标记被试面部表情信息的长时变化的方法选取面部表情信息，并运用分离的面部信息空间法提取驾驶人在不同情绪下的额头、面颊、鼻子、眼睛、眉毛、嘴巴等位置的特征来进行驾驶情绪分类。奥地利克拉根福大学的Kolli等人[68]，运用红外摄像仪采集驾驶人的面部信息来进行人脸检测，基于改善的豪斯多夫距离进行驾驶情绪识别。张劲基于Fisher准则提取了驾驶人的面部表情特征，建立了基于二维主元分析与模糊积分的分类方法，可有效识别驾驶人的高兴、紧张等面部表情[69]。

2.基于语音的情绪识别

言语表情是人类情绪的一种外部表现形式，目前，在人工智能领域，这方面的研究较为成熟。印度理工学院的Koolagudi等人[70]分两阶段对多种语音情绪进行了识别：在第一阶段根据语速将语音信号分为缓慢、正常与急速三种状态；而在第二阶段，根据语音信号的共振峰、Mel倒谱系数与韵律等声学特征，运用高斯混合模型进一步区分情绪状态。研究结果表明，采用两阶段模型具有较好的情绪识别效果。波兰弗罗茨瓦夫大学的Juszkiewiczt等人[71]，对具有语音识别功能的机器人进行改进，使机器人具有语音情绪识别功能；在改进过程中，研究人员提取了韵律、音质等六个语音特征，采用基于相关性的特征选择算法降低特征向量维数，最后在贝叶斯网络、支持向量机和径向基神经网络三种分类器中选定识别效果最优的分类器。

随着基于语音特征的情绪识别技术越来越成熟，在交通安全领域，利用语音特征来识别驾驶人的精神状态或情绪等相关主题也逐渐成为研究热点。美国加州大学的Tawari等人[72]，将语音情绪识别技术应用于驾驶辅助系统，针对驾驶人的多种情绪尤其是消极情绪进行识别，以便对驾驶人的消极情绪进行及时有效的干预，以防危险驾驶行为甚至交通事故的发生。该研究选择音质特征和韵律特征等声音特征，使用支持向量机模型来识别这些情绪。Kamaruddin等人基于模拟实验中的人机对话语音信息，提取了不同驾驶人各种行为状态下的语音特征，对驾驶人的谈话、大笑、平静和睡眠驾驶行为状态进行了准确识别[73]，以便采取相应的预警措施对这些驾驶行为状态进行有效干预，降低驾驶风险。由于车载语音交互可较少地分散驾驶人的注意力，因此，它在车内控制领域的应用越来越多，如拨打电话、收发邮件等。而情绪又会影响驾驶行为、绩效等，因此，Jones等人在研究中通过驾驶人与车辆的语音交互来检测驾驶人的情绪，从而对其情绪做出积极响应以提高驾驶绩效[74]。在随后的研究中，Jones等人进一步分析了车载语音情绪识别系统的识别效果，且在此基础上对老年驾驶人的厌倦、悲伤、受挫、愤怒与高兴等情绪下的语音特征进行了提取与分类[75]。Grimm等人通过提取不同情绪的三维空间特征对驾驶人在车载环境下的语音情绪进行了有效分类[76]。

3.基于生理特征的情绪识别(www.xing528.com)

生理信号是伴随着情绪变化由人体内部器官产生的一种生物电、生物阻抗或身体外形变化的信号，是对当前情绪状态的一种客观真实的反映，因此，基于生理信号的情绪识别研究越来越多[43]。

美国的Picard等人[77]在连续几周内对被试进行平和、兴奋、高兴、敬畏、平静、愤怒、厌恶与悲伤等八种情绪的诱发实验，采集并获得被试在这八种情绪下的脸部肌电、手指脉搏、皮肤电导（skin conductance，SC）与呼吸率（respiration rate，RR）等四种生理信号的时域、频域特征，并分别运用序列前向浮动搜索法、Fisher投影法进行特征选择，再运用K近邻分类器进行情绪分类；研究结果表明，基于序列前向浮动搜索的特征选择算法的识别准确率最高，对愤怒、悲伤与高兴这三种情绪的分类准确率可达88.3%，对全部八种情绪分类的准确率可达40.6%。法国的Lisetti等人[78]选取了特定视频片段作为诱导情绪的刺激材料，采集了29个本科生在恐惧、沮丧、开心、悲伤、愤怒、惊讶等六种情绪下的心率（heart rate，HR）、SC与皮肤温度（skin temperature，ST）信号，在提取这些生理信号的时域、频域特征后，分别运用K近邻、线性判别和BP神经网络三种分类器对这六种情绪进行识别；研究结果表明，BP神经网络分类器对这六种情绪的识别率最高，分别为85.6%，77.3%，87.0%，88.9%，91.7%与73.9%。德国的Wagner等人[79]基于音乐诱发情绪法，采集了一被试连续25天在开心、愤怒、愉悦、悲伤四种情绪下的肌电（electromyography，EMG）、SC、心电（eloetrocardiogram，ECG）与呼吸信号，在提取这些生理信号的时域、频域特征后，分别采用方差分析法、Fisher投影法、序列前向选择（SFS）法与Fisher投影混合法进行特征选择，再分别运用线性判别、K近邻、多层感知神经网络分类器对这四种情绪进行分类；研究结果表明，基于SFS的特征选择算法与线性分类器组合模型的识别率最高，达92.05%。瑞士的Chanel等人[80]通过知名国际情绪图片系统诱发情绪，提取了四名被试在高唤醒度与低唤醒度情绪下的脑电（electroencephalogram，EEG）、血压（blood pressure，BP）、SC，RR，HR和ST等生理特征，分别通过线性判别法与朴素贝叶斯分类器对这两类情绪进行识别，识别准确率均达到55%。国内江苏大学的李岚等人[81]率先研究了基于视频刺激的情绪诱导方法；他招募了89名本科生对选择的视频片段进行评价，评价结果表明，愉悦、恐惧与平静这三种情绪的诱导效果最好，而厌恶、愤怒与尴尬情绪的诱导效果不理想；随后，他们采集了被试在愉悦、恐惧与平静情绪下的HR，ECG，SC与ST等生理信号，在提取了相关特征后，采用典型相关分析方法对这三种情绪进行识别，识别准确率分别为94%，76%，84%。西南大学的刘光远等人[82]利用视频素材诱导被试产生六种基本情绪，即高兴、惊奇、厌恶、恐惧、悲伤与愤怒，采集了被试的SC，HR，ECG，EMG，EEG与脉搏（pulse，Pul）等生理信号，并运用遗传算法、蚁群算法与粒子群算法进行特征提取，采用Fisher判别分类器对这六种基本情绪进行识别，平均识别率达到 60%。Flidlund等[83]提取了被试的面部EMG特征，运用线性判别模型对其高兴、愤怒、悲伤与恐惧四种基本情绪进行了首次识别，模型准确率为38%～51%。而脑电信号（EEG）作为大脑神经元细胞活动的电位综合，可直接反映大脑皮层的神经元活动规律和中枢神经系统作用机制，在情绪识别领域已被广泛运用。Schaaff等人提取了EEG信号中的α波的功率谱与其峰值频率等特征，运用支持向量机（support vector machine，SVM）模型对被试的高兴、中性、不高兴这三种情绪进行了识别，识别率达66.7%[84]。Choi等[85]采用被试观看恐怖电影前后的EEG信号中的δ波与β波的功率比值的变化来预测其情绪。

不良情绪会影响驾驶人注意力的分配、感知、判断和决策能力，使其产生不良驾驶行为，导致交通违规甚至交通事故的频频发生。因此，为了降低情绪（尤其是负面情绪）对道路交通安全的影响，有必要对驾驶过程中产生的情绪进行识别、干预。目前，国内外在驾驶情绪识别方面已经开展了积极研究。Healey等人[86]为了获取驾驶人在城市道路或高速公路上等不同压力场景下的驾驶行为，采用了一种可获取驾驶人的ECG，EMG，RR以及SC等生理信号的自动神经系统检测设备，同时通过驾驶人的自我汇报，基于序列前向浮动选择法和线性判别函数的多特征分析方法有效区分了四种不同压力水平。Wang等人[87]通过语音与驾驶课程引导被试产生各种情绪，基于RR，SC，ST与血流量脉冲（blood volume pulse，BVP）等生理特征建立了一维辅助模型和因子分解模型，对驾驶人的多种情绪如愤怒、疲劳、高兴与悲伤等进行了有效识别。Katsis等[88]基于一种可穿戴生理设备采集了模拟赛车环境下驾驶人的 RR，ECG，皮电活动（electrodermal activity，EDA）以及面部EMG等生理信号，分别用自适应模糊神经模型和SVM模型对驾驶人的高压力、低压力、快乐、失望等情绪状态进行了识别，准确率分别为 76.7%，79.3%。在随后的研究中，Katsis等[89]继续采用这些生理指标，并基于决策树与朴素贝叶斯方法对模拟赛车驾驶人的高压力、低压力、快乐与烦躁等情绪进行了识别，准确率达71.9%。Lisetti等人[90]基于虚拟现实技术设计了多种模拟场景以对被试进行情绪诱导，提取了被试在受挫、恐惧、气愤等情绪下的SC，HR与ST等生理特征。Wang等[91]提取EEG信号中的α波香农熵特征，采用脉冲神经网络方法对驾驶过程中的疲劳危险事件进行了实时识别。Rebolledo-Mendez等[92]设计了一种身体传感器网络来采集并提取EEG信号中的θ，δ，α和β波的功率谱特征与EDA特征，并采用Logit回归模型识别了驾驶人的疲劳与压力等状态。钟铭恩等人[93]基于模拟驾驶实验数据发现，被试左右额区的β脑电波在兴奋情绪下的功率值均比中性情绪下大，且近似相等，而仅左额区的β脑电波在悲伤情绪下的功率值比中性情绪下大。Leng等[94]人通过视频诱导被试产生特定情绪，采用BVP，SC，ST，RR和方向盘握力等生理指标，对模拟实验时驾驶人的恐惧与快乐情绪进行了有效区分。

4.基于驾驶行为的驾驶情绪检测

Ting等人[95]通过开展模拟驾驶实验发现高速公路驾驶人的刹车反应时间随着疲劳等级的上升而上升。Cai等人[49]首先运用多人驾驶模拟器网络中的车-车交互诱导被试产生愤怒或兴奋情绪，并采集了相应情绪下的驾驶行为信号；研究结果表明，愤怒与兴奋情绪下的车道偏离标准差、方向盘转角标准差较中性情绪下大，但换道时间较短，愤怒或兴奋后观察后视镜的次数较中性情绪下大，忽视交通标志次数与违规次数较中性情绪多。随后，Cai 等人[96]进一步运用多人驾驶模拟器网络开展了不同情绪效价与唤醒度下驾驶绩效的模拟实验，并建立了车道偏离量、刹车反应时间与交通违规次数等驾驶绩效水平与不同情绪效价与唤醒度之间的关联模型。钟铭恩[57]等人通过特定的视频材料刺激被试产生愤怒情绪，基于驾驶模拟器研究被试在愤怒情绪下的驾驶速度、刹车、鸣笛、超速和斑马线减速等驾驶行为特征；研究结果表明，愤怒情绪会使平均车速、鸣笛的频次增加，会使斑马线减速让行的行为减少。Sathyanarayana等人[97]通过车载CAN总线技术采集制动踏板、车辆速度、加速度与方向盘转角等信号，通过加速度计与陀螺仪采集驾驶人头部或腿部的异常移动行为信号，并基于这两种信号特征对驾驶人的分神状态进行识别。林启万[98]提取了方向盘、油门、制动、挡位、鸣笛与车灯切换等六种驾驶操作行为特征，运用层次分析法分别确定这六种驾驶操作行为特征在平和驾驶、紧张驾驶、攻击性驾驶情况下的权重，最后融合这六种驾驶操作行为特征，建立了基于BP神经网络的驾驶情绪识别模型。Kessous[99]在语音交互试验中，通过提取面部表情、身体姿势与声学三方面的指标特征对被试的高兴、恐惧、惊讶、悲伤等八种情绪进行了有效识别。

5.基于信息融合的检测方法

Lanatà等人[100]在模拟实验中，通过设置如下场景对被试施加三种压力水平的刺激：① 稳定的驾驶，无任何外界刺激；② 主试车辆突然侧滑，犹如受到强劲的风吹，需要被试平衡车辆；③ 在第②步机械刺激基础上，对被试进行数学测试。在实验过程中除了采集被试的心率变异率、呼吸幅度与皮肤电等生理信号外，还采集了被试的方向盘转角、车辆速度变化与反应时间等驾驶行为与车辆运动特征，并运用最近均值分类器（nearest mean classifier）对三种压力水平进行了有效分类，分类的正确率均超过90%。Rigas等人[101]通过提取实际交通环境下的驾驶人的皮肤电、心电与呼吸率等生理特征并通过GPS和车载CAN线数据提取过去一段时间内的车辆速度、加速度与横摆角等车辆运动特征，运用贝叶斯网络模型对行驶过程中的压力事件如超车或急刹车等进行了有效检测，检测准确率达96%。Malta等人[102]通过选择特定实验线路与时间，采用实际交通环境中的等红灯、行人横穿与拥堵等道路事件以及与车载自动语音识别系统进行交互来诱发被试产生受挫情绪，在提取驾驶人皮肤电特征的基础上，结合加速踏板、制动踏板驱动特征，采用贝叶斯网络模型对驾驶人的受挫情绪等级进行了二分类；研究结果表明，该模型的真阳率可达80%，假阳率仅9%。Haak等人[103]通过在模拟驾驶实验任务中加入广告牌场景来诱导被试产生压力，并采集了被试的脑电信号与眨眼频率信号；研究结果表明，被试在追踪广告牌的过程中，其脑电信号EEG中出现了P300成分，且其眨眼频率显著增大，这表明被试的压力水平较没有广告牌刺激下高。Riener等人[104]通过自然驾驶实验采集连续两周内的GPS数据与心率变异率数据对被试的情绪状态进行了检测。Fan等人[105]基于视频诱导方法让被试产生高兴与愤怒情绪，并通过开展模拟驾驶实验，采集了被试在这两种情绪下的EEG信号，提取了四种脑电波的相对功率谱特征，在考虑驾驶人的个性特征与交通环境特征的基础上运用贝叶斯网络建立了驾驶人情绪检测模型。Ashish等人根据被试的性别以及所处的交通环境信息对模拟实验数据的噪音信号进行了消除，融合了驾驶环境和被试的生理数据对被试的基本情绪进行了区分[106]。Li等人[107，108]为了研究驾驶人在打电话、与乘客交谈、操作导航系统或转换收音机电台等二次任务下的分神水平，采用CAN总线技术采集被试在不同分神水平下操作制动踏板与加速踏板力度以及车辆速度、加速度与方向盘转角等信号，并采用前向摄像头采集被试的面部表情与头部转动方位；在提取了这两种信号特征后，运用二元分类器对被试的分神水平进行了有效分类。孔璐璐[109]提取了驾驶人的面部表情和脉搏信息特征，建立了基于Fisher线性判别的驾驶人愤怒情绪识别模型。