用户交互行为特征及规律认知

用户交互行为特征与交互行为规律认知的目标是对当前用户交互行为进行识别，并对用户后继交互行为进行预测。针对该目标，将重点基于深度学习的方法，对海量车辆乘员状态监测数据、车辆运行状态监测数据、车载传感器获取的任务监测数据、通过车辆载荷获取的任务执行过程中的人车/车车协同数据进行认知学习，识别用户的交互行为特征及交互行为规律。本书提出的基于深度学习的用户交互行为特征与交互行为规律认知技术的主要技术途径可划分为三个阶段，分别为数据预处理阶段、用户交互行为特征识别阶段、用户交互行为规律认知阶段，如图7-2所示。

在数据预处理阶段，多种车载设备采集到的信息数据将被汇聚和归纳成为车辆乘员状态数据、车辆运行数据、任务执行状态数据、任务协同状态数据等多种不同类型的数据，通过多源多维数据预处理进行数据融合和数据清洗，形成待分析的数据流。其后，在用户交互行为特征认知知识基础上，再结合多种场景信息，对多种车载设备采集到的信息进行标注，并结合多源数据之间潜在的关联关系进行预处理，将预处理结果构造成为可被学习认知的用户交互行为特征图。

在用户交互行为特征识别阶段，多源多维数据预处理后的原始数据，将根据不同的数据源设计不同的数据建模方法，并使用张量分解、特征融合等方法，完成特征数据的挖掘，将具有相关性的多源多维数据及初步特征挖掘的结果进行整合，通过特征学习完成用户交互特征的识别，并输出用户交互行为特征的认知结果。该认知结果和构建的特征识别算法，将作为知识库，对用户交互行为规律的认知学习提供支持。

在用户交互行为规律认知阶段，复杂场景特征序列预处理产生的序列数据结果，将提供给基于深度学习手段构建的复杂场景用户交互行为规律学习器，用于对用户交互行为规律进行认知学习。由于场景和用户交互行为的复杂性，及用户经验增长导致的一些特征经验的变更，需采用集成学习手段，通过将不同尺度上的行为规律认知模型进行整合，提高识别的准确度。

图7-2　基于深度学习的用户交互行为特征与交互行为规律认知技术

1.数据预处理阶段

一方面，车辆乘员状态数据、车辆运行数据、任务执行状态数据、任务协同状态数据等多种不同类型的数据存在数据量庞大、参数指标繁多且差异较大、分布密度高且区分度较低等特性，导致海量数据价值密度低，从单一数据集中直接获取用户交互行为比较困难。另一方面，各种数据源之间并非独立存在，而是存在着一定的关联关系，但由于各种不同数据源之间的形式、性质、单位、尺度、粒度等差异较大，所以需根据各种不同数据源之间存在的个体属性、行为属性、时间属性等各种表征数据间的相关性，构建统一的数据图。这种整个各种数据源属性的及相关关系的数据图将具有极高的维度，难以被现有认知和学习方法利用。因此，利用基于张量分解的方式对数据源进行降维，以满足特征学习的需求。

张量结构的灵活性与可计算性使其能够很好地支撑数据采集和数据分析，基于张量的多源多维数据处理流程如图7-3所示。

图7-3　基于张量的多源多维数据处理流程

车辆乘员状态数据、车辆运行数据、任务执行状态数据、任务协同状态数据等多种来源的数据首先进行数据的建模与预处理，并将组织与变换后的数据进行张量分解，从而生成面向用户交互行为特征的系数张量表达。其后，可基于分解后的主张量进行数据特征分析，以支持用户交互行为特征认知，并基于主张量进行时空重构演化分析，以支持用户交互行为规律的学习。

由于数据维度高，可采用层次化Tucker 分解完成张量网络（tensor network）的构建。张量网络使用无向图表示张量的缩并关系。在张量网络中，每个节点是一个张量，节点发出的每条边表示一个指标，而两个节点相连表示两个张量的对应指标缩并。张量网络通常用于把一个高阶密集矩阵近似地表示成低阶矩阵的缩并。层次化Tucker 分解即通过将分张量组织成树形结构，有利于进行快速特征组合，以及获得不同范围的特征组合，而不仅限于某一阶的特征组合（图7-4）。

图7-4　4 阶张量Tucker 分解的维度树

2.用户交互行为特征识别阶段

针对数据预处理阶段对车辆乘员状态数据、车辆运行数据、任务执行状态数据、任务协同状态数据等多种不同类型数据的预处理结果，利用深度学习的方法对用户交互行为进行挖掘分析，获取用户交互过程中的行为特征，并对行为特征进行分类。(www.xing528.com)

基于深度学习的用户交互行为特征识别如图7-5所示。

由于场景复杂，不同场景下用户的交互行为需求复杂，难以使用传统的标准定义或语义标注等方式监测数据特征标准化与特征提取。因此通过深度学习框架对数据预处理产生的多种用户交互行为特征数据集进行学习，完成用户交互行为高阶特征的挖掘，以发现多场景中的多源数据集各个指标参数间的内在关联关系。

之后，利用不同场景中各指标参数间所能建立的语义关联关系，使用基于有向图的关联聚类方法，完成用户交互行为特征的分类识别。

完成用户交互行为特征识别后，用户交互行为特征模式将被用来标注用户交互行为特征数据，使得原始无标注的数据成为有标注数据，以为后继的用户交互行为规律认知学习提供训练依据。

图7-5　基于深度学习的用户交互行为特征识别

3.用户交互行为规律认知阶段

在任务执行过程中，用户的交互行为本身存在上下文相关的特性，也就是说用户当前的行为与用户之前的行为和用户未来的行为都具有相关性，这种相关性体现在用户在特定场景中执行特定任务所需要执行的交互行为是相似的。但是，由于车辆乘员状态、车辆运行状态、任务执行状态、任务协同状态等多种因素的差异，即便是用户重复执行相同的任务，用户的交互过程序列也可能存在步骤、时序等方面的不同。因此，对用户交互行为规律的认知，同样无法采用预定义的行为序列进行检测和预测。

针对这一问题，可采用长短期记忆网络（long short- term memory，LSTM）为基础的集成学习模型，完成用户交互行为规律的学习认知，如图7- 6所示。

图7-6　基于集成学习的用户交互行为规律认知

在这一模型中，复杂场景特征数据将根据用户交互行为特征模型进行标注，并筛选出不同场景中的特定用户交互行为序列，形成用户交互行为态势数据，以供用户交互行为规律的学习认知。

构建完成的交互行为态势数据将根据时间关系，分为三部分，包括最近的、稍近的和较远的三类态势数据，其中最近的精度最高，以体现用户近期的行为习惯变化；稍近的跨度稍大，以体现用户稍长时间段的行为习惯惯性；较远的跨度最大，以体现用户长期训练的行为规律。筛选后的用户交互行为态势数据将输入用户交互行为认知集成学习模型中进行认知学习，最后生成用户交互行为规律知识。

鉴于用户交互行为规律的训练数据量较大，车辆内仅能通过LSTM 实时完成有限数据的训练过程，以满足用户交互行为的复杂变化。因此，采用集成神经网络构建用户交互行为规律的长期训练，以体现用户长期训练的用户交互行为反应和用户短期随机应变的用户交互行为反应。集成神经网络主要采用划分负相关学习（divided negative correlation learning，DNCL）方法，该方法主要基于SNCL（selective negative correlation learning，选择性负相关学习）的思想，将集成神经网络分为三部分，并分别用来训练持续增加的数据和原有混合数据，然后重新集成新的网络，实现对用户交互行为规律知识的获取。DNCL 集成神经网络框架及其训练方法如图7-7所示。

集成神经网络能够把不同个体的神经网络集成在一起，有利于整个模型的泛化性能。其中，新数据通过标准的NCL 训练DNCL 中短期更新组网络集成，学习新的知识，可以达到提升网络的泛化性能的目的。混合数据同样用标准的NCL 训练长短期更新组网络集成，可提升网络的记忆性能，避免学了新的数据集，遗忘了旧知识。而历史维持组则在训练阶段被直接保留，可以实现平衡网络的泛化和记忆性能的目的。

图7-7　集成神经网络框架及其训练方法