用户智能信息交互技术详解

面向不同作战用户的智能信息交互技术及基于用户行为规律的多视角信息展现模型，是作战信息智能协同交互系统中与作战人员进行交互的主要部分。在作战中，每一位用户都按照其所处的战场角色，被赋予对智能信息的接收、处理、使用、分发的职责。智能信息交互技术应该让每一位使用者都能准确、直观、高效地与信息系统相融合。

这部分交互技术系统的重要特征是其与人的认知、判断、决策过程直接联系并直接影响这些重要过程的准确性和效率，在作战系统中占有至关重要的地位。

由于所处战场环境的不同，不同角色拥有的智能信息交互设备具有极大的差别。在指挥所、指挥车内，有条件配备设施齐全、多种信息展现方式和多重交互模式的智能信息交互系统。而在武器装备内部，受空间和技术环境所限，就不可能配备大型而复杂的交互信息展现设备以及多样化的交互设施。而它们又共处于同一个智能信息系统之中，频繁地进行着交互。研究的重点就是研究并确定武器装备环境下智能信息系统作战用户的典型角色特征和基于任务的交互需求，研究典型角色的交互行为规律，构建基于任务的多通道智能信息交互模式设计方案；构建多通道智能信息交互环境原型；建立基于任务和用户行为规律的多视角信息展现模型；研究测试多通道智能信息交互模式设计方案的可用性。

1.基于任务的武器装备智能信息交互模式研究

1）任务设定

以坦克装甲车辆、无人战车协同作战为背景，以坦克乘员（车长、炮手、驾驶员）、无人战车操控员（遥控驾驶员、任务载荷操控员）为研究对象，分解并梳理机动、侦察、打击等各任务阶段各典型用户角色的详细分步骤交互需求。

2）基于任务的信息流来源、意义和交互需求分析

分析在任务环境中，各用户角色在各任务阶段可能收到的信息流内容（如侦察情报信息、传感器情报信息、车辆状态报警、上级下达任务、友邻分队分发情报等）。

以角色任务为线索，逐一分析各种信息流对其遂行各阶段任务的意义。这种意义可能是正面的或至关重要的。如在作战策划阶段，指挥员收到上级或友邻部队或智能信息系统推送分发的敌方情报；也可能是负面的。如在火力打击阶段，操作员收到来自车辆状态监控系统的非关键报警信息。对各阶段、各典型角色所有可能收到的信息进行意义评估，确定每类信息的相对重要性乃至对当前任务的干扰程度。信息的正面和负面影响如图7-8所示。

图7-8　信息的正面和负面影响

3）基于任务的典型角色交互技术需求分析和设计

以角色任务为线索，逐一分析并设计每一作战阶段，各角色与智能信息系统进行交互需要采用的主要交互技术、可能的次要交互技术，以及该任务阶段多种交互技术整合的必要性和合理性。

如进行火力打击时，操作手使用的主要交互技术可能是如下技术：

（1）眼动追踪锁定目标。

（2）信息融合系统依据目标性质主动推送弹种选择。

（3）采用语音或手动交互技术选择输入射击诸元。

（4）使用硬件防误操作保护按钮击发射击。

次要交互模式可能是眼镜或头盔投影提醒与警告、声音报警提醒、手势交互等。

运用多通道智能信息交互模式处理任务如图7-9所示。

图7-9　运用多通道智能信息交互模式处理任务

典型的整合交互模式应用情境可能是当炮手遂行火力打击任务时，突发一个并不紧急的上级下达的新任务信息。因为上级下达任务信息具有较高的优先级，所以智能信息系统很可能不能正确判断该任务信息的紧急程度。而应分析此种情境，设计正确的交互处理。如将这样的新任务信息分配成头盔式增强现实显示系统中“视野边角提醒模式”，以免干扰操作员正在进行的高度对抗性的火力打击任务。设计操作员能够以语音交互的方式给系统下指令：“不要干扰我。”或者为其设计一个特定的手势交互，如将手在空中摇一摇，此信息就自动隐藏起来，待当前任务完成后才再次提醒。

对每一个任务阶段进行这样的多通道智能信息交互需求分析，形成各任务阶段各角色的多通道智能信息交互模式需求库。

2.基于任务的武器装备智能信息交互设计研究

1）车内环境下的多通道智能信息交互方式和效果研究

以智能交互模式为基础，对虚拟现实、增强现实、语音控制，环绕声方位交互、手势感知与控制、用户位置和姿态感知、多点触摸等多种交互技术进行车内环境下的整合交互方式和效果研究。

采用基于任务的方式，进一步研究车内环境中各类交互技术的整合交互效果。针对各阶段典型的交互任务，评估每一种交互技术应用的必要性和整合应用方式，并设计整合交互方法。采用设计学中比较成熟的交互有效性评价方法对每项技术的交互效果进行可用性评价，对较好的应用场景和交互方法进行总结，得到车内环境下基于任务的各种交互技术效果评价与应用指南。

2）典型任务信息面向不同用户的多角度呈现方式设计研究

由于每一位典型用户对同一份信息关注的内容不同，执行任务中所需要的行为也不同。在设计多通道智能信息交互方案时，需要对每一个典型任务信息采用何种方式（特定角度）呈现给特定用户进行设计；对可能采取的交互技术进行分析和设计；完成典型任务场景中关键用户角色的多角度信息呈现方式设计方案。

3）举例

场景想定为机动任务阶段，驾驶员驾驶车辆前往目的地途中，上级下达了新的目的地命令，如图7- 10所示，并且提出了两条可选路径供指挥员选择。

相应的多通道智能信息交互设计方案可能如下：

（1）武器装备正在遂行机动到某目的地的任务。此时，上级下达了新的目的地命令，该信息应该同时传达给该车辆全体人员；确定此信息重点关注人员为驾驶员和基层指挥员（图7-11）。

图7-10　新命令

图7-11　新目的地命令重点关注人员

（2）驾驶员正在使用增强现实驾驶系统进行驾驶，在驾驶员增强现实显示系统中推送目的地改变命令的“简洁提示版本”。在驾驶员眼中呈现的是最低必要信息——“收到目的地变更命令，新的目的地为小王庄，请等待新的路径命令”，如图7-12所示。由于驾驶员双手要执行驾驶操作，所以他可以通过语音控制交互系统下达指令：“显示到小王庄的路线图”，如图7-13所示。

图7-12　驾驶员看到命令简洁版本

图7-13　驾驶员与整合交互系统语音交互一

系统在虚拟现实显示器中叠加显示从当前位置到小王庄的两条可选路径图，并提示下一个路程动作点距现在还有7 公里。驾驶员根据7 公里这一关键信息，决定不采取减速措施继续开进，等待本车指挥员下达路径选择命令。驾驶员采用语音“取消”命令，系统在驾驶员的虚拟现实显示器中关闭到小王庄的路线图，如图7-14所示。

图7-14　驾驶员与整合交互系统语音交互二

（3）指挥员正在使用三维沙盘态势图制订侦察计划。系统推送新目的地和两条可选路径命令，叠加在三维沙盘显示系统中（图7-15）。同时显示出命令全文阅读标签。指挥员采用“拉入信息”手势命令，将命令全文拉入视野进行阅读（图7-16、图7-17）。理解上级意图后，指挥员采用“摆手取消”手势命令，关闭命令全文显示框（图7-18）。指挥员面对三维沙盘，应用“手势点选”命令选择他认为合理安全的行军路线（图7- 19），并采用“发布命令”手势下达发布指令。此命令由智能信息系统自动推送给全车乘员，同时上报给上级（图7-20）。

(www.xing528.com)

图7-15　指挥员与驾驶员看到的信息有所区别

图7-16　指挥员的命令交互过程一　手势拉入

图7-17　指挥员的命令交互过程二　阅读命令全文

图7-18　指挥员的命令交互过程三　摆手取消

图7-19　指挥员的命令交互过程四　手势点选

图7-20　指挥员的命令交互过程五　发布命令

（4）驾驶员的增强现实显示系统中自动叠加显示指挥员发布的路径地图。驾驶员发出语音命令：“执行”，系统自动在导航系统中更新目的地和路径信息，继续执行导航显示，如图7-21所示。

图7-21　驾驶员执行命令

（5）但是，人的交互需求是多种多样的。本例中驾驶员也可能愿意采用别的方式进行交互。如可能在驾驶员方向盘上设计“确认”和“取消”两个按钮，驾驶员可以方便地操作这两个按钮。当接到改变目的地命令时，他也可以采用按下“确认”按钮的方式回应系统的推送命令。在系统显示通往小王庄的路径图之后，驾驶员也可以采用按下“取消”按钮的方式关闭路径图显示。这样的多重交互方式，是智能信息交互设计中的重点。

对想定任务中每一个典型场景和关键用户角色都要进行类似的多通道智能信息交互设计。本阶段的研究成果即典型任务多通道智能信息交互系统初步设计方案。

4）建立车内智能信息交互系统技术原型及基于任务和用户行为规律的多视角信息展现模型

研究车内交互系统中上述各种交互技术的硬、软件技术发展趋势，选择适当的硬、软件技术设施，构建符合车内空间环境的多通道智能信息交互系统技术原型系统。目的是能够使用本原型系统完成典型任务多通道智能信息交互系统初步设计方案的设计研究、测试与改进工作。

该原型应能完成以下任务：

（1）空间环境和尺度符合预期未来作战概念车辆内部环境。

（2）车内基本设施配置符合未来作战车辆内部配置的概念要求。

（3）乘员人数、乘员间的相对位置符合未来作战车辆配置的概念要求。

（4）多通道智能信息交互系统涵盖虚拟现实、增强现实、3D 视觉、2D 视觉、语音控制、环绕声方位交互、手势感知与控制、用户位置和姿态感知、多点触摸等多种交互技术，较为真实地交互输入和输出原型。

（5）根据典型任务场景和典型用户角色，根据交互设计方案的需要，为用户角色提供符合设计方案的交互输入与输出演示效果。

（6）配有交互体验和可用性测试系统，能够对典型的整合交互设计方案进行基本完整的交互体验和可用性测试。

3.基于任务和用户行为规律的多视角信息展现模型研究

交互系统设计的最后呈现，是按照交互需求，将提供给使用者的各种信息有效地呈现。信息呈现的方式直接影响使用者感知和理解信息意义的准确性与速度。因为人的信息感知绝大部分来源于视觉，所以在以视觉为主的交互系统中，信息的呈现方式设计主要是指信息显示的架构设计和视觉效果设计两大部分。

在多通道智能信息交互系统中，信息的交互方式大为丰富，给交互设计带来了重要变化。这方面的主要研究和设计内容有以下几种。

1）多通道智能信息交互系统信息表达规律研究

在多通道智能信息交互系统设计中，要对每一种交互技术的信息表达规律进行研究，根据人类不同感官的认知规律，设计在本系统中适用的信息表达规律；采用基于任务的方法对各种交互技术的应用方式进行研究和设计，并形成交互设计规范。

2）示例

在人工合成环绕声提示交互子系统中，可能会形成这样的设计规范：所有与敌情相关的信息提示音都来自用户前方，而所有上级和友邻部队传来的信息都来自用户后方。这样的设计规范符合面对敌人，背后有上级和友邻部队支持的心理认知模式（图7-22）。在激烈对抗的环境中，这种设计将会帮助用户更加准确地理解信息的含义。

图7-22　环绕声提示中方位信息的应用

类似的设计在虚拟现实显示子系统和增强现实显示子系统中将会大量地存在。如对于高威胁目标和低威胁目标采用叠加不同的符号以及符号的不同闪烁行为作为表征，同时伴随适当的声音提示，共同提高感知速度（图7-23）。

图7-23　叠加属性符号

3）典型信息进行重点关注角色排序

在多通道智能信息交互系统设计中，需要对每一条典型信息进行重点关注角色排序。如对于一条由智能信息系统推送的敌情信息，进行重点关注角色排序后确定，按照情报员、指挥员、车长、驾驶员的关注程度排序，且重点关注角色是情报员和指挥员（图7-24）。

图7-24　信息重点关注角色排序

4）整合表达方式设计举例

选择多种方式对信息进行表达，还需要为它设计整合表达方式。这条敌情信息重点关注角色是指挥员和情报员，可能的提醒设计是：选择采用环绕声提示方式，为全体乘员提供“有敌情信息”的弱提示，避免干扰非重点关注用户的正常工作。同时以“视野边角标签提示”的方式在指挥员的增强现实显示系统中显示敌情信息标签，指挥员可以根据自己当前的任务负荷情况选择是否立即查看此条信息。而对于处理敌情信息的直接责任人情报员来说，系统设计时可能会将此条敌情信息直接显示在情报员增强现实显示器视野中较为重要的显示区域，以方便他对此信息进行最为快速的阅读和处理。

对于非重点关注用户——驾驶员和车长来说，听到弱声音提示敌情信息，有助于他们提高认知灵敏度，为可能随之而来的应对行动做好知觉和心理方面的准备。要设计当他们在需要了解该信息的具体内容时，采取合适的听觉或视觉方式呈现该信息。如采用人工合成语音朗读的方式传递给正在驾车的驾驶员；或采用简洁版信息的呈现方式将关键信息呈现在车长的虚拟现实显示系统之中（图7-25）。

图7-25　不同角色收到的信息方式不同

5）设计虚拟、增强现实显示信息架构

在多通道智能信息交互系统中，视觉呈现依然是主要的信息呈现方式。基于任务场景，研究设计典型的虚拟现实和增强现实显示系统信息呈现架构。对于任务中态势展示和指挥图上作业阶段、机动阶段、侦察与情报处理阶段、火力打击阶段等典型场景进行符合用户行为规律的多角度信息展示模型的设计研究工作。针对典型任务场景，分析系统必须提供给关键用户角色的视觉信息内容。对包括传感器视频、系统情报融合信息、上级和友邻部队分发情报信息、本车传感器视频和情报信息等进行分类多视角视觉效果设计。依据用户角色所承担的任务，设计符合该用户行为规律的视觉呈现方式和多角度交互显示方式，使每一位主要用户角色在各典型任务阶段都能得到满足战场任务要求的信息呈现效果。