多媒体技术与虚拟现实的人机交互技术

人机交互就是人与计算机之间信息交流。从冯·诺伊曼计算机诞生之日起，人机交互就作为计算机科学研究领域中的一个组成部分而受到人们的关注，在其后的发展中，人机交互技术取得了很大的进步。它的发展可分为以下4个阶段:

(1)基于键盘和字符显示器的交互阶段。这一阶段使用的主要交互工具为键盘及字符显示器，交互的内容有字符、文本和命令，其过程显得呆板和单调。这是第一代人机交互技术。

(2)基于鼠标和图形显示器的交互阶段。这一阶段使用的主要交互工具为鼠标及图形显示器，交互的内容主要有字符、图形和图像。今天，鼠标已成为计算机的标准配置设备。

(3)基于多媒体技术的交互阶段。声卡、图像卡等硬件设备的出现使得计算机处理声音及视频图像成为可能，从而使人机交互技术开始向声音、视频过渡。在这一阶段，话筒喇叭、摄像机等多媒体输入输出设备也逐渐为人机交互所用，而人机交互的内容也变得更加丰富。多媒体技术使用户能以声、像、图、文等多种媒体信息与计算机进行信息交流，从而方便了计算机的使用，扩大了计算机的应用范围。

但是，这一阶段的多媒体交互技术使用某种媒体技术进行人机交互时，仍处于独立媒体的存取、编辑状态，还没有涉及多媒体信息的综合处理。

(4)基于多模态技术集成的自然交互阶段。从单媒体交互技术走向多媒体集成的交互技术，所产生的效果和作用绝不是交互技术之间量的变化，而是一种质的飞跃。虽然通过多媒体信息进行人机交互极大地丰富了人机交互的手段和内容，但离人类天然的自然交互能力还差得较远。因为人类在与其环境进行交互的时候是多模态的，人可以同时说、指和看同一个物体，还可以通过同时听一个人的说话语气和看他的面部表情及手臂动作来判断他的情绪。为了更好地理解周围的环境，人类每时每刻都在使用视觉、听觉、触觉和嗅觉，可以说，多模态是人类与环境之间自然交互的体现。此外，人类与环境之间的交互还是基于知识的，因为人类的行为动作均在思维的控制下进行，同样，对反馈的信息也是在思维的支配下识别，因此，基于多模态技术的自然交互阶段则可以归纳为第四代的人机交互技术。

目前，虚拟现实系统能提供的自然交互技术效果还不是很完善，人们在使用眼睛、耳朵、皮肤、手势和语言等直接与虚拟环境对象进行自然交互时，与预期还存在一定的距离。

1.手势识别技术

手势是一种自然、直观、易于学习的人机交互手段，是以人手直接作为计算机的输入设备，人机之间的通信将不再需要中间媒介，用户可以简单地定义一种适当的手势，对周围的机器进行控制。手势研究的内容包括手势合成和手势识别，前者属于计算机图形学的问题，后者属于模式识别的问题。手势识别技术分为基于数据手套和基于计算机视觉两大类。

2.面部表情识别技术

表情是人们的内心世界通过人的脸部区域反映出来的喜、怒、哀、乐等信息。这种表现形式在人们的交流中起着非常重要的作用，是人们进行非语言交流的重要方式。表情含有丰富的人体行为信息，是情感最主要的载体，对它进行研究可以进一步了解人类对应的心理状态。有心理学家认为，人类情感的表达55%来自面部表情，可见，人脸面部表情与情感表达的关系十分密切。

对人脸面部表情的识别与研究具有广泛的应用前景，如VR自然人机交互、心理学研究、远程教育、安全驾驶、公共场合安全监控等领域。尽管面部表情识别对未来的人机交互技术具有重要的价值，但由于面部表情具有多样性和复杂性特征，并且涉及生理学及心理学，因此表情识别具有较大的难度。与其他生物识别技术，如指纹识别、虹膜识别、人脸识别等相比，表情识别发展相对较慢，但已经引起了研究人员的关注和重视。(www.xing528.com)

3.眼动跟踪技术

虚拟现实系统中，视觉感知主要依赖于对用户头部方位的跟踪，即当用户头部发生运动时，系统显示给用户的景象也会随之改变，从而实现实时视觉显示。但在现实世界中，人们可能经常在不转动头部的情况下，仅仅通过视线移动来观察一定范围内的环境或物体，于是，单纯依靠头部跟踪的视觉显示是不全面的。虚拟现实系统将视线的移动作为人机交互方式，不但可以弥补头部跟踪技术的不足，还可以简化传统交互过程中的步骤，使交互更加直接。由此产生眼动跟踪技术。

眼动跟踪是指通过测量眼睛注视点的位置或眼球相对于头部的运动而实现对眼球运动的追踪。目的是为了监测用户在看特定目标时的眼睛运动和注视方向，这一过程需要用到眼动仪和配套软件。眼动跟踪技术被认为是下一代VR硬件中的必备元素。目前，Oculus、HTC Vive等虚拟现实硬件产品在VR头盔显示器中都增加了对眼动跟踪技术的支持。眼动跟踪类设备能够感知瞳孔的运动，转动眼球就能操控VR视角。在虚拟现实中，还能通过眼睛的注视点产生景深，使VR体验更加灵敏智能。

4.力触觉交互技术

对人类获取信息能力的研究表明，力触觉是除视觉和听觉之外最重要的感觉，是人类认识外界环境并与环境进行交互的重要手段。在实际工作中，很多操作任务要求操作者必须有效感知接触状况，才能进行精确控制。在虚拟现实环境下，力触觉交互表现得更加重要。例如，在虚拟手术训练中引入力触觉反馈，可以使医生训练时不仅能够看到，而且还能感觉到手术器官。医生能通过手和手臂的运动与虚拟模型和环境进行交互，形成对虚拟模型的完整认识，并感受到与虚拟对象交互时产生的触觉和力道，如同真实操作一样，从而使得训练更真实、准确。

从交互属性来看，力反馈设备可以分为主动型力/触觉设备和被动型力/触觉设备。主动型力/触觉设备是在操作时系统主动给用户的感官发出力的感受，目前大多数设备为此类。被动型力/触觉设备则是当人手给出力的过程中系统反馈给用户一定比例的力，使得虚拟交互更加逼真。

人的触觉相当敏感，一般精度的装置根本无法满足要求，所以对触觉与力觉的反馈研究相当困难。目前，在力触觉方面已经取得了一些应用。例如接触感觉，虽然还不够真实，但现在的VR系统已能够给身体提供很好的提示；对于温度感觉，可以利用一些微型电热泵在局部区域产生冷热感，但这类系统比较昂贵；对于力量感觉，许多力反馈设备被做成骨架形式，从而既能检测方位，又能产生移动阻力和有效的抵抗阻力。但总体来说，这些产品大多还是粗糙的、实验性的，离实用还相差较远。

5.其他感觉器官的反馈技术

目前，虚拟现实系统的反馈形式主要集中在视觉和听觉方面，对其他感觉器官的反馈技术还不够成熟。在味觉、嗅觉和体感等器官感觉方面，产品相对较少，对这些方面的研究还处于探索阶段。

虚拟现实技术的发展是要使人机交互系统从精确、二维的交互向着非精确、三维的交互转变。因此，尽管手势语言、眼动跟踪、面部表情识别以及其他感官的自然交互技术在现阶段还不够完善，但对它们的研究具有非常重要的意义。