虚拟维修训练的关键技术概况和趋势

1.虚拟维修训练关键技术概况

1）虚拟与半实物仿真维修训练的评估技术研究

除了对虚拟与半实物仿真维修训练的技术开发与系统设计进行研究外，对训练的评估进行研究也至关重要。评估训练人员在训练过程中习得维修技术的效率，需要测量训练前、后训练人员的维修水平，并确定训练后的维修水平相对于基准水平的差距，进而综合得出训练步骤是否起到了提升维修水平的作用，即纵向评估。纵向评估包括评估内容和评估方法。

国外偏向于纵向评估内容的研究工作，评估内容的研究包括：感觉与认知差异评估、决策差异评估、行动差异评估与关注差异评估。在感觉与认知差异评估方面，具有较低感知的训练人员在以感觉作为主要维修知识的获取任务上往往具有较差的表现，Starkes & Lindey 和Williams & Grant 分别证明了基于感知认识的技能可以通过训练加速习得，所以该方面应当作为评估考量内容。在决策差异评估方面，专家能够很快速地解决问题，对于相关的故障状态和维修事件而言，他们具有较好的长期或短暂的维修记忆，并且能够深度剖析问题的本质。由于维修系统在设计时集成了大量的专家经验，所以有必要在决策差异方面进行评估，从而决定训练人员的决策能力是否趋近专家水平。行动差异评估主要体现在完成任务过程中的反应时间和动作时间，它是维修技能获得者的最本质表现。在关注差异评估方面，虚拟场景会随着维修任务的复杂程度，导致训练人员的认知复杂程度增加，由于认知复杂程度的增加会导致训练人员无法明确维修重点和流程，因此，有必要进行关注差异评估。

国内偏向于评估方法方面的工作，研究内容主要集中在以下方面：基于标准维修操作流程的评估方法、基于模糊评估和层次分析法、基于认知试验的方法、基于层次法和熵权法等。基于标准维修操作流程的评估方法紧贴装备维修实际，在标准维修操作流程的基础上，构建了操作完整性、操作顺序、操作时间评估指标体系，进而通过数学计算实现对虚拟维修训练的评估，有效地解决了虚拟维修系统中维修训练的评估问题。基于模糊评估和层次分析法针对虚拟训练评判界限的模糊性，建立了虚拟评估的因素集、备选集、权重集，通过AHP 方法确定权重，利用梯形分布法得到隶属度，构建模糊综合评估的数学模型，实现针对虚拟维修训练的综合评估。除此以外，为了获得更好的评估效果，在模糊评估方法的基础上进一步分析了装备维修训练的特点，运用模糊综合评估方法，建立评估指标，确定各指标权重并建立模糊综合评估模型。基于认知试验的方法从知识认知的角度出发，在对装备维修训练效果的影响因素进行评估后，对比维修人员基于虚拟训练手段和传统训练手段的考试成绩，实现对虚拟维修训练效果的综合评估。基于层次法和熵权法以层次分析法为基础，构建了相应的指标体系，并确定了初始权重，然后使用熵权法分析了当前操作信息、标准信息以及历史操作信息，以确定修正权重；利用历史信息确定权重修正系数，三者结合实现指标权重的自适应调整，最终实现训练效果的综合评估。

2）基于增强现实的虚拟维修人机交互技术研究

目前，国内对于增强现实的研究还处于初步阶段。欧美发达国家的发展代表了当今世界基于增强现实维修技术的发展水平，尤其以人机交互的实现效果最为典型。在增强现实的虚拟维修领域，人机交互技术的研究主要集中在交互设备的携带方式，交互的内容以及交互的实现技术。

在交互设备选择方面，增强现实技术融合了计算机视觉和计算机图像技术，实现了基于摄像设备的人机交互。基于此，真实环境可以通过某种展示方式进行观察，并且展示效果可以在很大程度上表现真实事物的特征。目前，展示的方式主要有三大类：视觉透视、光学透视、投射。这3 种方式借助一定的显示设备实现，根据这些设备的穿戴方式，将其分为头部穿戴、腕部穿戴、投影设备。在人机交互效果方面，不同穿戴方式的设备可能具有不同的交互效果。头部穿戴式设备在视觉范围方面存在严重的缺陷，正常的视觉范围是170°，而头部穿戴式设备的视觉范围普遍小于170°。这将会导致维修中对目标部件的操作以及目标部件的定位产生影响。对于腕部穿戴式设备而言，由于维修活动主要集中在双手，所以交互的自由度会因维修活动而受到限制。

交互的内容目前主要集中在以下几类：

（1）语言交互。该类交互的关键是语言识别，通过语音命令进行交互，交互设备中隐藏的麦克风和耳机可以识别语言、处理交互语音的记录、呈现语音信息以及实现语音对话。

（2）手势交互。该类交互的关键技术是手势识别。目前有两种识别机制：3D 交互，通过摄像头和识别算法进行手势识别；2D 交互，与3D 交互的识别机制一致，但是在识别效果上，腕部穿戴式设备优于头部穿戴式设备。

（3）运动交互。该类交互的实现关键是基于物理定位的图像增强，定位技术包括GPS、陀螺仪等。

在交互技术的实现方面，人机交互在虚拟维修中的本质是给予操作人员正确且必要的维修信息，并且将其呈现在增强现实的设备之上。信息量大并不代表能获得更好的效果。因此，交互的实现应当能够提取出维修情形中的主要特征，并过滤无关信息，提高人机交互中的信息质量。另外，高质量信息的呈现方式决定了维修人员的接受效率。针对以上两点，对交互技术的实现研究主要集中在3D 模型的构建、追踪技术。

（1）3D 模型的构建。增强现实技术通常在主图像上叠加大量的子图像。每一个子图像包含了一定的像素映射关系，这些映射关系决定了哪些部分应当透明，哪些部分需要成像。成像内容主要是维修部件、零件的3D 模型。目前，CAD 等构建的单元模型在增强现实中获得了广泛的应用。另外，数字逆向工程在3D 建模方面也起到了重要的作用。

（2）追踪技术。在现实对象存在的前提下，对摄像设备进行3D 定位是人机交互的关键技术，这方面的研究主要基于计算机视觉研究。目前，增强现实系统普遍在现实目标上叠加标记，这种方法能够使摄像设备快速跟踪被标定的现实目标，并且提供实时的信息呈现。这一过程主要分两步——量化步骤和检索步骤，即先进行数据点的提取，然后进行数据信息的检索匹配。另一种改进的实现技术是不需要标定现实目标，这类技术主要用于现实对象表面不可以添加任何标记物的情形，在此类技术中，高效实时的特征提取是技术核心。这些特征模式存在于现实目标之上，而且它们并不固定。这类技术首先利用视觉感知获取现实目标，并辨识出周遭的环境元素，然后识别目标，包括它的本质属性，例如形状、颜色、亮度，以及它的外部属性，例如位置、方向、运动状态等，在此基础上，追踪技术便可以组合现实与虚拟元素。(www.xing528.com)

3）维修训练数据与设计数据的集成技术研究

在维修训练数据与设计数据的集成技术方面，欧洲航空航天与防务工业协会（ADS）制定的适用于所有武器装备技术资料数字化的规范（S1000D 标准），是得到国际认可的中性标准，应用越来越广泛，目前主要用于交互式电子手册（IETM）的研究和制作上。

美国在这些方面进行了相关研究，并制定了一系列标准，比较典型的有MIL-PPRF-87268A、MIL- PPRF-87269A 和MIL- HDBK-511。韩国军方引进美国技术，并组织专家进行了一系列研究，形成适合本国的IETM 技术。北大西洋公约组织（NATO）从1998年以来，采取各项措施，将IETM 作为一种重要的CALS（持续采办与全寿命周期支持）应用技术加以研究。

随着可扩展标记语言（Extensible Markup Language，XML）技术的发展，IETM 领域正在使用XML 作为其数据格式标准。

日本是亚洲最早研究IETM 技术的国家，早在20世纪90年代就完成了IETM 的调研，并得到了较好的发展。

我国从20世纪80年代开始由军方率先引入综合后勤保障（ILS）和CALS概念，对CALS 和IETM 的基本概念、内容形式和应用前景有了一定的了解。随着计算机网络的飞速发展，IETM 的各种开发技术，如数据库技术、网络编程技术、虚拟现实技术都日趋成熟，为IETM 中的维修训练数据与设计数据的集成提供了良好的技术环境和技术条件。

2006年2月，总参谋部发布GJB 3-2006《电子对抗装备操作维修电子手册要求》。2008年，总装备部电子信息基础部联合相关单位制定我军的IETM标准，2009年正式形成系列标准GJB 6600- 2009《装备交互式电子技术手册》，也投入实际使用。该标准的编制为我军在虚拟维修训练系统开发中维修训练数据与设计数据的集成提供了数据发布依据。

2.虚拟维修训练技术的发展趋势

（1）真实感。增强现实技术也是最近几年在虚拟现实技术的基础上发展而来的一项新技术，它利用CG、多媒体、交互、光电现实、传感器等技术，将计算机生成的虚拟场景和周围的真实场景相融合。结合该技术可以最大限度地“蒙蔽”用户的感官，使其在感官的体验上分辨不出哪些是虚拟的场景，哪些是真实的场景，使系统的沉浸感大大增强。

（2）全面仿真。目前由于技术的限制，虚拟维修训练系统在实际应用中只停留在机械部分，很少涉及装备电气部分的模拟。将电路、液压等装备维修训练中不可缺少部分融入系统，必将大大增强训练效果。Spice 是使用广泛的电路仿真类开源软件，十分适合修改和扩展，因此在以后的虚拟维修系统的开发中可以选择把它集成进去，以实现装备电路的仿真。

（3）知识产权自主化。软件设计需要软件的开源化以及系统功能的多样化，目前国内使用的虚拟维修训练系统大部分都是采用Virtools、Eon 等商用软件提供的开发功能进行开发，不仅购买开发平台需要极高的成本，而且难以开发具有针对性的产品。近年来在开源社区兴起了很多诸如OSG、ORGA 的开源虚拟引擎，开发人员可以从这些开源引擎中寻找突破口，研发更适合我国国情的，且具有自主知识产权的软件开发平台，以摆脱国外产品的限制。

（4）虚拟维修训练系统设计理论的系统性深入研究。主要包括：①设计理论的研究：a.在训练策略方面，观察学习与实操学习方式的选择；b.在维修场景方面，认知真实性与物理真实性之间的匹配；c.虚拟维修训练系统中的辅助指导；d.虚拟维修训练系统的任务信息等。②虚拟维修训练系统实现方式的研究：a.虚拟样机；b.人体模型要素；c.过程建模要素，主要集中于IDEF3、UML、PERT 图和Petri 网等。

（5）多学科协同。虚拟维修训练技术涉及维修性工程、维修保障工程、人机工程等多个学科，而各学科对产品的设计要求和规范既有重叠又有冲突，对这些要求和规范综合分析、优化重组，突出合理的虚拟维修训练系统设计准则是发展的必然。

（6）基于增强现实的虚拟维修训练。增强现实致力于通过设备将计算机生成的物体叠加到现实景物上，使它们一起出现在使用者的视场中，并允许使用者与虚拟物理进行交互。在维修操作中，基于增强现实的应用系统能够在操作人员视野的相应位置显示提示信息，引导操作人员完成维修任务，甚至可以将虚拟物体和实际零件装配在一起，尽管增强现实在虚拟环境的生成与显示、跟踪和定位、数据传输和计算能力等方面都很多问题需要攻关，但其仍是虚拟维修训练的发展方向之一。