增强现实技术的发展与应用

1）增强现实技术的定义

增强现实（Augmented Reality，AR）技术也被称为扩增技术，自20 世纪90 年代初波音公司的科学家考德尔和米泽尔提出“增强现实”一词，围绕“增强现实”这一特定的研究领域，已先后举办了增强现实问题国际研讨会和专题讨论会等。1994 年，Milgram P 和Takemura H 提出“Reality-Vituality Continuum”（现实—虚拟现实连续体），将真实环境和虚拟环境分别作为连续体的两端，位于它们中间的被称为“混合实境（Mixed Reality）”，其中靠近真实环境的是增强现实（Augmented Reality），靠近虚拟环境的则是扩增虚境（Augmented Virtuality），并且从两个维度定义了“增强现实”，广义上是“增强自然反馈的操作与仿真的线索”，狭义上是“增强现实是虚拟现实的另一种形式，参与者通过透明的头盔式显示器清晰地看清现实世界”。

图2.8　现实—虚拟现实连续体

（图片来源：P.Milgram，A.　F.　Kishino.（1994）.　A　Taxonomy　of　Mixed　Reality　Visual　Displays）

1997 年，美国HRL（Hughes Research Laboratories）实验室的学者Ronald Azuma 指出增强现实技术是将虚拟环境和真实环境准确注册到一个三维环境，并利用附加的图片、文字等信息对真实世界进行增强，实现虚拟与现实的融合、实时交互的技术。

增强现实技术作为虚拟现实技术的衍生，是基于计算机技术，实现虚拟信息附加于真实世界，达到虚拟物体和真实环境实时叠加交互于同一场景的一种技术。该技术的“增强”是强调对真实环境的补充和扩张，而非完全取代真实环境，从而增进用户对真实世界的认知。

2）增强现实技术的主要特征

Ronald T.Azuma 向世人展示了一张图，图上同时拥有真正的桌子和真实的电话，以及虚拟的灯和虚拟的椅子，这些对象以3D 的形式组合在一起，虚拟的灯覆盖着真实的桌子，真实的桌子覆盖着两把虚拟的椅子，完美诠释了AR 的主要特征：虚实交融（Combines real and virtual）、实时交互（Interactive in real time）和三维注册（Registered in 3D）。

（1）虚实交融

虚实交融也称虚实结合，是将虚拟对象合成或叠加到真实世界，实现虚拟环境与真实环境的融合，强化真实而非完全按替代真实。用户可以在虚实融合的世界里更细致地观察内容，探索世界的奥妙。

（2）实时交互

实时交互是使用户进入虚实融合的环境后产生的一种具有“真实感”的复合视觉效果场景，该场景可以跟随真实环境的变化而改变，如虚拟对象可以同用户或真实对象以自然的方式交互，用户也可以通过实时操作、多感官信息的获取，体验情感交互与认知交互。

（3）三维注册

三维注册又称三维沉浸，是指利用用户在三维空间里的行为来调整计算机中的虚拟信息，使用户的心理和生理在虚拟世界中得到的认知体验与真实世界中的一模一样，甚至超越在真实空间的体验感。

3）增强现实技术的主要技术

增强现实技术作为虚拟现实技术的衍生，与虚拟现实技术在计算机图形学、计算机视觉和人机交互等方面具有高度的技术相似性。根据AR 技术的主要特征，其核心技术包括虚实交融技术、人机交互技术和三维注册技术。

（1）虚实交融技术

虚实交融技术是将虚拟场景与真实环境的信息合成，实现三维虚拟模型与用户周边的真实世界相叠加、融合的一种技术。由于用户周边的真实场景会随着时间、地点的变化而不尽相同，如何从光照、遮挡、几何、材质等方面追求一致性，以实现三维虚拟场景的逼真感是目前虚实交融技术的重点关注问题。

（2）人机交互技术

人机交互技术使用交互设备（键盘、鼠标、触屏等）将用户的表情、姿势和语音等形态与虚拟环境交互，通过对人体形态信息的追踪注册以获取数据，并把数据反馈给计算机，实现最自然、最直观交互的技术。目前，该技术按交互设备类型，可以分为鼠标、标记卡、人手，以及头盔显示器等形式交互。

（3）三维注册技术

三维注册技术作为增强现实技术的核心技术，是指将真实世界中用户的行为信息反馈到计算机，以实现实时调整三维虚拟模型的增强信息，从而实现虚拟环境与真实环境的无缝对接。三维注册技术可分为基于传感器的注册技术、基于计算机视觉的注册技术和复合跟踪注册技术。布朗大学研制的AR 外科手术培训平台就是借助传感器的实时性精准追踪搭建的增强现实系统。

4）增强现实技术的应用

随着科技的发展，增强现实越来越贴近人们的生活，其不仅成为近年来国外众多知名大学和研究机构的研究热点之一，而且在医学、娱乐、汽车、建筑等需要虚实结合的领域也发挥着不可替代的作用。

（1）增强现实技术在医学领域的应用(www.xing528.com)

随着增强现实技术的逐步成熟，AR 技术正逐步向病患管理、医疗运营维护、检测诊断、治疗康复等环节渗透。众多科技初创公司正在将AR 技术应用到手术中，通过数据化和AR技术，将传统的二维图像信息立体化，使医生的病患分析和手术治疗更加轻松精准。例如，以色列初创公司Augmedics 开发了用于脊柱外科的AR 头戴式显示器xvision，该显示器可以在手术过程中为外科医生提供X 射线视觉，从而让外科医生透过皮肤和组织看到患者体内的解剖结构，以便更轻松、迅速和安全地进行手术。

（2）增强现实技术在娱乐领域的应用

在游戏制作方面，增强现实技术打破了以往仅创造虚拟环境无法触碰现实物体的局限，基于VR 游戏与现实场景开发不同次元的场景，带来了更强的真实性，不同地区的玩家也可以同时进入一个真实的自然场景，以虚拟替身的形式进行网络对战，从而增强用户体验感。2016 年intendo（任天堂）、The Pokemon Company（口袋妖怪公司）和谷歌Niantic Labs 公司联合制作了第一款AR 手游——Pokemon Go，该游戏可以对现实世界中出现的宝可梦进行探索捕捉、战斗以及交换。

（3）增强现实技术在汽车领域的应用

随着现代化信息科技公司进军汽车工业相关领域，很多汽车生产厂商开始将AR 技术应用于升级汽车设计制造、提高契合道路驾驶安全性能、拓宽汽车销售市场、提高汽车售后服务等方面。目前，AR 技术已贯穿于汽车产业的“设计—生产—销售—使用—售后”等各个环节。2017 年初，Harman、Continental 和Visteon 这3 家公司相继推出了AR 技术在汽车上的相关应用，例如在Vistenon 公司新推出的增强现实系统上实现了对复杂交通环境中各类障碍物的预测，以及将危险信号投影到驾驶员视野范围内的挡风玻璃区。

（4）增强现实技术在建筑领域的应用

增强现实技术是指将相应的数字信息植入虚拟现实世界界面的技术，有力填补了建筑业向数字化、信息化迈进中对可视化管理平台缺失的问题。从有效性角度分析，AR 技术在提高生产效率、缩短工作时间、减少操作失误等方面，极大地改进了工程活动；从可用性角度分析，用户使用AR 进行交流和决策时，更加方便和舒适。

①基于增强现实技术的建筑设计仿真

在2016 年的威尼斯建筑双年展上，建筑师Greg Lynn 利用微软HoloLens 让加工商和制造商用数字传真机代替图纸、激光和卷尺设计。如果说Hololens 的技术相对于普通的建筑设计来说太遥远的话，那么结合BIM 的建模识别，可以实现AR 从概念走向实用。Patrick Dallasega 等将BIM 与HoloLens 的AR 技术、Oculus 的VR 技术相结合，极大地改善了项目参与者的时空取向，优化关键绩效指标。在修复被第二次世界大战损毁的奥地利教堂尖顶时，奥地利Wikitude 公司借助“AR+BIM”开发出Wikitude SDK，即首先利用BIM 软件对教堂进行建模，然后使用AR 技术实现手持设备对教堂的缺损部分识别，并进行补缺，最后真实还原出了教堂的原有风貌。

图2.9　GregLynn在使用AR技术建模

（图片来源：设计中国）

②基于增强现实技术的建筑施工

为了减少返工，Paracosm 创始人兼首席执行官Amir Rubin 将AR 技术引入施工过程并开发出了SLAM 系统，建筑工人利用这种3D 现实捕捉技术实时绘制施工实景，进而将实景数据与设计的BIM 模型进行对比，同时对项目进展情况进行可视化分析判断，检测是否存在不合理的施工问题等。Golparvafard 等提出了一种自动进行进度监测的AR 系统，并提供了一个彩色编码覆盖层，用以轻松识别施工现场的进度、进度或进度落后的部分。AR 技术除了可以应用于进度把控方面，还可以被广泛运用于识别危险、进行安全检查等方面，以提供更安全的工作环境。在风险识别方面，Pham 等开发了一个AR 系统，支持对施工现场的危险理解和识别。为了进一步改善传统纸质图纸或3D 建模的沟通方式，Park 和Kim 提出了AR 框架，使工人能够改进现场安全风险的识别，并增强施工经理和工人之间的实时沟通。此外，一些研究人员专注于改善界面，为检查员提供良好解释的信息。目前，这一技术已被广泛应用于中建三局的施工管理，由Yeh 等开发的i 头盔，允许视察员在现场输入当前位置，并通过AR 显示器自动检索相关安全信息。

③基于增强现实技术的建筑运维管理

早在1996 年，Webster 就将AR 技术应用于建筑施工、检查和维修中，展示了其教学指导作用。在实景导览方面，AR 技术的应用使维修人员摆脱了纸质地图，仅需举起手机就可以浏览需维护点和活动位置的具体信息，Javier 等研发的InfoSPOT 系统采用安装便捷、价格低廉的增强现实设备，为设施运营者提供了所维护设备的运行现状，以增强决策的可靠度。胡攀辉等则利用AR 辅助全装修房系统，为买卖双方提供信息沟通的三维增强现实平台，开发商利用这种可加载信息的浸入式环境，可以展示楼盘整体效果、室内装修设计效果和供购房者选择的装修方案。

图2.10　Paracosm技术在建筑施工中的应用

（图片来源：VR 网）

图2.11　AR在施工风险识别方面的应用

（图片来源：中建三局）

AR 技术与RFID、Zigbee、红外和超声波等室内定位技术相结合，可以查看建筑内部隐蔽部位的信息，目前该技术已被用于电梯的维护和检修中。全球知名的电梯厂商Thyssen Krupp 基于微软Holo Lens 开发了一个专门针对企业的“BIM+MR”运维检修管理系统，将电梯运行的设备数据联网，并在MR 端显示出来，指导现场维修人员，大大提高了维修效率。此外，AR 技术还被用于复杂装备的维修场景，例如培训设备维修专业人员、设备应急演练和机器人远程维修设备等。

图2.12　BIM+MR运维检修管理系统在电梯维修中的应用

（图片来源：蒂森克虏伯公司）