德勤报告：混合现实2017年发展趋势分析

编者按：本文来自微信公众号“青亭网”（ID：qingtinwang），作者：Nelson Kunkel，Steve Soechtig；36氪经授权发布。

德勤会计师事务所（Deloitte & Touche）是世界四大会计事务所之一。其推出的行业报告历来被各家所重视。在德勤推出的2017年趋势分析报告《Trending the Trends by Deloitte》中，详细分析了VR/AR/MR（虚拟现实/增强现实/混合现实）产业的走向和建议。以下是全文编译：

混合现实：让体验变得更直观，更沉浸，更强大

随着越来越多的公司前赴后继地拓展领域和产品的边界，AR/VR的企业潜力也在不断壮大，并且越来越频繁地和物联网的领域产生交叉，产品模式和使用模式也是计划更不上变化，但在达到最终完美的混合现实产品模式之前，这种探索模式下的混沌状况还要持续上一阵子。

AR/VR能彻底改变我们和科技交互的模式，虽然现在领域内最夺人眼球的还是消费领域的发展，比如游戏，但是AR/VR真正的潜力还是会在企业方向上。现在跨行业的多种使用场景和概念渐渐多了起来，许多测试项目已经进入了量产。

同时，物联网领域的投资热点也开始从传感器、联网设备向由物联网尖端科技打造的真实使用场景转变。热门应用正从个人健康、供应链、城市基础建设、智能城市等领域初现端倪。而混合现实就是AR/VR和物联网潮流科技的巧妙结合：虚拟和真实世界的冲撞产生了一个数字物体和真实物体共同存在的空间，它们的数据还可以和彼此交互，它让交互界面和使用模式更加趋于自然化。

比如一个技师带着智能眼镜从远程检查一个故障装置，当他遇到问题时，别的工程师还可以加入协同工作，迅速完成修理步骤。可以说，MR大大扩展了可以开展复杂协同工作的场所。

目前MR领域不乏平台、设备、软件生态方面的投资，这些投资的最终目的是将我们现在习以为常的键盘鼠标、平面显示器等工具转换成全新的沟通和协作范式，一旦成功，将会是现代科技纪元最最深入的根本改变。每一个细微的交互模式都在为这个巨大的改变铺就道路，比如从键盘打字到触摸屏幕，再到语音交互。

MR已经开始深入影响我们和工作模式之间的情感关系，一层层地减少信息和我们的感知、理解之间的必要的媒介以及障碍，将会大大提高企业和员工的工作效率和满意程度。

WHERE？

MR的使用场景及模式已经从早期的投资领域中初现端倪，这些领域可能在目前的工业里有着较高的优先级：

培训、教育、学习：AR/VR可以让新员工处于一种高度写实的交互式沉浸式环境中，学习新的技能，对比传统培训手段来说，优势不言而喻。比如对于具有安全隐患的作业和工作环境下的培训，可以大大减少风险；培训师还可以根据员工的培训视频来调整内容和进度。

技术操作：通过物联网应用和数字系统内容丰富维修技师、组装车间工人等工作角色的工作，可以大大提高工厂的效率。比如在生产车间，某种辅助工具可以将装配工人引导到指定的位置，工程师可以访问实时生成的信息，比如特定设备的服务记录、分类和修复步骤指导等，他们不需要双手操作、低头操作就可以审查这些信息，保证了其自主性以及工厂工人的安全。

沟通及合作：随着不同组织间的边界越来越不明显，跨学科领域的团队能在同一公司内部以及跨公司环境下无缝协作。MR可以为这种工作模式提供充满沉浸感和存在感的沟通工具，来取代视频会议等传统协作工具。不同地点的工人可以操作相同的数字内容，就像他们在一个会议室中把玩同一个物件一样。

汽车制造商正在用这些方法来对组件的设计改进进行可视化，极大地加速了分布在世界各地的团队之间的概念制造过程。研发、建筑、工程公司，甚至一些服务组织也正在探索这一新的协作方式，消除创意工作和物理操作中的地理约束。

营销及客服： MR，尤其是VR可以重塑物理世界，然后建立以科技融合为基础的引人入胜的参与模式。比如你可以在客户手中放一个虚拟的产品，然后手把手引导他的体验，搜集他的反馈，并通过他的历史记录和偏好进行定制化修改。

购物：VR尤其能改变我们购物的方式，想象一下在定酒店或游船之前在虚拟的空间里先走一趟，或者网购珠宝之前先在虚拟模式下试试，与此同时，MR还在视野中加上价钱和商品描述，以及其他相关商品推荐等有用的信息。

MR：可能性及其障碍

AR/VR已经有不少平台，限定及承载相应的内容、体验和交互，并有望重新定义我们熟知的工具、模式和商业流程，随着MR设备、软件及标准的不断进化，行业也出现了暂时不可解除的挑战。

AR/VR及物联网设备一般都需要全新的管理和安全手段，智能手机和平板电脑进入工作场合的过程告诉我们，可以通过制定适当的控制和政策来监控和实施企业需求，然后再开启MR旅程。无论从设备角度、数据角度、内容角度、应用角度，安全和隐私都是必须考虑的因素。很多未来的使用情景都会涉及关键的基础设施和敏感操作，因此安全和监管合规性至关重要。

要处理事件流、渲染MR体验、捕捉用户的动作，平台会对环境有所要求，需要立即知道用户的角色及他的工作环境，以及他要想完成任务所需的信息。MR的实时环境跟踪能力，以及个人与环境的关系虚拟对象和信息能根据环境做出正确响应的关键。这需要复杂的信号处理和响应产生机制，一些顶尖的视频游戏中已经出现了。所以Unreal引擎成为现在的早期试验的基础毫不奇怪。

MR还需要掌控声音、肢体、空间位置等一系列要素，要识别最细微的表情，需要精准的面部识别和眼球追踪技术，设计方面也要能非常符合直觉地做出反馈，这样就需要一套全新的设计语言，以及网络状况、传感器环境等硬件环境。

同时MR还要把众多相关的数据考虑进来，以提供强大的交互能力，比如企业管理计划（ERP）、客户关系管理（CRM）、人力资源管理（HR）、市场营销等各环节的信息，以让MR变成工作数字化的重要工具，可以自动后台处理、更新数据。

内容的上下文

也许最重要的是，自然界面使得可以在周围的上下文环境里处理内容的含义。数字对象的重量、尺寸、角度，位置以及它与其他虚拟或真实对象的关系，让设计师能打造真正的内在体验。声音和触觉（或感觉反馈）可以替代图形前导，让企业谨慎思考警告或任务的完成。内置对象和面部识别使我们能够将空间和人对接，渲染到虚拟或增强体验中，并以一种自然和真实的方式插入到纯数字中。

MR需要全新的数字内容和上下文。要将真实世界转化为虚拟环境，或将真实世界嫁接给增强的物理和数字体验，必须具有高清晰度和360度渲染，还可能需要传感器和嵌入式信标来跟踪设备、货物，以及人。同样，元数据不仅描述的是资产的基本规范，而且还描述其组成、行为和用法，所有这些都是模拟交互所必需的。

总结

虽然我们似乎把MR的地位放在AR/VR和物联网之上，但是这些科技每个都代表着不同的解决方式和领域，应用也不尽相同。但是如果只追求它们单个的应用，永远不可能开发它全部的潜能。我们的目标应该是提高互动性，建立更直观、沉浸、强大的体验，放大个人用户，达到新一级的客户亲密度，打造新的解决方案，重塑员工对工作的看法和情感。如果这些得以实现，混合现实可能开启转变未来企业建立及运行模式的闸门。

前沿都在干什么

保护儿童福利

每年，新毕业的社会工作者都满怀抱负地走向儿童福利机构的工作岗位。 不幸的是，他们中许多人对未来工作在现实和情感方面都缺乏一定的准备，社会工作者要具备深入的观察技能和细节素养，需要多年的实地家庭访问和托儿中心经验，才能准确地评估儿童的生活状况，然后决定是否需要进一步的调查和行动。

沉浸式技术可能会有效地加快儿童福利机构员工的这个学习过程：通过专门教授技能的游戏和3D模拟，旨在帮助社会工作者开发多年工作才能获得的敏感和细致的评估技能。

例如，将受训的社会工作者置于虚拟家庭环境中，并要求她在几分钟内识别所有潜在的风险因素。在初步扫描之后，受训者返回虚拟房间，刚才她忽略的风险因素会开始闪烁。然后她指向特定闪烁物体时，风险因素及其解释等信息会出现在她的视野中。 作为这个过程的一部分，受训者还可以练习对复杂情况做出反应，并记录她看到的内容。

3D培训模型可以定制任何环境或场景，这不仅可以扩大新招聘人员的培训范围，而且有可能帮助老牌社会工作者进一步提高他们的专业技能。甚至在未来，这些功能还可以进行机构评估，提高他们的整体效率，培养批判性思维和决策能力。在这方面，MR不仅仅是技术游戏的改变者，而是行为上的解决方案，使社会工作者受益，更重要的是提高他们的服务。

AR遇见物联网

在2016年，两家创新公司在麻省理工学院媒体实验室（MIT Media Lab）邂逅，在硅谷一个创新中心Jabil Blue Sky正式会议，主题是推动新的数字化制造工艺技术。 参与的公司还有工程、制造和智能供应链解决方案的全球提供商Jabil，以及做基于云平台的车间应用、工业物联网和实时分析的的Tulip。

他们的解决方案是一个基于云的操作系统，可以通过他们的智能手机和平板电脑将物联网生产线数据实时提供给车间员工。 通过在执行生产任务时监视此信息流，工作人员可以随时做出更改。最后，系统还可以将MR集成到制造环境中，从车间入手改善制造流程。通过数字技术的更新实时信息，工厂可以减少工人暂停和机器空转期。

在Blue Sky创新中心进行初步测试后，Jabil和Tulip在高度专业化工作流程和生产环境中进行了进一步测试。在这六个月里，工程师通过连续时间研究和根本原因分析，通过新的数字化工具监测循环和步进数据，进一步优化制造流程。结果生产产量提高了10％以上，手动装配质量问题在最初四周中减少了60％，超过了客户预期的产量和设计的预期。

据Tulip联合创始人Natan Linder，在不久的将来，AR可能放大物联网的力量，就如同上述解决方案。Linder表示，增加产品和服务质量、减少返工、提高工作效率、提高生产量、减少培训时间，不需要屏幕就可以为工作人员提供情境信息，这些都是它为全球制造商带来的好处。

“现在在制造业中有越来越多的基于光的AR应用，它使用激光和投影机将可视信息分层显示在物理对象上。这种方法避免了其他AR界面的许多缺点，最重要的是，它不需要工人戴头显。当AR与传感器、机器和来自智能工具的数据相结合时，它就会发挥真正的力量。这些来自IoT（物联网）数据源的实时信息，比如操作员工当下需要完成的工作，可以优化流程，同时AR也在正确的时间和地点提供信息。“

还有什么有趣的？

上述混合现实解决方案通过传感器和多个摄像头收集数据，增加生产能力，日常生活中还可以改变人们与周围的世界之间的互动。

在过去几年里，我们看到了体育赛事的VR直播，如NASCAR、篮球、高尔夫等等。它们给以观众360度视角，并可以在整个比赛中选择有利位置，辅以完全混合的3D VR音频，播音员评论，类VR的图形和实时统计信息等等。

西班牙创业公司FirstV1sion是一家可穿戴设备公司，他们在运动员制服中嵌入了视频和无线电传输设备，VR观众可以从特定运动员的视角观看比赛。除了视频之外，这些电子设备还包括心脏监视器和加速度计，因此观众可以随着游戏的进行跟踪玩家的生物识别数据，他们可以看到球员的心率随着动作的加剧而增加，从而更有情感地参与到比赛中。

音乐会和演唱会也是重要社交互动场合，音乐会的虚拟直播正变得越来越普遍。例如Coachella音乐节为观众提供了cardboard，让不想离开帐篷的观众能观看乐队。 

一个VR公司正在尝试让音乐迷成为表演者：TheWaveVR已经开发了一个VR音乐会平台，不仅能让用户观看音乐表演，与HTC Vive配对时，他们能够在一个虚拟的场地当DJ，观众可以在“俱乐部”听音乐和跳舞，同时与彼此交谈。

在政治方面，NBC新闻使用了混合现实来鼓励美国选民在总统竞选期间进行对话，它虚拟地重建了纽约洛克菲勒中心的“民主广场”，使观众在家就可以进入广场，查看现场节目，访问实时观众意见调查，与新闻广播员和专家互动，和其他观众成员交流。

似乎虚拟现实的反社会孤立主义的预言已经被夸大了，通过添加传感器、语音识别和数据覆盖来创建混合现实，人们在其中更自然地进行交互，对游戏行业和工业来说都很有吸引力。

经验之谈

UPSKILL CEO、创始人Brian Ballard

长期存在的技术差距使得员工在车间等其他工作现场（工作实际完成的地方）与推动工作的数据解决方案完全分离，然而，可穿戴设备和混合现实有望弥合这种鸿沟。我们Upskill的使命是为员工提供更有用的信息、更深入的理解，帮助他们扩大他们的专业知识。我们于2010年开始为智能眼镜开发软件，今天，我们为客户提供采用AR/VR力量的制造、现场服务和物流平台。

数据证明，航天工作者使用可穿戴设备工作时，速度加快32％，能源工人加快35％，这还是在他们第一次使用这种新技术的情况下。还有什么其他解决方案能像这样大幅度提高工作效率呢？

当讨论混合现实的商业潜力时，我们一般目前人们迫切想要解决的问题开始，然后尝试根据现有的新技术来发现新机会，以实现真正的价值。

例如，某公司需要解决物流响应问题，解决办法可以是让仓库员工戴智能眼镜，然后眼镜上根据不同的货架位置显示相应的实时的货物信息，或者在制造过程中，进行生产——拾取零件——添加到手推车——运送到相应的工作站，这些都是我们已知的现实世界中的挑战，我们的一些客户的交付时间已经改善了50％。

总的来说，这些跨行业的尝试结果非常令人兴奋。最近我们和几个工业客户的工人进行了实验，我们让这些工人在两种不同的情况下执行复杂的装配任务：一种是任务指令是显示在纸张或平板上的，另一种是通过智能眼镜交付相同的指令，结果相当令人惊讶：通过数字指令，使用可穿戴设备工作的航空航天工作者效率提高了32％; 同样，使用可穿戴设备的能源行业工人工作速度提高了35％，这都是他们第一次使用新技术。

在这两种情况下，工人和他们的工作职能都没有改变，唯一改变的是工人访问他们需要的信息的方式。使用上下文或教学信息的叠加来可视化手边的任务可以是非常有意义的，它不需要停下工作来阅读说明书，同时可以提高安全性，解放了工人的双手，并可以抬着头作业，它还能让工人增强自己的专业知识，做更好的决策。

它极大地减少了面对极复杂情况时的困惑，甚至直接消除了培训过程漫长的守则背诵过程，它就像是你的工作GPS，不用记路，不用找路。实际上MR和GPS的发展历程之间还有很多类似的巧合，我们曾经也是很习惯用纸质地图的。

可穿戴设备还能用来数字化、分析、优化组织性行为，比如，在复杂的组装环境中，制造商可能能够捕获正在进行的一万个步骤的每一个的信息，通过对所得到的数据应用机器学习分析，然后进行分组和分解工作以提高生产力，并且基于理解他们擅长的任务可能的发展机会来对工人提供指导和训练 。再回到GPS的对比中，这就像根据实时交通状况给予指示。

经常有公司问我，想做MR该怎么着手，是先实时构建模拟数据，还是直接全盘推出，经验告诉我，最好的做法是先根据投资回报率（ROI）确立明确的目标。比如“我要让新员工进入状态的过程缩短20%”，或者“我要将组装线的首轮质量提高35%”之类的。

一旦确定了确凿的使用场景的量化目标再进行环境模拟。尽可能在实际生产环境中做测试，以了解真实情况下的用户行为、利益和发现改进的机会。 当然，安全、隐私和操作连续性都是必不可少的，可以在推出测试版本的时候再解决。 这样流程监督人会对可穿戴设备的成功案例之多感到惊讶的。

永远不要忽视网络安全

想入行MR的公司必须考虑虚拟现实、增强现实和物联网（IoT）固有的几个网络安全和风险因素，需要问自己如下几个问题：

1. 当沉浸在MR环境中时，你可以信赖显示器上的数字的完整性吗？ 你能确定它的真实性吗？ 您是否认为通过物联网技术获得的数据不容易受到恶意黑客攻击呢？

2. 当沉浸在MR环境中时，你如何确定自己看到的东西不是被操纵过的呢？有很多MR应用都是用于训练甚至商业用途的，你确定自己沉浸其中的环境是对的那个吗？这些数据内容、体验会不会是更改后误导你的呢？或者更甚，他们会不会通过鼓励浪费、品牌破坏甚至更危险的行为，来引导用户进行数字公司破坏？

3. 当你和另一个人处在MR环境中，你如何相信这个人就是他自称的那样呢？这种情况下如何保持信任？

这些体现了MR主要的风险和挑战之一：控制与保护相关的数字资产。 虚拟现实，增强现实和物联网技术引入了全新的知识产权内涵，可能包含设计安全和隐私控制、法规和合规性问题、商业竞争等敏感信息，例如设备的高分辨率3D渲染详情、财产和设备位置跟踪等。相关的信标、传感器等一环环的设备需要被保护、加密和进行访问资产权限管理。

在MR环境中，因为每种技术都存在各自的风险，所以很有挑战性。例如，AR需要比VR更多的数据点来驱动GPS定位、标记、共享元数据和面部识别的内容。此外，为了增强单个用户的体验，AR系统还会搜集跟踪此用户周围各种传感器（比如健康监测器）的数据，这就引发了一系列安全和隐私问题。

至于物联网科技，只要具有物联网生态系统的设备都自带被恶意攻击的风险。IoT生态系统结构通常取决于多个参与者的密切协调行动，从供应链上的供应商到客户、运输部门、展销场所和终端客户。传感器、设备或玩家之间的每个节点都很脆弱，这时候不要指望供应商或其他第三方有保持数据的可靠性和防范违约的机制。

然而硬币的另一面则是VR、AR可以作为帮助客户提高整体安全和隐私策略的工具，例如，VR可以用其逼真的模拟天分用于灾后重建和战争模拟，同样，AR可以帮助公司更好地可视化他们面临的网络威胁。

那么从哪开始呢？混合现实可能带来全新的商业流程和用户使用产品的方式，然而，由于MR的企业潜力还在增长过程中，这时候对其要求过高可能会导致挑战，为了避免潜在的错误，请考虑采取以下初始步骤：

• 先自己试试：潜在的利益相关不要仅仅是火花一现就开始着手开公司，至少在做MR之前自己体会个透彻。

• 启航：MR产品计划应从思考“这些事情本该这样达成”开始，而不是始于现有的交互。MR是和笨拙的静态显示天壤之别的存在，不要试图逐渐改变既已存在的现实，从大胆的使用场景开始。

• 早点下手：鉴于MR现在的火爆程度，许多公司和政府机构都在积极地进行，许多公司已经进入了广泛的生产投资，观望态度只会使你进一步落后于你的竞争对手。

• 目光不要太长远：将投资集中在当前潜在的领域，并设计一个尽可能松散耦合的架构，让市场动摇，不要让长期的不确定性干扰短期利益。

• OT遇上IT：对于一些行业，MR可能会引发操作技术（OT）和信息技术（IT）之间的新层次的协作。最好的MR解决方案都会深入到核心应用中，和MEMS和机器对机器系统的集成很必要。这也可能需要一个新的治理和架构来在OT和IT之间进行协调。

结语

混合现实通过结合数字和物理现实整合了AR、VR和物联网技术的潜力，它不是完全从真实世界中移除用户，或是简单地将内容叠加在视野上，而是将智能物理、重力、尺寸，甚至个性等数字内容按需添加到我们相应周围空间上。进而模糊真实和想象之间的界限，同时消除干扰我们做出快速决策、吸收和处理关键信息的障碍，在采取行动之前可视化可能发生的后果，或和个人和团体之间共享知识或任务。这不是科幻小说，而是未来。