编者按:科幻作家和未来主义者在几十年前就对VR梦寐以求,黑客们也不例外。有些人怀疑VR是否会进一步发展,而另有许多人对VR感到兴奋,因为它带来的不止是技术的进步更是对于社会交往的颠覆。来自YC的vincent Chen在”How to Get into VR”一文中分享了他对于VR当下现状、以及跨学科如何推动VR发展的看法,同时还提供了入门学习的一些资源和建议。
VR不是一项新技术,它只是变得可及。— Jeremy Bailenson(Stanford VHIL)
VR技术已经存在多年,有从立体镜到飞行模拟器等多种形式。工程和物理等领域的学者和研究人员一直在努力使该技术变得可行。在过去的几十年中,HMD(头戴式显示器)已经成为体验VR的标配。
在二十世纪九十年代末至二十世纪初期,有大量将VR引入大众的尝试。世嘉公司曾宣布推出一款(但从未发布)耳机。任天堂推出了Virtual Boy,这是一款包含单色HMD的视频游戏机。然而,这些尝试由于缺乏视觉保真度和处理能力不足而受阻。
只有最近,VR的发展变得更为大众所见。 CPU 和GPU可以在价格合理的基础上提供高保真,沉浸式的体验。智能手机为移动VR提供了便宜且更易于使用的选择,而不需要将设备绑定到高端计算机上。随着越来越多的人有机会体验VR,该技术也越来越清楚应如何在更大范围内抵达消费者。
VR需要模拟世界,而AR则需要对现实世界中的信息进行叠加。以手术为例,我们可以更清楚地看到其中的差异。VR可用于模拟外科医生的操作训练,而AR则可在实时手术中将视图中的指令和诊断叠加。
有些人认为VR是AR的基石。虽然实现高保真的AR需要更大的技术飞跃,但是VR开发中所取得的进步可以帮助我们抵达彼处。
在这篇文章中,我们避免讨论VR或AR谁更好,更有希望或更适用。相反,正如其他人猜测的那样,我们将讨论他们的共同潜力和各自面临的技术挑战。对于两者而言,在当下都是其发展的良好时机。
没有像VR这种天然成型的东西……只有跟踪,渲染和显示。跟踪是在3D空间中记录用户的位置和方向。渲染是为用户构建适当的图像。而显示器则是指硬件可以显示所渲染图像的保真度。
我们需要用心解决这些问题直到用户不会感到不适或不舒服。视觉和前庭神经系统的自我运动的感受不契合(晕车症和晕船症是同一个道理)时,人们就会遇到模拟器眩晕症。
这是一个很难解决的问题。作为参考,传统电脑游戏以1920×1080的分辨率渲染,刷新频率为60Hz。Oculus Rift以2160×1200(90Hz)的标准运行(两个显示屏对应两只眼睛)。换句话说,目前VR解决双眼眩晕的方案必须能够有效渲染1080p,且刷新率高于电脑游戏。同时,处理器需要跟踪用户的位置,并将这些信息尽可能及时地提供给头戴设备。
即使这些要求成为现实,那也不太理想! VR显示器尚未覆盖人类的全部视野。此外,我们当然可以通过提高渲染质量,以达到如今视网膜显示器的保真度,但这所有的这一切表明我们需要8K分辨率去渲染VR!
现在,我们遇到一个有趣的技术问题,即如何利用人类视觉系统的局限性来优化带宽和计算能力。 (例如,我们的周边视觉比我们的中心视野更糟 - 那么为什么不尝试焦点式渲染?)
是的,用VR拍摄机器人很有趣。
但VR也能提供身临其境的音乐会、博物馆、演唱会以及球场上的体育赛事。 使用VR,视频会议的质量将得到改善,因为它能更好地进行视觉接触,并提供微妙的非语言提示。同时,培训费用将下降,因为不再需要像建筑业或制造业这种行业的人力培训师。同时,可重复的动手训练的效果会增加。学者将以更多的重复性、多样化的样本量和日常性重现现实来进行社会心理学研究,因此人类联盟也将不复存在。此外,VR会以其灵活性将真正的体验式学习引入教育。
就个人而言,我对VR之于医疗和医药的影响感到非常兴奋。VR在人员培训和教育体验中的优势也适用于临床医生。在患者护理方面,VR可用于治疗疼痛、战斗成瘾(combat addiction)和精神健康方面的问题。
这个领域内的景观是炽热的。—Morgan Sinko(NullSpace VR)
没有标准,没有最佳范例。每个人都可以尝试不同的东西。
以下是一些和VR相关的技术领域,以及每个领域内所涉及的具体问题:
•人机交互:我们如何实现有情境的用户界面(non-diegetic UI)?
•光学:我们该如何适应一个小型投影仪,并让眼睛适应眼镜的形状?
•电子产品:如何优化脸部设备的电池、压力和尺寸?
•硬件:如何建立触觉以便更好地跟踪和反馈我们的行动?
•计算机视觉:如何通过3D重建技术和场景再现来弥合VR与现实世界的不同?
•人工智能/自然语言处理:我们如何在VR中创建与我们进行互动的虚拟现实?
即使在非技术领域,也存在许多仍未得到解答的问题:
•心理学:VR对成瘾有什么影响? 虚拟现实对真实人格的影响是什么?
•社会学:改变社会互动(TSI)的方式意味着什么(想想眼神接触)?
许多情况下,在AR中体验的场景原型比在VR中更易于接近。使用手机、GPS和相机提供的信息可以增强我们与世界各地的连接(想想Pokémon GO)。
然而,AR面临着许多对于VR来说并不存在的挑战。根据经验来看,AR技术受益于无阻碍,因此我们可以充分利用周围的空间。而一旦我们不能在后台运行高配游戏机,相应的资源计算会是一个很大的问题。
其他之于AR的挑战在于硬件和HCI(人机交互) - 我们如何创建具有大视野的透视显示? 我们如何设计出一款人们能够在公共场合穿戴的设备?(提示:记得Google Glass?)
下载一个游戏引擎,如Unity或Unreal Engine,并开始黑客式攻击。如果你以前开发过游戏,就会注意到这个过程非常熟悉,除了你的耳机被安装到与游戏机相应的摄像机之处(in-game camera)。
更普遍地说,这些游戏引擎的设计非常直观且容易学习。它们只需要基本的脚本,并且可以使用浅层次学习曲线接口(例如:拖放可视化脚本)。
以下是一些有用的入门资源:
•FusedVR的教程和现场直播:包括从建模到游戏引擎所能实现的内容创作的的演练,非常棒。
•Udacity的VR开发者Nanodegree:涵盖VR的应用程序开发、设计和优化的完整程序。
•Unity和Unreal的教程。
•工具包:
○VR:VRTK
○AR:Vuforia、Hololens
•有用的教程(threads):
○Reddit:如何开始制作VR游戏
○Quora:我从哪里开始? 什么是VR学习的最好资料?
了解图形流水线(the Graphics Pipeline)将帮助你欣赏VR的限制性和可能性
从根本上说,VR是用头部跟踪在你眼前展现出的场景并进行渲染的酷炫应用。了解3D几何以及呈现方式,你将更好地了解VR的限制性和可能性。
这里有一些很好的在线资源:
•伯克利学院的CS184教程:计算机图形学
•Scratchpixel:从图形数学和物理中学习先进的现代技术
•Song Ho An 的OpenGL笔记:介绍OpenGL的教程和概念
视域和影像领域正在推动VR前沿发展
对于促进计算机视觉、光学、成像及相关主题的认识的投资可能会有巨大的回报。
•计算机视觉:我们对于深度如何追踪和理解?
○斯坦福大学CS231N课程:Phenomenally clear resource with modern CV techniques,由Andrej Karpahty(现为OpenAI的研究科学家)所写
○计算机视觉:模型、学习和推论:幻灯片、练习和代码示例
•计算成像/摄影:光线如何进入相机并成像?类似地,我们如何能将虚拟图像的重点呈现在视网膜上?
○计算机摄影(Raskar、Tumblin):麻省理工学院和西北大学的教授的教科书
○Udacity的计算机摄影课程
在学习过程中:“用菜鸟心态学习VR”。—Aashna Mago(RabbitHole VR)
当然,天花乱坠般地炒作是真实存在的,但这也为我们远离所有的干扰提供了更多的理由。尝试接纳初学者的观点:愿意学习和吸收。不要因为自己认为有必要就开始做某些事情。现在处于学习、实验、失败并取得惊人进展的好时机。如果你认为你迟到了,那说明我在这篇文章中讲的很鸡肋!
加分项:阅读科幻小说!
令人惊讶地是,虚拟现实的发展与科幻小说密切相关。该领域的作者设想了一幅工程师开始发展VR的未来式场景。
有趣的事实:Neal Stephenson(Snow Crash的作者)建议Magic Leap(AR Company)担任首席未来学家!
必读:
•Ernest Cline《准备好的一人》
•Neal Stephenson《雪崩》
我的个人收藏夹:
•William Gibson的《神经漫游者》
•Vernor Vinge的《彩虹结束》
TL; DR:投入其中并与人交谈
将你的手放在耳机上,并在你所拥有的技能与兴趣重叠处开始切入。VR是一种新媒体,因此利用一个周末既能创造出令人信服且能够公之于众的内容比iPhone应用程序受到黑客攻击更是一个不是很有可能的问题。你将遇到质疑,但在这些质疑中,你将会拥有难得的机会去解决许多内行人员都会遇到的问题。
除了开始投入研发之外,还要与各式各样的人交流。构建舒适的体验过程需要工程师、艺术家、设计师和会讲故事的人协同工作(游戏开发人员会理解这一点)。此外,你可以利用在线论坛寻找反馈意见。加入俱乐部并参与俱乐部的活动中去!在VR公司工作。VR的世界很小,对于那些想在这个领域留下深刻痕迹的人来说,这是非常难得的机会和可能。
这里有一些在线社区可能值得研究:
•Facebook 的VR团队
••Women in VR
•Subreddits(/ r / virtualreality,/ r / vive,/ r / oculus)
•和VR有关的黑客新闻
“如果你相信VR来了...”
“...它将是变革性的,它将是无处不在的,而且对于社会互动范式的变革非常重要,因而在超早期阶段,这是多么的令人兴奋。” — Jay Borenstein(Stanford CS)
人们对VR的回应是如此惊人,却又如此内敛。它更新了你的信念,我想这是因为你知道它是特别的。—Aashna Mago(RabbitHole VR)