编者按:本文来自微信公众号“青亭网”(ID:qingtinwang),编辑:hi188,36氪经授权发布。
与4-5年前VR漫无目的的发展相比,如今VR有了明确的发展思路,各家产品无论是To C还是To B都有着自己的建树。相信很多朋友已经注意到,5月份国内接连发布多款VR一体机新品,如:Pico Neo 3、HTC Vive Focus 3。
让从业者感到欣慰的是,国内VR一体机生态在逐步成熟和完善,消费级的Pico Neo 3直接对标Oculus Quest 2,从产品定价到内容生态都有极大吸引力。Vive Focus 3则针对B端进行大量优化,在企业应用平台展开布局。
随着这两款标杆产品的上市,将进一步推动国内VR市场活跃度。同时,国内外还有几款VR新品将陆续发布,VR升级迭代热潮已然来临。
那么,在这一轮VR升级迭代中又有哪些新特性值得关注呢?
可明显感受到的变化是,VR产品形态正在从PC VR向移动VR一体机转变。拿Oculus举例,其侧重点从Rift向Quest转变已证明,而且这一趋势也已经被Oculus所验证。当然,PC VR也有它不可替代的用途。
纵观最近半年迭代的VR一体机新品,不难发现它们大多采用骁龙XR2平台,在视觉体验、交互方式等方面都有进一步的提升,下面我们展开来讲。
Pico Neo 3、HTC Vive Focus 3两款新品有着共同的升级点,那就是:全面采用双6DoF光学定位追踪、大幅升级视觉体验,达到双眼4K甚至5K级别,刷新率更高,这些特性放在PC VR中已习以为常,甚至一直都是高端PC VR的卖点,而现在得益于更强悍的骁龙XR2做支撑,让移动VR平台也能获得相同的体验。
回想几年前,VR一体机更多还被认为只能满足观影需求,而现在我们已经可以在VR一体机上玩到PC VR平台中顶级的VR大作,交互和视觉体验也足够接近。而这背后,和高通骁龙XR2平台息息相关。
视觉提升是VR最核心的驱动力,以Vive Focus 3为例,其采用单目2448 x 2448分辨率屏幕,双目近5K级别,刷新率达90Hz,显示能力和高端PC VR相媲美。作为对比,上代产品Focus Plus单目分辨率仅1660 x 1440,刷新率仅75Hz,提升足够明显。可见XR2能够在驱动高分辨率同时有效提升画面流畅性,大幅提升VR的视觉观感。
骁龙XR2的图形能力还不止于此,据青亭网了解,XR2最大显示输出为单目2880×2880分辨率/90Hz刷新率,或2560×2560分辨率/120Hz刷新率,这足以支撑目前高端VR一体机的设计需求。XR2还支持眼球追踪的视觉对焦渲染技术,这一点在企业级的Pico Neo 3 Pro Eye、Vive Focus 3(支持后装眼球追踪模块)上均有所体现。
影音能力方面,XR2平台支持8K@60fps全景视频播放,也支持HDR10和HDR10+,同时还是首个支持低时延摄像头透视(camera pass-through)的芯片。与骁龙835 移动平台相比,XR2的CPU和GPU性能提升2倍、视频带宽提升4倍、最大分辨率提高6倍、AI性能提升11倍,这些都是XR2平台的VR和AR设备能够带来优秀体验的基础。
近期高通技术公司副总裁兼XR业务总经理司宏国在HTC Vive虚拟生态大会上表示:“骁龙XR2平台充分发挥了异构计算架构的优势,包括GPU、摄像头和显示,还新增了关键的AI和机器学习能力,助力开发者打造下一代应用,为终端用户带来引人入胜的沉浸式体验。骁龙XR2强劲的图形处理能力正是Focus 3的5K显示屏如此出色的原因之一。”
不仅仅是显示视觉的提升,在VR头显的外部视觉上也尤为重要,最关键的技术在于光学定位追踪技术。尤其是Oculus Quest 2这类头显和手柄均采用光学定位的方案,它们对环境识别及其它视觉信息处理能力要求更为苛刻,因为光学追踪要保证能实现稳定的、实时交互的6DoF追踪能力。不可否认的是,Oculus Quest开启了VR一体机双6DoF光学追踪的大门,它让我们看到在移动VR平台也能做到足够优秀的定位追踪体验。
最新的Pico Neo 3、HTC Vive Focus 3同样采用双6DoF光学追踪方案,以Pico Neo 3为例,其采用自研Inside-Out定位技术,头显端采用四颗摄像头同时来完成头显和双手柄的6DoF追踪。
Pico Neo 3
这得益于骁龙XR2强大的视觉处理能力,因为这一过程需要实时处理大量视觉数据进行标注和匹配等,还要保证低延迟,这并非易事。据青亭网了解,骁龙XR2是首个支持7路并行摄像头数据的专用XR平台,有了这7路数据即可高度精确地实时追踪用户的头部、嘴唇和眼球,并且支持26点手部骨骼追踪。
XR2平台另一个特性就是拥有计算机视觉专用处理器,让AI能力得以大幅提升,好处就是可以提供高效的场景理解和3D重建,帮助设备更快、更好的完成本地任务,例如VR头显中SLAM定位、3D建模、手柄追踪、物体识别、语音识别或翻译等等场景。另外在语音助理、手势识别等方面AI也将发挥重要作用。
骁龙XR2 5G平台
实现稳定、低延迟的6DoF追踪和SLAM能力是计算机视觉芯片的重要用途之一。例如在头显恢复安全区时,每降低0.1秒都可提升产品体验。因此,AI的加持可以让VR体验变得更友好。对用户而言,这些也都是关键性的指标,像Quest 2一样已经可以做到接近Rift S这类PC VR般的定位追踪效果。
移动VR设备之所以也能获得如此优秀的体验,这和高通在XR领域持续的投入密不可分。司宏国表示:“过去10年高通在XR领域的相关技术进行长期大量的投入,针对XR的早期研究可以追溯到2009年,并持续投入多项新技术研发。”
青亭网获知,高通在移动XR业务上的战略可归纳为4大块:
专用的XR系列平台。目前,已推出骁龙XR1和XR2两款专用XR平台;
专用软件、算法、架构等。例如6DoF、3D重建、景深、多视图、ATW等算法;
商用参考设计。现在已经推出多个迭代,最新为XR1 AR智能眼镜参考设计;
XR生态系统合作,例如面向XR行业企业的XR企业计划,高通XR眼镜适配计划等。
前面我们讲到了XR2平台芯片和算法支持相关,这两块是密切相关的。同样重要的还有参考设计,以及各类的生态系统支持项目。
高通XR生态系统
高通面向硬件厂商推出的首款骁龙VR820虚拟现实参考平台要追溯到2016年,之后陆续又推出835移动VR参考设计、845移动VR参考设计、XR2 5G参考设计、XR1 AR智能眼镜参考设计,整体布局十分完善。国内VR一体机市场在VR发展初期能够快速推出新品,很大部分要归功于高通VR参考设计的支持,这对推动国内VR产业发展起到了至关重要的作用。
在近期发布的XR2 5G参考设计中,除了上述新特性外,明显的变化是具备5G网络加入,从而可以实现端到端无界XR。简单来说就是通过5G网络,进行多址边缘计算(MEC),或通过60-GHz无线连接至附近的PC,让移动VR终端在轻量化运行的条件下实现更强劲的图形显示效果。
应用层面,相信很多人都注意到最近几年VR和AR技术在各个垂直行业的应用开始加深,在XR医疗、XR教育、XR培训等场景不乏一些知名企业应用案例。与此同时,为了加速推动VR和AR业务在各个垂直行业的应用,高通还成立了“Qualcomm XR企业计划”,从而向各个成员企业提供资源对接、业务拓展和联合营销等机会。
对VR厂商而言,玩家们想要的不仅仅是一台体验优秀的VR硬件,同样重要的还有内容。因此在消费级应用场景中,游戏和应用是不可或缺的组成部分。
显而易见的是,国内仍然缺乏优质VR和AR内容,生态仍未健全。仅仅是靠单个VR厂商依然难以解决生态问题,高通作为上游方案商同样意识到这一现状。为此,高通一直致力于为开发者提供支持,并联合各大生态合作伙伴共同推出“Qualcomm XR创新应用挑战赛”,目的就是通过整合各方资源,鼓励开发者创作积极性,创造出更丰富、更高质量的VR和AR内容。
“Qualcomm XR创新应用挑战赛”已进入第三个年头,今年的大赛将为开发者提供8款基于高通XR平台的商用终端用于开发,总奖励价值超过60万余元,较去年翻倍。大赛不仅奖励丰厚,还提供宣传推广,技术培训,资本资源对接等服务,让开发者专注开发,帮助他们解决宣发等难题。
最后谈一下最近2年关注度比较高的话题:VR虚拟会议、虚拟社交。“VR社交平台RecRoom市值已超10亿美元,虚拟会议应用Spatial在各个平台也大获成功”,司宏国在HTC Vive虚拟生态大会中提到:“就像游戏一样,支持社交XR应用往往也非常受玩家欢迎。XR社交值得开发者们更多去投入,因为其中蕴含着巨大机遇。作为XR行业从业者,这一机遇让我十分激动,因为移动计算的未来正由移动终端向XR设备转变,对开发者们来说现在正是将优质、易用的应用带入到XR最好的时机。”