当前位置: 新豪天地登录网址 > 产品评测 > 正文

优化透视和ASW功能,低配PC也能感受90帧

时间:2019-08-17 13:50来源:产品评测
Oculus正致力于为消费者增强现实与消费者虚拟现实铺平道路,并且定义所需的组件,从而帮助开发者和用户在VR中获得最为愉快,最为身临其境的体验。今天Oculus介绍了最近发布的技术

Oculus正致力于为消费者增强现实与消费者虚拟现实铺平道路,并且定义所需的组件,从而帮助开发者和用户在VR中获得最为愉快,最为身临其境的体验。今天Oculus介绍了最近发布的技术:基于英伟达图灵Optical Flow SDK的Passthrough 。

Oculus在今年GDC上首次发布Rift S的时候,曾介绍了一个全新的透视功能:Passthrough ,这项功能的特点是,结合了ASW技术、Rift S优化的摄像头阵列,以及低延迟等特性,据体验者称,它可提供市面上C端头显中最好的透视效果。

澳门新天地3559网址 1

  在之前推出异步时间扭曲技术(Asynchronous Timewarp,ATW)以帮助低端电脑获得良好的VR体验之后,近日Oculus进一步推出了异步空间扭曲技术(Asynchronous Spacewarp,ASW)。使用这项技术,电脑可以只渲染45Hz的画面刷新率,而玩家最终能体验和本地90Hz画面差不多的感受。

  1. Passthrough

澳门新天地3559网址 2

Rift S上的跟踪摄像头带有直通视频功能,Oculus称之为“Passthrough ”(“ ”表示其低延迟,立体声校正,宽视野)。该功能很快将得到增强,以充分运用NVIDIA最新GPU中的新功能,Oculus的运动平滑技术Asynchronous Spacewarp也将同样得到升级。

澳门新天地3559网址 3

澳门新天地3559网址,Passthrough 是Oculus Rift S中的一项全新功能,它能够以正确的立体透视模式在虚拟世界提供前置摄像头视图。传统的VR透视视图质量有限,这是因为摄像头往往不是位于玩家的眼前。这是技术方面的限制,而且将摄像头设置于用户眼前是不切实际的方案。但我们可以接近这一点。Passthrough 是投影摄像头视图的最先进方法,令画面看起来就像是摄像头成为了用户的双眼。这项功能可以减少深度差异并提高舒适度。尽管摄像头的帧速率较低,但画面感觉自然,而且帧率正常。这因为在比较从不同视角同时拍摄的两个帧时,Oculus的系统可以恢复视差信息。借助基于像素测量所获取的差异信息,再结合摄像头位置,Oculus可以从图像中推断出实际的距离值。通过利用异步空间扭曲技术,Passthrough 可以实时地进行差异估计。

今天,Oculus在开发者博客中宣布,Passthrough 将支持NVIDIA Turing GPU的Optical Flow SDK,同时ASW功能也将得到优化,想要享受优化功能的Rift S用户,你将需要购买基于NVIDIA图灵GPU的电脑,并在6月份将推出的Oculus runtime 1.38中下载NVIDIA驱动器。

虽然Quest也具有直通视频功能,但由于其延迟和缺乏立体深度,Quest没有搭载“Passthrough

  那么这项技术是如何得以实现的呢?我们先从ATW技术说起吧。

澳门新天地3559网址 4

Passthrough

  • ”功能。然而,在Rift S上则支持运用PC的强大功能来计算解决用户周围场景深度,然后相应地重新投影视图以提供立体深度,这使得Rift S上的视图看起来更自然。

  一种生成中间帧的技术

  1. 异步空间扭曲2.0

澳门新天地3559网址 5

Oculus开发者博客对此解释说,Passthrough 是Oculus最初为异步空间扭曲构建的技术,即使帧速率不稳定,也能保持头显内的运动平滑。ASW则是通过比较先前帧的运动来预计下一帧的运动方向。对于Passthrough ,类似的技术用于比较来自Rift S相机的同时帧以理解每帧中物体之间的距离,然后推断场景的深度。

  简单来说,ATW是一种生成中间帧的技术。当游戏画面无法保持足够的帧率时,它能产生中间帧进行弥补,从而维持较高的画面刷新率。这项技术的提出者John Carmack目前是Oculus的CTO。

Oculus最近发布了异步空间扭曲2.0。自2016年发布1.0版本以来,它已然成为VR二次投影的行业标准。ASW能够降低用户设备的性能要求和开发者的优化要求。它可以通过光流来推断场景内的运动,并实现进一步的外推。

据Oculus介绍,上一代Passthrough功能的缺点在于,头显的前置摄像头并不靠近用户的眼睛,而将摄像头放在用户眼前的地方在技术上难以达成。于是,他们欲通过Passthrough 技术来模拟人眼注视点方向,进而降低深度差异、提升舒适度。

Oculus推出了ASW 2.0,以减少延迟,提高性能,该方法类似于大多数视频编码技术所使用的方法。ASW和Passthrough 使用NVIDIA和AMD GPU上的视频编码器“异步”完成这项工作。

澳门新天地3559网址 6

这意味着应用程序不再受限于VR显示屏的帧率,系统可以开始合成中间帧并予以补充。下面是《Lucky’s Tale》的示例,其中场景应用了运动矢量。

尽管Rift S前置摄像头的刷新率可能并不够高,但是观感足够自然和清晰,原理是,通过对比两颗前置摄像头同时捕捉到的画面,便可还原视觉差异的信息,从图像中推断出环境的深度信息。而Passthrough 功能则能实现实时的预测,并优化ASW功能。

Passthrough 和ASW的升级正在进行中,并将运用NVIDIA RTX的功能,该GPU支持NVIDIA的新光流技术。

  Oculus在博客里对ATW做了详细的解释。如上图所示,GPU给左右眼的画面分别进行渲染,然后在画面显示出来之前插入一个ATW的处理过程。在左边这帧的处理中,画面渲染及时完成,此时直接显示就行了;中间的第二帧渲染未能及时完成,此时如果什么都不做就会出现画面抖动,而有了ATW线程的话,它会将前面一帧调用出来,结合头部运动变化预测新的帧,再显示出来,从而保持帧率。这里面预测头部运动的变化非常重要。但ATW只预测3自由度旋转的的运动,平移没有被包括进来。

澳门新天地3559网址 7

Optical Flow SDK

NVIDIA光流技术可以使宏块分辨率提高四倍,提高运动矢量分辨率,通过强度变化实现跟随物体,并强调合理的光流比压缩比。通过ASW,近场物体可以更可靠地跟踪,增加的精度意味着可以更准确地跟踪单个颗粒和物体的运动。

  ATW的主要作用是减少画面抖动,提高效率,同时保持低延迟。

光流这种计算机视觉技术主要用于识别帧到帧的变化。这可以是电影,其中系统追踪运动以跟随对象或整个场景。这同时可以是通过不同摄像头拍摄的两张图像。在更基本的层面上,这种图块匹配和追踪是现代视频编码的核心组件。你可以将光流类比成视频编码中的基于图块匹配的运动估计,但两者的目标不尽相同。在视频编码中,图块匹配的目标不是在场景中寻找运动(尽管这是一个有趣的意外结果)。对于视频编码,其目标是定位类似的图案,并利用相关性进行压缩。换句话说,视频编码器将寻找能够为最精简的数据流产生最佳输出的最佳结果。尽管这通常是场景的流动,但没有任何任何保证,或者说原本就不是为了这个目标。光流涉及在场景中寻找对象的更自然运动。对于压缩,它将是非常次优的目标,只要对象本身能够整体移动,并且可以路径追踪它们的真实世界运动即可。

澳门新天地3559网址 8

同样,图灵GPU上的Passthrough 将利用光流升级来改善视图的深度和稳定性。对于Passthrough ,这意味着增加投影世界的立体分辨率,同时正确跟踪对象。

  ASW:ATW的进阶版

到目前为止,利用视频编码器一直是ASW的基础。将视频编码器用于ASW的主要优点是,它与GPU的图形渲染并行运行。这意味着当系统尝试生成合成帧时,渲染性能落后的应用程序不会受到负面影响。相反,应用程序可以拥有以前的所有资源,以及预测运动的能力。但主要缺点是合成帧中的预测不完全准确。

ASW 2.0需要利用光流技术来推断场景中的自然动作,以此来实现平滑插帧等渲染优化。结合NVIDIA Optical Flow SDK,VR视频的宏模块分辨率变成四倍,同时运动矢量分辨率。

Oculus表示,该增强功能将于6月推出,并与运行最新驱动程序的图灵GPU兼容。

澳门新天地3559网址 9

  1. 光流

此外,与用于视频编码的传统运动矢量相比,NVIDIA的光流技术可将重点误差平均降低一半。结合ASW,近处的物体追踪会更加可靠,炫光、晃动出现的次数也有所降低,物体动作的追踪也更加准确。

  从名字就可以看出ASW和ATW是类似的技术,根据Oculus官方的解释,ASW是根据之前的画面帧预测出新的画面帧。听起来和ATW差不多,不过ATW预测的只有一个东西:用户头部的转动。在之前没有房间级追踪和Oculus Touch的情况下,这基本就够用了。

英伟达为估算场景中的光流开发了一种更快、更精确的SDK。这家公司于今年早些时候发布了他们的Optical Flow SDK,并用于取代NVENC视频编码器原来单纯的运动估算模式。英伟达的Optical Flow SDK可用于图灵显卡,能够将宏块分辨率提高四倍,优化运动矢量分辨率,并且通过强度变化实现对象跟随,同时强调光流而非压缩比。

通过视差判断深度

  ASW可以和ATW一起将VR体验里所有视觉运动都覆盖。包括角色运动,摄像头运动,Touch控制器的运动,以及用户自身的位置运动。这样当渲染速度跟不上时,用户体验到的画面还可以保持流畅。

澳门新天地3559网址 10

Passthrough 功能可提高Rift S透视的分辨率,在低对比度或者过度曝光的区域,NVIDIA的光流技术可推断出视差值,从而推断出场景的深度。

  举个例子,看下面这个动图,这个画面显示的是,从第0帧到第1帧,手拿一把枪从从右向左移。ASW线程会从这个运动中产生一个新的预测帧(第1帧之后的1/90秒)。ASW线程会检测枪的运动并生成一个新帧,代替程序显示在屏幕上。

结果是终点误差比传统的视频编码运动矢量平均少一半。定性结果同样令人印象深刻。通过ASW,系统可以更可靠地追踪近场对象。手电筒幻觉的出现频率更低,而增加的精度意味着可以更准确地追踪单个颗粒和对象的运动。

澳门新天地3559网址 11

  1. 基于差异的深度信息

  在VR中,ATW和ASW是相辅相成的。Timewarp适合头部转动,实际上,对于长距离观看的静态图像它是完美的。类似全景视频这类应用,ASW没必要用到。相反地,Spacewarp应对近处的动画物体非常棒,但对于追踪头部运动则不大行。

对于Passthrough ,这意味着可以增加投影世界的立体分辨率,同时能够正确追踪和跟随对象。当面对低对比度或过度曝光的区域时,英伟达的Optical Flow仍然可以推断出有意义的视差值,在估计场景深度时防止视图漏洞或丢失数据。以下这个视频对比了视频编码器的运动矢量和英伟达的Optical Flow。插入的窗口是场景中的估计深度,较暗的区域是更后面的位置。你可以在深度缓冲区中看到Optical Flow的优势,其中深度近似值要更加精确。

  之前有了ATW时,用户转头画面可以保持流畅,现在有了ASW,VR里物体的运动也可以很流畅了。

  1. 即将推出

  ASW也不完美

尽管ASW和Passthrough 可以支持现有的最低规格和推荐规格硬件,但图灵硬件可以通过Optical Flow SDK提供最佳的运动估算。作为用户,你可以为Oculus运行时提供图灵硬件和最新的英伟达驱动程序之外。包含所述集成的Oculus运行时将于2019年6月的1.38版本中与大家见面。

  和ATW一样,ASW是自动适配所有应用的,不需要开发者做什么事。但这项技术也不是完美的。

  1. 未来的工作

  在低于屏幕刷新率一半的情况下,ASW效果不是很好。另外,取决于显示的画面,由于不完美的帧预测,可能会出现视觉假象。典型的例子如下:

Oculus表示,这并非ASW和光流研究工作的结束。如上所述,光流不仅只可以追踪运动,同时能够说明场景的空间组成。我们可以利用光流获取大量的信息,而传统的视频编码器方法能够出色地做到所述的任何一点。Optical Flow SDK带来了大量的机遇和研究方向,而Oculus将继续进一步的探索挖掘。

  1、快速的亮度变化。闪电、摆灯、淡入淡出、闪光灯,以及其它快速的亮度变化很难为ASW进行追踪。ASW试图识别区块时,这部分画面可能会出现晃动。另外,部分半透明动画场景也可能出现类似效果。

  2、物体去遮挡拖尾。“去遮挡”是个图像术语,意思是物体移开对某个区域的遮挡。当物体移动时,ASW需要有画面去填补它不再遮挡的那个区域。而ASW并不知道给这个区域填补什么,此时后面的画面就会拉长来进行填补,形成拖尾。由于45 FPS时物体移动的距离通常是很小的,这个拖尾一般看不出来。

  3、重复图样的高速运动。例如在铁栏门前跑动并看着它。由于物体的一部分看起来和其它部分类似,就很难判断向哪边移动了。对ASW来说,这种错误预测极少出现,但偶尔仍会发生。

  4、头部锁定的元素运动太快而无法追踪。一些应用会使用头部锁定(意即相对你的头不运动)的元素,比如驾驶舱,HUD或是菜单。如果应用试图自己处理这样的元素而没有应用Oculus SDK提供的锁定层,那么当背景相对锁定元素运动得太快,就可能会出现抖动。ASW可以进行一些弥补,但有时用户头部运动太快,导致无法很好地追踪,结果是画面不流畅。如果用Oculus SDK提供的锁定层则可以带来理想的效果。

  Oculus提醒开发者不一定要规避这些场景,但需要注意它们的出现。ASW在绝大多数场景下都可以对不足90 FPS的渲染进行弥补。ASW对抖动会有很大的改善,并且和完全本地渲染的画面相比几乎看不出区别。

编辑:产品评测 本文来源:优化透视和ASW功能,低配PC也能感受90帧

关键词: