VR视频为什么会虚化和模糊?听听Pixvana团队是怎么说的

2016-04-16 22:30:20     作者:hgz2hjp      来源:转载

标签: VR 虚拟现实

VR视频是虚拟现实的一种内容呈现形态,当下许多VR视频在我们通过VR头显观看的时候或多或少并没有让我们感到非常真实。为什么拍摄质量显得十分重要?

拍摄高质量VR视频所面临的挑战

VR视频是虚拟现实的一种内容呈现形态,当下许多VR视频在我们通过VR头显观看的时候或多或少并没有让我们感到非常真实。为什么拍摄质量显得十分重要?因为视频质量的好坏影响着观看者的“空间沉浸感”。我们可以看到现在很多VR视频都面临着实现沉浸感的困境,低质量破坏了观看者所获得的身临其境的感受。

真正的沉浸感来自叙事与空间沉浸的完美结合。当观看者对故事投入了情感的时候,也是“叙事式浸入感”产生的时候。想象一下你正在读一本小说,或看一部你非常喜欢的电影。当你完全被故事所吸引时,你会忘记时间的流逝。空间沉浸感的发生也是类似的效果,当观看者对虚拟现实的环境有带入感的时候,也就是空间沉浸感发挥作用的时候。当被周遭的环境和声音所笼罩,被引人入胜的故事所吸引,观看者很容易受到触动。对于VR拍摄者而言,如果能将叙事和沉浸感完美结合,那么必然会给观看者带来真正的虚拟现实体验。

“叙事浸入感”的打造没有捷径。但我们可以通过定义如何拍摄好的视频来“欺骗”你的感知系统,来创造出空间沉浸感。

许多打着VR标签的内容离真正的虚拟现实还有很大的差距。一些提供VR视频播放的服务诸如Youtube 360和Facebook 360可以让用户通过标准的视频播放器来获得360度视频内容观看体验。360度视频一般通过网页播放器或Google Cardboard来观看。拿着手机放在眼前几分钟可能不算什么,但谁愿意这样一直举着来看一部2小时长的电影?头戴式VR头盔的出现解决了这个问题。

像Gear VR这样的移动VR头盔有动作传感器,反馈较快,能够提供一定的沉浸体验。2016年VR市场上也将会有更多类似的产品面世。桌面级VR设备像HTC Vive和Oculus Rift使用PC的GPU来提供3D画面呈现,并提供更全面的动作感应捕捉。无论是Gear VR还是Oculus Rift、HTC Vive,它们尽管具有较高的分辨率,但他们在播放视频时,质量并不能使人满意。

所以,即使一个VR头显有较好的硬件支持,低视频质量仍然不利于沉浸感的表现。关键在于将画面传输到设备的时机是否正确。这里我们通过现在最广泛使用的Gear VR,从技术层面上来看看要想获得高质量VR视频体验所面临的挑战。

VR视频内容的挑战

由于大部分VR头盔都提供了高分辨率显示,因此短板来自于视频内容本身的低分辨率。

问题之一:文件大小。Gear VR上大多数视频体验通过VRSE下载,这些文件通常都很大,有些超过1GB容量,因此在设备上加载过慢,这是最先影响体验的因素。

问题之二:视频质量。这是最大的问题所在。即便是用专业手段制作出来的VR视频通常还是会出现虚化效果。在观看的时候给人一种回到90年代的感觉,那时候电脑只能显示标准格式的视频。

毫无疑问视频拍摄过程中需要尽可能地捕捉高画质。但是在头显中显示却达不到理想状态,为什么?原因就在于分辨率。

分辨率

Gear VR可以支持超清回放。也就是说超清视频画面尺寸达到了3840x1920像素。视频回放在30帧速(分辨率越高,帧速越低),显然Galaxy S6手机很适合播放4K视频。但是实际并非如此。

为什么更好地理解这个原因,我们需要解答关于分辨率2个不同的问题。我们在Galaxy屏幕上看到的显示画面分辨率是多少?我们姑且称之为屏幕分辨率。第二个问题是,我们通过头显看到的分辨率达到了多少?我们称之为FOV分辨率。

屏幕分辨率在Galaxy S6上达到了2560x1440像素。所以单眼可以获得1280x1440像素。

注:Gear VR目镜稍微降低了画质,实际分辨率显示应该是1280x1280像素。尽管差别很细微,但并不是确切的“Full HD”了。如果每英尺多余500像素,这会让图片看上去十分锐化。

让我们再回过来说说FOV分辨率。我们已经知道了超清视频每一帧有3840x1920像素,但它必须完全体现在垂直360度,水平180度的空间里。在Gear VR中,FOV是96度——差不多是360度的1/4。当我们看画面的时候,我们只看到画面的一角。当我们转动头部的时候,视频的可视区域也会进行更新。下图显示的就是实际的FOV区域。

简单计算一下,每一度可见像素是10.6667像素(1920像素/180度得出),相乘可以得出FOV分辨率是1024像素(10.667x96)。

因此,我们通过头显所看到的画质是1024x1024像素,但目镜尺寸显示分辨率是1280x1290像素。差异就出现在这里,这也是我们得出为什么画面会显得虚化的原因之一。实际显示画面与视频画面本身在经过头显显示处理后造成了一定程度的缩减,大概有20%的比例。但这还不是最主要的原因。立体效果才是罪魁祸首。

为了增加沉浸感,立体效果的加入会很有帮助,这样单眼可以看到物体错落有致,可以达到让你的大脑相信你处于一个景深的环境中。在Gear VR中,立体显示可以增加真实度。画面中的立体效果可以营造更真实的空间感。一些3D VR游戏为了增加真实感同样也大量运用到立体效果。

理想情况下,单眼应该获得全分辨率360视野。这将要求我们在同一维度上有双倍分辨率显示。

如果通常超清视频分辨率是3840x1920,那将要求框架达到3830x3840,这对硬件来说比较吃力。取而代之,我们需要将它限制在3840x1920框架中,于是单眼可以看到3840x960像素,这样两眼所见进行合并可以得到水平方向的球状视野,但必须在纵轴方向进行铺展来呈现完整视觉。如下图所示:

将两个画面“打包”在同一个框架内所导致的结果就是——单眼所见分辨率会小得多。缩减20%也许不是很多,但是缩减150%(垂直方向把512像素拉伸到1280像素)带来的后果是分辨率的大量缩水。因此无论格式如何进行取舍(垂直或者水平),都会损失一半的分辨率。

视频播放时画面虚化

当我们在看视频时,这种状况(画面虚化,像素丢失)严重的多。Youtube 360和其它一些平台提供的视频分辨率都低于4K,因为很少有观看者的带宽能够满足超清播放需求。又因为视频存放在互联网服务器上,不在本地的设备上,服务本身也会降低分辨率以维持流畅的播放体验。这就是为什么播放立体VR视频会显得十分虚化。

对目前大多数屏幕(例如Galaxy S6,以及Oculus Rift)而言,FOV分辨率大于显示分辨率的话会好很多。对稍大的图像进行缩减会让画面看上去很流畅,并且也可以减少锯齿和噪音。

因此,FOV达到1536x1536分辨率会是一个很好的解决办法。这样的话FOV分辨率会比显示分辨率大17%,并在我们的测试中达到了较好的改进体验。如果我们希望在96度的场视角中覆盖1536像素,我们需要每帧分辨率达到16像素/每度。相乘可以得到360x180度,这样分辨率就会达到5760x2880。

至于立体效果。记住一点,理想情况下单眼能够达到完整分辨率画面显示(可行的办法是左右分屏组合在一起)。因此粗略计算一下,这意味着视频原始尺寸将达到5760x5760像素高。这要求每帧3300万像素。即便是下一代千兆带宽,想要播放这样体量的视频简直是无法想象的。

Pixvana系统

在Pixvana,我们认为有更好的办法来解决分辨率和播放问题。播放接近于HD分辨率的视频,并让观看者体验到理想的VR视频是可能的。Facebook已经在它自己的平台上正在做这样的尝试。

我们正在研究用高分辨率覆盖FOV的可行办法。其中之一是用更好分辨率的图像来覆盖现有的FOV,并为头部动作增加额外的间距。随着观看者头部转动在多个流中切换可以生成完美的FOV覆盖,这已经在Gear VR、HTC Vive和Oculus Rift上得以实现。另一个办法是基于内容尝试用多种办法来打包和解码。

Pixvana正在创建一个开放系统,可以让内容创作者做出漂亮的高分辨率VR视频。这个系统可以根据头显位置的变化,带宽的变化进行自适应,并保证观看者能够始终如一获得正确的画质显示。Pixvana可以在多个平台运行,无论是移动端还是PC。借助于Pixvana,在未来我们在Gear VR上播放视频所得到的效果会比现在好很多,VR视频最终会带来我们所希望的沉浸效果。


返回沙发首页  
沙发管家微信
扫描关注沙发管家微信 QQ群: 沙发网官方群 微博:

资讯评论

亲,你需要登录后才能进行评论喔!

还没有评论,快来抢沙发吧!

提示

相关文章推荐

热门设备安装方法 查看更多>>

最新设备

智能电视 / 盒子评测

安装指南

应用

热门专题