虚拟现实技术之管窥

周末收到了从Amazon购买的Google CardBoard

迄今为止,市面上绝大多数头戴式虚拟现实显示设备都基于此概念原型,其中包括三星新近发售的价值99美金的Gear VR,尽管十分抢眼——以至于国内某创业板公司靠此博得过千的市盈率,但它所扮演的不过是虚拟现实系统中最微不足道的角色:即提供两个目镜,将显示屏上的图像调整至观看者的视野范围,而至关重要的交互和渲染,实际上都是在智能手机中来实现的。

尝试了两个应用,其一是天空新闻之移民危机,其二是Paul McCartney现场音乐会,二者算得上是除虚拟现实游戏之外最典型的应用场景。

前者摄于土耳其某海滩,色调明亮,场景辽阔,能够真实地感受到身旁做报道的记者和来往的难民,但是对于移动的人物,如果想看得更清楚一些,眼睛明显能感觉出调整焦距带来的疲惫,这种不适也会体现在目光从近距物体移至远方的时候。此外,视野移动的时候,边缘场景会出现明显的模糊化。后者摄制于一个音乐会的舞台,人物的位置比较固定,因此不会因焦点不断调整而易于感到疲惫,周围欢呼的观众和舞台绽放的烟火能给人以极佳的浸入感,偏暗的光线和较低清晰度影响了真实感。

但不管怎么说,十分钟基本上是观看的极限,引起的疲惫感在观看结束后仍可持续数十分钟之久。

天空新闻的内容制作据推测是GoPro提供的支持,此前该公司收购了法国一家名为Kolor Eyes的初创公司。Kolor Eyes所掌握的核心技术是视频拼接——全景图像制作所需的一个关键步骤,虽然这早已算不上是什么技术难题,静态图像的拼接早在Google街景出现的时候已经达到成熟,相关的算法也可以从开源的OpenCV中找到,但Kolor Eyes在细节方面做了不少改进,并提供了商用级的端到端软件,俨然走在产业的前沿。蹊跷的是,另一家专研于视频拼接的初创公司同样出自法国,名为VideoStitch,专注于制作实时全景视频。

视频拼接的输入乃是多个不同角度摄制的视频文件,虽然技术上对摄像机没有特殊要求,但GoPro的Hero系列是一个比较流行的选项。

使用GoPro Heros拍摄全景视频的设备是这样的:

GoPro

经过拼接的视频可以采用任何一种流行的视频编码格式进行压缩,直观看上去就是一个普通的视频文件,但使用普通的播放软件进行播放的话看上去会有些怪,因为它们没有针对特定的视角做相应的渲染。

没有基于视角进行渲染的图像看上去是这样的:

360 image

视角的确定需要传感器的支持,即一个由加速度传感器和陀螺仪组成的惯性测量单元(IMU),它可以对佩戴者进行头部追踪,准确地捕捉佩戴者当前的头部角度。这些器件都囊括在新一代的智能手机中,有现成的软件支持,因此,智能手机在虚拟现实技术起步阶段扮演了一个关键的角色,参与者的技术门槛以及用户的经济门槛一下子被降低了。

由于渲染的实现可以借助于OpenGL,使用Javascript即可构建一个简单的Web播放器来播放全景视频。

显然,整个技术链条不存在任何障碍,只是各个部件还处于一个简单的拼接阶段,尚未达到充分的融合。试想,假如视频的拼接、压缩和渲染能够实现某种有机的集成,不仅可以降低目前分辨率高达4K的全景视频的带宽,亦可带来更为完美的终端体验。此外,为了制造逼真的立体感,必须提供给左右两眼存在视差的两幅图像,目前,这一视差通常通过算法在后期产生,窃以为也是影响观感的一个负面因素。

这里绕过了虚拟现实最主要的应用——游戏,因为同新闻和电影相比,该场景存在着一个至关重要的需求——主体任意移动过程中的浸入体验,其复杂度更上一层。

总之,从技术的角度来看,虚拟现实产业已经不存在任何门槛,差的就是一个精琢细磨的过程。功利者争相而至,却未必满载而归。

VR资源汇总