VR视听新技术展望
作者:侯明 姚国强  来源:中国艺术报

  自西班牙古岩洞中发现了史前古人类刀耕火种的活动壁画以来,再现真实社会场景的视听艺术梦想就伴随着人类文明发展,在历史长河中不断创新和完善。能够随时体会像梦一样的动态图像,记录真实社会场景的画面和声音,能够将脑中打开的想象空间与现实世界投影的画面与声音还原并连接在一起,也是无数发明家、科学家和艺术家孜孜以求的终极人生目标。

    活动影像高科技发展历程

  1935年,在斯坦利·G·温鲍姆(Stan ? ley G. Weinbaum)所著的科幻小说《皮格马利翁的眼镜(Pygmalion's Spectacles) 》中,主人公简短地叙述了一种具有嗅觉、触觉和全息眼镜为基础的虚拟现实系统。

  第二次世界大战之后,电影和电视技术得到了快速发展。彩色、宽银幕、立体声技术、环幕电影相继在电影中得到了应用。1952年,史上第一部全景式电影《这是西尼拉玛》公映。全景电影是一种使用了3条35 mm胶片表现146度景物,使用6声道磁性声带的立体环绕声彩色宽银幕电影,其观影的目的不仅限于普通的视觉感受,还创新地再现了水平范围内的听觉感受。

  1955年,美国迪斯尼电影公司将环幕电影作为一种特种电影进行了开发和研制,采用了11台16毫米摄影及11台放映机的环幕电影系统。1966年,这套系统改成了由9台35毫米摄影及9台放映机组成的环幕电影系统,被称作西尔卡拉玛系统。

  1962年,莫顿·海利希(Morton Hei ? lig)制造出了一种被称为Sensorama的机械设备。它类似于爱迪生的活动电影放映机,通过三面显示屏来形成观影的空间感,从而实现了视觉、听觉、嗅觉和触觉等多种感官的虚拟现实体验。但是,它一次只能够供一人观看。

  1968年,伊凡·苏泽兰(Iva n Suther ? land)与学生鲍勃·斯普鲁(Bob Sproull)创造了第一个可以用于虚拟现实及增强现实的头戴式显示器系统。由于系统非常沉重需要挂在天花板上,所以该装置被称为“达摩克利斯之剑” 。

  伴随着20世纪70年代末的信息技术与计算机的兴起,虚拟现实技术迎来了高速发展的时期。1982年,游戏行业久负盛名的美国Atari公司成立了虚拟现实研究实验室。贾瑞恩·拉尼尔(Jaron Lanier)持续对虚拟现实的相关技术进行了研究和开发。1984年,他创办的VPL Research 公司在研究可视化编程语言和数据手套等虚拟现实设备方面取得了进展,他提出了“虚拟现实VR技术” ,使得“虚拟现实”成为当下广为人知的技术概念。

  2012年,奥库鲁斯公司(Oculus)生产的虚拟现实(Virtual Reality,简称VR)产品—— “Oculus Rift”眼镜,通过国外知名众筹网站Kick Starter募集到了160万美元的风投资金。

  2014年,奥库鲁斯公司被著名的美国社交网络平台——脸书公司( Facebook)以20亿美元的价格邀约收购。这次资本市场的收购行为预示着VR技术开始复苏。

  2015年,也就是所谓的VR “元年” ,全球资本市场开始大规模投入资金,抢占工业4 . 0与互联网+时代的新视听传媒市场份额,从发展的角度实现了VR技术的第三次爆发。

    信息技术推进下的影视艺术技术、电子游戏与VR技术的发展回溯

  当前,信息技术的高速发展大大地推进了影视艺术和技术的数字化发展进程。

  2009年,以电影《阿凡达》为标志的影视艺术技术数字化的3 D电影在全球获得了空前的票房。而伴随着电影产业的发展而发生变化的文化娱乐产业(包括电子网络游戏领域) ,也从20世纪70年代起的各种固定的游戏街机发展到了能够在智能移动客户端进行实时交互式的电子网络游戏。

  当下,利用智能移动客户端可以随时随地自主选择是看电影还是在互联网上玩游戏、通讯抑或是自助学习。因为,轻便灵活的智能移动客户端不仅带有客户端各类眼花缭乱的应用软件,还具备全球定位系统和位置感知陀螺仪。因此,智能移动客户端是当下实现虚拟现实体验更合适的工具之一。

  当下的虚拟现实技术是一种综合利用计算机系统图形技术和各种显示及控制设备接口、在计算机上生成多源的信息融合交互式三维动态视听虚拟及真实场景、结合空间感知的“即时定位与地图构建”技术(Simultaneous Local ? ization and Mapping,简称: SLAM) ,使得设备实时获取周围的环境信息,精确地将虚拟物体放在正确的位置,利用观者的实体行为数据提供观者沉浸于该仿真的虚拟环境中的一种新媒体视听新技术。

  1994年,苹果公司在其全球开发者大会中展示了Quick Time VR技术。它可以将照相器材拍摄的图片或者三维工具生成的图片构建起一个虚拟的真实场景和物体,在播放器中由观者选择观看。

  Quick Time VR具有沉浸交互自主特点,除了Quick Time VR技术之外还有计算机端的电子游戏,特别是第一人称视角的角色扮演游戏。顾名思义,就是以游戏参与者的主观视角来进行游玩。游戏参与者不需要像别的游戏一样操纵屏幕中的虚拟角色来进行,而是在虚拟空间环境中以“扮演角色”的身份身临其境地体验游戏带来的视听冲击,这就增强了游戏的主动性和真实感。在这种角色扮演游戏中,游戏参与者往往负责扮演角色在一个写实或虚构世界中活动,并在多个计算机设计的关卡地图中通关完成任务。 《使命召唤》就是一个第一人称射击游戏。游戏参考了大量的电影电视剧情节,而游戏参与者则扮演电影《兵临城下》的瓦西里,可以纵横在电影《最长的一天》和电视剧《兄弟连》的情节中奋勇杀敌。而在游戏《极品飞车》中,游戏参与者甚至可以选择自定义的赛车在各种虚拟现实的场景地图中一试身手。

  计算机端的电子游戏是实时交互的媒体,其制作方法不同于电影电视的拍摄剪辑,而需要利用计算机的编程语言来编写“游戏引擎” (Game Engine)和使用软件开发工具SDK (Software Develop ? ment Kit)来进行游戏项目的开发,加上美术与声音素材的参与,再利用计算机中央处理器和图形显示芯片才能投射到固定端的显示设备和听音设备上,带来视听的完美呈现。如在《使命召唤》中,游戏设计者采用了“战栗”的Quake引擎;而《极品飞车》则采用了“霜冻”的Frostbite引擎。当下,智能移动客户端的电子游戏也有大量采用Unity引擎和“虚幻”的Unreal引擎。一般来讲,电子游戏不同于电影的整体播放, “关卡模式”的电子游戏一般都要分为若干个章节,让游戏者在不同的虚拟场景中与各种角色或道具发生交互行为。因此,其游戏高度逼真的视听娱乐沉浸感就使得游戏参与者津津乐道,从而获得巨大的认同和成功。

  2014年, Unity公司作为第一个支持Oculus Rift眼镜的引擎,吸引了大批开发者投身虚拟现实VR项目的开发中,从而正式打响了这场VR之战。2015年, MWC 2015中的HTC公司与曾制作《半条命》 (Half-Life)等独创电子游戏的Valve公司联合开发的VR虚拟现实头盔产品HTC Vive亮相。

  到了2016年,对开发虚拟现实技术的Magic Leap公司的风险投资越演越烈。在完成了C轮的融资后, Magi c Leap公司的估值至少已达到了45亿美元,彻底导致了2016年虚拟现实VR产业的大爆发。

  2016年7月6日,由任天堂公司、Pokémon公司和谷歌Niantic Labs公司联合制作开发的增强现实宠物养成对战类、角色扮演类智能移动客户端游戏—— 《精灵宝可梦Go》虚拟游戏在美国、澳大利亚、新西兰首发开放下载。

  《精灵宝可梦Go》中的游戏参与者可以通过智能移动客户端在现实世界里发现精灵,进行捕捉和对战。游戏参与者作为精灵训练师抓到的精灵越多会变得越强大,从而有机会抓到更强大更稀有的精灵。 《精灵宝可梦Go》打破了以往游戏只能在设备所在场所游玩或者完全与游玩场所无关的设计,将大量虚拟宠物角色放到真实的地域中,在不同的地域设置道馆展开抓捕和战斗。将游戏参与者带到城市的各个角落,走出去而不是“宅”在家成为了这款VR游戏的主题。

  目前来看,世界范围内已开发或正在开发的虚拟现实概念、技术及其应用产品的公司如雨后春笋般层出不穷。因此,如何在虚拟现实这个大的技术概念范围内进行合理的分类,以及辨识VR的不同技术、 VR产品的层次及其发展模式就成为了研究者一项必不可少的工作。目前,有关VR的国际技术分类标准及其定义仍有待进一步的确定。相信有关VR的开发技术将会随着国际标准的正式公布而更加完善。

  VR技术概念分类简介

  VR技术分为虚拟现实(Virtual Re ? ality,简称: VR) 、增强现实(Augmented Reality,简称: AR)、混合现实(Mixed Reality,简称: MR) 、影像现实(Cinemat ? ic Reality,简称: CR)、 360度VR影视(360 Virtual Reality,简称:360 VR)等。如何区分增强现实AR和混合现实MR,简而言之,即, VR是所看到的一切都可以判断是假象; AR是能判断哪个是真的,哪个是假象; MR是已经无法判断哪个是真的,哪个是假象。

  现阶段,开发制作VR、 AR、 MR及CR的工具引擎主要有Unreal、 Unity、Cryengine、 TORQUE、 COCOS、 UNIGI ? NE等。目前正处在VR的开发发展

  期。所以,尽管是群雄割据但还没有统一的技术标准。基本上还是各说各的为多。所以,有条件还需要进一步地开发出通用的VR硬件装备加入到混合现实(MR)及影像现实(CR)的内容制作及播放环节中。同时进一步改造现有的传统影院,以适合发展中的各种形态和制式的虚拟现实还放体系。

  虚拟现实“元年”的时代展望

  一百年来,人类对感受视听媒体新方式的技术探求和对无限自由交互体验的憧憬在当下虚拟现实技术爆炸的条件下已得到了初步的成果。当今中国的文化建设也发展到了一个新的阶段,新媒体近两年来大规模的崛起带动了中国文化艺术市场进一步繁荣的新契机。2015年中国电影票房超过440亿元人民币,2016年的第一季度更是达到了145亿元人民币, 2月份的中国电影票房成为了世界第一名。因此,已焕然一新的新媒体今后必将成为“新常态”时期我国文化与经济发展的重要组成部分。

  通过研究互联网+时代背景下的虚拟现实视听新媒体技术的发展趋势及艺术发展创新模式,可以为不断深化推进国家“供给侧改革”及增进国家“软实力”注入源源不断的新活力。而虚拟现实内容创作所必要的摄影、录音、动作捕捉、视频音频剪辑、特效合成、游戏引擎开发等基本技术元素现在业已成熟。所以,结合电影、动画、电视、游戏的特长之后而演变出来的全新的,具备了实时、沉浸、交互、构想、自主、变化与艺术特征的虚拟现实视听新技术,我们可以用“数字蜃景”来描述这一个在“互联网+时代”背景下出现的新概念。因此,了解和掌握现阶段的虚拟现实发展概况,由此也可以发现和推想出如下一些未来发展中亟待解决的新问题。

  高效的“小型化”装备

  通过研究对比发现,前阶段的VR装备基本上可以满足虚拟现实、增强现实和360度VR影视的需要。利用计算机连接的VR头戴式眼镜和安装了VR App的智能移动客户端嵌入到头戴式装具,如VR BOX,可以基本完成第一人称角色扮演游戏的娱乐活动,也可以用来观看360度VR影视作品。但是,进入到混合现实和影像现实的需求程度,则受制于硬件装备的效能和尺寸、能耗的影响。特别是图形服务器、高耗能工作站级别的装备器材不能随身携带。因此, MR及CR层面的硬件开发仍需要经历一个打破科技瓶颈的技术开发过程,需要在硬件显卡及中央处理器的功耗效率上进行深度的改良完善。只有在此过程完成之后,才可能形成彻底的模糊真实世界与虚拟世界边界的自由自在的移动虚拟现实体验。

  快速的“恐怖谷”跨越

  由于目前虚拟现实设备受制于硬件装备效能的影响,在MR及CR层面上的虚拟人偶角色的开发将会遭遇“恐怖谷”问题。

  “恐怖谷”理论是日本机器人专家森政弘在1970年提出的关于人类对机器人和其他物体感觉的假设理论。森政弘认为,人偶玩具或机器人的仿真度越高人们越有好感,但当达到一个临界点时,这种好感度会突然降低,越像人越会产生反感而且会引起恐惧。因为整个机器人有着非常僵硬恐怖的感觉,观者面对机器人有如面对行尸走肉。所以心理恐惧感受会降至谷底。所以,称之为“恐怖谷” 。而当机器人的外表、动作和人类的相似度再继续上升的时候,人类对他们的情感反应又会变回正面,贴近人类与人类之间的移情作用。

  因此,开发者要继续提升硬件装备效能,以使得虚拟人偶角色能够快速地跨越“恐怖谷” ,达到逼真的人物形象感受,才能继续有效促进虚拟现实内容的丰富和发展。

    心动的“性价比”挑战

  2007年, i Phone智能手机的出现打破了智能移动客户端发展停滞不前的僵局,开启了智能移动客户端应用App的新天地,智能移动客户端变成了人人必备的重要工具。

  目前,利用计算机连接VR头戴式眼镜和安装了VR App的智能移动客户端嵌入到头戴式的VR BOX虚拟现实装备也正处在发展期,类似鱼龙混杂、群雄蜂起的中国历史“春秋时期” 。高性能的设备,如Hololens的价格约3000美元;而Magic Leap据估算成本大约在高性能图形工作站之上;即使是满足一般需要、能够观看360度VR影视内容和增强现实的智能移动客户端也大于3000元人民币。而资金雄厚、众望所归的Magic Leap仅计划在两年内推出普通客户版本的头戴式眼镜,完成从目前大于5000美元过渡到500美元的成本演化之路。

  因此,如何提高性能减低价格,又使得设备小巧玲珑、令人赏心悦目则是虚拟现实设备发展期所不得不面临的重大挑战。

    规避“魔域煞星”玩家

    《精灵宝可梦Go》游戏有效地打破了游戏参与者“宅”的属性,让参与者广泛游历于城市田野,使得游戏参与者独自的封闭空间变成了开放环境下的运动参与。

  由于专心致志地捕捉“精灵宝可梦”和对战有可能忽视真实环境出现的危险,这个游戏推出之后不久就引发了众人对于安全问题的议论。游戏者在各种情况下都有精灵捕捉的欲望,美国白宫也必不可免的成为了游戏的“道场” ,甚至美国国务院每日新闻简报都会成为记者的抓宝点。

  因此,如何避免虚拟现实中的某些内容突然成为热门的社会焦点,避免虚拟现实游戏的参与者在游戏中出现不受欢迎甚至有危害的状况、并成为公共场所的“魔域煞星” ,也是需要游戏开发者与使用者以及旁观者深入研究与讨论的问题。

  日升月落中孕育着日新月异,平凡之中隐藏着伟大的发展契机。

  当下的中国在虚拟现实发展模式所进行的研究是基于2015年政府工作报告中的重要主题—— “大众创业、万众创新”的基础上所进行的。我们认为,互联网+时代不仅是中国经济提质增效升级的“新引擎” ,而且新事物的诞生可以满足大众迫切的文化需求,同时还创造了新的文化形态,这将深刻改变中国的面貌。

  因此,伴随着VR “元年”的到来,在文化层面对于虚拟现实的发展及未来形态演进方面所进行的研究,不仅可使传统产业与互联网新兴产业进行深度的融合,而且还可以创造出新的发展生态来提升全社会的创新力和生产力。

  (作者侯明系北京邮电大学世纪学院艺术与传媒学院讲师。作者姚国强系北京电影学院教授、博士生导师。 )