光場(chǎng)VR研究處起步階段 我國(guó)有望搶占領(lǐng)先地位
點(diǎn)擊:795
A+ A-
所屬頻道:新聞中心
虛擬現(xiàn)實(shí)(VR)在經(jīng)歷了幾十年的發(fā)展和技術(shù)儲(chǔ)備后,近幾年呈現(xiàn)出井噴式增長(zhǎng),美國(guó)高盛公司2016年初預(yù)測(cè),虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)將繼個(gè)人電腦和智能手機(jī)之后,成為下一代的大型計(jì)算平臺(tái),其產(chǎn)生的新的市場(chǎng)規(guī)模在未來(lái)十年內(nèi)將有望達(dá)到800億美元。在VR的競(jìng)技場(chǎng)里,諸如Facebook、Microsoft、 Google等高科技巨頭紛紛加入角斗,更有數(shù)量眾多的初創(chuàng)公司推動(dòng)VR技術(shù)的飛速發(fā)展。由于技術(shù)的發(fā)展和資本的注入,一個(gè)新的虛擬現(xiàn)實(shí)產(chǎn)業(yè)生態(tài)正在形成,市場(chǎng)的期望為虛擬現(xiàn)實(shí)相關(guān)的各個(gè)行業(yè)提供了廣闊的發(fā)展機(jī)遇,也對(duì)虛擬現(xiàn)實(shí)技術(shù)的突破提出了巨大的挑戰(zhàn)。
虛擬現(xiàn)實(shí)的目標(biāo)是通過(guò)計(jì)算機(jī)、電子、通信等技術(shù)的結(jié)合,創(chuàng)造出人眼無(wú)法分辨的虛擬場(chǎng)景,使人們能夠產(chǎn)生身臨其境的切身體驗(yàn),猶如沉浸在這種虛擬的環(huán)境一般。為了使虛擬現(xiàn)實(shí)內(nèi)容更舒適而且真實(shí)地被人眼所接受,虛擬現(xiàn)實(shí)設(shè)備必須產(chǎn)生符合人眼在自然狀態(tài)下觀察物質(zhì)世界習(xí)慣的場(chǎng)景,然而,現(xiàn)有的VR技術(shù)并不能完全滿足這樣的需求,由此帶來(lái)的沉浸感不足、交互感低和健康等問(wèn)題造成VR體驗(yàn)還遠(yuǎn)遠(yuǎn)低于人們的預(yù)期。近年來(lái),計(jì)算成像領(lǐng)域的光場(chǎng)技術(shù)憑借其能夠捕獲完整高維度光場(chǎng)信息的能力,為突破虛擬現(xiàn)實(shí)中的技術(shù)瓶頸提供了絕佳的解決方案,從而能使人眼真正獲得“眼見(jiàn)為實(shí)”的沉浸式體驗(yàn)。
人眼無(wú)法分辨的虛擬與現(xiàn)實(shí)
人的眼睛是獲取外界信息最主要的渠道,經(jīng)過(guò)長(zhǎng)時(shí)間的生理進(jìn)化和日常訓(xùn)練,人眼形成了感知外部世界的一種本能,其中很重要的一點(diǎn)就是感知深度信息,這包括雙目視差、運(yùn)動(dòng)視差、單目遮擋和聚散度等幾種方式。在佩戴頭盔的情況下,人眼實(shí)際是聚焦在頭盔的屏幕上,而虛擬現(xiàn)實(shí)則試圖“欺騙”人眼和大腦,仿佛雙眼是聚焦在不同的距離。當(dāng)顯示的內(nèi)容稍有差錯(cuò)或延遲,人眼就會(huì)敏感地察覺(jué)到,并造成相應(yīng)的神經(jīng)系紊亂,引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。
實(shí)際上,當(dāng)人在自然狀態(tài)下觀察目標(biāo)時(shí),眼睛是在不斷變焦的,并且能夠通過(guò)前庭視反射消除畫面切換時(shí)的抖動(dòng)和模糊。這是因?yàn)樵谌搜鄣闹車袩o(wú)數(shù)的光線,眼睛通過(guò)不斷地改變焦距,采集來(lái)自不同方向和位置的光線,聚焦在不同的平面。加上頭部的運(yùn)動(dòng),人可以在很大的范圍內(nèi)不斷地聚焦在所關(guān)心的物體上。也就是說(shuō),人需要時(shí)刻感知到周圍來(lái)自不同位置和方向的光線,這就是光場(chǎng)。因此,虛擬現(xiàn)實(shí)要呈現(xiàn)人眼無(wú)法分辨的虛擬內(nèi)容,就必須要借助光場(chǎng)技術(shù)來(lái)記錄外部世界的完整信息,并將這些信息無(wú)損失地復(fù)現(xiàn)出來(lái),才能使人眼獲得在自然狀態(tài)下觀看的真實(shí)感覺(jué)。
傳統(tǒng)的虛擬現(xiàn)實(shí)之所以不能完全符合人眼的觀察習(xí)慣,就是因?yàn)槠淙狈ν暾墓鈭?chǎng)信息。例如,人工合成的360°全景圖片或視頻,并不是真正的虛擬現(xiàn)實(shí),因?yàn)檫@些圖片或視頻缺乏立體視覺(jué)效果。但是,即便采用了立體相機(jī)拍攝了三維空間信息,獲得了雙目立體視差,也并不是真正意義上的虛擬現(xiàn)實(shí),因?yàn)檫@樣的系統(tǒng)仍然缺乏運(yùn)動(dòng)視差,不能形成走入走出的沉浸感,只適合觀看。再進(jìn)一步,完美的沉浸感還需要加入聚焦信息,即人眼對(duì)焦在不同深度時(shí),雙眼的聚散程度不同,對(duì)焦所在的平面是清晰的,而其他平面則應(yīng)該是模糊的。傳統(tǒng)的VR系統(tǒng)完全沒(méi)有提供對(duì)焦信息,整個(gè)畫面都是清晰的,這就造成了人們長(zhǎng)時(shí)間佩戴頭盔后產(chǎn)生的各種視覺(jué)上的不適癥狀。真實(shí)世界的光場(chǎng)是四維數(shù)據(jù),只有完全記錄光場(chǎng)信息,并且不失真地重現(xiàn)出光場(chǎng),虛擬現(xiàn)實(shí)所需要的沉浸感和走入走出效果才能淋漓盡致地表現(xiàn)出來(lái)。
光場(chǎng)的記錄和復(fù)現(xiàn)
對(duì)于VR應(yīng)用,光場(chǎng)是解決浸入感瓶頸難題的有效方法,其中的關(guān)鍵技術(shù)包括光場(chǎng)的記錄和復(fù)現(xiàn)。光場(chǎng)信息包括二維的空間信息和二維的方向信息,目前主要有兩種方式采集光場(chǎng):相機(jī)陣列和微透鏡陣列。麻省理工學(xué)院和斯坦福大學(xué)先后采用多相機(jī)陣列的方式搭建了光場(chǎng)采集系統(tǒng),從每個(gè)相機(jī)拍攝到的圖片進(jìn)行重構(gòu),計(jì)算出四維光場(chǎng)。斯坦福大學(xué)的Ren Ng則采用把微透鏡陣列置于探測(cè)器附近的方式,設(shè)計(jì)出單鏡頭的光場(chǎng)相機(jī),通過(guò)重構(gòu)算法得到完整光場(chǎng)。光場(chǎng)相機(jī)能夠?qū)崿F(xiàn)先拍照后對(duì)焦的功能,初創(chuàng)公司Lytro先后發(fā)布了兩款基于此原理的光場(chǎng)相機(jī),另外德國(guó)的Raytrix公司也有類似的產(chǎn)品問(wèn)世。對(duì)于VR應(yīng)用,Lytro也采用光場(chǎng)技術(shù),準(zhǔn)備發(fā)布一款名為Immerge的光場(chǎng)虛擬現(xiàn)實(shí)攝像設(shè)備,能夠拍攝360度的全景光場(chǎng)信息。不管采用相機(jī)陣列還是光場(chǎng)相機(jī),一旦四維的光場(chǎng)信息能夠完整記錄,就可以在后端的顯示設(shè)備中進(jìn)行光場(chǎng)復(fù)現(xiàn)。
光場(chǎng)的復(fù)現(xiàn)包括渲染和顯示兩個(gè)技術(shù)環(huán)節(jié)。由于光場(chǎng)包含了重要的方向信息,在任意指定的對(duì)焦平面和視角方向,通過(guò)簡(jiǎn)單的積分方法就可以渲染出所需要的場(chǎng)景。然而,光場(chǎng)數(shù)據(jù)具有很高的維度,記錄到的光場(chǎng)往往因?yàn)椴蓸硬蛔阍斐苫斓F(xiàn)象,在渲染的圖像上出現(xiàn)“鬼像”。光場(chǎng)渲染中的“鬼像”問(wèn)題可以通過(guò)輔助幾何信息進(jìn)行校正,只需要簡(jiǎn)單的幾何信息,就可以大幅降低重對(duì)焦后的圖像中的混迭現(xiàn)象。而這些輔助的幾何信息直接可以通過(guò)光場(chǎng)相機(jī)進(jìn)行深度估算得到,即通過(guò)綜合利用重對(duì)焦、焦掃描和遮擋檢測(cè)等技術(shù),得到很好的深度圖。最終,渲染的光場(chǎng)圖像可以通過(guò)頭盔顯示器顯示給人眼觀看。由于顯示在頭盔屏幕的是渲染的光場(chǎng)圖像,人眼便可以自然地觀看VR內(nèi)容,而不會(huì)產(chǎn)生傳統(tǒng)VR設(shè)備帶來(lái)的不適感。另外,光場(chǎng)顯示設(shè)備將是光場(chǎng)VR研發(fā)和應(yīng)用中的關(guān)鍵技術(shù),Magic Leap公司所用到的顯示設(shè)備就是基于光場(chǎng)的原理。近年來(lái),用于近眼顯示的光場(chǎng)頭盔在學(xué)術(shù)界和產(chǎn)業(yè)界引起了極大興趣,這種光場(chǎng)顯示設(shè)備采用兩層LCD液晶顯示屏,將光場(chǎng)分解為兩幅圖像,通過(guò)光線調(diào)制就可以給人眼重現(xiàn)整個(gè)光場(chǎng),人眼就可以自由地進(jìn)行重對(duì)焦或者改變視角。這種能夠重現(xiàn)完整光場(chǎng)的光場(chǎng)顯示技術(shù)將是光場(chǎng)VR未來(lái)發(fā)展的熱點(diǎn)方向。
光場(chǎng)VR內(nèi)容制作的挑戰(zhàn)
目前國(guó)內(nèi)外光場(chǎng)VR技術(shù)研究仍處于起步階段,美國(guó)的斯坦福大學(xué)在光場(chǎng)成像和光場(chǎng)顯示方面具有深入研究,初創(chuàng)公司Lytro正在研發(fā)影視級(jí)的光場(chǎng)視頻拍攝系統(tǒng)Immerge,NextVR將光場(chǎng)技術(shù)應(yīng)用到全景3D體育賽事直播中。國(guó)內(nèi)上??萍即髮W(xué)等高校已經(jīng)開(kāi)展了光場(chǎng)VR方面的研究,相關(guān)產(chǎn)品方面,目前僅有疊境數(shù)字(PlexVR)利用光場(chǎng)技術(shù)進(jìn)行光場(chǎng)VR的內(nèi)容制作,包括環(huán)視相機(jī)陣列光場(chǎng)采集、線陣光場(chǎng)成像、全景3D成像等,已有產(chǎn)品應(yīng)用到博物館展品的虛擬現(xiàn)實(shí)演示、房地產(chǎn)業(yè)的虛擬樣板間參觀、中共一大會(huì)址的3D建模和光場(chǎng)重建等。
目前,VR硬件設(shè)備和平臺(tái)在高科技巨頭的紛紛參與下,已經(jīng)日漸成型并有高品質(zhì)的硬件產(chǎn)品可用,而VR內(nèi)容的開(kāi)發(fā)則嚴(yán)重缺乏,尤其是光場(chǎng)VR內(nèi)容的制作更是處于起步階段。在虛擬現(xiàn)實(shí)的產(chǎn)業(yè)鏈生態(tài)系統(tǒng)中,內(nèi)容的制作必然占據(jù)整個(gè)行業(yè)拼圖中的很大份額,VR內(nèi)容制作中涉及的拍攝硬件研制、軟件開(kāi)發(fā)和內(nèi)容顯示等都是關(guān)鍵的核心環(huán)節(jié),是一個(gè)軟硬件充分結(jié)合的產(chǎn)物,因此存在巨大的挑戰(zhàn)。在產(chǎn)業(yè)形成的初期,我國(guó)與世界領(lǐng)先的VR技術(shù)差距還不明顯,因而具有很大的發(fā)展空間和潛力,應(yīng)盡快提高VR內(nèi)容制作方向的競(jìng)爭(zhēng)力,占據(jù)全球行業(yè)發(fā)展有利地位。
光場(chǎng)VR是世界上最新的虛擬現(xiàn)實(shí)制作概念和技術(shù),對(duì)提高VR沉浸感體驗(yàn)具有極大的作用,也是能夠改變整個(gè)虛擬現(xiàn)實(shí)領(lǐng)域的顛覆性技術(shù),我國(guó)極有可能搶占光場(chǎng)VR技術(shù)研究和應(yīng)用的領(lǐng)先地位。不論是光場(chǎng)VR的基礎(chǔ)理論研究,還是應(yīng)用開(kāi)發(fā),我國(guó)應(yīng)加快相關(guān)的人才培養(yǎng)、應(yīng)用普及和政策扶持,為已經(jīng)來(lái)臨的VR產(chǎn)業(yè)大發(fā)展做好充足的準(zhǔn)備工作。
(審核編輯: 滄海一土)
分享