一．虛擬現(xiàn)實(shí)的發(fā)展歷程

虛擬現(xiàn)實(shí)是一種存在于計(jì)算機(jī)和互聯(lián)網(wǎng)環(huán)境中人工制造的虛擬環(huán)境，人們能夠以接近自然的方式與這個虛擬環(huán)境進(jìn)行交互，從而產(chǎn)生身臨其境的沉浸感。由于虛擬現(xiàn)實(shí)有著傳統(tǒng)人機(jī)交互無法比擬的真實(shí)感，使人們能夠如同感知真實(shí)世界一般接觸虛擬空間，為人類文化的傳承和發(fā)展創(chuàng)造了新的可能，對教育培訓(xùn)、文化旅游、社交活動、電子商務(wù)、生物醫(yī)學(xué)等領(lǐng)域都有深遠(yuǎn)的意義。
光場虛擬現(xiàn)實(shí)技術(shù)在傳統(tǒng)虛擬現(xiàn)實(shí)技術(shù)的基礎(chǔ)上，結(jié)合計(jì)算機(jī)圖形學(xué)、計(jì)算機(jī)視覺、計(jì)算機(jī)攝影學(xué)中涌現(xiàn)的最新成果，不僅能讓人無法區(qū)分虛擬和現(xiàn)實(shí)，還能實(shí)現(xiàn)人與虛擬環(huán)境的自然互動，進(jìn)一步增強(qiáng)用戶的真實(shí)體驗(yàn)。

“小孔成像”的發(fā)現(xiàn)

自從墨子發(fā)現(xiàn)了“小孔成像”現(xiàn)象以來，人們逐漸掌握了用光學(xué)成像技術(shù)觀察和記錄世界的能力。

照相機(jī)的發(fā)明

1826年，法國人約瑟夫·尼塞福爾·尼埃普斯發(fā)明了世界上第一臺照相機(jī)，并在巴黎拍攝了現(xiàn)存最早的一張照片。

各式光學(xué)儀器的出現(xiàn)

此后，各式各樣的光學(xué)儀器如雨后春筍般紛紛出現(xiàn)。其中，雙目立體鏡的出現(xiàn)標(biāo)志著虛擬現(xiàn)實(shí)雛形的誕生。人們能夠通過雙目立體鏡觀看三維圖像，相比平面照片而言真實(shí)感更為強(qiáng)烈，

現(xiàn)代虛擬現(xiàn)實(shí)技術(shù)的起源

真正意義上的現(xiàn)代虛擬現(xiàn)實(shí)技術(shù)起源于1965年，被譽(yù)為“計(jì)算機(jī)圖形學(xué)之父”的美國人伊萬·薩瑟蘭發(fā)明了一臺名為“達(dá)摩克利斯之劍”的機(jī)器，能夠向雙眼顯示不同視角的圖像，實(shí)現(xiàn)立體顯示，同時對頭部能夠進(jìn)行位置跟蹤，實(shí)現(xiàn)人與虛擬環(huán)境的簡單互動。

互動多媒體系統(tǒng)

虛擬現(xiàn)實(shí)走進(jìn)大眾視野

進(jìn)入21世紀(jì)以來，伴隨著可穿戴設(shè)備等移動終端的爆發(fā)式增長，個人設(shè)備的計(jì)算能力越來越強(qiáng)大，虛擬現(xiàn)實(shí)頭戴式顯示設(shè)備得以迅速興起，虛擬現(xiàn)實(shí)從科學(xué)家的實(shí)驗(yàn)室一躍進(jìn)入萬千大眾的視野。經(jīng)過近兩年的快速發(fā)展，虛擬現(xiàn)實(shí)技術(shù)相關(guān)的產(chǎn)業(yè)生態(tài)鏈逐步形成，Oculus Rift、HTC Vive、PlayStation VR等硬件產(chǎn)品相繼走入市場，各種應(yīng)用也隨之產(chǎn)生并推廣。

二．虛擬現(xiàn)實(shí)的三大難題

虛擬現(xiàn)實(shí)之所以矚目，在于其能創(chuàng)造出一種全新的虛擬場景，使人們能夠產(chǎn)生身臨其境的體驗(yàn)。這就要求虛擬的場景必須是立體的全景式圖像或視頻，能夠適應(yīng)人類頭部的運(yùn)動，同時提供深度信息和聚焦變化，使大腦能夠判別近、遠(yuǎn)景。

虛擬現(xiàn)實(shí)所需要滿足的生理要求

制作優(yōu)秀的虛擬現(xiàn)實(shí)內(nèi)容并不簡單，必須滿足人類在自然狀態(tài)下觀看外部世界的條件。人的眼睛是獲取外界信息最主要的渠道，經(jīng)過長時間的生理進(jìn)化和日常訓(xùn)練，形成了感知外部世界的一種本能，且非常挑剔。其中很重要的一點(diǎn)就是感知深度信息，這包括雙目視差、運(yùn)動視差、遮擋和聚散等幾種方式。
當(dāng)人在自然狀態(tài)下觀察目標(biāo)時，眼睛在不斷地變焦，并且通過前庭眼反射消除畫面切換時的抖動和模糊。這是因?yàn)樵谌搜鄣闹車袩o數(shù)的光線，眼睛通過改變焦距，采集來自不同方向和位置的光線，聚焦在不同的平面。加上頭部的運(yùn)動，人可以在很大的范圍內(nèi)聚焦在所關(guān)心的物體上。
在佩戴頭盔的情況下，人眼實(shí)際是聚焦在頭盔的屏幕上，而虛擬現(xiàn)實(shí)技術(shù)則試圖“欺騙”挑剔的人眼和大腦，仿佛雙眼是聚焦在不同的距離。一旦顯示的內(nèi)容稍有差錯或延遲，人眼就會敏感地察覺到，并造成相應(yīng)的神經(jīng)系統(tǒng)功能紊亂，引發(fā)諸如頭痛、眩暈、疲勞等不適癥狀。

虛擬現(xiàn)實(shí)的三大難題

傳統(tǒng)的虛擬現(xiàn)實(shí)技術(shù)目前還遠(yuǎn)遠(yuǎn)不能達(dá)到這些要求。人工合成的360°全景圖像或視頻無法產(chǎn)生立體視覺效果，即便采用立體相機(jī)拍攝三維空間信息，取得雙目立體視差，也仍然缺乏運(yùn)動視差，不能形成進(jìn)入走出的沉浸感。還需要加入聚焦變化，即人眼對焦在不同深度時，由于雙眼的聚散程度不同，對焦所在的平面是清晰的，而其他平面則是模糊的。真實(shí)世界的景物是一個高維度的復(fù)雜數(shù)據(jù)，只有完全記錄其中的所有信息，并且進(jìn)行不失真的重現(xiàn)，虛擬環(huán)境才能淋漓盡致地表現(xiàn)出來。
因此，虛擬現(xiàn)實(shí)要取得成功，就必須解決立體視覺、運(yùn)動視覺和動態(tài)對焦這三大問題。

三．光場虛擬現(xiàn)實(shí)的最新成果

為了創(chuàng)造出人眼難以分辨的虛擬現(xiàn)實(shí)，人們需要運(yùn)用光場技術(shù)，并結(jié)合計(jì)算機(jī)視覺的方法，來實(shí)現(xiàn)這一目標(biāo)。而光場技術(shù)是計(jì)算成像/攝影領(lǐng)域發(fā)展起來的最新技術(shù)。
光場的概念早在1936年就被提出，是指光通過空間中某一點(diǎn)時在給定方向上的輻亮度。如圖1所示，人眼在觀察世界時無時無刻不在收集周圍的光場信息。我們可以用全光函數(shù)的概念來描述光場（圖2），其包括3D的空間變量和2D的方向變量，即全光函數(shù)是一個5D函數(shù)。在自由空間傳播時，光的輻亮度沿光線傳播方向保持不變，用光線在兩個任意平面上的交點(diǎn)坐標(biāo)表示，可以將光場簡化成一個4D函數(shù)。
光場記錄了光線的所有空間信息和方向信息，因此可以很容易地通過光場重建不同對焦平面的圖像，或渲染不同視角下的圖像，甚至合成一個不存在的虛擬圖像。
在虛擬現(xiàn)實(shí)中，相比傳統(tǒng)的雙目視覺法，通過光場構(gòu)建的立體圖像效果更加真切。這是因?yàn)橥ㄟ^雙目視覺合成的立體圖像本質(zhì)上還是平面的，而通過光場合成的立體圖像則真正是立體的。
光場技術(shù)的發(fā)展給虛擬現(xiàn)實(shí)領(lǐng)域帶來了巨大的變革，它幾乎滿足了人們對于虛擬現(xiàn)實(shí)的所有要求：
立體視差可以帶來最真實(shí)的感受；
運(yùn)動視差讓進(jìn)入走出更加自然；
重對焦使人們更加愜意地體驗(yàn)而不至于引起任何身體的不適。
但是光場虛擬現(xiàn)實(shí)任需要解決三個方面的關(guān)鍵技術(shù)問題：光場的拍攝；光場的渲染；光場的顯示。
光場的拍攝

光場虛擬現(xiàn)實(shí)技術(shù)的核心目標(biāo)就是記錄光場，并且把光場無損地再現(xiàn)給人眼。光場的拍攝主要通過兩種方式實(shí)現(xiàn)：一是采用相機(jī)陣列拍攝，二是采用光場相機(jī)拍攝。
相機(jī)陣列拍攝：采用相機(jī)陣列的方式，可以捕獲來自不同視角的高分辨率圖像，每一幅圖像相當(dāng)于4D光場的一個2D切片，如果采集足夠多的不同2D切片，就可以重建完整的4D光場。上?？萍即髮W(xué)和疊境數(shù)字科技（上海）有限公司合作搭建了一種向內(nèi)環(huán)視的光場拍攝系統(tǒng)，能夠?qū)π⌒臀奈镞M(jìn)行拍攝和建模，可用于精細(xì)展示（圖4）。該系統(tǒng)采用80個單反相機(jī)同步觸發(fā)，拍攝處于中心區(qū)域的目標(biāo)，再利用光場重建技術(shù)對目標(biāo)進(jìn)行處理和建模，得到被拍攝物的3D模型。
光場相機(jī)拍攝：另一種獲得光場信息的方法是采用基于微透鏡陣列的光場相機(jī)。光場相機(jī)是一種全新的相機(jī)，可以實(shí)現(xiàn)先拍照后對焦的全新成像模式。單鏡頭的光場相機(jī)通過微透鏡陣列來采樣角度信息。每個微透鏡覆蓋一定數(shù)量的像素，對應(yīng)來自主透鏡一個子孔徑的光錐，經(jīng)過每個微透鏡成像在探測器的不同位置，這種位置的變化就記錄了光線的方向以此類推，將主透鏡的孔徑劃分為若干采樣單元，每個微透鏡本身便記錄了光場的位置信息，從而實(shí)現(xiàn)四維光場的記錄。
光場相機(jī)能夠通過對光線的重新排布實(shí)現(xiàn)對任意平面的重對焦。光場相機(jī)記錄了光場的位置信息和角度信息，采用兩平面光場表示法，根據(jù)幾何關(guān)系，計(jì)算并渲染出一個虛擬的重對焦平面上的圖像（圖6）。計(jì)算時，指定重對焦平面上的一點(diǎn)，可以找到在透鏡平面和探測器平面的坐標(biāo)位置，從光場中取出這些對應(yīng)的光線進(jìn)行積分，就能得到在該平面上的圖像。這個虛擬的重對焦平面可以任意指定，因此便實(shí)現(xiàn)了一定景深范圍內(nèi)任意平面的重對焦功能。事實(shí)上，這些光場拍攝系統(tǒng)也能應(yīng)用在博物館行業(yè)。例如，谷歌公司的360°全景攝像裝置Google Jump采用16個GoPro相機(jī)，形成了一個向外觀看的環(huán)形相機(jī)陣列，能夠?qū)崿F(xiàn)3D全景高清視頻的拍攝，可以展示整個展廳甚至整個博物館的全貌，提升虛擬博物館的體驗(yàn)。

互動多媒體系統(tǒng)

首先，通過相機(jī)陣列或光場相機(jī)得到同一物體或場景在不同視角下的一系列圖像，再通過多視角幾何關(guān)系估計(jì)出場景中的深度，獲得粗略的幾何信息。同時，光場相機(jī)通過重新排布光線，實(shí)現(xiàn)先拍照后對焦，在一系列的焦平面位置進(jìn)行圖像渲染，獲得圖像中的深度信息。
其次，在光學(xué)成像系統(tǒng)中，焦平面附近的發(fā)光強(qiáng)度分布具有對稱性。利用這個性質(zhì)，通過檢測不同對焦圖像附近的光強(qiáng)分布，計(jì)算出不同物點(diǎn)的深度信息。比較而言，這種方法在圖像噪聲 和采樣欠缺的情況下具有更強(qiáng)的抗變換性。

另外，可以利用場景中的遮擋性進(jìn)行深度估計(jì)。在無遮擋的情況下，場景中的物體顏色分布是均勻的，而有遮擋的部分則會出現(xiàn)顏色混合。在光場相機(jī)中，從不同視角下渲染出的圖像具有不同的統(tǒng)計(jì)特性，根據(jù)表面統(tǒng)計(jì)數(shù)據(jù)檢測遮擋情況，作為評判一致性的指標(biāo)，可以計(jì)算出深度信息。

所有這些檢測圖像中幾何信息的方法，綜合起來就可以幫助我們獲得完整的幾何信息來輔助光場渲染，得到逼真的圖像。采用這種方法對博物館進(jìn)行建模和處理，所產(chǎn)生的渲染圖像可以方便地顯示在虛擬現(xiàn)實(shí)頭盔的屏幕上，為觀眾呈現(xiàn)藏品的全部光場信息，從各個角度自然地觀看藏品的虛擬模型，再配合手柄等操作設(shè)備，就能產(chǎn)生進(jìn)入走出的運(yùn)動視覺，提高互動感受。

光場的顯示

由于光線可逆，光場顯示過程與光場成像過程互為對偶關(guān)系，因此將捕獲的光場信息通過光場顯示器件表現(xiàn)出來后，人眼即可看到“真實(shí)”的虛擬世界。

微透鏡陣列和光場渲染技術(shù)：美國英偉達(dá)公司最近發(fā)明了一種近眼光場頭盔。該頭盔采用微透鏡陣列和光場渲染技術(shù)，使人們能夠自由調(diào)節(jié)對焦，觀察到正確的聚散程度、雙目視差和深度信息。其基本原理是在有機(jī)發(fā)光二極管顯示器上覆蓋一層微透鏡陣列，在人眼的調(diào)節(jié)距離內(nèi)快速合成虛擬的3D景物。由于此類顯示設(shè)備的尺寸小、佩戴輕便，為下一代光場顯示和虛擬現(xiàn)實(shí)設(shè)備的開發(fā)提供了新的思路。盡管這種光場頭盔的分辨率較低，還不足以實(shí)現(xiàn)商業(yè)化用途，但隨著硬件器材和計(jì)算機(jī)算法的不斷完善，未來將有巨大的發(fā)展?jié)摿Α?br />
壓縮光場顯示：另一種光場顯示技術(shù)稱為壓縮光場顯示，也是光場顯示方向頗具潛力的解決方案之一。例如，麻省理工學(xué)院開發(fā)的多層壓縮光場顯示裝置采用若干層掩膜和透明間隔實(shí)現(xiàn)光場顯示，通過張量分解的方法優(yōu)化每層掩膜板的透過率，將二維圖像投射到三維空間。