雷鋒網(wǎng)按：光場(chǎng)技術(shù)是目前最受追捧的下一代顯示技術(shù)，谷歌、Facebook、Magic Leap等國(guó)內(nèi)外大公司都在大力布局。然而目前國(guó)內(nèi)對(duì)光場(chǎng)（Light Field）技術(shù)的中文介紹十分匱乏，曹煊博士《Mars說(shuō)光場(chǎng)》系列文章旨在對(duì)光場(chǎng)技術(shù)及其應(yīng)用的科普介紹。

曹煊博士系騰訊優(yōu)圖實(shí)驗(yàn)室高級(jí)研究員。優(yōu)圖— 騰訊旗下頂級(jí)的機(jī)器學(xué)習(xí)研發(fā)團(tuán)隊(duì)，專(zhuān)注于圖像處理、模式識(shí)別、深度學(xué)習(xí)。在人臉識(shí)別、圖像識(shí)別、醫(yī)療AI、OCR、哼唱識(shí)別、語(yǔ)音合成等領(lǐng)域都積累了領(lǐng)先的技術(shù)水平和完整解決方案。

《Mars說(shuō)光場(chǎng)》系列文章目前已有5篇，包括：

《Mars說(shuō)光場(chǎng)（1）— 為何巨頭紛紛布局光場(chǎng)技術(shù)》；

《Mars說(shuō)光場(chǎng)（2）— 光場(chǎng)與人眼立體成像機(jī)理》；

《Mars說(shuō)光場(chǎng)（3）— 光場(chǎng)采集》；

《Mars說(shuō)光場(chǎng)（4）— 光場(chǎng)顯示》；

《Mars說(shuō)光場(chǎng)（5）— 光場(chǎng)在三維人臉建模中的應(yīng)用》；

雷鋒網(wǎng)經(jīng)授權(quán)發(fā)布。

---

【摘要】 — 光場(chǎng)（Light Field）是空間中光線(xiàn)集合的完備表示，采集并顯示光場(chǎng)就能在視覺(jué)上重現(xiàn)真實(shí)世界。全光函數(shù)（Plenoptic Function）包含7個(gè)維度，是表示光場(chǎng)的數(shù)學(xué)模型。光場(chǎng)是以人眼為中心對(duì)光線(xiàn)集合進(jìn)行描述。由于光路是可逆的，以發(fā)光表面為中心來(lái)描述光線(xiàn)集合衍生出與光場(chǎng)類(lèi)似的概念——反射場(chǎng)（Reflectance Field）。反射場(chǎng)也具有7個(gè)維度的信息，但每個(gè)維度的定義與光場(chǎng)不盡相同。不論光場(chǎng)還是反射場(chǎng)，由于7個(gè)維度的信息會(huì)急劇增加采集、處理、傳輸?shù)呢?fù)擔(dān)，因此實(shí)際應(yīng)用中更多的是采用4D光場(chǎng)模型。隨著Magic Leap One的上市，以及Google《Welcome to light field》在Steam上發(fā)布，光場(chǎng)作為下一代成像/呈像技術(shù)，受到越來(lái)越多的關(guān)注。本文將詳細(xì)介紹光場(chǎng)的基本概念，尤其是4D光場(chǎng)成像相比傳統(tǒng)成像的優(yōu)勢(shì)。

1、什么是光場(chǎng)？

在人類(lèi)的五大感知途徑中，視覺(jué)占據(jù)了70%~80%的信息來(lái)源；而大腦有大約50%的能力都用于處理視覺(jué)信息[1]。借助視覺(jué)，我們能準(zhǔn)確抓取杯子，能在行走中快速躲避障礙物，能自如地駕駛汽車(chē)，能完成復(fù)雜的裝配工作。從日常行為到復(fù)雜操作都高度依賴(lài)于我們的視覺(jué)感知。然而，現(xiàn)有的圖像采集和顯示丟失了多個(gè)維度的視覺(jué)信息。這迫使我們只能通過(guò)二維“窗口”去觀察三維世界。例如醫(yī)生借助單攝像頭內(nèi)窺鏡進(jìn)行腹腔手術(shù)時(shí)，因無(wú)法判斷腫瘤的深度位置，從而需要從多個(gè)角度多次觀察才能緩慢地下刀切割。從光場(chǎng)成像的角度可以解釋為：因?yàn)槿狈﹄p目視差，只能依靠移動(dòng)視差來(lái)產(chǎn)生立體視覺(jué)。再例如遠(yuǎn)程機(jī)械操作人員通過(guò)觀看監(jiān)視器平面圖像進(jìn)行機(jī)械遙控操作時(shí)，操作的準(zhǔn)確性和效率都遠(yuǎn)遠(yuǎn)低于現(xiàn)場(chǎng)操作。

人眼能看見(jiàn)世界中的物體是因?yàn)槿搜劢邮樟宋矬w發(fā)出的光線(xiàn)（主動(dòng)或被動(dòng)發(fā)光），而光場(chǎng)就是三維世界中光線(xiàn)集合的完備表示。“Light Field”這一術(shù)語(yǔ)最早出現(xiàn)在Alexander Gershun于1936年在莫斯科發(fā)表的一篇經(jīng)典文章中，后來(lái)由美國(guó)MIT的Parry Moon和Gregory Timoshenko在1939年翻譯為英文[2]。但Gershun提出的“光場(chǎng)”概念主要是指空間中光的輻射可以表示為關(guān)于空間位置的三維向量，這與當(dāng)前“計(jì)算成像”、“裸眼3D”等技術(shù)中提及的光場(chǎng)不是同一個(gè)概念。學(xué)術(shù)界普遍認(rèn)為Parry Moon在1981年提出的“Photic Field”[3]才是當(dāng)前學(xué)術(shù)界所研究的“光場(chǎng)”。 隨后，光場(chǎng)技術(shù)受到MIT、Stanford等一些頂級(jí)研究機(jī)構(gòu)的關(guān)注，其理論逐步得到完善，多位相關(guān)領(lǐng)域?qū)W者著書(shū)立作逐步將光場(chǎng)技術(shù)形成統(tǒng)一的理論體系，尤其是在光場(chǎng)的采集[4]和3D顯示[5,6]兩個(gè)方面。歐美等部分高校還開(kāi)設(shè)了專(zhuān)門(mén)的課程——計(jì)算攝像學(xué)（Computational Photography）。

如圖1所示，人眼位于三維世界中不同的位置進(jìn)行觀察所看到的圖像不同，用（x, y, z）表示人眼在三維空間中的位置坐標(biāo)。光線(xiàn)可以從不同的角度進(jìn)入人眼，用（θ, Φ）表示進(jìn)入人眼光線(xiàn)的水平夾角和垂直夾角。每條光線(xiàn)具有不同的顏色和亮度，可以用光線(xiàn)的波長(zhǎng)（λ）來(lái)統(tǒng)一表示。進(jìn)入人眼的光線(xiàn)隨著時(shí)間（t）的推移會(huì)發(fā)生變化。因此三維世界中的光線(xiàn)可以表示為7個(gè)維度的全光函數(shù)（Plenoptic Function, Plen-前綴具有“全能的、萬(wàn)金油”的意思）[7]。

P(x, y, z, θ, Φ, λ, t)

圖 1. 7D全光函數(shù)示意圖

上述光場(chǎng)的描述是以人眼為中心。光路是可逆的，因此光場(chǎng)也可以以物體為中心等效的描述。與“光場(chǎng)”相類(lèi)似的另一個(gè)概念是“反射場(chǎng)（Reflectance Field）”。如圖2所示，物體表面發(fā)光點(diǎn)的位置可以用（x, y, z）三個(gè)維度來(lái)表示；對(duì)于物體表面的一個(gè)發(fā)光點(diǎn)，總是向180度半球范圍內(nèi)發(fā)光，其發(fā)光方向可以用水平角度和垂直角度（θ, Φ）來(lái)表示；發(fā)出光線(xiàn)的波長(zhǎng)表示為（λ）；物體表面的光線(xiàn)隨著時(shí)間（t）的推移會(huì)發(fā)生變化。同理，反射場(chǎng)可以等效表示為7維函數(shù)，但其中的維度卻表示不同的意義。

圖 2. 7D反射場(chǎng)示意圖

對(duì)比光場(chǎng)與反射場(chǎng)可以發(fā)現(xiàn)：光場(chǎng)與反射場(chǎng)都可以用7個(gè)維度來(lái)表征，光場(chǎng)是以人眼為中心描述空間中所有的光線(xiàn)，反射場(chǎng)是以物體表面發(fā)光點(diǎn)為中心描述空間中所有的光線(xiàn)。光場(chǎng)所描述的光線(xiàn)集合與反射場(chǎng)所描述的光線(xiàn)集合是完全一致的。換句話(huà)說(shuō)，光場(chǎng)中的任一條光線(xiàn)都可以在反射場(chǎng)中找到。

2、為什么要研究光場(chǎng)？

【從光場(chǎng)采集的角度來(lái)看】以自動(dòng)駕駛為例，首先需要通過(guò)多種傳感器去“感知”外界信息，然后通過(guò)類(lèi)腦運(yùn)算進(jìn)行“決策”，最后將決策以機(jī)械結(jié)構(gòu)為載體進(jìn)行“執(zhí)行”?，F(xiàn)階段人工智能的發(fā)展更傾向于“類(lèi)腦”的研究，即如何使計(jì)算機(jī)具有人腦類(lèi)似的決策能力。然而卻忽略了“眼睛”作為一種信息感知入口的重要性。設(shè)想一個(gè)人非?！奥斆鳌钡且暳τ姓系K，那么他將無(wú)法自如的駕駛汽車(chē)。而自動(dòng)駕駛正面臨著類(lèi)似的問(wèn)題。如果攝像機(jī)能采集到7個(gè)維度所有的信息，那么就能保證視覺(jué)輸入信息的完備性，而“聰明”的大腦才有可能發(fā)揮到極致水平。研究光場(chǎng)采集將有助于機(jī)器看到更多維度的視覺(jué)信息。

【從光場(chǎng)的顯示角度來(lái)看】以L(fǎng)CD/OLED顯示屏為例，顯示媒介只能呈現(xiàn)光場(chǎng)中（x, y, λ, t）四個(gè)維度的信息，而丟失了其他三個(gè)維度的信息。在海陸空軍事沙盤(pán)、遠(yuǎn)程手術(shù)等高度依賴(lài)3D視覺(jué)的場(chǎng)景中，傳統(tǒng)的2D顯示媒介完全不能達(dá)到期望的效果。實(shí)現(xiàn)類(lèi)似《阿凡達(dá)》中的全息3D顯示，是人類(lèi)長(zhǎng)久以來(lái)的一個(gè)夢(mèng)想。當(dāng)光場(chǎng)顯示的角度分辨率和視點(diǎn)圖像分辨率足夠高時(shí)可以等效為動(dòng)態(tài)數(shù)字彩色全息。研究光場(chǎng)顯示將有助于人類(lèi)看到更多維度的視覺(jué)信息。

從1826全世界第一臺(tái)相機(jī)誕生[8]至今已經(jīng)有近兩百年歷史，但其成像原理仍然沒(méi)有擺脫小孔成像模型。在介紹小孔成像模型之前，先看看如果直接用成像傳感器（e.g. CCD）采集圖像會(huì)發(fā)生什么事呢？ 如圖3所示，物體表面A、B、C三點(diǎn)都在向半球180度范圍內(nèi)發(fā)出光線(xiàn)，對(duì)于CCD上的感光像素A'會(huì)同時(shí)接收到來(lái)自A、B、C三點(diǎn)的光線(xiàn)，因此A'點(diǎn)的像素值近似為物體表面上A、B、C三點(diǎn)的平均值。類(lèi)似的情況也會(huì)發(fā)生在CCD上的B'和C'點(diǎn)的像素。因此，如果把相機(jī)上的鏡頭去掉，那么拍攝的圖片將是噪聲圖像。

圖 3. 無(wú)小孔的噪聲成像

如果在CCD之前加一個(gè)小孔，那么就能正常成像了，如圖4所示。CCD上A'點(diǎn)只接收到來(lái)自物體表面A點(diǎn)的光線(xiàn)。類(lèi)似的，CCD上B'和C'點(diǎn)也相應(yīng)只接收到物體表面B點(diǎn)和C的點(diǎn)光線(xiàn)。因此，在CCD上可以成倒立的像。

圖 4. 小孔成像

實(shí)際的相機(jī)并沒(méi)有采用如圖4中的理想小孔成像模型，因?yàn)樾】字睆捷^小會(huì)導(dǎo)致通光亮非常小，信噪比非常低，成像傳感器無(wú)法采集到有效的信號(hào)；如果小孔直徑足夠小，當(dāng)與光波長(zhǎng)相當(dāng)時(shí)還會(huì)產(chǎn)生衍射現(xiàn)象。而小孔直徑過(guò)大會(huì)導(dǎo)致成像模糊?，F(xiàn)代的成像設(shè)備用透鏡來(lái)替代小孔，從而既能保證足夠的通光量，又避免了成像模糊。如圖5所示，物體表面A點(diǎn)在一定角度范圍內(nèi)發(fā)出的光線(xiàn)經(jīng)過(guò)透鏡聚焦在成像傳感器A’點(diǎn)，并對(duì)該角度范圍內(nèi)所有光線(xiàn)進(jìn)行積分，積分結(jié)果作為A點(diǎn)像素值。這大大增加了成像的信噪比，但同時(shí)也將A點(diǎn)在該角度范圍內(nèi)各方向的光線(xiàn)耦合在一起。

圖 5. 透鏡小孔成像

小孔成像模型是光場(chǎng)成像的一種降維形式，只采集了（x, y, λ, t）四個(gè)維度的信息。RGB-D相機(jī)多了一個(gè)維度信息（x, y, z, λ, t）。相比全光函數(shù)，其主要丟失的維度信息是光線(xiàn)的方向信息（θ, Φ）。缺失的維度信息造成了現(xiàn)有成像/呈像設(shè)備普遍存在的一系列問(wèn)題。在圖像采集方面，可以通過(guò)調(diào)節(jié)焦距來(lái)選擇聚焦平面，然而無(wú)論如何調(diào)節(jié)都只能確保一個(gè)平面清晰成像，而太近或太遠(yuǎn)的物體都會(huì)成像模糊，這給大場(chǎng)景下的AI識(shí)別任務(wù)造成了極度的挑戰(zhàn)。在渲染顯示方面，由于（θ, Φ）維度信息的缺失會(huì)引起渲染物體缺乏各向異性的光線(xiàn)，從而顯得不夠逼真。好萊塢電影大片中渲染的逼真人物大多采用了光場(chǎng)/反射場(chǎng)這一技術(shù)才得以使得各種科幻的飛禽走獸能栩栩如生。

3、光場(chǎng)4D參數(shù)化

根據(jù)7D全光函數(shù)的描述，如果有一個(gè)體積可以忽略不計(jì)的小球能夠記錄從不同角度穿過(guò)該小球的所有光線(xiàn)的波長(zhǎng)，把該小球放置在某個(gè)有限空間中所有可以達(dá)到的位置并記錄光線(xiàn)波長(zhǎng)，那么就可以得到這個(gè)有限空間中某一時(shí)刻所有光線(xiàn)的集合。在不同時(shí)刻重復(fù)上述過(guò)程，就可以實(shí)現(xiàn)7D全函數(shù)的完備采集。Google Daydream平臺(tái)Paul Debevec團(tuán)隊(duì)在Steam平臺(tái)上推出的《Welcome To Light Field》就是采用了類(lèi)似的思想實(shí)現(xiàn)的。然而，采集的數(shù)據(jù)量巨大。按照當(dāng)前的計(jì)算機(jī)技術(shù)水平，難以對(duì)7D光場(chǎng)這么龐大的數(shù)據(jù)進(jìn)行實(shí)時(shí)處理和傳輸。因此有必要對(duì)7D光場(chǎng)進(jìn)行簡(jiǎn)化降維。

如圖6所示，美國(guó)斯坦福大學(xué)的Marc Levoy將全光函數(shù)簡(jiǎn)化降維，提出（u,v,s,t）4D光場(chǎng)模型[9]。Levoy假設(shè)了兩個(gè)不共面的平面（u,v）和（s,t），如果一條光線(xiàn)與這兩個(gè)平面各有一個(gè)交點(diǎn)，則該光線(xiàn)可以用這兩個(gè)交點(diǎn)唯一表示。Levoy提出的光場(chǎng)4D模型有一個(gè)重要的前提假設(shè)：在沿光線(xiàn)傳播方向上的任意位置采集到的光線(xiàn)是一樣的。換句話(huà)說(shuō)，假設(shè)任意一條光線(xiàn)在傳播的過(guò)程中光強(qiáng)不發(fā)生衰減且波長(zhǎng)不變?？紤]到日常生活中光線(xiàn)從場(chǎng)景表面到人眼的傳播距離非常有限，光線(xiàn)在空氣中的衰減微乎其微，上述Levoy提出的假設(shè)完全合理。

Levoy提出的光場(chǎng)4D模型并不能完備地描述三維空間中所有的光線(xiàn)，與（u,v）或（s,t）平面所平行的光線(xiàn)就不能被該4D模型所表示，例如圖6中紅色標(biāo)示的光線(xiàn)。盡管Levoy提出的4D模型不能完備描述三維空間中所有的光線(xiàn)，但可以完備描述人眼接收到的光線(xiàn)。因?yàn)楫?dāng)光線(xiàn)與人眼前視方向垂直時(shí)，該光線(xiàn)不會(huì)進(jìn)入人眼。因此，這部分光線(xiàn)并不影響人眼視覺(jué)成像。Levoy提出的4D模型既降低了表示光場(chǎng)所需的維度，同時(shí)又能完備表示人眼成像所需要的全部光線(xiàn)。光場(chǎng)4D模型得到了學(xué)術(shù)界的廣泛認(rèn)可，關(guān)于光場(chǎng)的大量研究都是在此基礎(chǔ)上展開(kāi)。

圖 6. 4D光場(chǎng)模型

4D光場(chǎng)模型具有可逆性，既能表示光場(chǎng)采集，又能表示光場(chǎng)顯示。如圖7所示，對(duì)于光場(chǎng)采集模型，右側(cè)物體發(fā)出的光線(xiàn)經(jīng)過(guò)（s,t）和（u,v）平面的4D參數(shù)化表示，被記錄成4D光場(chǎng)。對(duì)于光場(chǎng)顯示模型，經(jīng)過(guò)（u,v）和（s,t）平面的調(diào)制可以模擬出左側(cè)物體表面的光線(xiàn)，從而使人眼“看見(jiàn)”并不存在的物體。

圖 7. 4D光場(chǎng)模型的可逆性

如圖8所示，物體表面A、B、C三點(diǎn)發(fā)出的光線(xiàn)首先到達(dá)（u,v）平面，假設(shè)（u,v）平面上有三個(gè)小孔h1、h2、h3，則A、B、C三點(diǎn)發(fā)出的光線(xiàn)經(jīng)三個(gè)小孔分別到達(dá)（s,t）平面。A、B、C三點(diǎn)在半球范圍內(nèi)三個(gè)不同方向的光線(xiàn)被同時(shí)記錄下來(lái)，例如A點(diǎn)三個(gè)方向的光線(xiàn)分別被（s,t）平面上A3’、B3’、C3’記錄。如果（u,v）平面上小孔數(shù)量更多，且（s,t）平面上的像素足夠密集，則可以采集到空間中更多方向的光線(xiàn)。需要說(shuō)明的是，圖8中展示的是（u,v）（s,t）光場(chǎng)采集模型在垂直方向上的切面圖，實(shí)際上可以采集到A、B、C三點(diǎn)9個(gè)不同方向（3x3）的光線(xiàn)。

圖 8. 4D光場(chǎng)采集空間光線(xiàn)示意圖

圖像分辨率和FOV（Field Of View）是傳統(tǒng)相機(jī)成像性能的主要指標(biāo)。衡量4D光場(chǎng)的指標(biāo)不僅有圖像分辨率和FOV，還有角度分辨率和FOP（Field Of Parallax）。 圖9展示了基于微透鏡陣列的光場(chǎng)相機(jī)的光路示意圖，物體表面發(fā)出的光線(xiàn)進(jìn)入相機(jī)光圈，然后被解耦和并分別被記錄下來(lái)。以B點(diǎn)為例，發(fā)光點(diǎn)B在半球范圍內(nèi)發(fā)出各向異性的光線(xiàn)，但并不是所有的光線(xiàn)都進(jìn)入相機(jī)光圈，只有一定角度內(nèi)的光線(xiàn)被成功采集，被光場(chǎng)相機(jī)采集到的光線(xiàn)的角度范圍決定了能夠觀察的最大視差范圍，我們記這個(gè)角度為FOP。換句話(huà)說(shuō)，圖9中光場(chǎng)相機(jī)只能采集到B點(diǎn)FOP角度范圍內(nèi)的光線(xiàn)。但FOP的大小隨著發(fā)光點(diǎn)與光場(chǎng)相機(jī)的距離遠(yuǎn)近而不同，因此通常采用基線(xiàn)的長(zhǎng)度來(lái)衡量FOP的大小，圖9中主鏡頭的光圈直徑等效為基線(xiàn)長(zhǎng)度。

圖9中B點(diǎn)在FOP角度范圍內(nèi)的光線(xiàn)被微透鏡分成4x4束光線(xiàn)，光場(chǎng)相機(jī)的角度分辨率即為4x4，光場(chǎng)相機(jī)的角度分辨率表征了一個(gè)發(fā)光點(diǎn)在FOP角度范圍內(nèi)的光線(xiàn)被離散化的程度。而基于小孔成像模型相機(jī)的角度分辨率始終為1x1。光場(chǎng)的視點(diǎn)圖像分辨率同樣表征了被采集場(chǎng)景表面離散化程度，成像傳感器分辨率除以角度分辨率即為視點(diǎn)圖像分辨率。

圖 9. 透鏡陣列4D光場(chǎng)的圖像分辨率和角度分辨率

基于相機(jī)陣列的光場(chǎng)相機(jī)同樣可以用視點(diǎn)圖像分辨率、角度分辨率、FOV、FOP四個(gè)參數(shù)來(lái)衡量光場(chǎng)相機(jī)的各方面性能。如圖10所示為4x4相機(jī)陣列，B點(diǎn)半球范圍內(nèi)發(fā)出的光線(xiàn)中FOP角度范圍內(nèi)的光線(xiàn)被相機(jī)陣列分成4x4束并分別被采集。相機(jī)的個(gè)數(shù)4x4即為角度分辨率，單個(gè)相機(jī)成像傳感器的分辨率即為視點(diǎn)圖像分辨率。所有相機(jī)FOV的交集可以等效為光場(chǎng)相機(jī)的FOV?；谙鄼C(jī)陣列的光場(chǎng)相機(jī)的基線(xiàn)長(zhǎng)度為兩端相機(jī)光心之間的距離。一般而言，基于相機(jī)陣列的光場(chǎng)相機(jī)比基于微透鏡陣列的光場(chǎng)相機(jī)具有更長(zhǎng)的基線(xiàn)，也就具有更大的FOP角度。

圖 10. 相機(jī)陣列4D光場(chǎng)的圖像分辨率和角度分辨率

4、光場(chǎng)4D可視化

4D光場(chǎng)數(shù)據(jù)可以表示為（Vx, Vy, Rx, Ry），其中（Vx, Vy）表征了角度分辨率，表示有Vx*Vy個(gè)視點(diǎn)（View）圖像；（Rx, Ry）表征視點(diǎn)圖像分辨率，表示單個(gè)視點(diǎn)圖像的分辨率為Rx*Ry。如圖11中上側(cè)圖展示了7x7光場(chǎng)的可視化，表示共有49個(gè)視點(diǎn)圖像，每個(gè)視點(diǎn)的圖像分辨率為384x512。視點(diǎn)圖像分辨率越高，包含的細(xì)節(jié)越多。角度分辨率越高，單位角度內(nèi)視點(diǎn)數(shù)量越多，視差過(guò)度就越平滑。角度分辨率越低，視點(diǎn)就越稀疏，觀看光場(chǎng)時(shí)視點(diǎn)跳躍感越明顯。假設(shè)在10度的可視角度內(nèi)水平方向上包含了7個(gè)視點(diǎn)，相鄰視點(diǎn)間的角度為1.67度，在2米的觀看距離，相鄰兩個(gè)視點(diǎn)的水平距離為29毫米。當(dāng)視點(diǎn)個(gè)數(shù)減少，相鄰視點(diǎn)的空間距離變大，觀看者移動(dòng)觀看位置時(shí)就會(huì)感到明顯的視點(diǎn)跳躍。

光場(chǎng)中任意兩個(gè)視點(diǎn)間都存在視差，將光場(chǎng)（Vx, Vy, Rx, Ry）中的部分視點(diǎn)圖像放大，如圖11中下側(cè)所示；同一行所有視點(diǎn)圖像之間只有水平視差，沒(méi)有垂直視差；同一列所有視點(diǎn)圖像之間只有垂直視差，沒(méi)有水平視差。

圖 11. 光場(chǎng)角度分辨率和視點(diǎn)分辨率可視化分析

光場(chǎng)作為高維數(shù)據(jù)，不便于可視化分析。為了更好的分析光場(chǎng)中的視差，往往將光場(chǎng)中某一個(gè)水平/垂直視點(diǎn)上所有圖像的同一行/列像素堆成一幅2D圖像，稱(chēng)之為光場(chǎng)切片數(shù)據(jù)（Light Field Slice）。光場(chǎng)切片圖像可以將光場(chǎng)中的水平視差和垂直視差可視化，便于直觀分析。如圖12中藍(lán)色線(xiàn)條所在的行像素堆疊后就形成了圖12中下側(cè)的光場(chǎng)切片圖像。類(lèi)似的，如圖11中將光場(chǎng)中同一垂直視點(diǎn)上所有綠色線(xiàn)條所在的列像素堆疊后就形成了圖11中右側(cè)的光場(chǎng)切片圖像。

圖 12. 光場(chǎng)切片圖例

5、光場(chǎng)技術(shù)展望

從全世界光場(chǎng)技術(shù)的發(fā)展趨勢(shì)來(lái)看，美國(guó)硅谷的科技巨頭爭(zhēng)相布局和儲(chǔ)備光場(chǎng)技術(shù)，有些甚至已經(jīng)出現(xiàn)了Demo應(yīng)用。在光場(chǎng)的采集方面，例如Google在Steam平臺(tái)上發(fā)布的《Welcome to Light Field》、Lytro光場(chǎng)相機(jī)。在光場(chǎng)顯示方面，例如Magic Leap采用的兩層離散光場(chǎng)顯示技術(shù)、NVIDIA發(fā)布的近眼光場(chǎng)顯示眼鏡、Facebook旗下Oculus的道格拉斯?蘭曼團(tuán)隊(duì)正在研發(fā)的光場(chǎng)VR頭盔。

光場(chǎng)技術(shù)的研究主要分為兩大方面，包括光場(chǎng)采集和光場(chǎng)顯示。光場(chǎng)采集技術(shù)相對(duì)更成熟，在某些To B領(lǐng)域已經(jīng)基本達(dá)到可以落地使用的程度。光場(chǎng)采集主要是提供3D數(shù)字內(nèi)容，一次采集可以推廣使用，這并不要求由個(gè)體消費(fèi)者來(lái)完成，一般都是由一個(gè)團(tuán)隊(duì)來(lái)完成。因此對(duì)于光場(chǎng)采集系統(tǒng)的硬件成本、體積、功耗有更大的可接受度。相比之下，光場(chǎng)顯示是偏向To C的產(chǎn)品，個(gè)體用戶(hù)在成本、體積、功耗、舒適度等多方面都極度挑剔。光場(chǎng)顯示在多個(gè)高校和科研機(jī)構(gòu)已經(jīng)完成了原形樣機(jī)的開(kāi)發(fā)，在通往商業(yè)化實(shí)用的道路上，目前最大的挑戰(zhàn)就在于光場(chǎng)顯示設(shè)備的小型化和低功耗。

Magic Leap One的推出似乎并沒(méi)有達(dá)到消費(fèi)者原本對(duì)它的期待，這其中的差距是可以解釋的。是否具備光場(chǎng)顯示對(duì)于VR/AR頭盔來(lái)說(shuō)最大的區(qū)別是能否解決VAC (Vergence–Accommodation Conflicts) 問(wèn)題，關(guān)于VAC的解釋具體可參見(jiàn)《Mars說(shuō)光場(chǎng)（2）— 光場(chǎng)與人眼立體成像機(jī)理》。當(dāng)前的VR/AR頭盔只有一層呈像平面，會(huì)引起頭暈、近視等VAC問(wèn)題。當(dāng)光場(chǎng)VR/AR頭盔中呈現(xiàn)無(wú)窮多層不同距離上的呈像平面時(shí)，VAC的問(wèn)題就會(huì)得到完美解決。然而在可預(yù)見(jiàn)的未來(lái)，實(shí)現(xiàn)無(wú)窮多層呈像平面的光場(chǎng)顯示技術(shù)是不現(xiàn)實(shí)的。換句話(huà)說(shuō)，在可預(yù)見(jiàn)的未來(lái)，讓個(gè)體消費(fèi)者能使用上100%完美理想的光場(chǎng)顯示設(shè)備，這本來(lái)就是一個(gè)不切實(shí)際的目標(biāo)。因此只能盡量增加光場(chǎng)中呈像平面的層數(shù)，VAC的問(wèn)題隨著呈像層數(shù)的增加就會(huì)得到越發(fā)明顯的改善。當(dāng)呈像層數(shù)達(dá)到一定數(shù)量以后，人眼已經(jīng)無(wú)法明顯感受到VAC。就像手機(jī)屏幕的分辨率達(dá)到一定密度以后，雖然仍是由離散的像素點(diǎn)構(gòu)成，但人眼已經(jīng)無(wú)法分辨。因此，并不需要刻意追求無(wú)窮多層可連續(xù)聚焦的光場(chǎng)顯示。

在Magic Leap One上市之前，所有商業(yè)化的顯示設(shè)備都是在追求分辨率、色彩還原度等指標(biāo)的提升，而從來(lái)沒(méi)有顯示維度的突破。Magic Leap One是目前全世界范圍內(nèi)第一款具有大于1層呈像平面的商業(yè)化頭戴顯示設(shè)備。Magic Leap One的2層呈像平面相比HoloLens的1層呈像平面在視覺(jué)體驗(yàn)上并不會(huì)帶來(lái)明顯的改善，但是在對(duì)長(zhǎng)期佩戴所引起的疲勞、不適、近視等問(wèn)題是會(huì)有所改善的。然而用戶(hù)對(duì)此并不買(mǎi)賬，可以解釋為三方面的原因：（1）目前VR/AR設(shè)備的用戶(hù)使用時(shí)間本來(lái)就很短，用戶(hù)對(duì)于緩解疲勞等隱性的改善沒(méi)有立即直觀的體驗(yàn)，這些隱性的改善往往會(huì)被忽略。（2）現(xiàn)代消費(fèi)人群沒(méi)有體驗(yàn)過(guò)黑白電視和CRT顯示器，在新興消費(fèi)人群中1080P、全彩色、無(wú)色差等是他們對(duì)顯示設(shè)備的底線(xiàn)要求，而且這種底線(xiàn)還在逐年提高。當(dāng)Magic Leap One上市時(shí)，一旦分辨率或色彩還原度低于消費(fèi)者能接受的底線(xiàn)，縱然光場(chǎng)顯示帶來(lái)了其他的隱性改善，但消費(fèi)者會(huì)在第一印象中產(chǎn)生抗拒情緒。相比手機(jī)的高質(zhì)量顯示，Magic Leap One和HoloLens在顯示的質(zhì)量上都有所退化，對(duì)于已經(jīng)習(xí)慣2K的用戶(hù)而言，很難接受這樣的顯示質(zhì)量退化。（3）Magic Leap One的呈像平面從1層增加到2層，這并代表其視覺(jué)體驗(yàn)就能改善2倍。只有當(dāng)呈像平面達(dá)到一定數(shù)量以后，人眼才能感覺(jué)到視覺(jué)呈像質(zhì)量的明顯改善。

盡管Magic Leap的2層光場(chǎng)顯示并沒(méi)有得到用戶(hù)的高度認(rèn)可，但它在顯示的維度上實(shí)現(xiàn)了0到1的突破。光場(chǎng)顯示層數(shù)能夠從單層增加到2層，這是光場(chǎng)顯示技術(shù)商業(yè)化的良好開(kāi)端，后續(xù)從2層增加到10層甚至20層只是時(shí)間的問(wèn)題了?；仡櫴謾C(jī)發(fā)展歷史，手機(jī)顯示經(jīng)歷了從大哥大時(shí)代的單行黑白屏到現(xiàn)在iPhone X約2K全彩顯示屏。我相信目前光場(chǎng)顯示設(shè)備就像30年前的大哥大一樣，正處于黎明前的黑暗，必然還需要經(jīng)歷多次的進(jìn)化。一旦成功，其最終光場(chǎng)顯示的效果相對(duì)目前的智能手機(jī)來(lái)說(shuō)將會(huì)是革命性的進(jìn)步。

---

[1] E. N. Marieb and K. N. Hoehn, Human Anatomy & Physiology (Pearson, 2012).

[2] A. Gershun, “The light field,” Moscow, 1936, P. Moon and G. Timoshenko, translators, J. Math. Phys. XVIII, 51–151 (1939).

[3] Moon P, Spencer D E. The photic field[J]. Cambridge Ma Mit Press P, 1981, 1.

[4] Zhang C, Chen T. Light Field Sampling[J]. Synthesis Lectures on Image Video & Multimedia Processing, 2006(1):102.

[5] Javidi B, Okano F. Three-Dimensional Television, Video, and Display Technology[J]. Materials Today, 2003, 6(2):50.

[6] Ozaktas H M, Onural L. Three-Dimensional Television: Capture, Transmission, Display[J]. Thomas Telford, 2008, 2(1):487 - 488.

[7] E. Adelson and J. Bergen, “The plenoptic function and the elements of early vision,” in Computational Models of Visual Processing (MIT, 1991), pp. 3–20.

[8] Todd Gustavson, George Eastman House. Camera: A history of photography from daguerreotype to digital[M]. Sterling Innovation, 2012.

[9] M. Levoy and P. Hanrahan, Light field rendering[C]. Proceedings of ACM SIGGRAPH, 1996.

雷峰網(wǎng)原創(chuàng)文章，未經(jīng)授權(quán)禁止轉(zhuǎn)載。詳情見(jiàn)轉(zhuǎn)載須知。