視力取決于通過(guò)角膜、瞳孔和晶狀體等透明組織進(jìn)入眼睛的光線。當(dāng)光線到達(dá)視網(wǎng)膜時(shí)，感光器產(chǎn)生信號(hào)并通過(guò)視神經(jīng)將信號(hào)傳輸?shù)酱竽X，從而形成圖像。進(jìn)入眼睛的一些光被覆蓋在角膜上的高反射性液體薄膜反射回現(xiàn)實(shí)世界。

馬里蘭大學(xué)的研究人員能夠捕獲這種反射光并提取周?chē)h(huán)境的三維模型。在預(yù)印本服務(wù)器arXiv上一篇題為“通過(guò)你的眼睛看世界”的論文中，該團(tuán)隊(duì)描述了用于捕獲眼睛反射并使用經(jīng)過(guò)專(zhuān)門(mén)訓(xùn)練的AI視覺(jué)渲染算法NeRF將其轉(zhuǎn)換為連貫3D渲染的方法。

(相關(guān)資料圖)

神經(jīng)輻射場(chǎng)(NeRF)是一種AI神經(jīng)網(wǎng)絡(luò)，可以基于多個(gè)2D圖像生成復(fù)雜3D場(chǎng)景的新穎連續(xù)視圖。通常，NeRF可以通過(guò)不同角度的幾十張靜態(tài)圖像生成具有足夠深度和細(xì)節(jié)的3D表示，幾乎與可以在物體或空間中移動(dòng)的視頻沒(méi)有區(qū)別。

在馬里蘭州團(tuán)隊(duì)目前的努力中，他們從固定位置的高分辨率相機(jī)拍攝的多張圖像開(kāi)始，聚焦于朝相機(jī)看的運(yùn)動(dòng)中的個(gè)人，其框架類(lèi)似于護(hù)照或駕駛執(zhí)照照片。放大被成像人眼睛中的反射，可以看到視野的鏡像，并且可以識(shí)別該區(qū)域中的物體。

圖像中包含各種眼睛偽影、虹膜紋理的復(fù)雜性以及每幅圖像中捕獲的可識(shí)別但分辨率較低的反射。為了從圖像中刪除虹膜，通過(guò)訓(xùn)練2D紋理圖來(lái)執(zhí)行紋理分解，該紋理圖可以學(xué)習(xí)虹膜紋理并將其刪除。

利用所有成年人大致相同的角膜幾何形狀，進(jìn)行計(jì)算以準(zhǔn)確跟蹤他們的眼睛正在看的地方。這還允許確定相機(jī)的角度，在彎曲的幾何形狀上繪制圖像的坐標(biāo)，并為NeRFAI設(shè)置觀察方向，以便稍后用于重建3D渲染。盡管角膜位置和幾何估計(jì)存在細(xì)微的誤差，但該方法在場(chǎng)景重建中是有效的。

放置在人兩側(cè)(框架外)的區(qū)域燈用于照亮他們面前的感興趣的物體。在拍攝多張圖像時(shí)，被拍攝者被要求在相機(jī)的視野內(nèi)移動(dòng)。

在人眼測(cè)試該方法時(shí)，可以看到圖像的分辨率非常適中，但是是深度映射的3D渲染。

在數(shù)字圖像之前使用假眼的更理想的綜合測(cè)試中，通過(guò)提高3D映射的分辨率獲得了更明顯的圖像。

第三項(xiàng)測(cè)試應(yīng)用該方法從MileyCyrus和LadyGaga的音樂(lè)視頻中捕獲眼睛反射圖像，試圖重建他們?cè)谂臄z視頻時(shí)所觀察到的內(nèi)容。

麥莉·賽勒斯(MileyCyrus)的眼睛圖像似乎是一個(gè)LED網(wǎng)格燈，這很合適，因?yàn)樗谝曨l中流著淚，凝視明亮的光線可能有助于達(dá)到預(yù)期的效果。在LadyGaga的眼中，有一個(gè)可以解釋為三腳架上的相機(jī)的東西，但圖像不清楚。

在測(cè)試的兩個(gè)音樂(lè)視頻場(chǎng)景中，搖滾明星主題可能是工作室中唯一光線充足的東西，因?yàn)闊艄?、攝像機(jī)和動(dòng)作都是關(guān)于他們的。在更平常的情況下，比如Zoom通話或一系列自拍帖子，照明可能更有利于收集周?chē)h(huán)境的信息。

關(guān)鍵詞：