NeRSP CVPR24 Atunkọ 3D Neural fun Ilana Ilana Awọn nkan Itumọ

Awọn onkọwe: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
Awọn ibatan: Beijing University of Posts ati Telecommunications, Osaka University, Peking University

Àdánù: Ọja NeRSP nfunni ni ilọsiwaju awọn abajade atunkọ apẹrẹ fun awọn oju didan ni akawe si awọn ọna ti o wa.

Awọn ilana Lilo ọja

Ọrọ Iṣaaju
Ọja NeRSP jẹ apẹrẹ fun atunkọ 3D ti awọn nkan ifojusọna nipa lilo awọn aworan pola ti fọnka. O bori awọn italaya ti o jọmọ wiwa pupọview awọn ibaraẹnisọrọ ati apẹrẹ ti o ya kuro lati radiance labẹ awọn ibaraẹnisọrọ to lopin.

Jẹmọ Ise
NeRSP jẹ atilẹyin nipasẹ Awọn aaye Radiance Neural (NeRF) ati awọn ọna atunkọ 3D miiran ti nkankikan. O ṣe apẹrẹ apẹrẹ dada ni ṣoki nipasẹ aaye jijin ti a fowo si (SDF) ati pe o lo wiwa kakiri aaye iyatọ ati ṣiṣe iwọn didun lati mu didara atunkọ apẹrẹ dara sii.
Awoṣe Ibiyi Aworan Polarimetric
NeRSP ṣafikun awoṣe dida aworan polarimetric kan lati ṣe yọrisi photometric ati awọn ifẹnule jiometirika fun atunkọ.

FAQ:

Q: Kini advantage ti lilo NeRSP fun 3D atunkọ?
A: NeRSP nfunni ni awọn abajade atunkọ apẹrẹ ti o dara julọ fun awọn oju didan ni akawe si awọn ọna ti o wa tẹlẹ nitori ọna imotuntun rẹ nipa lilo awọn aworan pola fọnka.

Q: Njẹ ọja NeRSP dara fun awọn ipele ti o tan kaakiri?
A: Lakoko ti NeRSP jẹ apẹrẹ nipataki fun awọn oju didan, o tun le pese iṣiro apẹrẹ ti o ni idaniloju fun awọn ibi ti o tan kaakiri nibiti aitasera photometric wulo kọja views.

NeRSP:
Atunkọ 3D Neural fun Awọn nkan Itumọ pẹlu Awọn Aworan Polarized Sparse

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

Beijing University of Posts ati Telecommunications

Graduate School of Information Science ati Technology, Osaka University
Ile-iṣẹ Bọtini Orilẹ-ede fun Ṣiṣe Alaye Alaye Multimedia, Ile-iwe ti Imọ-ẹrọ Kọmputa, Ile-ẹkọ giga Peking 4Ile-iṣẹ Iwadi Imọ-ẹrọ Orilẹ-ede ti Imọ-ẹrọ Iwoye, Ile-iwe ti Imọ Kọmputa, Ile-ẹkọ giga Peking
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

Áljẹbrà

A ṣe afihan NeRSP, ilana atunkọ 3D Neural kan fun awọn ibi ifọkasi pẹlu awọn aworan Polarized Sparse. Itumọ dada atunkọ jẹ nija lalailopinpin bi awọn iweyinpada pataki jẹ view-ti o gbẹkẹle ati bayi rú awọn pupọview aitasera fun ọpọlọpọview sitẹrio. Ni ọwọ keji, awọn igbewọle aworan ṣoki, gẹgẹbi eto imudani to wulo, nigbagbogbo nfa awọn abajade ti ko pe tabi daru nitori aini ibaamu iwe-kikọ. Iwe yii ni apapọ n kapa awọn italaya ti awọn igbewọle fọnka ati awọn oju didan nipa gbigbe awọn aworan polariṣi. A niri photometric ati jiometirika awọn ifẹnukonu lati polarimetric aworan igbekalẹ awoṣe ati olonaview aitasera azimuth, eyiti o mu ki geometry dada dara pọ si ti a ṣe apẹrẹ nipasẹ aṣoju alaiṣedeede. Da lori awọn idanwo lori sintetiki ati awọn ipilẹ data gidi, a ṣaṣeyọri awọn abajade atunkọ oju-ọna ti o dara julọ pẹlu 6 nikan views bi input.

Ọrọ Iṣaaju

Olonaview Atunṣe 3D jẹ iṣoro ipilẹ ni iran kọnputa (CV) ati pe a ti ṣe iwadi lọpọlọpọ fun ọpọlọpọ ọdun [14]. Pẹlu ilọsiwaju ti aṣoju dada ti ko tọ [27, 28] ati awọn aaye didan ti iṣan [22], ọpọlọpọ aipẹview Awọn ọna atunkọ 3D [5, 33, 38, 41] ti ni ilọsiwaju nla. Pelu awọn abajade imularada apẹrẹ ti o lagbara, pupọ julọview Awọn ọna sitẹrio (MVS) ṣi gbarale pupọ lori wiwa ibaramu laarin views, eyiti o jẹ nija ni pataki fun awọn oju didan ati titẹ sii fọnka views.

Fun reflective roboto, awọn view-dada ti o gbẹkẹle-

Ilowosi dogba. ∗ Onkọwe ti o baamu.
Oju-iwe ise agbese: https://yu-fei-han.github.io/NeRSP-project/.

Ṣe nọmba 1. Apẹrẹ awọn atunṣe ti oju didan lati 6 fọnka awọn aworan pola ti o ya (awọn ori ila oke). NeRSP wa ṣaṣeyọri abajade atunkọ apẹrẹ ti o dara julọ ni akawe si awọn ọna ti o wa ti o jẹ ki o koju awọn igbewọle fọnka (S-VolSDF [35]) tabi ifarabalẹ afihan (PANDORA [9]).

Pearance fọ arosinu aitasera photometric ti a lo ninu iṣiro ifọrọranṣẹ ni MVS. Lati koju iṣoro yii, awọn ọna atunkọ 3D ti aipẹ aipẹ (fun apẹẹrẹ, Ref-NeuS [13], NeRO [19], ati PANDORA [9]) ṣe apẹẹrẹ irisi ni gbangba ati ni igbakanna ṣe iṣiro irisi ati awọn maapu ayika nipasẹ ṣiṣe iyipada. Sibẹsibẹ, ipon image akomora labẹ Oniruuru views ni a nilo lati fi otitọ mu awọn afikun aimọ ni afikun si apẹrẹ, gẹgẹbi albedo, roughness, ati maapu agbegbe.

Lati titẹ sii fọnka views, o jẹ igba nija lati wa ọpọlọpọ ti o toview awọn lẹta. Paapa nigbati o nsoju view-awọn afihan ti o gbẹkẹle, o ṣoro lati yọ apẹrẹ kuro ni didan labẹ nọmba to lopin ti awọn ifọrọwerọ, ti o yori si ambiguity apẹrẹ-radiance [40]. Awọn ọna atunkọ 3D nkankikan aipẹ fun fọnka views (fun apẹẹrẹ, S-VolSDF [35] ati SparseNeuS [20]) nilo isọdọtun nipa lilo aitasera photometric, eyiti o le jẹ irufin fun awọn oju didan.

Lati koju awọn iṣoro mejeeji, a daba lati lo awọn aworan pola ti fọnka dipo awọn igbewọle RGB. Ni pataki, a dabaa NeRSP, ọna atunkọ 3D Neural lati gba apẹrẹ ti awọn oju-aye Reflective pada lati awọn aworan Polarized Sparse. A lo igun ti polarization (AoP) ti o wa lati awọn aworan pola, eyiti o ṣe afihan igun azimuth ti apẹrẹ oju ti o to π ati π/2 ambiguities. Ifojusi jiometirika yii ni a mọ lati mu ọpọlọpọ ṣiṣẹview atunkọ apẹrẹ laibikita awọn ohun-ini ifoju dada, ṣugbọn apẹrẹ ti a pinnu ti o da lori aaye jiometirika nikan jẹ aibikita [6] labẹ fọnka. view eto. Ní ọwọ́ kejì ẹ̀wẹ̀, àmì photometric kan láti inú àwòṣe dida aworan polarimetric [2] ṣe iranlọwọ fun atunkọ dada neural (fun apẹẹrẹ, PANDORA [9]) nipa didinkẹhin iyatọ laarin awọn aworan ti o tun ṣe ati ti o ya. Bibẹẹkọ, apẹrẹ ti a pinnu ti o da lori oju-ọna photometric nikan tun jẹ aisan labẹ awọn igbewọle ṣoki nitori aibikita apẹrẹ-radiance. Ko dabi ọna ti o da lori polarimetric ti o wa tẹlẹ PANDORA [9] ti o ṣe akiyesi oju-ọna photometric nikan, NeRSP wa ṣe afihan isọpọ ti awọn mejeeji jiometirika ati awọn ifẹnukonu photometric ni imunadoko ni ṣoki aaye ojutu fun apẹrẹ dada, ti o fihan pe o munadoko ninu atunkọ dada didan ti o da lori awọn igbewọle fọnka. , bi a ti foju ri ni aworan 1.

Yato si NeRSP ti a dabaa fun atunkọ 3D, a tun kọ Multi-aye Multi kanView Aworan data ti a ti pola ti o ni awọn nkan 6 ninu pẹlu awọn meshes ilẹ-otitọ (GT) 3D, ti a npè ni RMVP3D. Yatọ si awọn ipilẹ data ti o wa tẹlẹ gẹgẹbi iwe data PANDORA [9] n pese awọn aworan pola nikan, awọn meshes GT ti o ni ibamu ati awọn deede oju oju fun ọkọọkan view gba igbelewọn pipo ti ọpọlọpọview polarised 3D atunkọ.

Lati akopọ, a advance multiview 3D atunkọ nipa igbero

NeRSP, ọna akọkọ ti o ni imọran lati lo alaye polarimetric fun atunkọ dada ti o tan imọlẹ labẹ fọnka views;

Atupalẹ okeerẹ ti iwoye photometric ati jiometirika ti o wa lati awọn aworan pola; ati
RMVP3D, olona-aye gidi akọkọview dataset aworan polarised pẹlu awọn apẹrẹ GT fun igbelewọn pipo.

Jẹmọ iṣẹ

Olonaview Atunkọ 3D ti ṣe iwadi lọpọlọpọ fun awọn ewadun. Awọn aaye Radiance Neural (NeRF) [3, 22, 40] ti ṣaṣeyọri aṣeyọri nla ninu aramada view kolaginni ni odun to šẹšẹ. Atilẹyin nipasẹ NeRF, awọn ọna atunkọ 3D neural [24] ni a dabaa, nibiti a ti ṣe apẹrẹ apẹrẹ dada taara nipasẹ aaye jijin ti fowo si (SDF). Bibẹrẹ lati DVR [24], awọn ọna ti o tẹle ni ilọsiwaju didara atunkọ apẹrẹ nipasẹ wiwa kakiri aaye ti o yatọ [37], ṣiṣe iwọn didun [26, 33, 38], tabi aṣoju apẹrẹ ti o ni ilọsiwaju [18, 34]. Awọn ọna wọnyi le ṣaṣeyọri ifoju apẹrẹ ti o ni idaniloju fun awọn ibigbogbo ibi ti aitasera fọto-metric wulo kọja views.

Atunkọ fun awọn oju oju didan jẹ nija bi aitasera photometric jẹ aiṣedeede. Awọn ọna ti o wa tẹlẹ [5, 41, 42] ṣe apẹẹrẹ ni kedere viewIfarabalẹ ti o gbẹkẹle ati disentangle apẹrẹ naa, awọn itanna ti o yatọ si aye, ati awọn ohun-ini afihan bi albedo ati roughness. Sibẹsibẹ, awọn iṣiro ti awọn oniyipada ti o wa loke ko ni itẹlọrun bi aiṣedeede naa jẹ aiṣedeede pupọ. NeRO [19] ṣe igbero nipa lilo isunmọ pipin-apapọ ti awoṣe dida aworan ati siwaju si ilọsiwaju didara atunkọ apẹrẹ laisi nilo awọn iboju iparada. Bibẹẹkọ, awọn ọna ti o wa loke ni igbagbogbo nilo gbigba aworan ipon lati ṣe iṣeduro awọn abajade imularada apẹrẹ ti o ṣeeṣe fun awọn oju oju didanju nija.

Atunṣe pẹlu fọnka views ṣe pataki fun awọn oju iṣẹlẹ ti o wulo ti o nilo imudani daradara. Nitori aini ti awọn lẹta ti o to lati opin views, aibikita apẹrẹ-radiance ko le ṣe ipinnu, ti o yori si ariwo ati awọn imupadabọ apẹrẹ ti o daru. Awọn ọna ti o wa tẹlẹ koju iṣoro yii nipa fifi awọn isọdọtun bii didan geometry dada [25], ijinle isokuso ṣaaju [10, 32], tabi iṣakoso igbohunsafẹfẹ ti fifi koodu ipo [36]. Diẹ ninu awọn ọna [7, 20, 39] ṣe agbekalẹ atunkọ 3D fọnka bi iṣoro gbogbogbo 3D ti o ni ilodi si nibiti awọn ẹya aworan ti a ti kọkọ tẹlẹ ti lo bi awọn iṣaaju gbogbogbo. S-VolSDF [35] kan awọn kilasika olonaview ọna sitẹrio bi ipilẹṣẹ ati ṣe deede iṣapeye ti iṣelọpọ nkankikan pẹlu iwọn iṣeeṣe kan. Bibẹẹkọ, o tun jẹ nija fun awọn ọna lọwọlọwọ lati gba awọn oju didan pada ni deede.

Atunkọ nipa lilo awọn aworan pola ti ṣe iwadi fun awọn mejeeji nikan-view eto [1, 2, 16, 23, 29] ati ọpọlọpọview eto [6, 8, 9, 11, 12, 43]. Ko dabi awọn aworan RGB, AoP lati awọn aworan didan pese awọn ifọkansi taara fun deede dada. Nikan-view apẹrẹ lati awọn imọ-ẹrọ polarization (SfP) ni anfani lati inu ohun-ini yii ati ṣe iṣiro deede dada labẹ ina ti o jina ẹyọkan [21, 29] tabi ina adayeba aimọ [1, 16]. Olonaview Awọn ọna SfP [8, 43] yanju awọn aibikita π ati π/2 ninu AoP ti o da lori ọpọlọpọview awọn akiyesi. PANDORA [9] jẹ ọna atunkọ 3D nkankikan akọkọ ti o da lori awọn aworan pola, ti a fihan lati munadoko ninu gbigbapada apẹrẹ oju ati itanna. MVAS [6] gba apẹrẹ dada pada lati ọpọlọpọview awọn maapu azimuth, ti o ni ibatan pẹkipẹki si awọn maapu AoP ti o wa lati

polarized images. Bibẹẹkọ, awọn ọna wọnyi ko ṣe iwadii nipa lilo awọn aworan didan fun atunkọ oju oju didan labẹ awọn ibọn kekere.

Awoṣe Ibiyi Aworan Polarimetric

Ṣaaju ki o to omiwẹ sinu ọna ti a dabaa, a kọkọ ṣafihan awoṣe dida aworan aworan polarimetric ati gba ami-iwọn fọto-metric ati isejusi jiometirika ninu ọna wa. Gẹgẹbi a ṣe han ni aworan 2, kamẹra polarization aworan kan ṣe igbasilẹ awọn akiyesi aworan ni awọn igun polarization mẹrin, pẹlu awọn iye piksẹli ti a tọka si bi {I0, I45, I90, I135}. Awọn aworan mẹrin wọnyi ṣe afihan ipo polarization ti awọn imọlẹ ti a gba, eyiti o jẹ aṣoju bi 4D Stokes vector s = [s0, s1, s2, s3] ti a ṣe iṣiro bi

A ro pe ko si ina polarized iyika bayi ni yiyan s3 lati jẹ 0. A le lo vector Stokes lati ṣe iṣiro igun ti polarization (AoP), ie

Da lori AoP ati Stokes fekito, a niri jiometirika ati photometric awọn ifẹnule ni ibamu.

Jiometirika iseju
Fi fun AoP ϕa, igun azimuth ti dada le jẹ boya ϕa + π/2 tabi ϕa + π, ti a mọ si π ati π/2 ambiguity ti o da lori boya oju ilẹ jẹ pataki tabi tan kaakiri. Ni apakan yii, a kọkọ ṣafihan iwo jiometirika ti ọpọlọpọ muview maapu azimuth ati lẹhinna fa siwaju si ọran AoP.

Ni atẹle MVAS [6], fun aaye aaye kan x, oju rẹ deede n ati igun azimuth ti akanṣe ϕ ninu kamẹra kan view tẹle awọn ibasepo bi

nibiti R = [r1, r2, r3]⊤ jẹ matrix iyipo ti iduro kamẹra. A le tun-ṣeto Eq siwaju sii. (3) lati gba ibatan orthogonal laarin deede dada ati tangent vector t (ϕ) ti o jẹ iṣẹ akanṣe gẹgẹbi asọye ni isalẹ,

Iyatọ π laarin AoP ati igun azimuth le jẹ ipinnu nipa ti ara bi Eq. (4) duro ti a ba fi ϕ nipasẹ π. A le koju aibikita π/2 nipa lilo pseudo-projected tangent vector tˆ(ϕ) iru eyi

Ti aaye ibi kan x ba ṣe akiyesi nipasẹ f views, a le ṣe akopọ Eq. (4) ati Eq. (5) da lori k o yatọ si iyipo ati šakiyesi AoPs, yori si a laini eto

T (x) n (x) = 0. (6)

A tọju eto laini yii bi itọsi jiometirika wa fun ọpọlọpọ-view polarised 3D atunkọ.

Photometric isejusi
Ti a ro pe itanna ayika isẹlẹ ko ni ailabawọn, awọn Stokes fekito ti isẹlẹ ina itọsọna ω le jẹ aṣoju bi

si (ω) = L (ω) [1, 0, 0, 0]⊤, (7)

nibiti L (ω) n tọka si kikankikan ina. Imọlẹ ti njade ti o gbasilẹ nipasẹ kamẹra polarization di pola ni apakan nitori iṣaro. Ilana yii jẹ apẹrẹ nipasẹ 4 × 4 Muller matrix H. Labẹ itanna ayika kan, ti njade Stokes fekito bẹ le ṣe agbekalẹ gẹgẹbi ohun elo ti isẹlẹ Stokes vector isodipupo pẹlu Muller matrix, ie

nibiti v ati Ω n tọka si view itọsọna ati ašẹ pataki. Ni atẹle awoṣe BRDF (pBRDF) polarised [2], atẹjade Stokes fekito le jẹ jijẹ sinu tan kaakiri ati awọn ẹya pataki ti a ṣe apẹrẹ nipasẹ Hd ati Hs ni ibamu, ie

Ni atẹle itọsẹ lati PANDORA [9], a le tun ṣe agbekalẹ iṣelọpọ Stokes fekito bi

nibiti Ld = fΩ ρL(ω)ω⊤n T+i T−i dω ti tọkasi bi didan kaakiri ti o nii ṣe pẹlu ojuda deede n, awọn iyeida gbigbe Fresnel [2] T + i, o ati T−i, o, tan kaakiri albedo ρ , ati igun azimuth ti isẹlẹ ina ϕn. Ls = fΩ L(ω) DG 4n⊤v dω n tọka si imole pataki ti o ni ibatan si awọn iye-itumọ Fresnel [2] R+ ati R-, igun azimuth iṣẹlẹ ϕh wrt idaji vector h = ω+v∥ω+v∥22, ati pinpin deede ati igba ojiji D ati G ni awoṣe Microfacet [31].

Jọwọ ṣayẹwo ohun elo afikun fun awọn alaye diẹ sii. Da lori awoṣe dida aworan polarimetric ti o han ni Eq. (10), a kọ oju-ọna photometric.

Ọna ti a dabaa

NeRSP wa gba ọpọ fọnkaview awọn aworan didan, iboju ojiji ojiji biribiri ti o baamu ti ohun ibi-afẹde, ati kamẹra duro bi titẹ sii ati ṣe agbejade apẹrẹ dada ti ohun naa ni ipoduduro laitọ nipasẹ SDF. A bẹrẹ pẹlu ijiroro lori awọn ifẹnukonu photometric ati awọn ifẹnukonu jiometirika ni ipinnu aibikita atunkọ apẹrẹ, atẹle nipa itọnisọna lori eto nẹtiwọọki ati iṣẹ isonu ti NeRSP wa.

Ambiguity ni fọnka 3D atunkọ
Ifojusi jiometirika ati ojuuwe photometric ṣe ipa pataki ni idinku aaye ojutu ti apẹrẹ dada labẹ fọnka views. Gẹgẹbi a ṣe han ni aworan 3, a ṣe apejuwe iṣiro apẹrẹ labẹ 2 views pẹlu o yatọ si awọn ifẹnule. Ti a fun ni awọn aworan RGB nikan gẹgẹbi titẹ sii (ni ibamu si eto ni NeRO [19] ati S-VolSDF [35]), awọn akojọpọ oriṣiriṣi ti awọn ipo aaye aaye, awọn ipele oju-aye, ati awọn ohun-ini afihan gẹgẹbi albedo le ja si awọn akiyesi aworan kanna, niwon Awọn wiwọn RGB meji nikan wa fun awọn aaye 3D kọọkan lẹgbẹẹ ray kamẹra. Pẹlu awọn olutọpa Stokes ti a fa jade lati awọn aworan didan, ojuuwe photometric mu awọn wiwọn 6 fun aaye 3D kọọkan (Stokes vector ni awọn eroja 3), idinku awọn oludije deede dada ti ko baamu si awoṣe dida aworan polarimetric.

Ni apa keji, ti o da lori awọn maapu AoP1 lati awọn aworan didan, a le ṣe iyasọtọ dada deede deede titi di ambiguity fun gbogbo aaye aaye lẹgbẹẹ kamẹra kamẹra. Bibẹẹkọ, o ṣi ṣiyemeji lati wa ipo nibiti ray kamẹra ṣe intersects dada ayafi ti ẹkẹta view ti pese [6]. Nitorina, labẹ fọnka vieweto (fun apẹẹrẹ, 2 views ni aworan 3), ṣiṣe ipinnu ipo aaye ti o da lori boya jiometirika tabi iwoye photometric si maa wa aibikita.
Ọna wa ṣajọpọ awọn ifọkansi meji wọnyi ti o wa lati awọn aworan didan. Gẹgẹbi a ti ṣe akiyesi ni apa ọtun-isalẹ ti Ọpọtọ. Bi dada deede ni orisirisi awọn sampAwọn aaye ibi-iṣaaju ti a pinnu ni iyasọtọ nipasẹ awọn ifẹnukonu jiometirika, a le ni rọọrun pinnu boya aaye naa wa lori dada pẹlu iranlọwọ ti isemisi photometric kan. Ni ọna yii, a dinku aaye ojutu ti atunkọ dada alafihan fọnka-shot.

NeRSP
Ilana Nẹtiwọọki Bi o ṣe han ni aworan 4, NeRSP wa kan eto nẹtiwọọki ti o jọra pẹlu PANDORA [9] ti o ni ipilẹṣẹ lati Ref-NeRF [30]. Fun itanna ina ti o jade lati aarin kamẹra o pẹlu itọsọna v, a sample aaye kan lori ray pẹlu ijinna irin-ajo ti, ipo rẹ jẹ akiyesi ni xi = o + tiv. Ni atẹle iwọn didun ti a lo ni NeRF [25], awọn akiyesi Stokes vector s(v) le ṣepọ nipasẹ opacity iwọn didun σi ati awọn olutọpa Stokes ni sampmu ojuami pẹlú awọn ray, ie

ibo tọkasi awọn akojo transmittance ti biampojuami asiwaju.

Ti o ni itara nipasẹ ọna atunkọ 3D aipẹ NeuS [33], a gba ailagbara iwọn didun lati inu nẹtiwọọki SDF kan ati pe a tun yọ dada ni deede lati inu gradient ti SDF. Lati ṣe iṣiro so(xi, v) ni sampawọn ojuami ti o mu, a tẹle awoṣe dida aworan polarimetric ni Eq. (10). Ni pataki, radiance tan kaakiri Ld ni ibatan si albedo kaakiri ati awọn alafojusi gbigbe Fresnel, eyiti o da lori awọn ipo iṣẹlẹ ṣugbọn ko yatọ si view itọsọna. Nitorinaa, a lo nẹtiwọọki didan kaakiri lati ya aworan Ld lati awọn ẹya ti aaye aaye kọọkan. Awọn specular radiance Ls ni ibatan si awọn specular lobe pinnu nipasẹ awọn view itọsọna, dada deede, ati dada roughness. Nitorinaa a lo RoughnessNet kan lati ṣe asọtẹlẹ aijẹ oju. Paapọ pẹlu kamẹra view itọsọna ati dada asọtẹlẹ deede, a ṣe iṣiro awọn radiance specular Ls fol-lowing awọn ese ipo fifi koodu dabaa nipa Ref-NeRF [30]. Apapọ Ld ati Ls, a tun ṣe akiyesi awọn ohun elo Stokes ti o tẹle Eq. (10).

Iṣẹ isonu
Pipadanu photometric jẹ asọye bi aaye L1 laarin awọn akiyesi ˆs(v) ati atunko Stokes vectors s(v), ie,

nibiti V n tọka si gbogbo awọn egungun kamẹra ti a sọ laarin awọn iboju iparada ni oriṣiriṣi views. Fun pipadanu jiometirika. a kọkọ wa aaye 3D aaye x lẹgbẹẹ kamẹra ray v titi ti o fi kan dada ati lẹhinna wa awọn ipo 2D-pixel ti o jẹ iṣẹ akanṣe ni oriṣiriṣi. views. Pipadanu jiometirika jẹ asọye da lori Eq. (6), ie,

nibiti X ti n tọka si gbogbo awọn ikorita oju-ray-ray inu awọn iboju iparada ni oriṣiriṣi views. Yato si isonu photometric ati jiometirika, a ṣafikun pipadanu iboju-boju ti o ni abojuto nipasẹ awọn iboju iparada ati pipadanu isọdọtun Eikonal. Pipadanu boju-boju jẹ asọye bi

ibo duro fun iboju-boju ti a sọtẹlẹ ni kamẹra kamẹra k-th, eyiti iye iboju-boju GT jẹ itọkasi bi Mk. BCE ṣe aṣoju ipadanu agbelebu-entropy alakomeji.

ibi ti ni,k ni dada deede yo lati SDF nẹtiwọki ni i-th sampaaye ti o mu ni ọna kamẹra k-th. NeRSP wa ni abojuto nipasẹ apapọ awọn ofin pipadanu loke, ie

nibiti λe, λm, ati λp ti jẹ awọn iyeida fun awọn ofin isonu ti o baamu.

RMVP3D Dataset
Lati ṣe iṣiro ọna ti a dabaa ni iwọn, a gba Multi-aye Multi kanview Atokọ aworan ti o pola pẹlu awọn meshes otitọ ilẹ ti o ni ibamu. Nọmba 5 (osi) ṣe afihan iṣeto yiya wa, eyiti o pẹlu kamẹra polarimetric, FLIR BFS-U3-51S5PC-C, ti o ni ipese pẹlu lẹnsi 12 mm ati iṣinipopada iyipo. A lo OpenCV fun sisọ data aise ati gba awọn aworan awọ 1224×1024 pẹlu awọn igun polarizer ni awọn iwọn 0, 45, 90, ati 135. Lakoko gbigba data, a gbe awọn nkan ibi-afẹde si aarin iṣinipopada ati mu awọn aworan 60 fun ohun kan nipa gbigbe kamẹra pẹlu ọwọ. A gba awọn nkan 4 gẹgẹbi awọn ibi-afẹde: AJA, FROG, LION, ati BALL, gẹgẹbi a ṣe han ni aworan 5 (arin). Fun igbelewọn pipo, a gba ẹrọ iwo laser kan Creaform HandySCAN BLACK pẹlu deede ti 0.01 mm lati gba apapo otitọ ilẹ. Lati mö apapo si aworan ti o ya views, a kọkọ lo PANDORA [9] lati ṣe iṣiro apẹrẹ itọkasi nipa lilo gbogbo nkan ti o wa views ati lẹhinna so apapo ti ṣayẹwo pọ si ọkan ti a pinnu nipasẹ algorithm ICP [4]. Yato si ilẹ-otitọ ni nitobi ati olonaview awọn aworan, a tun gba maapu ayika nipa lilo kamẹra 360-iwọn THETA Z1, ni anfani awọn igbelewọn pipo lori iṣiro itanna fun awọn iṣẹ ṣiṣe ipadanu nkankikan ti o ni ibatan.

Awọn idanwo

A ṣe iṣiro NeRSP pẹlu awọn idanwo mẹta: 1) lafiwe pẹlu ọpọlọpọ ti o waview Awọn ọna atunkọ 3D ni iwọn lori ipilẹ data sintetiki; 2) ikẹkọ ablation lori ilowosi ti jiometirika ati awọn ofin ipadanu photometric 3) awọn igbelewọn agbara ati iwọn lori awọn ipilẹ data-aye gidi. A tun pese BRDF ati aramada view Abajade ni afikun ohun elo.

Datasets & Ipilẹ
Eto data. A mura awọn ipilẹ data gidi-aye meji: iwe data PAN-DORA [9] ati RMVP3D ti a dabaa, nibiti a ti lo iwe data PANDORA [9] nikan fun igbelewọn agbara bi ko ṣe pese awọn meshes otitọ ilẹ. A tun pese ọpọlọpọ sintetikiview polarized image dataset SMVP3D pẹlu Mitsuba Rendering engine [15], eyi ti o ni 5 ohun pẹlu spatially-orisirisi ati reflectance afihan, bi visualized ni eeya. views laileto pin ni ayika awọn ohun. Yato si awọn aworan pola ti a ṣe, a tun ṣe okeere si okeere awọn idọti stokes, awọn maapu deede dada GT, ati awọn maapu AoP fun ohun kọọkan.

Awọn ipilẹ. Iṣẹ wa yanju pupọview Atunkọ 3D fun awọn oju didan ti o da lori awọn aworan pola ti fọnka. Nitorinaa, a yan awọn ọna atunkọ 3D-ti-ti-ti-aworan ti o fojusi awọn ibi-iṣafihan NeRO [19] ati fọnka. views S-VolSDF [35]. Awọn ọna meji ti o wa loke da lori awọn igbewọle aworan RGB. Fun pupọview sitẹrio ti o da lori awọn aworan pola, a yan PANDORA [9] ati MVAS [6] gẹgẹbi awọn ipilẹ wa. NeRO [19] ko nilo awọn iboju ojiji biribiri bi titẹ sii. Fun lafiwe deede, a yọ abẹlẹ kuro ni awọn aworan RGB pẹlu awọn iboju iparada ti o baamu ṣaaju titẹ sii si NeRO [19]. Lati ṣe afiwe awọn ọna oriṣiriṣi, a lo aaye Chamfer (CD) laarin ifoju ati awọn meshes GT, ati aṣiṣe igun-ọna tumọ (MAE) laarin ifoju ati awọn deede dada GT ni oriṣiriṣi. views bi awọn metiriki igbelewọn wa.

Apẹrẹ imularada lori a sintetiki dataset
Gẹgẹbi a ṣe han ni Tabili 1, a ṣe akopọ aṣiṣe iṣiro apẹrẹ ti awọn ọna ti o wa ati tiwa lori SMVP3D. Ọna wa ṣe aṣeyọri ijinna Chamfer ti o kere julọ pẹlu gbogbo awọn nkan sintetiki 5. Da lori awọn iṣiro apẹrẹ wiwo ti o han ni aworan 7, NeRO [19] ati S-VolSDF [35] ko le gba awọn alaye dada pada ni deede bi a ti ṣe afihan ni pipade. views. Idi kan ti o ṣee ṣe ni pe iyapa ti apẹrẹ ati afihan ifarabalẹ lati awọn aworan fọnka jẹ nija pupọ fun awọn ọna wọnyi ti o da lori alaye RGB nikan. MVAS [6] ati PANDORA [9] koju awọn jiometirika ati awọn ifẹnukonu photometric ti awọn aworan pola, lọtọ. Bibẹẹkọ, awọn apẹrẹ oju ilẹ didan ti a tun ṣe ko ni itẹlọrun nitori awọn ambiguities ni jiometirika ati awọn ifẹnukonu photometric labẹ fọnka. views eto. Bi afihan ni pipade-soke views, ni anfani lati mejeeji geometric ati awọn ifẹnukonu photometric, ọna wa dinku aaye ojutu ti iṣiro apẹrẹ, ti o yori si awọn imupadabọ apẹrẹ ti o dara julọ ni akawe pẹlu awọn apẹrẹ GT.

Yato si igbelewọn ti apapo ti a tunṣe, a tun ṣe idanwo oju awọn abajade iṣiro deede. Gẹgẹbi a ṣe han ni Tabili 2, a ṣe akopọ awọn aṣiṣe igun ọna itumọ ti awọn deede dada ti a pinnu ni 6 views lati orisirisi awọn ọna. Ni ibamu pẹlu awọn abajade igbelewọn ni Tabili 1, NeRSP ṣaṣeyọri awọn aṣiṣe angular ti o kere julọ ni apapọ. A tun ṣe akiyesi pe awọn abajade lati NeRO [19], MVAS [6], ati PANDORA [9] ni awọn aṣiṣe ti o tobi ju lori awọn nkan ti o ni awọn alaye ti o dara, gẹgẹbi DAVID ati awọn ohun DRAGON. Bi example, MVAS [6] ni aaye keji ti o kere ju Chamfer ti o han ni Tabili 1, ṣugbọn aṣiṣe igun-ọna tumọ ju 20◦ lọ. Idi kan ti o pọju ni awọn ọna ti o wa tẹlẹ ti n jade awọn apẹrẹ didan ni fọnka views eto, ibi ti awọn dada alaye bi awọn flakes ti DRAGON ko ba wa ni daradara gba pada.

Tabili 1. Ifiwera awọn atunṣe apẹrẹ lori datasetitiki ti a ṣe ayẹwo nipasẹ ijinna Chamfer (↓). Awọn aṣiṣe ti o kere julọ ati keji ti wa ni aami ni igboya ati labẹ ila. "N/A" n tọka si idanwo nibiti ọna kan pato ko le ṣejade awọn abajade iṣiro apẹrẹ ti o ni oye.

Iwadi ablation
Ni abala yii, a ṣe ikẹkọ ablation lati ṣe idanwo imunadoko ti geometric ati awọn ifẹnukonu photometric. Mu ohun DRAGON bi example, a ṣe ọna wa pẹlu ati laisi pipadanu photometric LP ati isonu jiometirika Lg. Gẹgẹbi a ṣe han ni aworan 8, a ṣe apẹrẹ apẹrẹ ati dada awọn iṣiro deede nipasẹ piparẹ awọn ofin isonu ti o yatọ. Laisi pipadanu photometric, apẹrẹ ambiguity nitori fọnka views waye. Bi han lati awọn titi-soke views, apẹrẹ ti o wa nitosi apakan ẹsẹ ni ohun-ọṣọ concave, nitori pe awọn meji nikan ni o han views fun agbegbe yii, ko lagbara lati ṣe agbekalẹ ojutu alailẹgbẹ fun apẹrẹ ti o da lori awọn maapu AoP [6]. Laisi ipadanu jiometirika, a tun gba awọn abajade apẹrẹ ti o daru nitori awọn akiyesi aworan ti ko to lati sọ apẹrẹ, irisi, ati itanna jẹ alailẹgbẹ. Nipa pipọpọ photometric ati isonu geo-metric, NeRSP wa dinku aibikita ti apẹrẹ tun-ideri ati pe apẹrẹ ti a pinnu jẹ isunmọ si GT, bi a ti ṣe afihan ni pipade-soke views.

Ṣe nọmba 8. Iwadi ablation lori awọn ọrọ isonu ti o yatọ. Awọn ori ila oke ati isalẹ wo apẹrẹ ifoju ati dada deede, pẹlu ijinna Chamfer ati aṣiṣe igun ọna itumọ ti aami lori oke ti iha-nọmba kọọkan, ni atele.

Apẹrẹ imularada lori data gidi
Yato si awọn adanwo sintetiki ti o han ni apakan ti tẹlẹ, a tun ṣe iṣiro ọna wa lori awọn ipilẹ data gidi-aye PANDORA dataset [9] ati RMVP3D lati ṣe idanwo iwulo rẹ ni awọn oju iṣẹlẹ atunkọ 3D gidi-aye.

Igbelewọn agbara lori iwe data PANDORA [9]. Gẹgẹbi a ṣe han ni aworan 9, a pese awọn igbelewọn didara ti dataset PAN-DORA [9]. Ti a ṣe afiwe si irisi aworan pẹlu awọn abajade ifoju lati S-VolSDF [35] ati NeRO [19], apẹrẹ naa ko yapa ni kikun lati inu irisi, ti o yori si awọn apẹrẹ dada bumpy ti o ni ibatan pẹkipẹki si awoara ifojusọna. MVAS [6] ati PANDORA [9] ni awọn iṣiro apẹrẹ ti o ni didan ju tabi awọn ohun-ọṣọ apẹrẹ concave, nitori sisọ jiometirika tabi awọn ifẹnukonu photometric nikan labẹ eto imudani fọnka. Awọn abajade iṣiro apẹrẹ wa ko ni iru awọn ohun-ọṣọ apẹrẹ ati pe o baamu awọn akiyesi aworan ni pẹkipẹki.

Tabili 3. Ayẹwo pipo lori RMVP3D pẹlu Chamfer dis-tance (↓). Ọna wa ṣe aṣeyọri aṣiṣe ti o kere julọ ni apapọ.

Ọna	AJA	KÌNÙN	Ọpọlọ	BOOLU	Apapọ
NeRO [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
PANDORA [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (Tiwa)	8.80	5.18	6.70	3.84	6.13

Akojopo pipo lori RMVP3D. Gẹgẹbi a ṣe han ni Tabili 3, a ṣafihan igbelewọn pipo ti RMVP3D ti o da lori ijinna Chamfer. Ni ibamu pẹlu idanwo sintetiki, NeRSP wa ṣaṣeyọri aṣiṣe iṣiro ti o kere julọ ni apapọ. Awọn apẹrẹ ti a fi oju han ti o han ni Ọpọtọ. views. NeRO [19] ati PANDORA [9] ni awọn aṣiṣe iṣiro kanna pẹlu wa lori nkan BALL ti o rọrun. Fun awọn apẹrẹ eka bi LION, awọn imupadabọ apẹrẹ ti o bajẹ ni a gba lati awọn ọna wọnyi nitori fọnka view eto, lakoko ti tiwa sunmọ awọn meshes GT, ti n ṣe afihan imunadoko ti ọna wa lori atunkọ oju-aye alafihan gidi-aye labẹ awọn igbewọle fọnka.

Ipari

A daba NeRSP, ọna atunkọ 3D nkankikan fun awọn oju didan labẹ awọn aworan didan fọnka. Nitori awọn italaya ti aibikita apẹrẹ-radiance ati ifojusọna eka, awọn ọna ti o wa tẹlẹ n tiraka pẹlu boya awọn oju didan tabi fọnka. views ati pe ko le koju awọn iṣoro mejeeji pẹlu awọn aworan RGB. A daba lati lo awọn aworan didan bi titẹ sii. Nipa apapọ awọn iṣiro geometric ati photometric ti a fa jade lati awọn aworan pola, a dinku aaye ojutu ti apẹrẹ ti a pinnu, gbigba fun imularada imunadoko ti oju didan pẹlu diẹ bi 6 views, gẹgẹ bi a ti ṣe afihan nipasẹ ti o wa ni gbangba ati awọn ipilẹ data wa.

Idiwọn
Awọn ifarabalẹ laarin ati ina ayika-menti polarized ko ni imọran ninu iṣẹ yii, eyiti o le ni ipa ni deede atunkọ apẹrẹ. A ṣe akiyesi iṣẹ aipẹ julọ NeISF [17] ni idojukọ lori koko yii, ati pe a nifẹ si apapọ iteriba ibọn kekere wa pẹlu iṣẹ yii ni ọjọ iwaju.
Ifọwọsi
Ise yi ni atilẹyin nipasẹ awọn Beijing Natural Science Foundation Project No.. Z200002, awọn National Nature Science Foundation of China (Grant No.. 62136001, 62088102, 62225601, U23B2052), awọn odo Innovative Research Team of BUPT No. 2023QNTD02SAKE (Ifunni No. JP22K17910 ati JP23H05491). A dupẹ lọwọ Youwei Lyu fun awọn ijiroro oye.

Awọn itọkasi

Yunhao Ba, Alex Gilbert, Franklin Wang, Jinfa Yang, Rui Chen, Yiqin Wang, Lei Yan, Boxin Shi, ati Achuta Kadambi. Apẹrẹ ti o jinlẹ lati polarization. Ninu ECCV, oju-iwe 554–571, 2020. 2
Seung-Hwan Baek, Daniel S Jeon, Xin Tong, ati Min H Kim. Gbigba nigbakanna ti SVBRDF polarimetric ati awọn deede. ACM TOG, 37 (6): 268–1, ọdun 2018. 2, 3, 4

Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla, ati Pratul P Srinivasan. Mip-NeRF: Aṣoju oniwọn pupọ fun awọn aaye didan nkankikan ti o lodi si. Ninu ICCV, oju-iwe 5855–5864, 2021. 2
Paul J Besl ati Neil D McKay. Ọna fun iforukọsilẹ ti awọn apẹrẹ 3-D. Ni Sensọ fusion IV: Iṣakoso paradigms ati data ẹya, oju-iwe 586-606, 1992. 6
Mark Oga, Varun Jampani, Raphael Braun, Ce Liu, Jonathan Barron, ati Hendrik Lensch. Neural-PIL: Imọlẹ iṣaju iṣaju ti iṣan fun jijẹ irisi. Ninu NeurIPS, oju-iwe 10691–10704, 2021. 1, 2

Xu Cao, Hiroaki Santo, Fumio Okura, ati Yasuyuki Matsushita. Olona-View Sitẹrio Azimuth nipasẹ Aitasera Space Tangent. Ninu CVPR, oju-iwe 825–834, 2023. 2, 3, 4, 6, 7, 8
Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, ati Hao Su. MVSNeRF: Atunko aaye didan gbogbogbo ti o yara lati ọpọlọpọ-view sitẹrio. Ninu CVPR, oju-iwe 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan, ati Jan Kautz. Polarimetric olona-view sitẹrio. Ninu CVPR, oju-iwe 1558–1567, 2017. 2

Akshat Dave, Yongyi Zhao, ati Ashok Veeraraghavan. Pandora: Polarization-iranlọwọ awọn ibajẹ nkankikan ti didan. Ninu ECCV, oju-iwe 538–556, 2022. 1, 2, 4, 6, 7, 8
Kangle Deng, Andrew Liu, Jun-Yan Zhu, ati Deva Ra-manan. NeRF-abojuto ijinle: Diẹ views ati ikẹkọ yiyara fun ọfẹ. Ninu CVPR, oju-iwe 12882–12891, 2022. 2
Yuqi Ding, Yu Ji, Mingyuan Zhou, Kọrin Bing Kang, ati Jin-wei Ye. Polarimetric helmholtz stereopsis. Ninu ICCV, oju-iwe 5037–5046, 2021. 2

Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, ati Ko Nishino. Sitẹrio deede Polarimetric. Ninu CVPR, oju-iwe 682–690, 2021. 2
Wenhang Ge, Tao Hu, Haoyu Zhao, Shu Liu, ati Ying-Cong Chen. Ref-NeuS: Ẹ̀kọ́ Ẹ̀kọ́ ojú-ojú Aláìdára-dínku ÀìdáraView Atunṣe pẹlu Iṣatunṣe. arXiv preprint arXiv:2303.10840, 2023. 1
Richard Hartley ati Andrew Zisserman. Ọpọ view geometry ni iran kọmputa. Cambridge University Press, 2003. 1

Wenzel Jakobu. Mitsuba renderer, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, ati Qifeng Chen. Apẹrẹ lati polarization fun eka sile ninu egan. Ninu CVPR, oju-iwe 12632–12641, 2022. 2
Chenhao Li, Taishi Ono, Takeshi Uemori, Hajime Mihara, Alexander Gatto, Hajime Nagahara, ati Yuseke Moriuchi. NeISF: Aaye Isẹlẹ Iṣẹlẹ Neural fun Geometry ati Iṣiro Ohun elo. arXiv preprint arXiv:2311.13187, 2023. 8

Zhaoshuo Li, Thomas M¨uller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming-Yu Liu, ati Chen-Hsuan Lin. Neu-Colangelo: Giga-Fidelity Neural Surface Atunko. Ninu CVPR, oju-iwe 8456–8465, 2023. 2
Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura, ati Wenping Wang. NeRO: Geometry Neural ati Atunkọ BRDF ti Awọn Ohun Iṣeduro lati Ọpọview Awọn aworan. arXiv preprint arXiv:2305.17398, 2023. 1, 2, 4, 6, 7, 8
Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura, ati Wenping Wang. SparseNeuS: Iyara gbogboogbo nkankikan dada atunkọ lati fọnka views. Ninu ECCV, oju-iwe 210–227, 2022. 2

Youwei Lyu, Lingran Zhao, Si Li, ati Boxin Shi. Apẹrẹ lati polarization pẹlu iṣiro ina ti o jina. IEEE TPAMI, 2023. 2
Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, ati Ren Ng. NeRF: Aṣoju awọn iwoye bi awọn aaye didan nkankikan fun view kolaginni. Ninu ECCV, oju-iwe 405–421, 2020. 1, 2
Miyazaki, Tan, Hara, ati Ikeuchi. Iṣagbekalẹ onidakeji ti orisun-pola lati ẹyọkan view. Ninu ICCV, oju-iwe 982–987, 2003. 2

Michael Niemeyer, Lars Mescheder, Michael Oechsle, ati Andreas Geiger. Itumọ iwọn didun ti o yatọ: Kikọ awọn aṣoju 3D ti ko tọ laisi abojuto 3D. Ninu CVPR, oju-iwe 3504–3515, 2020. 2
Michael Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger, ati Noha Radwan. Reg-nerf: Ṣiṣe deede awọn aaye didan nkankikan fun view kolaginni lati fọnka igbewọle. Ninu CVPR, oju-iwe 5480–5490, 2022. 2, 4
Michael Oechsle, Songyou Peng, ati Andreas Geiger. UNISURF: Isokan awọn aaye alaiṣedeede ti iṣan ati awọn aaye didan fun ọpọlọpọ-view atunkọ. Ninu ICCV, oju-iwe 5589–5599, 2021. 2

Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, ati Steven Lovegrove. DeepSDF: Ẹkọ awọn iṣẹ ijinna ti o fowo si lemọlemọ fun aṣoju apẹrẹ. Ninu CVPR, oju-iwe 165–174, 2019. 1
Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, ati Gordon Wetzstein. Awọn aṣoju aiṣan ara ti ko tọ pẹlu awọn iṣẹ imuṣiṣẹ igbakọọkan. Ni NeurIPS, 2020. 1
William AP Smith, Ravi Ramamoorthi, ati Silvia Tozza. Giga-lati-polarisation pẹlu ina aimọ tabi albedo. IEEE TPAMI, 41 (12):2875–2888, 2018. 2

Dor Verbin, Peter Hedman, Ben Mildenhall, Todd Zickler, Jonathan T Barron, ati Pratul P Srinivasan. Ref-NeRF: Ti eleto view-ti o gbẹkẹle irisi fun nkankikan radiance aaye. Ninu CVPR, oju-iwe 5481–5490, 2022. 4, 5
Bruce Walter, Stephen R Marschner, Hongsong Li, ati Ken-neth E Torrance. Microfacet si dede fun refraction nipasẹ inira roboto. Ninu Awọn ilana ti apejọ Eurographics 18th lori Awọn ilana Rendering, oju-iwe 195–206, 2007. 4
Guangcong Wang, Zhaoxi Chen, Chen Change Loy, ati Ziwei Liu. SparseNeRF: Distilling ijinle ranking fun aramada-shot diẹ view kolaginni. arXiv preprint arXiv:2303.16196, 2023. 2

Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, ati Wenping Wang. NeuS: Ẹkọ Awọn oju Ilaju Alaiṣedeede Neural nipasẹ Rendering iwọn didun fun Olona-view Atunṣe. arXiv preprint arXiv:2106.10689, 2021. 1, 2, 5
Yiqun Wang, Ivan Skorokhodov, ati Peter Wonka. HF-NeuS: Imudara atunkọ dada nipa lilo awọn alaye igbohunsafẹfẹ-giga. Ninu NeurIPS, awọn oju-iwe 1966–1978, 2022. 2
Haoyu Wu, Alexandros Graikos, ati Dimitris Samaras. S-VolSDF: Olona-pupọView Iṣatunṣe Sitẹrio ti Awọn oju Ipilẹ Alaiṣedeede. arXiv preprint arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8

Jiawei Yang, Marco Pavone, ati Yue Wang. FreeNeRF: Imudarasi Imudara nkankikan-shot Diẹ pẹlu Ilana Igbohunsafẹfẹ Ọfẹ. Ninu CVPR, oju-iwe 8254–8263, 2023. 2
Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, ati Yaron Lipman. Olonaview nkankikan dada atunkọ nipa disentangling geometry ati irisi. Ninu NeurIPS, oju-iwe 2492–2502, 2020. 2
Lior Yariv, Jiatao Gu, Yoni Kasten, ati Yaron Lipman. Imudaniloju iwọn didun ti awọn oju-ara ti ko tọ si nkankikan. Ninu NeurIPS, oju-iwe 4805–4815, 2021. 1, 2

Alex Yu, Vickie Ye, Matthew Tancik, ati Angjoo Kanazawa. pixelNeRF: Awọn aaye didan ti iṣan lati ọkan tabi diẹ awọn aworan. Ninu CVPR, oju-iwe 4578–4587, 2021. 2
Kai Zhang, Gernot Riegler, Noah Snavely, ati Vladlen Koltun. NeRF ++: Ṣiṣayẹwo ati ilọsiwaju awọn aaye itanna ti iṣan. arXiv preprint arXiv:2010.07492, 2020. 2
Kai Zhang, Fujun Luan, Qianqian Wang, Kavita Bala, ati Noah Snavely. PhySG: Itupalẹ onidakeji pẹlu awọn Gaussians ti iyipo fun ṣiṣatunṣe ohun elo ti o da lori fisiksi ati didan. Ninu CVPR, oju-iwe 5453–5462, 2021. 1, 2

Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul De-bevel, William T Freeman, ati Jonathan T Barron. NeR-ifosiwewe: Iṣọkan nkankikan ti apẹrẹ ati irisi labẹ itanna aimọ. ACM TOG, 40 (6): 1–18, 2021. 2
Jinyu Zhao, Yusuke Monno, ati Masatoshi Okutomi. Polarimetric olona-view onidakeji Rendering. IEEE TPAMI, 2022. 2

Photometric ati jiometirika awọn ifẹnukonu ti NeRSP

Itọsẹ ti jiometirika isejusi
Bi o ṣe han ni aworan S1, ti a fun ni aaye aaye ti a ṣe akiyesi nipasẹ oriṣiriṣi views, oju rẹ deede ni ibi-afẹde view le jẹ aṣoju nipasẹ awọn azimuth ati awọn igun igbega ϕ ati θ lẹsẹsẹ, ie,

Awọn ibasepọ laarin awọn azimuth igun ati awọn ano ti awọn dada deede le ti wa ni gbekale bi

Dada deede ni ibi-afẹde view le ṣe iṣiro nipasẹ yiyi deede ni orisun view, ie ˆn = Rn. Fi fun matrix iyipo lati inu kamẹra ti o ni iwọn bi R = [r1, r2, r3]⊤, Eq. (2) ti o da lori ˆn le ṣe agbekalẹ bi

r⊤1 n cos ϕ - r⊤ 2 n sin ϕ = 0. (3)

Ni atẹle MVAS [2], a le tunto Eq. (3) lati gba ibatan orthogonal laarin deede dada ati tangent vector t (ϕ) ti a pinnu gẹgẹbi asọye ni isalẹ,

Ipari yii lori igun azimuth le fa siwaju si igun ti polarization (AoP). Iṣoro π le jẹ ipinnu nipa ti ara bi Eq. (4) duro ti a ba fi ϕ nipasẹ π. A le koju aibikita π/2 nipa lilo pseudo-projected tangent vector tˆ(ϕ) iru eyi

Ti aaye ibi kan x ba ṣe akiyesi nipasẹ f views, a le ṣe akopọ Eq. (4) ati Eq. (5) ti o da lori awọn iyipo oriṣiriṣi ati akiyesi AoPs, ti o yori si eto laini

T (x) n (x) = 0. (6)

A tọju eto laini yii bi itọsi jiometirika wa fun ọpọlọpọ-view polarised 3D atunkọ.

Ipilẹṣẹ ti iwoye photometric
Ni atẹle awoṣe BRDF polarised [1], awọn stokes stokes fekito le jẹ jijẹ sinu tan kaakiri ati awọn ẹya pataki ti a ṣe apẹrẹ nipasẹ Hd ati Hs ni ibamu, ie,

Awọn tan kaakiri stokes paati labẹ kan nikan ina le ti wa ni gbekale bi

nibiti ρd ti n tọka si albedo tan kaakiri, ϕn jẹ igun azimuth ti ina isẹlẹ sori ọkọ ofurufu ni papẹndikula si dada deede, T+i,o ati T−i,o tọkasi awọn iṣiro ti awọn iyeida gbigbe Fresnel [1] ti o ni ibatan si igun laarin view itọsọna ati dada deede. Ni atẹle awọn imọran ti o wa ni PANDORA [3], a tun kọwe stokes stokes tan kaakiri labẹ ina ayika bi

ibo ti wa ni tọka si bi tan kaakiri radiance. Dipo iṣiro lati idogba, didan kaakiri bi oniyipada iyatọ aye jẹ yaworan taara lati ẹya aaye nkankikan ti o fa jade nipasẹ MLP ti o da lori ipoidojuko. Ni apa keji, awọn olutọpa stokes pataki labẹ itọsọna ina kan ω ninu awoṣe BRDF polarimetric le jẹ asọye bi

nibiti ρs ṣe afihan albedo specular; D ati G n tọka si pinpin deede ati ọrọ ojiji ni awoṣe Microfacet [8], eyiti o le ṣe iṣakoso nipasẹ aibikita dada; R+ ati R- n tọka si awọn iṣiro ti awọn iye-itumọ Fresnel [1], eyiti o ni ibatan si igun laarin deede dada ati itọsọna ina isẹlẹ; ϕh ni isẹlẹ azimuth igun wrt awọn idaji fekito. Ni atẹle awọn imọran ti o wa ni PANDORA [3], a tun kọ awọn ohun elo stokes pataki labẹ ina ayika bi

ibo tọkasi specular radiance. Pẹlu isunmọ spilt-apao [5], a le siwaju si isunmọ Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω. Apapọ pẹlu awọn stokes stokes kaakiri ti o han ni Eq. (9), a kọ oju-ọna photometric ti o da lori awoṣe dida aworan polarimetric atẹle

Awọn alaye imuse

Abala yii ṣafihan awọn alaye ṣiṣe ti Sintetiki Multi-view SMVP3D data ti aworan ti o nipo ati awọn alaye ikẹkọ ti NeRSP.

Eto data
A pese SMVP3D, eyiti o ni awọn aworan ti awọn nkan ifojusọna sintetiki marun labẹ itanna adayeba. Fun nkan kọọkan, a ṣe 48 views ati ki o gba awọn ti o baamu ilẹ otitọ (GT) dada deede maapu. A lo Mit-suba3 [4] gẹgẹbi ẹrọ fifunni, pẹlu iru BRDF ti a ṣeto si awọn ohun elo pilasitik ti o wa ni wiwa wa. Fun dif-fuse albedo ρd, a lo awoara albedo ti o yatọ ni aye lati jẹki otitọ ti awọn abajade ṣiṣe wa. Ni akoko kanna, a tọju albedo ρs specular ni iye igbagbogbo ti 1.0 ati ṣeto aibikita dada si 0.05. Ọna yii ṣe idaniloju ifarabalẹ aṣọ kan kọja awọn aaye ti awọn nkan naa. Abajade awọn aworan pola ti wa ni ṣiṣe ni ipinnu awọn piksẹli 512 × 512.

Ikẹkọ
Awọn hyperparameters λg, λm, ati λe ninu iṣẹ isonu wa ti ṣeto si 1, 1, ati 0.1, lẹsẹsẹ. Lakoko ilana ikẹkọ, a lo ilana igbona ni atẹle PAN-DORA [3], nibiti fun awọn akoko 1, 000 akọkọ, a gbero alaye ti ko ni idawọle nikan ni oju-ọna photometric ati ro pe paati specular ohun naa jẹ 0. Ni gbogbo rẹ awọn adanwo, a lo ipinnu ti 512 × 512 fun ikẹkọ ati idanwo lori SMVP3D, ati 512 × 612 fun awọn ipilẹ data gidi-aye. Ọna wa ni gbogbogbo ṣe apejọ ni ayika awọn akoko 100, 000, eyiti o gba to awọn wakati 6 lori Nvidia RTX 3090 GPU, pẹlu iranti n gba ni ayika 8, 000 MB.

Iṣiro BRDF ati awọn abajade atunṣe

Nọmba S4 (oke) ṣafihan idiyele wa ti aibikita, kaakiri, ati awọn paati pataki. Awọn iṣiro jẹ ariwo diẹ nitori 6 nikan views. Iru si Ref-NeRF [7] nibiti itanna ti wa ni iṣakoso laisọtọ nipasẹ IDE, a ko le ṣe awọn adanwo didan. Nitorina, a fihan aramada view kolaginni esi dipo, bi visualized ni Ọpọtọ. S4 (isalẹ). Ti a bawe pẹlu awọn ọna ti o wa tẹlẹ, awọn aworan ti n ṣe atunṣe wa ni isunmọ si awọn akiyesi gidi-aye ti o baamu.

Awọn abajade afikun lori awọn ipilẹ data wa

Ni apakan yii, a ṣafihan awọn abajade afikun ti atunkọ apẹrẹ lori SMVP3D ati Olona-aye-gidi.view Aworan dataset polarized RMVP3D.

Akojopo lori SMVP3D
A ṣe afihan awọn abajade atunkọ ti agbara ti awọn ọna ipilẹ ati ọna wa ni Fig. S2. Awọn abajade lati ọdọ MVAS [2] ko ni alaye, nitori pe a ko ṣe akiyesi ero inu fọto. Lakoko ti NeRO [6] nfunni ni awọn atunṣe apẹrẹ ti o ni ilọsiwaju, o kuna lati pese aaye ti o gbẹkẹle fun awọn nkan ti ko ni awoara, gẹgẹbi DAVID. S-VolSDF [9] nlo isokuso-si-itanran Multi-View Sitẹrio (MVS) ona ati ki o fihan pọ ifamọ si sojurigindin alaye lori ohun roboto, eyi ti o ma nyorisi misinterpreting sojurigindin awọn alaye bi igbekale awọn ẹya ara ẹrọ. PANDORA [3] ni iṣoro lati ṣe iyasọtọ albedo ati alaye pataki, ti o yori si awọn abajade atunkọ ti ko ni igbẹkẹle. Ọna wa, NeRSP, ni imunadoko ni lilo mejeeji photometric ati awọn ifẹnukonu jiometirika, ti o yọrisi awọn atunkọ ti o ṣe afihan ni deede diẹ sii igbekalẹ GT.

A tun ṣe afihan awọn iṣiro deede dada ati awọn pinpin aṣiṣe angula ti o baamu ni Ọpọtọ. S3, eyiti o fihan nigbagbogbo pe NeRSP ṣaṣeyọri awọn abajade atunkọ apẹrẹ ti o dara julọ fun awọn oju didan pẹlu titẹ sii fọnka. views.

Akojopo lori RMVP3D
Ni apakan yii, a ṣafihan abajade atunkọ ohun miiran lori RMVP3D. Nọmba S5 fihan pe NeRO [6], MVAS [2], ati NeRSP le ṣe atunṣe deede ohun iyipo ti o rọrun pẹlu oju didan. Ni idakeji, S-VolSDF [9] ati PANDORA [3] ko le decompose albedo ati specular paati ti awọn dada, Abajade ni ipalọlọ ninu awọn apẹrẹ atunkọ ilana. Lati ṣe iyatọ laarin awọn abajade atunkọ ti NeRO [6], MVAS [2], ati NeRSP, a ṣe akiyesi Ijinna Chamfer fun awọn meshes ti a tun ṣe nipasẹ ọna kọọkan. Gẹgẹbi a ṣe han ni aworan S6, awọ ti aaye kọọkan tọkasi Ijinna Chamfer rẹ, eyiti o ge laarin 0 ati 5 mm. Awọn apejuwe wọnyi fihan pe aṣiṣe atunkọ ti o ni nkan ṣe pẹlu NeRSP kere si ti awọn ọna meji miiran.

Iwadii ablation lori oju irisi

Ọna wa ni ifọkansi ni atunkọ dada alafihan, ati pe o tun le lo si mimu-pada sipo apẹrẹ pẹlu awọn aaye inira. Bi example, a tun ṣe ohun SNAIL pẹlu albedo ρs pataki rẹ ti o dinku lati 1.0 si 0.1. Aṣiṣe angular ti o tumọ si (MAE) ti dada ti a pinnu deede ni titẹ sii 6 views lati orisirisi awọn ọna ti han ni Table S1. Imọye agbara ti iṣiro deede dada ati pinpin aṣiṣe angula ti o baamu ti awọn ọna oriṣiriṣi labẹ titẹ sii kanna. view ti han ni aworan S7. Awọn adanwo wọnyi tọka pe pupọ julọ awọn ọna imudara didara atunkọ lori awọn aaye ti o ni inira ni akawe si awọn oju didan. Ni pataki, ọna wa nigbagbogbo n pese atunkọ dada ti o gbẹkẹle julọ ti nkan naa.

Iwadi ablation lori #views

NeRSP wa ni ifọkansi ni atunkọ ti awọn oju didan labẹ titẹ sii fọnka views. Awọn adanwo ti o han ninu iwe akọkọ gba 6 fọnka views bi input. Lati ṣe iṣiro ọna wa labẹ awọn nọmba oriṣiriṣi ti titẹ sii views (ie, #views), a ṣe awọn idanwo lori kiniun ohun-aye gidi labẹ eto 3, 6, 12, ati 24 views. Nọmba S8 ṣe afihan awọn apẹrẹ ti a gba pada, lakoko ti igbelewọn agbara pẹlu jijin Chamfer ti gbekalẹ ni tabili S2.

Labẹ igbewọle fọnka views, gẹgẹbi 3, awọn ọna ti o wa tẹlẹ n tiraka lati gba awọn esi ti o ṣeeṣe pada. Eyi jẹ nipataki nitori pe wọn dojukọ boya lori awọn ifẹnukonu photometric tabi awọn ifẹnukonu jiometirika. Mu S-VolSDF [9] bi example, apẹrẹ ti a pinnu, bi a ti ṣe akiyesi ni isunmọ views, ti wa ni darale nfa nipasẹ awọn ti o baamu sojurigindin. Eyi nyorisi awọn apẹrẹ ti ko tọ nitori apẹrẹ-radiance ambiguity labẹ fọnka views. Nipa sisọ jiometirika mejeeji ati awọn ifẹnukonu photometric, NeRSP wa dinku aibikita labẹ awọn igbewọle ṣoki. Bi abajade, a ṣe aṣeyọri atunkọ apẹrẹ ti o ni imọran diẹ sii. Yi akiyesi si maa wa wulo nigbati awọn nọmba ti input views kọja 12. Gẹgẹbi a ṣe han ni Tabili S2, NeRSP wa nigbagbogbo ṣaṣeyọri Ijinna Chamfer ti o kere julọ pẹlu nọmba ti n pọ si ti titẹ sii views. Eleyi fihan ndin ti wa ọna lori reflective roboto lori kan jakejado ibiti o ti views.

Tabili S2. Igbelewọn didara lori LION ti a ṣewọn nipasẹ Chamfer Distance (↓) labẹ titẹ sii oriṣiriṣi views.

#Views	NeRO [6]	S-VolSDF [9]	MVAS [2]	PANDORA [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

Igbelewọn ti awọn polarimetric MVIR dataset

Yato si awọn adanwo gidi-aye lori iwe data PANDORA [3] ati RMVP3D wa, a tun pese igbelewọn ti ọpọlọpọ-view Atokọ awọn aworan pola ti o wa ni PMVIR [10]. Gẹgẹbi a ṣe han ni aworan S9, a wo awọn abajade imularada apẹrẹ lati PANDORA [3] ati tiwa, mu 6 fọnka. views bi input. Niwọn igba ti ko si apẹrẹ GT ninu data yii, a lo awọn abajade lati PMVIR [10] gẹgẹbi itọkasi, eyiti o gba 31 ati 56 views bi input fun kamẹra ati awọn ọkọ ayọkẹlẹ si nmu, lẹsẹsẹ. A ṣe akiyesi pe awọn abajade wa jẹ ironu diẹ sii ni akawe si awọn ti nlo PANDORA [3], ti n ṣe afihan imunadoko ti ọna wa lori atunkọ 3D fọnka.