Návod k použití NeRSP CVPR24 Nervová 3D rekonstrukce pro reflexní předměty

autoři: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
Přidružení: Pekingská univerzita pošt a telekomunikací, Univerzita v Ósace, Pekingská univerzita

Abstraktní: Produkt NeRSP nabízí vylepšené výsledky rekonstrukce tvaru pro reflexní povrchy ve srovnání se stávajícími metodami.

Návod k použití produktu

Zavedení
Produkt NeRSP je určen pro 3D rekonstrukci reflexních objektů pomocí řídce polarizovaných obrázků. Překonává problémy spojené s hledáním multiview korespondence a oddělování tvaru od záření pod omezenými korespondencemi.

Související práce
NeRSP je inspirován Neural Radiance Fields (NeRF) a dalšími neurálními 3D metodami rekonstrukce. Modeluje tvar povrchu implicitně pomocí pole se znaménkem vzdálenosti (SDF) a využívá diferencovatelné sledování koulí a vykreslování objemu pro zlepšení kvality rekonstrukce tvaru.
Polarimetrický model tvorby obrazu
NeRSP zahrnuje polarimetrický model tvorby obrazu pro odvození fotometrických a geometrických podnětů pro rekonstrukci.

FAQ:

Q: Jaká je výhodatage použití NeRSP pro 3D rekonstrukci?
A: NeRSP nabízí lepší výsledky rekonstrukce tvaru pro reflexní povrchy ve srovnání se stávajícími metodami díky svému inovativnímu přístupu využívajícímu řídce polarizované obrazy.

Otázka: Je produkt NeRSP vhodný pro difúzní povrchy?
A: Zatímco NeRSP je primárně navržen pro reflexní povrchy, může také poskytnout přesvědčivý odhad tvaru pro difúzní povrchy, kde je fotometrická konzistence platná napříč views.

NeRSP:
Nervová 3D rekonstrukce pro reflexní objekty s řídce polarizovanými obrazy

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

Pekingská univerzita pošt a telekomunikací

Graduate School of Information Science and Technology, Osaka University
Národní klíčová laboratoř pro zpracování multimediálních informací, School of Computer Science, Peking University 4National Engineering Research Center of Visual Technology, School of Computer Science, Peking University
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

Abstraktní

Představujeme NeRSP, techniku neuronové 3D rekonstrukce pro reflexní povrchy s řídce polarizovanými obrazy. Rekonstrukce reflexního povrchu je extrémně náročná, stejně jako zrcadlové odrazy view-závislý a tím porušují multiview konzistence pro multiview stereo. Na druhou stranu, řídké vstupy obrazu jako praktické nastavení snímání obvykle způsobují neúplné nebo zkreslené výsledky kvůli nedostatku odpovídající shody. Tento dokument společně řeší problémy s řídkými vstupy a reflexními povrchy využitím polarizovaných obrázků. Fotometrické a geometrické podněty odvozujeme z modelu formulace polarimetrického obrazu a multiview konzistence azimutu, které společně optimalizují geometrii povrchu modelovanou prostřednictvím implicitní neurální reprezentace. Na základě experimentů na našich syntetických a skutečných souborech dat dosahujeme nejmodernějších výsledků rekonstrukce povrchu pouze s 6 views jako vstup.

Zavedení

Multiview 3D rekonstrukce je základním problémem počítačového vidění (CV) a byla rozsáhle studována po mnoho let [14]. S pokrokem v implicitní reprezentaci povrchu [27, 28] a polích neurální radiace [22], nedávné multiview Metody 3D rekonstrukce [5, 33, 38, 41] udělaly obrovský pokrok. Přes přesvědčivé výsledky obnovy tvaru, většina multiview stereo (MVS) metody stále hodně spoléhají na nalezení vzájemné korespondence views, což je zvláště náročné pro reflexní povrchy a řídké vstupy views.

U reflexních povrchů je view-závislá povrchová ap-

Stejný příspěvek. ∗ Dopisující autor.
Stránka projektu: https://yu-fei-han.github.io/NeRSP-project/.

Obrázek 1. Obnovení tvaru reflexního povrchu ze 6 zachycených řídce polarizovaných snímků (horní řady). Náš NeRSP dosahuje lepšího výsledku rekonstrukce tvaru ve srovnání se stávajícími metodami, které řeší buď řídké vstupy (S-VolSDF [35]) nebo reflexní odraz (PANDORA [9]).

Pearance porušuje předpoklad fotometrické konzistence použitý při odhadu korespondence v MVS. Aby se tento problém vyřešil, nedávné metody neurální 3D rekonstrukce (např. Ref-NeuS [13], NeRO [19] a PANDORA [9]) explicitně modelují odrazivost a současně odhadují odrazivost a mapy prostředí prostřednictvím inverzního vykreslování. Nicméně, hustá akvizice obrazu pod různými views je vyžadováno, aby věrně zvládlo další neznámé kromě tvaru, jako je albedo, drsnost a mapa prostředí.

Z řídkého vstupu views, je často náročné najít dostatečné množstvíview korespondence. Hlavně při reprezentaci view-závislé odrazivosti, je obtížné oddělit tvar od záření pod omezeným počtem korespondencí, což vede k nejednoznačnosti tvaru a záření [40]. Nedávné neurální 3D metody rekonstrukce pro řídké views (např. S-VolSDF [35] a SparseNeuS [20]) vyžadují regularizaci pomocí fotometrické konzistence, která může být u reflexních povrchů narušena.

K vyřešení obou problémů navrhujeme místo RGB vstupů použít řídce polarizované obrázky. Konkrétně navrhujeme NeRSP, neurální 3D rekonstrukční metodu pro obnovení tvaru reflexních povrchů z řídce polarizovaných snímků. Využíváme úhel polarizace (AoP) odvozený z polarizovaných snímků, který přímo odráží azimutový úhel tvaru povrchu až do π a π/2 nejednoznačností. Je známo, že tato geometrická narážka umožňuje multiview rekonstrukce tvaru bez ohledu na vlastnosti odrazivosti povrchu, ale odhadovaný tvar založený pouze na geometrickém vodítku je nejednoznačný [6] pod řídkým view nastavení. Na druhé straně fotometrické vodítko z modelu tvorby polarimetrického obrazu [2] pomáhá rekonstrukci neurálního povrchu (např. PANDORA [9]) tím, že minimalizuje rozdíl mezi překreslenými a zachycenými polarizovanými obrázky. Odhadovaný tvar založený pouze na fotometrickém vodítku je však také špatně umístěn pod řídkými vstupy kvůli nejednoznačnosti tvaru a vyzařování. Na rozdíl od stávající polarimetrické metody PANDORA [9], která bere v úvahu pouze fotometrické vodítko, naše NeRSP ukazuje integraci geometrických i fotometrických vodítek efektivně zužuje prostor řešení pro tvar povrchu, což se ukázalo jako účinné při rekonstrukci reflexního povrchu založeného na řídkých vstupech. , jak je znázorněno na obr. 1.

Kromě navrhovaného NeRSP pro 3D rekonstrukci jsme také vytvořili Real-world MultiView Datový soubor polarizovaných obrázků obsahující 6 objektů se zarovnanými 3D sítěmi pozemní pravdy (GT) s názvem RMVP3D. Na rozdíl od existujících datových sad, jako je datová sada PANDORA [9], která poskytuje pouze polarizované snímky, zarovnané sítě GT a povrchové normály pro každou view umožňují kvantitativní hodnocení multiview polarizovaná 3D rekonstrukce.

Abych to shrnul, postupujeme víceview 3D rekonstrukce návrhem

NeRSP, první metoda, která navrhuje použít polarimetrické informace pro rekonstrukci reflexního povrchu za řídkých views;

komplexní analýza fotometrického a geometrického podnětu odvozeného z polarizovaných obrázků; a
RMVP3D, první reálný multiview datový soubor polarizovaného obrazu s tvary GT pro kvantitativní vyhodnocení.

Související práce

Multiview 3D rekonstrukce byla intenzivně studována po celá desetiletí. Neural Radiance Fields (NeRF) [3, 22, 40] dosáhly v románu velkého úspěchu view syntézy v posledních letech. Inspirovány NeRF jsou navrženy metody neurální 3D rekonstrukce [24], kde je tvar povrchu modelován implicitně pomocí pole se znaménkem vzdálenosti (SDF). Počínaje DVR [24], následné metody zlepšují kvalitu rekonstrukce tvaru prostřednictvím diferencovatelného sledování koulí [37], vykreslování objemu [26, 33, 38] nebo zobrazení tvaru s vylepšenými detaily [18, 34]. Těmito metodami lze dosáhnout přesvědčivého odhadu tvaru pro difúzní povrchy, kde platí fotometrická konzistence napříč views.

Rekonstrukce reflexních povrchů je náročná, protože fotometrická konzistence je neplatná. Stávající metody [5, 41, 42] explicitně modelují view-závislá odrazivost a rozložení tvaru, prostorově se měnící osvětlení a odrazové vlastnosti jako albedo a drsnost. Odhady výše uvedených proměnných jsou však neuspokojivé, protože rozuzlení je velmi špatné. NeRO [19] navrhuje použití aproximace rozděleného součtu modelu tvorby obrazu a dále zlepšuje kvalitu rekonstrukce tvaru bez nutnosti maskování objektů. Výše uvedené způsoby však obvykle vyžadují zachycení hustého obrazu, aby se zaručily věrohodné výsledky obnovy tvaru pro náročné reflexní povrchy.

Rekonstrukce s říd views je zásadní pro praktické scénáře vyžadující efektivní zachycení. Vzhledem k nedostatku dostatečné korespondence od omezených views, nelze vyřešit nejednoznačnost tvaru a vyzařování, což vede k hlučnému a zkreslenému zotavení tvaru. Stávající metody řeší tento problém přidáním regularizací, jako je hladkost geometrie povrchu [25], hrubá hloubka před [10, 32] nebo frekvenční řízení polohového kódování [36]. Některé metody [7, 20, 39] formulují řídkou 3D rekonstrukci jako podmíněný problém 3D zobecnění, kde se jako zobecněné přednosti používají předem natrénované obrazové prvky. S-VolSDF [35] aplikuje klasické multiview stereo metoda jako inicializace a reguluje optimalizaci neuronového vykreslování s objemem pravděpodobnosti. Pro současné metody je však stále obtížné přesně obnovit reflexní povrchy.

Rekonstrukce pomocí polarizovaných snímků byla studována u obouview nastavení [1, 2, 16, 23, 29] a multiview nastavení [6, 8, 9, 11, 12, 43]. Na rozdíl od RGB obrázků poskytuje AoP z polarizovaných obrázků přímé vodítko pro normálu povrchu. Singl-view tvar z polarizační (SfP) techniky těží z této vlastnosti a odhadují normálu povrchu pod jediným vzdáleným světlem [21, 29] nebo neznámým přirozeným světlem [1, 16]. Multiview Metody SfP [8, 43] řeší nejednoznačnosti π a π/2 v AoP na základě multiview pozorování. PANDORA [9] je první neurální 3D rekonstrukční metoda založená na polarizovaných snímcích, u které bylo prokázáno, že je účinná při obnově tvaru povrchu a osvětlení. MVAS [6] obnovuje tvar povrchu z multiview mapy azimutu, úzce související s mapami AoP odvozenými od

polarizované obrázky. Tyto metody však nezkoumají použití polarizovaných snímků pro rekonstrukci reflexního povrchu pod řídkými záběry.

Polarimetrický model tvorby obrazu

Než se ponoříme do navrhované metody, nejprve zavedeme model tvorby polarimetrického obrazu a odvodíme fotometrické a geometrické vodítko v naší metodě. Jak je znázorněno na obr. 2, snímková polarizační kamera zaznamenává pozorování obrazu ve čtyřech různých polarizačních úhlech, s hodnotami pixelů označenými jako {I0, I45, I90, I135}. Tyto čtyři obrázky odhalují stav polarizace přijímaných světel, který je reprezentován jako 4D Stokesův vektor s = [s0, s1, s2, s3] vypočítaný jako

Předpokládáme, že neexistuje žádné kruhově polarizované světlo, takže s3 přiřadíme 0. Stokesův vektor lze použít k výpočtu úhlu polarizace (AoP), tzn.

Na základě AoP a Stokesova vektoru odpovídajícím způsobem odvodíme geometrické a fotometrické podněty.

Geometrické tágo
Vzhledem k AoP ϕa může být azimutový úhel povrchu buď ϕa + π/2 nebo ϕa + π, známý jako nejednoznačnost π a π/2 v závislosti na tom, zda je povrch dominantní zrcadlový nebo difúzní. V této části nejprve představíme geometrické vodítko, které přináší multiview azimutovou mapu a poté ji rozšířit na případ AoP.

Podle MVAS [6] pro bod scény x, jeho povrchovou normálu n a promítaný azimutální úhel ϕ v jedné kameře view sledovat vztah jako

kde R = [r1, r2, r3]⊤ je rotační matice pozice kamery. Můžeme dále přeuspořádat Eq. (3) získat ortogonální vztah mezi normálou povrchu a promítnutým tečným vektorem t(ϕ), jak je definováno níže,

Nejednoznačnost π mezi AoP a úhlem azimutu může být přirozeně vyřešena jako Eq. (4) platí, přičteme-li ϕ k π. Nejednoznačnost π/2 lze řešit pomocí pseudopromítnutého vektoru tečny tˆ(ϕ) tak, že

Je-li jeden bod scény x pozorován pomocí f views, můžeme naskládat rov. (4) a rov. (5) na základě k různých rotací a pozorovaných AoP, což vede k lineárnímu systému

T(x)n(x) = 0. (6)

S tímto lineárním systémem zacházíme jako s naším geometrickým vodítkem pro vícenásobnéview polarizovaná 3D rekonstrukce.

Fotometrické tágo
Za předpokladu, že osvětlení dopadajícího prostředí je nepolarizované, lze Stokesův vektor směru dopadajícího světla ω reprezentovat jako

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

kde L(ω) označuje intenzitu světla. Vycházející světlo zaznamenané polarizační kamerou se vlivem odrazu částečně polarizuje. Tento proces je modelován pomocí 4×4 Mullerovy matice H. Při osvětlení prostředí může být vycházející Stokesův vektor formulován jako integrál dopadajícího Stokesova vektoru vynásobený Mullerovou maticí, tzn.

kde v a Ω značí view směr a integrální doména. Podle polarizovaného modelu BRDF (pBRDF) [2] lze výstupní Stokesův vektor rozložit na difuzní a zrcadlovou část modelovanou pomocí Hd a Hs odpovídajícím způsobem, tzn.

Po odvození z PANDORA [9] můžeme dále formulovat výstupní Stokesův vektor jako

kde Ld =fΩ ρL(ω)ω⊤n T+i T−i dω je označeno jako difuzní zář vztažená k normále povrchu n, Fresnelovy koeficienty prostupu [2] T+i,o a T−i,o, difuzní albedo ρ , a úhel azimutu dopadajícího světla ϕn. Ls = fΩ L(ω) DG 4n⊤v dω označuje zrcadlovou záři související s Fresnelovými koeficienty odrazu [2] R+ a R−, úhel dopadajícího azimutu ϕh s polovičním vektorem h = ω+v∥ω+v∥22 a normální rozdělení a stínící člen D a G v modelu Microfacet [31].

Další podrobnosti naleznete v doplňkovém materiálu. Na základě modelu tvorby polarimetrického obrazu znázorněného v rov. (10), vytvoříme fotometrické tágo.

Navrhovaná metoda

Náš NeRSP bere řídké multiview polarizované obrázky, odpovídající maska siluety cílového objektu a pozice kamery jako vstup a výstup tvaru povrchu objektu reprezentovaného implicitně prostřednictvím SDF. Začneme diskusí o fotometrických vodítkách a geometrických vodítkách při řešení nejednoznačnosti rekonstrukce tvaru, následuje instrukce o síťové struktuře a ztrátové funkci našeho NeRSP.

Nejednoznačnost v řídké 3D rekonstrukci
Geometrické a fotometrické vodítko hrají důležitou roli při zmenšování prostoru řešení tvaru povrchu pod řídkým views. Jak je znázorněno na obr. 3, ilustrujeme odhad tvaru pod 2 views různými podněty. Vzhledem k tomu, že jako vstup budou použity pouze obrázky RGB (odpovídající nastavení v NeRO [19] a S-VolSDF [35]), mohou různé kombinace poloh bodů scény, povrchových normál a vlastností odrazivosti, jako je albedo, vést ke stejnému pozorování obrazu, protože existují pouze dvě měření RGB pro každý 3D bod podél paprsku kamery. Se Stokesovými vektory extrahovanými z polarizovaných obrázků přináší fotometrické vodítko 6 měření pro každý 3D bod (Stokesův vektor má 3 prvky), čímž se redukuje nevhodnost kandidátů povrchových normálů k modelu tvorby polarimetrického obrazu.

Na druhou stranu, na základě AoP map1 z polarizovaných snímků můžeme jednoznačně určit normálu povrchu až do π nejednoznačnosti pro každý bod scény podél paprsku kamery. Stále je však nejednoznačné najít polohu, kde paprsek kamery protíná povrch, pokud není třetí view je poskytována [6]. Proto pod řídkým views nastavení (např. 2 views na obr. 3), určování polohy bodu scény na základě buď geometrického nebo fotometrického podnětu zůstává nejednoznačné.
Naše metoda kombinuje tyto dva podněty odvozené z polarizovaných obrázků. Jak je znázorněno v pravé dolní části obr. 3, správná poloha bodu scény by měla mít povrchovou normálu v průsečíku normálních kandidátských skupin odvozených z fotometrických i geometrických vodítek. Jako normální povrch při různých sampbody led scény jsou jednoznačně určeny geometrickými vodítky, můžeme snadno určit, zda je bod na povrchu pomocí fotometrického vodítka. Zmenšujeme tak prostor řešení řídké rekonstrukce reflexních ploch.

NeRSP
Struktura sítě Jak je znázorněno na obr. 4, naše NeRSP používá podobnou síťovou strukturu jako PANDORA [9] původně odvozenou z Ref-NeRF [30]. Pro světelný paprsek vyzařovaný ze středu kamery o se směrem v platí sample bod na paprsku se vzdáleností ti, jeho umístění je označeno jako xi = o + tiv. Po vykreslení objemu použitém v NeRF [25] lze pozorovaný Stokesův vektor s(v) integrovat pomocí objemové opacity σi a Stokesových vektorů na sampvedené body podél paprsku, tzn

kde označují akumulovanou propustnost asampled bod.

Motivováni nedávnou metodou neuronové 3D rekonstrukce NeuS [33] odvozujeme objemovou opacitu ze sítě SDF a také extrahujeme normálu povrchu z gradientu SDF. Chcete-li vypočítat so(xi, v) v sampled body, sledujeme polarimetrický model tvorby obrazu v Eq. (10). Konkrétně difúzní záření Ld souvisí s koeficienty difúzního albeda a Fresnelova přenosu, které závisí na poloze scény, ale jsou invariantní k view směr. Proto používáme síť difuzního záření k mapování Ld z vlastností každého bodu scény. Zrcadlová zář Ls souvisí se zrcadlovým lalokem určeným pomocí view směr, normála povrchu a drsnost povrchu. K predikci drsnosti povrchu proto používáme RoughnessNet. Společně s kamerou view směru a predikované normály povrchu odhadujeme zrcadlovou záři Ls podle integrovaného modulu pozičního kódování navrženého Ref-NeRF [30]. Kombinací Ld a Ls rekonstruujeme pozorovaný Stokesův vektor podle Eq. (10).

Ztrátová funkce
Fotometrická ztráta je definována jako vzdálenost L1 mezi pozorovaným ˆs(v) a rekonstruovaným Stokesovým vektorem s(v), tzn.

kde V označuje všechny paprsky kamery vrhané uvnitř masek objektů na různé views. Pro geometrickou ztrátu. nejprve najdeme bod 3D scény x podél paprsku kamery v, dokud se nedotkne povrchu, a poté lokalizujeme promítané polohy 2D pixelů na různých místech. views. Geometrický úbytek je definován na základě rov. (6), tzn.

kde X označuje všechny průsečíky paprsků a povrchů uvnitř masek objektů na různých místech views. Kromě fotometrické a geometrické ztráty přidáváme ztrátu masky řízenou maskami objektů a ztrátu regularizace Eikonal. Ztráta masky je definována jako

kde představuje predikovanou masku na k-tém paprsku kamery, jejíž hodnota GT masky je označena jako Mk. BCE představuje binární ztrátu zkřížené entropie.

kde ni,k je normála povrchu odvozená ze sítě SDF na i-té sampled bod podél k-tého paprsku kamery. Náš NeRSP je dozorován kombinací výše uvedených ztrátových podmínek, tzn

kde λe, λm a λp jsou koeficienty pro odpovídající ztrátové členy.

Datová sada RMVP3D
Pro kvantitativní vyhodnocení navrhované metody zachytíme Real-world Multiview Polarizovaný obrazový datový soubor se zarovnanými sítěmi pozemní pravdy. Obrázek 5 (vlevo) ilustruje naši snímací sestavu, která zahrnuje polarimetrickou kameru FLIR BFS-U3-51S5PC-C, vybavenou 12mm objektivem a rotační lištou. Pro demosaicing nezpracovaných dat používáme OpenCV a získáváme barevné obrázky 1224×1024 s úhly polarizátoru při 0, 45, 90 a 135 stupních. Během sběru dat umístíme cílové objekty do středu kolejnice a ručním pohybem kamery zachytíme 60 snímků na objekt. Sbíráme 4 předměty jako cíle: PES, ŽÁBA, LEV a MÍČ, jak je znázorněno na obr. 5 (uprostřed). Pro kvantitativní vyhodnocení používáme laserový skener Creaform HandySCAN BLACK s přesností 0.01 mm, abychom získali síťovinu broušené pravdy. Slouží k zarovnání sítě k zachycenému snímku views, nejprve aplikujeme PANDORA [9] k odhadu referenčního tvaru pomocí všech dostupných views a poté zarovnejte naskenovanou síť s odhadovanou sítí pomocí algoritmu ICP [4]. Kromě země-pravdy tvary a multiview snímky, zachycujeme také mapu prostředí pomocí 360stupňové kamery THETA Z1, která využívá kvantitativní hodnocení odhadu osvětlení pro související neurální inverzní renderovací práce.

Experimenty

NeRSP hodnotíme třemi experimenty: 1) porovnáním s existujícími multiview 3D metody rekonstrukce kvantitativně na syntetickém datovém souboru; 2) ablační studie o příspěvku geometrických a fotometrických ztrátových členů 3) kvalitativní a kvantitativní hodnocení na souborech dat z reálného světa. Poskytujeme také BRDF a román view výsledkem je doplňkový materiál.

Datové sady a základní linie
Dataset. Připravujeme dvě reálné datové sady: datovou sadu PAN-DORA [9] a námi navrhovaný RMVP3D, kde datová sada PANDORA [9] slouží pouze pro kvalitativní hodnocení, protože nejsou k dispozici sítě základní pravdy. Připravujeme také syntetický multiview polarizovaný obrazový datový soubor SMVP3D s vykreslovacím enginem Mitsuba [15], který obsahuje 5 objektů s prostorově proměnnou a reflexní odrazivostí, jak je znázorněno na obr. 6. Objekty jsou osvětleny mapami prostředí2 a zachyceny 6 viewjsou náhodně rozmístěny kolem objektů. Kromě vykreslených polarizovaných obrázků exportujeme také stokesovy vektory, povrchové normálové mapy GT a mapy AoP pro každý objekt.

Základní linie. Naše práce řeší multiview 3D rekonstrukce pro reflexní povrchy na základě řídce polarizovaných obrázků. Proto volíme nejmodernější 3D rekonstrukční metody zaměřené na reflexní povrchy NeRO [19] a řídké views S-VolSDF [35]. Výše uvedené dvě metody jsou založeny na obrazových vstupech RGB. Pro vícenásobnéview stereo založené na polarizovaných obrázcích, vybíráme PANDORA [9] a MVAS [6] jako naše základní linie. NeRO [19] nevyžaduje jako vstup masky siluety. Pro spravedlivé srovnání jsme před vložením do NeRO odstranili pozadí na obrázcích RGB s odpovídajícími maskami [19]. Pro porovnání různých metod používáme vzdálenost zkosení (CD) mezi odhadovanou a GT sítí a střední úhlovou chybu (MAE) mezi odhadovanými a GT povrchovými normálami při různých views jako naše hodnotící metriky.

Obnova tvaru na syntetické datové sadě
Jak je uvedeno v tabulce 1, shrnujeme chybu odhadu tvaru existujících metod a naší na SMVP3D. Naše metoda dosahuje nejmenší vzdálenosti zkosení podél všech 5 syntetických objektů. Na základě vizualizovaných odhadů tvaru znázorněných na obr. 7, NeRO [19] a S-VolSDF [35] nemohou přesně obnovit detaily povrchu, jak je zvýrazněno v uzavřeném záběru. views. Jedním z možných důvodů je, že rozuzlení tvaru a odrazivosti z řídkých snímků je pro tyto metody založené pouze na informacích RGB příliš náročné. MVAS [6] a PANDORA [9] se zabývají geometrickými a fotometrickými podněty polarizovaných obrázků, odděleně. Rekonstruované tvary reflexních povrchů jsou však stále nevyhovující kvůli nejednoznačnostem v geometrických a fotometrických vodítkách pod řídkými views nastavení. Jak je zvýrazněno v závěru views využitím jak geometrických, tak fotometrických vodítek, naše metoda zmenšuje prostor řešení odhadu tvaru, což vede k nejpřiměřenějšímu zotavení tvaru ve srovnání s tvary GT.

Kromě vyhodnocení rekonstruované sítě testujeme také výsledky odhadu normály povrchu. Jak je uvedeno v tabulce 2, shrnujeme střední úhlové chyby odhadovaných normál povrchu na 6 views z různých metod. V souladu s výsledky hodnocení v tabulce 1 dosahuje NeRSP v průměru nejmenších středních úhlových chyb. Také jsme pozorovali, že výsledky z NeRO [19], MVAS [6] a PANDORA [9] mají větší chyby na objektech s jemnými detaily, jako jsou objekty DAVID a DRAGON. Jako example, MVAS [6] má druhou nejmenší vzdálenost zkosení uvedenou v tabulce 1, ale střední úhlová chyba je větší než 20◦. Jedním z možných důvodů je, že stávající metody vydávají hladké tvary v řídkém stavu views nastavením, kde detaily povrchu, jako jsou vločky DRAKA, nejsou dobře obnoveny.

Tabulka 1. Porovnání obnovy tvaru na syntetické datové sadě vyhodnocené vzdáleností zkosení (↓). Nejmenší a druhá nejmenší chyba je označena tučně a podtržena. „N/A“ označuje experiment, kdy konkrétní metoda nemůže poskytnout rozumné výsledky odhadu tvaru.

Ablační studium
V této části provádíme ablační studii, abychom otestovali účinnost geometrických a fotometrických podnětů. Brát objekt DRAKA jako example, provádíme naši metodu s a bez fotometrické ztráty Lp a geometrické ztráty Lg. Jak je znázorněno na obr. 8, vykreslíme odhady tvaru a normály povrchu deaktivací různých ztrátových členů. Bez fotometrické ztráty, tvarová nejednoznačnost kvůli řídkosti views nastane. Jak je ukázáno z uzavřeného pohledu views, tvar v blízkosti části nohy má konkávní artefakt, protože jsou viditelné pouze dva views pro tuto oblast nedokáže formulovat jedinečné řešení tvaru pouze na základě map AoP [6]. Bez geometrických ztrát také získáme zkreslené výsledky tvaru, protože pozorování řídkého obrazu nestačí k jedinečnému rozložení tvaru, odrazivosti a osvětlení. Kombinací fotometrické a geometrické ztráty snižuje náš NeRSP nejednoznačnost opětovného pokrytí tvaru a odhadovaný tvar se blíží GT, jak je zvýrazněno v závěru. views.

Obrázek 8. Ablační studie na různých podmínkách ztráty. Horní a spodní řádky zobrazují odhadovaný tvar a normálu povrchu se vzdáleností zkosení a střední úhlovou chybou označenou v horní části každého dílčího obrázku.

Obnova tvaru na skutečných datech
Kromě syntetických experimentů uvedených v předchozí části také hodnotíme naši metodu na reálných datových sadách PANDORA dataset [9] a RMVP3D, abychom otestovali její použitelnost v reálných scénářích 3D rekonstrukce.

Kvalitativní hodnocení na datovém souboru PANDORA [9]. Jak ukazuje obr. 9, poskytujeme kvalitativní hodnocení datového souboru PAN-DORA [9]. Ve srovnání se vzhledem obrazu s odhadovanými výsledky z S-VolSDF [35] a NeRO [19] není tvar zcela oddělen od odrazivosti, což vede k hrbolatým tvarům povrchu, které úzce souvisejí s texturou odrazivosti. MVAS [6] a PANDORA [9] mají příliš vyhlazené odhady tvaru nebo konkávní tvarové artefakty v důsledku adresování pouze geometrických nebo fotometrických vodítek v nastavení řídkého snímání. Naše výsledky odhadu tvaru nemají žádné takové artefakty tvaru a těsně odpovídají pozorování obrazu.

Tabulka 3. Kvantitativní vyhodnocení na RMVP3D se vzdáleností zkosení (↓). Naše metoda dosahuje v průměru nejmenší chyby.

Metoda	PES	LEV	ŽÁBA	MÍČ	Průměrný
NeRO [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
PANDORA [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (naše)	8.80	5.18	6.70	3.84	6.13

Kvantitativní hodnocení na RMVP3D. Jak je uvedeno v tabulce 3, uvádíme kvantitativní hodnocení RMVP3D na základě vzdálenosti zkosení. V souladu se syntetickým experimentem dosahuje náš NeRSP v průměru nejmenší chyby odhadu. Vizualizované tvary znázorněné na obr. 10 dále odhalují, že reflexní povrchy jsou náročné pro S-VolSDF [35] pro oddělení tvaru od odrazivosti, jak je zvýrazněno hrbolatým povrchem objektu FROG v uzavřeném prostoru. views. NeRO [19] a PANDORA [9] mají podobné chyby v odhadu jako my na jednoduchém objektu BALL. U složitých tvarů, jako je LION, se díky těmto metodám získá zkreslená obnova tvaru kvůli řídkosti view nastavení, zatímco naše jsou blíže k sítím GT, což demonstruje účinnost naší metody na rekonstrukci odrazného povrchu v reálném světě při řídkých vstupech.

Závěr

Navrhujeme NeRSP, neurální 3D rekonstrukční metodu pro reflexní povrchy pod řídce polarizovanými obrazy. Kvůli problémům s nejednoznačností tvaru a záření a komplexní odrazivostí se stávající metody potýkají buď s reflexními povrchy, nebo s řídkými views a nemůže vyřešit oba problémy s obrázky RGB. Jako vstup navrhujeme použít polarizované obrázky. Kombinací geometrických a fotometrických podnětů extrahovaných z polarizovaných obrázků zmenšujeme prostor řešení odhadovaného tvaru, což umožňuje efektivní obnovu odrazného povrchu s pouhými 6 views, jak ukazují veřejně dostupné a naše datové soubory.

Omezení
V této práci nejsou uvažovány vzájemné odrazy a polarizované okolní světlo, které by mohly ovlivnit přesnost rekonstrukce tvaru. Všimli jsme si nejnovější práce NeISF [17], která se zaměřuje na toto téma, a máme zájem v budoucnu spojit naše řídké zásluhy s touto prací.
Potvrzení
Tato práce byla podpořena projektem Beijing Natural Science Foundation Project č. Z200002, National Nature Science Foundation of China (Grant č. 62136001, 62088102, 62225601, U23B2052), Youth Innovative Research Team of BUPT č. 2023, KENSAKHIPS (Grant č. JP02K22 a JP17910H23). Děkujeme Youwei Lyu za zasvěcené diskuse.

Reference

Yunhao Ba, Alex Gilbert, Franklin Wang, Jinfa Yang, Rui Chen, Yiqin Wang, Lei Yan, Boxin Shi a Achuta Kadambi. Hluboký tvar z polarizace. V ECCV, strany 554–571, 2020. 2
Seung-Hwan Baek, Daniel S Jeon, Xin Tong a Min H Kim. Současné snímání polarimetrického SVBRDF a normál. ACM TOG, 37(6):268–1, 2018. 2, 3, 4

Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla a Pratul P Srinivasan. Mip-NeRF: Vícestupňová reprezentace pro anti-aliasing neurálních radiačních polí. V ICCV, strany 5855–5864, 2021. 2
Paul J Besl a Neil D McKay. Metoda registrace 3-D tvarů. In Sensor fusion IV: kontrolní paradigmata a datové struktury, strany 586–606, 1992. 6
Mark Boss, Varun Jampani, Raphael Braun, Ce Liu, Jonathan Barron a Hendrik Lensch. Neural-PIL: Neuralové předem integrované osvětlení pro rozklad odrazivosti. V NeurIPS, strany 10691–10704, 2021. 1, 2

Xu Cao, Hiroaki Santo, Fumio Okura a Yasuyuki Matsushita. více-View Azimut Stereo prostřednictvím konzistence prostoru Tangent. V CVPR, strany 825–834, 2023. 2, 3, 4, 6, 7, 8
Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu a Hao Su. MVSNeRF: Rychlá zobecněná rekonstrukce radiačního pole z multi-view stereo. V CVPR, strany 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan a Jan Kautz. polarimetrické multi-view stereo. V CVPR, strany 1558–1567, 2017. 2

Akshat Dave, Yongyi Zhao a Ashok Veeraraghavan. Pandora: Nervový rozklad záření podporovaný polarizací. V ECCV, strany 538–556, 2022. 1, 2, 4, 6, 7, 8
Kangle Deng, Andrew Liu, Jun-Yan Zhu a Deva Ra-manan. NeRF s hloubkovým dohledem: Méně views a rychlejší školení zdarma. V CVPR, strany 12882–12891, 2022. 2
Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang a Jin-wei Ye. Polarimetrická Helmholtzova stereopse. V ICCV, strany 5037–5046, 2021. 2

Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara a Ko Nishino. Polarimetrické normální stereo. V CVPR, strany 682–690, 2021. 2
Wenhang Ge, Tao Hu, Haoyu Zhao, Shu Liu a Ying-Cong Chen. Ref-NeuS: Nejednoznačné neurální implicitní povrchové učení pro vícenásobnéView Rekonstrukce s odrazem. arXiv předtisk arXiv:2303.10840, 2023. 1
Richard Hartley a Andrew Zisserman. Násobek view geometrie v počítačovém vidění. Cambridge University Press, 2003. 1

Wenzel Jakob. Mitsuba renderer, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun a Qifeng Chen. Tvar z polarizace pro složité scény ve volné přírodě. V CVPR, strany 12632–12641, 2022. 2
Chenhao Li, Taishi Ono, Takeshi Uemori, Hajime Mihara, Alexander Gatto, Hajime Nagahara a Yuseke Moriuchi. NeISF: Neural Incident Stokes Field pro geometrii a odhad materiálu. arXiv předtisk arXiv:2311.13187, 2023. 8

Zhaoshuo Li, Thomas M¨uller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming-Yu Liu a Chen-Hsuan Lin. Neu-Colangelo: Vysoce věrná rekonstrukce neurálního povrchu. V CVPR, strany 8456–8465, 2023. 2
Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura a Wenping Wang. NeRO: Neurální geometrie a BRDF rekonstrukce reflexních objektů z multiview Obrázky. arXiv předtisk arXiv:2305.17398, 2023. 1, 2, 4, 6, 7, 8
Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura a Wenping Wang. SparseNeuS: Rychlá generalizovatelná rekonstrukce neurálního povrchu z řídkého views. V ECCV, strany 210–227, 2022. 2

Youwei Lyu, Lingran Zhao, Si Li a Boxin Shi. Tvar z polarizace s odhadem vzdáleného osvětlení. IEEE TPAMI, 2023. 2
Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi a Ren Ng. NeRF: Reprezentace scén jako pole neurálního záření pro view syntéza. V ECCV, strany 405–421, 2020. 1, 2
Mijazaki, Tan, Hara a Ikeuchi. Inverzní vykreslování založené na polarizaci z jednoho view. V ICCV, strany 982–987, 2003. 2

Michael Niemeyer, Lars Mescheder, Michael Oechsle a Andreas Geiger. Diferenciovatelné objemové vykreslování: Učení implicitních 3D reprezentací bez 3D dohledu. V CVPR, strany 3504–3515, 2020. 2
Michael Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger a Noha Radwan. Reg-nerf: Regulace neurálních radiačních polí pro view syntéza z řídkých vstupů. V CVPR, strany 5480–5490, 2022. 2, 4
Michael Oechsle, Songyou Peng a Andreas Geiger. UNISURF: Sjednocení neurálních implicitních povrchů a zářivých polí pro multi-view rekonstrukce. V ICCV, strany 5589–5599, 2021. 2

Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe a Steven Lovegrove. DeepSDF: Učení funkcí spojité vzdálenosti se znaménkem pro reprezentaci tvaru. V CVPR, strany 165–174, 2019. 1
Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell a Gordon Wetzstein. Implicitní neurální reprezentace s periodickými aktivačními funkcemi. V NeurIPS, 2020. 1
William AP Smith, Ravi Ramamoorthi a Silvia Tozza. Výška od polarizace s neznámým osvětlením nebo albedem. IEEE TPAMI, 41(12):2875–2888, 2018. 2

Dor Verbin, Peter Hedman, Ben Mildenhall, Todd Zickler, Jonathan T Barron a Pratul P Srinivasan. Ref-NeRF: Strukturovaný view-závislý vzhled pro pole neurálního záření. V CVPR, strany 5481–5490, 2022. 4, 5
Bruce Walter, Stephen R Marschner, Hongsong Li a Ken-neth E Torrance. Mikrofasetové modely pro lom přes drsné povrchy. In Proceedings of the 18th Eurographics conference on Rendering Techniques, pages 195–206, 2007. 4
Guangcong Wang, Zhaoxi Chen, Chen Change Loy a Ziwei Liu. SparseNeRF: Hodnocení hloubky destilace pro román s několika snímky view syntéza. arXiv předtisk arXiv:2303.16196, 2023. 2

Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura a Wenping Wang. NeuS: Učení neurálních implicitních povrchů objemovým vykreslováním pro vícenásobnéview Rekonstrukce. arXiv předtisk arXiv:2106.10689, 2021. 1, 2, 5
Yiqun Wang, Ivan Skorokhodov a Peter Wonka. HF-NeuS: Vylepšená rekonstrukce povrchu pomocí vysokofrekvenčních detailů. V NeurIPS, strany 1966–1978, 2022. 2
Haoyu Wu, Alexandros Graikos a Dimitris Samaras. S-VolSDF: Sparse Multi-View Stereoregularizace neuronových implicitních povrchů. arXiv předtisk arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8

Jiawei Yang, Marco Pavone a Yue Wang. FreeNeRF: Zlepšení několikanásobného neuronového vykreslování s regulací volné frekvence. V CVPR, strany 8254–8263, 2023. 2
Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen a Yaron Lipman. Multiview rekonstrukce neurálního povrchu rozpojením geometrie a vzhledu. V NeurIPS, strany 2492–2502, 2020. 2
Lior Yariv, Jiatao Gu, Yoni Kasten a Yaron Lipman. Objemové vykreslování neurálních implicitních povrchů. V NeurIPS, strany 4805–4815, 2021. 1, 2

Alex Yu, Vickie Ye, Matthew Tancik a Angjoo Kanazawa. pixelNeRF: Pole neuronového záření z jednoho nebo několika snímků. V CVPR, strany 4578–4587, 2021. 2
Kai Zhang, Gernot Riegler, Noah Snavely a Vladlen Koltun. NeRF++: Analýza a vylepšování neurálních radiačních polí. arXiv předtisk arXiv:2010.07492, 2020. 2
Kai Zhang, Fujun Luan, Qianqian Wang, Kavita Bala a Noah Snavely. PhySG: Inverzní vykreslování se sférickými Gaussiany pro úpravy a přesvětlení materiálů založené na fyzice. V CVPR, strany 5453–5462, 2021. 1, 2

Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul De-bevel, William T Freeman a Jonathan T Barron. NeR-Factor: Neurální faktorizace tvaru a odrazivosti při neznámém osvětlení. ACM TOG, 40(6):1–18, 2021. 2
Jinyu Zhao, Yusuke Monno a Masatoshi Okutomi. polarimetrické multi-view inverzní vykreslování. IEEE TPAMI, 2022. 2

Fotometrické a geometrické podněty NeRSP

Odvození geometrické narážky
Jak je znázorněno na obr. S1, daný bod scény pozorovaný různými views, jeho povrchová normála v cíli view mohou být reprezentovány azimutem a elevačním úhlem ϕ a θ, tj.

Vztah mezi úhlem azimutu a prvkem normály povrchu lze formulovat jako

Normál povrchu v cíli view lze vypočítat otočením normály u zdroje view, tj. ˆn = Rn. Daná rotační matice z kalibrované kamery představuje R = [r1, r2, r3]⊤, Eq. (2) na základě ˆn lze formulovat jako

r⊤1 n cos ϕ − r⊤ 2 n sin ϕ = 0. (3)

Po MVAS [2] můžeme přeskupit Eq. (3) získat ortogonální vztah mezi normálou povrchu a promítnutým tečným vektorem t(ϕ), jak je definováno níže,

Tento závěr o úhlu azimutu lze rozšířit na úhel polarizace (AoP). Nejednoznačnost π lze přirozeně vyřešit jako rov. (4) platí, přičteme-li ϕ k π. Nejednoznačnost π/2 lze řešit pomocí pseudopromítnutého vektoru tečny tˆ(ϕ) tak, že

Je-li jeden bod scény x pozorován pomocí f views, můžeme naskládat rov. (4) a rov. (5) na základě různých rotací a pozorovaných AoP, což vede k lineárnímu systému

T(x)n(x) = 0. (6)

S tímto lineárním systémem zacházíme jako s naším geometrickým vodítkem pro vícenásobnéview polarizovaná 3D rekonstrukce.

Odvození fotometrického signálu
Podle polarizovaného BRDF modelu [1] lze výstupní stokes vektor rozložit na difuzní a zrcadlovou část modelovanou pomocí Hd a Hs odpovídajícím způsobem, tzn.

Difuzní stokes složka pod jedním světlem může být formulována jako

kde ρd značí difúzní albedo, ϕn je azimutový úhel dopadajícího světla na rovinu kolmou k normále povrchu, T+i,o a T−i,o označují výpočty Fresnelových přenosových koeficientů [1], které se vztahují k úhel mezi view směr a normála povrchu. Podle pojmů v PANDORA [3] přepíšeme vektor difuzních stokesů pod světelné prostředí jako

kde se označuje jako difúzní záření. Místo výpočtu z rovnice je difúzní záření jako prostorově proměnná proměnná mapována přímo z rysu neurálního bodu extrahovaného MLP na základě souřadnic. Na druhou stranu, zrcadlový stokes vektor pod jedním směrem světla ω v polarimetrickém modelu BRDF lze definovat jako

kde ρs označuje zrcadlové albedo; D a G označují normální rozdělení a stínování v modelu Microfacet [8], které lze řídit drsností povrchu; R+ a R− označují výpočty Fresnelových koeficientů odrazu [1], které se vztahují k úhlu mezi normálou povrchu a směrem dopadajícího světla; ϕh je úhel dopadu azimutu s polovičním vektorem. Podle pojmů v PANDORA [3] přepíšeme zrcadlový stokes vektor pod okolní světlo jako

kde označuje zrcadlové záření. Pomocí aproximace spilt-součtu [5] můžeme dále aproximovat Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω. Kombinací s difuzním stokesovým vektorem ukázaným v Eq. (9), vytváříme fotometrické tágo na základě následujícího modelu tvorby polarimetrického obrazu

Podrobnosti o implementaci

Tato část představuje detaily vykreslování našeho syntetického multi-view Polarizovaný obrazový datový soubor SMVP3D a tréninkové detaily NeRSP.

Dataset
Poskytujeme SMVP3D, který obsahuje obrázky pěti syntetických reflexních objektů při přirozeném osvětlení. Pro každý objekt vykreslíme 48 views a zaznamenejte odpovídající povrchové normální mapy pozemní pravdy (GT). Jako renderovací engine používáme Mit-suba3 [4], přičemž typ BRDF je v našem renderování nastaven na polarizovaný plastový materiál. Pro difuzní albedo ρd využíváme prostorově proměnlivou texturu albeda pro zvýšení realismu našich výsledků vykreslování. Zrcadlové albedo ρs přitom udržujeme na konstantní hodnotě 1.0 a drsnost povrchu nastavíme na 0.05. Tento přístup zajišťuje rovnoměrnou odrazivost napříč povrchy objektů. Výsledné polarizované obrázky jsou vykresleny v rozlišení 512 × 512 pixelů.

Výcvik
Hyperparametry λg, λm a λe v naší ztrátové funkci jsou nastaveny na 1, 1 a 0.1. Během tréninkového procesu používáme zahřívací strategii podle PAN-DORA [3], kde pro prvních 1 000 epoch bereme v úvahu pouze nepolarizované informace ve fotometrickém tágu a předpokládáme, že zrcadlová složka objektu je 0. experimentech používáme rozlišení 512 × 512 pro trénování a testování na SMVP3D a 512 × 612 pro reálné datové sady. Naše metoda obecně konverguje kolem 100 000 epoch, což na GPU Nvidia RTX 6 trvá asi 3090 hodin, přičemž paměť spotřebuje kolem 8 000 MB.

Odhad BRDF a výsledky opětovného vykreslení

Obrázek S4 (nahoře) představuje náš odhad drsnosti, difuze a zrcadlových složek. Odhady jsou trochu hlučné kvůli pouze 6 views. Podobně jako u Ref-NeRF [7], kde je osvětlení implicitně řízeno pomocí IDE, nemůžeme provádět experimenty s přesvícením. Proto ukazujeme román view místo toho dochází k syntéze, jak je znázorněno na obr. S4 (dole). Ve srovnání s existujícími metodami jsou naše překreslené obrázky blíže odpovídajícím pozorováním v reálném světě.

Další výsledky v našich souborech dat

V této části prezentujeme další výsledky rekonstrukce tvaru na SMVP3D a Real-world Multi-view Polarizovaný obrazový datový soubor RMVP3D.

Hodnocení na SMVP3D
Výsledky kvalitativní rekonstrukce základních metod a našeho přístupu prezentujeme na obr. S2. Výsledky z MVAS [2] postrádají podrobnosti, protože se nebere v úvahu fotometrický signál. Zatímco NeRO [6] nabízí vylepšené rekonstrukce tvaru, nedokáže poskytnout spolehlivý povrch pro objekty bez textury, jako je DAVID. S-VolSDF [9] používá hrubý až jemný Multi-View Stereo (MVS) přístup a ukazuje zvýšenou citlivost na informace o texturách na površích objektů, což někdy vede k nesprávné interpretaci texturových detailů jako strukturních prvků. PANDORA [3] má potíže s efektivním oddělením albedo a zrcadlové informace, což vede k nespolehlivému výsledku rekonstrukce. Naše metoda NeRSP efektivně využívá jak fotometrické, tak geometrické podněty, což vede k rekonstrukcím, které přesněji odrážejí strukturu GT.

Také zobrazujeme odhady normál povrchu a odpovídající rozdělení úhlových chyb na obr. S3, které konzistentně ukazují, že NeRSP dosahuje lepších výsledků rekonstrukce tvaru pro reflexní povrchy s řídkým vstupem views.

Hodnocení na RMVP3D
V této části představujeme další výsledek rekonstrukce objektu na RMVP3D. Obrázek S5 ukazuje, že NeRO [6], MVAS [2] a NeRSP dokážou přesně rekonstruovat jednoduchý kulový objekt s odrazným povrchem. Naproti tomu S-VolSDF [9] a PANDORA [3] nemohou rozložit albedo a zrcadlovou složku povrchu, což má za následek zkreslení v procesu rekonstrukce tvaru. Abychom rozlišili mezi výsledky rekonstrukce NeRO [6], MVAS [2] a NeRSP, vizualizujeme vzdálenost zkosení pro sítě rekonstruované každou metodou. Jak je znázorněno na obr. S6, barva každého bodu označuje jeho vzdálenost zkosení, která je oříznuta mezi 0 a 5 mm. Tyto ilustrace ukazují, že chyba rekonstrukce spojená s NeRSP je menší ve srovnání s ostatními dvěma metodami.

Ablační studie odrazivosti povrchu

Naše metoda se zaměřuje na rekonstrukci reflexního povrchu a lze ji také použít k obnovení tvaru s drsnými povrchy. Jako example, znovu vykreslíme objekt SNAIL s jeho zrcadlovým albedem ρs zmenšeným z 1.0 na 0.1. Střední úhlová chyba (MAE) odhadované normály povrchu při 6 vstupu views z různých metod je uvedena v tabulce S1. Kvalitativní vyhodnocení odhadu normály povrchu a odpovídajícího rozdělení úhlové chyby různými metodami při stejném vstupu view jsou znázorněny na obr. S7. Tyto experimenty ukazují, že většina metod zlepšuje kvalitu rekonstrukce na drsných površích ve srovnání s povrchy odrazivými. Zejména naše metoda trvale přináší nejspolehlivější povrchovou rekonstrukci objektu.

Ablační studie na #views

Náš NeRSP se zaměřuje na rekonstrukci reflexních povrchů pod řídkým vstupem views. Experimenty uvedené v hlavním článku zabírají 6 řídkých views jako vstup. Vyhodnotit naši metodu pod různými počty vstupů views (tj. #views), provádíme experimenty na skutečném objektu LION při nastavení 3, 6, 12 a 24 views. Obrázek S8 zobrazuje obnovené tvary, zatímco kvalitativní hodnocení se vzdáleností zkosení je uvedeno v tabulce S2.

Pod řídkým vstupem views, jako např. 3, stávající metody se potýkají s problémem obnovení věrohodných výsledků. Je to hlavně proto, že se zaměřují buď na fotometrické nebo geometrické náznaky. S-VolSDF [9] jako example, odhadovaný tvar, jak je pozorován zblízka views, je silně ovlivněna odpovídající texturou. To vede k nesprávným tvarům kvůli nejednoznačnosti tvaru a vyzařování pod řídkým views. Tím, že náš NeRSP řeší geometrické i fotometrické podněty, snižuje nejednoznačnost při řídkých vstupech. Ve výsledku dosáhneme rozumnější tvarové přestavby. Toto pozorování zůstává platné, když je počet vstupů views přesahuje 12. Jak ukazuje tabulka S2, naše NeRSP trvale dosahuje nejmenší vzdálenosti zkosení s rostoucím počtem vstupů views. To ukazuje účinnost naší metody na reflexních površích v širokém rozsahu views.

Tabulka S2. Kvalitativní vyhodnocení na LION měřené vzdáleností zkosení (↓) při různém vstupu views.

#Views	NeRO [6]	S-VolSDF [9]	MVAS [2]	PANDORA [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

Vyhodnocení polarimetrického datového souboru MVIR

Kromě experimentů v reálném světě na datovém souboru PANDORA [3] a našem RMVP3D poskytujeme také vyhodnocení multi-view datový soubor polarizovaných obrázků přítomný v PMVIR [10]. Jak je znázorněno na obr. S9, vizualizujeme výsledky obnovy tvaru z PANDORA [3] a našich, přičemž vezmeme 6 řídkých views jako vstup. Vzhledem k tomu, že v tomto datovém souboru není žádný tvar GT, použijeme jako referenci výsledky z PMVIR [10], který trvá 31 a 56 views jako vstup pro kameru a scénu z auta. Pozorujeme, že naše výsledky jsou přiměřenější ve srovnání s výsledky využívajícími PANDORA [3], což prokazuje účinnost naší metody na řídkou 3D rekonstrukci.