NeRSP CVPR24 Rekonstriksyon Neural 3D pou objè meditativ Enstriksyon Manyèl

Otè: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
Afilyasyon: Inivèsite Lapòs ak Telekomunikasyon Beijing, Inivèsite Osaka, Inivèsite Peking

Résumé: Pwodwi NeRSP a ofri pi bon rezilta rekonstriksyon fòm pou sifas reflektif konpare ak metòd ki deja egziste yo.

Enstriksyon Itilizasyon Pwodwi

Entwodiksyon
Pwodwi NeRSP a fèt pou rekonstriksyon 3D objè reflektif lè l sèvi avèk imaj polarize ki ra. Li simonte defi ki gen rapò ak jwenn plizyè imaj.view korespondans ak demele fòm ak klète anba korespondans limite.

Travay ki gen rapò
NeRSP enspire pa Neural Radiance Fields (NeRF) ak lòt metòd rekonstriksyon 3D newonal. Li modle fòm sifas la enplisitman atravè chan distans siyen (SDF) epi li itilize trasaj esfè diferansyab ak rann volim pou amelyore kalite rekonstriksyon fòm lan.
Modèl Fòmasyon Imaj Polarimetrik
NeRSP enkòpore yon modèl fòmasyon imaj polarimetrik pou jwenn endikasyon fotometrik ak jeyometrik pou rekonstriksyon.

FAQ:

K: Ki sa ki se advan antagKijan pou itilize NeRSP pou rekonstriksyon 3D?
A: NeRSP ofri pi bon rezilta rekonstriksyon fòm pou sifas reflektif konpare ak metòd ki deja egziste yo akòz apwòch inovatè li a ki itilize imaj polarize ra.

K: Èske pwodui NeRSP a apwopriye pou sifas difize?
A: Malgre ke NeRSP fèt prensipalman pou sifas reflektif, li kapab tou bay yon estimasyon fòm konvenkan pou sifas difize kote konsistans fotometrik valab atravè... views.

NeRSP:
Rekonstriksyon Neyron 3D pou Objè Reflektif ak Imaj Polarize Ra

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

Inivèsite Lapòs ak Telekomunikasyon Beijing

Lekòl Syans ak Teknoloji Enfòmasyon pou Etid Avanse, Inivèsite Osaka
Laboratwa Nasyonal pou Tretman Enfòmasyon Miltimedya, Lekòl Syans Enfòmatik, Inivèsite Peking 4 Sant Nasyonal Rechèch Jeni pou Teknoloji Vizyèl, Lekòl Syans Enfòmatik, Inivèsite Peking
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

Résumé

Nou prezante NeRSP, yon teknik rekonstriksyon 3D newonal pou sifas reflechisan ak imaj polarize ra. Rekonstriksyon sifas reflechisan trè difisil paske refleksyon espekilè yo... view-depandan e konsa vyole milti-aview konsistans pou plizyèview stereo. Yon lòt bò, imaj ki pa twò klere, kòm yon paramèt kaptire pratik, souvan lakòz rezilta enkonplè oswa defòme akòz mank de korespondans. Atik sa a jere ansanm defi imaj ki pa twò klere ak sifas reflechi yo lè li itilize imaj polarize yo. Nou derive endikasyon fotometrik ak jewometrik nan modèl fòmilasyon imaj polarimetrik la ak plizyè...view konsistans azimit, ki ansanm optimize jeyometri sifas la modle atravè reprezantasyon newòn implicite. Baze sou eksperyans yo sou ansanm done sentetik ak reyèl nou yo, nou reyalize rezilta rekonstriksyon sifas dènye kri ak sèlman 6 views kòm opinyon.

Entwodiksyon

Multiview Rekonstriksyon 3D se yon pwoblèm fondamantal nan vizyon òdinatè (CV) epi li te etidye an pwofondè pandan plizyè ane [14]. Avèk avansman reprezantasyon sifas implicite [27, 28] ak chan mayetik neworal [22], dènye milti-evolusyon yoview Metòd rekonstriksyon 3D [5, 33, 38, 41] yo fè anpil pwogrè. Malgre rezilta konvenkan rekiperasyon fòm yo, pifò milti-view Metòd stereo (MVS) yo toujou depann anpil sou jwenn korespondans ant views, ki patikilyèman difisil pou sifas reflektif ak opinyon ki ra views.

Pou sifas ki reflete, viewaplikasyon sifas ki depann de

Kontribisyon egal. * Otè korespondan.
Paj pwojè a: https://yu-fei-han.github.io/NeRSP-project/.

Figi 1. Rekiperasyon fòm yon sifas reflektif apati 6 imaj polarize ra (ranje anlè yo). NeRSP nou an reyalize yon pi bon rezilta rekonstriksyon fòm konpare ak metòd ki deja egziste yo ki swa adrese entrées ra (S-VolSDF [35]) oswa refleksyon (PANDORA [9]).

Pearance kraze sipozisyon konsistans fotometrik ki te itilize nan estimasyon korespondans nan MVS. Pou adrese pwoblèm sa a, metòd rekonstriksyon neyronal 3D resan yo (pa egzanp, Ref-NeuS [13], NeRO [19], ak PANDORA [9]) modle refleksyon an eksplisitman epi an menm tan estime refleksyon an ak kat anviwònman an atravè rann envès. Sepandan, akizisyon imaj dans anba divès views nesesè pou jere fidèlman lòt enkoni anplis fòm yo, tankou albedo, brutality, ak kat anviwònman an.

Soti nan antre ra views, li souvan difisil pou jwenn ase miltiview korespondans. Espesyalman lè y ap reprezante viewAvèk refleksyon ki depann de eleman yo, li difisil pou separe fòm ak radyans anba yon kantite korespondans limite, sa ki mennen nan anbigwite ant fòm ak radyans [40]. Metòd rekonstriksyon neral 3D resan pou eleman ra views (pa egzanp, S-VolSDF [35] ak SparseNeuS [20]) mande regilarizasyon lè l sèvi avèk konsistans fotometrik, ki ka vyole pou sifas reflektif.

Pou adrese toulede pwoblèm yo, nou pwopoze pou itilize imaj polarize ki ra olye de antre RGB. Espesyalman, nou pwopoze NeRSP, yon metòd rekonstriksyon 3D newonal pou rekipere fòm sifas reflechisan yo apati imaj polarize ki ra. Nou itilize ang polarizasyon (AoP) ki sòti nan imaj polarize yo, ki reflete dirèkteman ang azimit fòm sifas la jiska anbigwite π ak π/2. Endis jeyometrik sa a li te ye pou pèmèt plizyè...view rekonstriksyon fòm kèlkeswa pwopriyete refleksyon sifas la, men fòm estime ki baze sèlman sou endikatè jewometrik la anbigi [6] anba kondisyon ra yo view paramèt yo. Yon lòt bò, yon siyal fotometrik ki soti nan modèl fòmasyon imaj polarimetrik la [2] ede rekonstriksyon sifas newòn (pa egzanp, PANDORA [9]) lè li minimize diferans ki genyen ant imaj polarize ki te rann ankò ak imaj polarize yo te kaptire yo. Sepandan, fòm estime ki baze sèlman sou siyal fotometrik la mal poze tou anba antre ra akòz anbigwite fòm-radyans lan. Kontrèman ak metòd PANDORA ki baze sou polarimetrik ki deja egziste a [9] ki konsidere sèlman siyal fotometrik la, NeRSP nou an montre entegrasyon tou de siyal jewometrik ak fotometrik yo efektivman diminye espas solisyon an pou fòm sifas la, sa ki montre li efikas nan rekonstriksyon sifas reflektif ki baze sou antre ra, jan yo montre nan Fig. 1.

Anplis NeRSP ki te pwopoze a pou rekonstriksyon 3D, nou te konstwi tou yon Sistèm Multi-Dezyèm Planifikasyon pou Monn Reyèl la.View Ansanm done imaj polarize ki gen 6 objè ak may 3D verite tè (GT) aliyen, yo rele RMVP3D. Li diferan de ansanm done ki deja egziste tankou ansanm done PANDORA [9] ki bay imaj polarize sèlman, may GT aliyen yo ak nòmal sifas yo pou chak. view pèmèt yon evalyasyon kantitatif plizyèview rekonstriksyon 3D polarize.

Pou rezime, nou avanse plizyèview Rekonstriksyon 3D pa pwopozisyon

NeRSP, premye metòd ki pwopoze pou itilize enfòmasyon polarimetrik pou rekonstriksyon sifas reflektif anba tanperati ra. views;

yon analiz konplè sou endikasyon fotometrik ak jeyometrik ki sòti nan imaj polarize yo; epi
RMVP3D, premye milti-fonksyon nan mond reyèl laview Ansanm done imaj polarize ak fòm GT pou evalyasyon kantitatif.

Travay ki gen rapò

Multiview Yo etidye rekonstriksyon 3D anpil pandan plizyè dizèn ane. Chan Radyans Neyronal yo (NeRF) [3, 22, 40] te reyalize anpil siksè nan nouvo... view sentèz nan dènye ane yo. Enpire pa NeRF, metòd rekonstriksyon neral 3D [24] yo pwopoze, kote fòm sifas la modle implicitman atravè yon chan distans siyen (SDF). Apati DVR [24], metòd ki vin apre yo amelyore kalite rekonstriksyon fòm nan atravè trasaj esfè diferansyab [37], rann volim [26, 33, 38], oswa reprezantasyon fòm amelyore an detay [18, 34]. Metòd sa yo ka reyalize estimasyon fòm konvenkan pou sifas difize kote konsistans fotometrik valab atravè views.

Rekonstriksyon pou sifas reflektif yo difisil paske konsistans fotometrik la pa valab. Metòd ki egziste deja yo [5, 41, 42] modle eksplisitman... viewRefleksyon ki depann de imaj la epi demele fòm nan, ekleraj ki varye nan espas, ak pwopriyete refleksyon tankou albedo ak aspè britalite. Sepandan, estimasyon varyab ki anwo yo pa satisfezan paske demele a pa byen poze. NeRO [19] pwopoze itilizasyon apwoksimasyon sòm divize nan modèl fòmasyon imaj la epi li amelyore kalite rekonstriksyon fòm nan san li pa bezwen mask objè. Sepandan, metòd ki anwo yo tipikman mande pou kaptire imaj dans pou garanti rezilta rekiperasyon fòm ki kredib pou sifas reflektif ki difisil.

Rekonstriksyon ak ra views esansyèl pou senaryo pratik ki mande kaptire efikas. Akòz mank korespondans ase ki soti nan limite views, anbigwite fòm-radyans lan pa ka rezoud, sa ki mennen nan rekiperasyon fòm ki fè bwi ak defòme. Metòd ki egziste deja yo adrese pwoblèm sa a lè yo ajoute regilarizasyon tankou lis jeyometri sifas [25], pwofondè apwofondi ki pa koryas [10, 32], oswa kontwòl frekans kodaj pozisyonèl la [36]. Gen kèk metòd [7, 20, 39] ki fòmile rekonstriksyon 3D ki ra a kòm yon pwoblèm jeneralizasyon 3D kondisyone kote karakteristik imaj ki pre-antrene yo itilize kòm apwofondi jeneralizabl. S-VolSDF [35] aplike metòd milti klasik laview metòd stereo kòm inisyalizasyon epi regilarize optimize rann newòn lan ak yon volim pwobabilite. Sepandan, li toujou difisil pou metòd aktyèl yo rekipere sifas reflektif yo avèk presizyon.

Yo te etidye rekonstriksyon lè l sèvi avèk imaj polarize pou tou de yon sèl-view paramèt [1, 2, 16, 23, 29] ak plizyèview paramèt [6, 8, 9, 11, 12, 43]. Kontrèman ak imaj RGB yo, AoP ki soti nan imaj polarize yo bay endikasyon dirèk pou nòmal sifas la. Single-view Teknik fòm ki soti nan polarizasyon (SfP) yo benefisye de pwopriyete sa a epi estime nòmal sifas la anba yon sèl limyè ki lwen [21, 29] oswa limyè natirèl enkoni [1, 16].view Metòd SfP yo [8, 43] rezoud anbigwite π ak π/2 yo nan AoP a ki baze sou plizyè...view obsèvasyon yo. PANDORA [9] se premye metòd rekonstriksyon 3D newonal ki baze sou imaj polarize, ki te demontre efikasite li nan rekipere fòm sifas ak ekleraj. MVAS [6] rekipere fòm sifas nan plizyèview kat azimit, ki gen rapò sere avèk kat AoP yo sòti nan

imaj polarize. Sepandan, metòd sa yo pa eksplore itilizasyon imaj polarize pou rekonstriksyon sifas reflechi anba imaj ki pa twò klè.

Modèl Fòmasyon Imaj Polarimetrik

Anvan nou plonje nan metòd pwopoze a, nou pral prezante modèl fòmasyon imaj polarimetrik la epi nou pral derive endikatè fotometrik la ak endikatè jewometrik la nan metòd nou an. Jan yo montre nan Fig. 2, yon kamera polarizasyon enstantane anrejistre obsèvasyon imaj nan kat ang polarizasyon diferan, ak valè pixel li yo ki deziyen kòm {I0, I45, I90, I135}. Kat imaj sa yo revele eta polarizasyon limyè yo resevwa yo, ki reprezante kòm yon vektè Stokes 4D s = [s0, s1, s2, s3] ki kalkile kòm

Nou sipoze pa gen limyè polarize sikilèman, kidonk nou bay s3 valè 0. Vektè Stokes la ka itilize pou kalkile ang polarizasyon an (AoP), sa vle di

Baze sou vektè AoP ak Stokes la, nou derive endikasyon jeyometrik ak fotometrik yo korespondan.

Replik jeyometrik
Etandone AoP ϕa, ang azimit sifas la kapab swa ϕa + π/2 oubyen ϕa + π, ke yo rekonèt kòm anbigwite π ak π/2 selon si sifas la se yon sifas ki espekilè oubyen yon sifas ki dominan an difiz. Nan seksyon sa a, nou pral premye prezante endikasyon jeyometrik ke plizyè fonksyon yo pote.view kat azimit epi pwolonje li nan ka AoP a.

Swivan MVAS [6], pou yon pwen sèn x, nòmal sifas li n ak ang azimit projetée ϕ nan yon kamera view swiv relasyon an kòm

kote R = [r1, r2, r3]⊤ se matris wotasyon poz kamera a. Nou ka plis rearanje ekwasyon (3) pou jwenn relasyon ortogonal ant nòmal sifas la ak yon vektè tanjant projetée t(ϕ) jan sa defini anba a,

Anbigwite π ant pwen pwen azimit la ak ang azimit la ka rezoud natirèlman jan ekwasyon (4) la ye si nou ajoute ϕ pa π. Anbigwite π/2 la ka adrese lè l sèvi avèk yon vektè tanjant pseudo-pwojeksyon tˆ(ϕ) ki fè

Si yon pwen sèn x obsève pa f views, nou ka anpile ekwasyon (4) ak ekwasyon (5) ki baze sou k wotasyon diferan ak AoP obsève yo, sa ki mennen nan yon sistèm lineyè.

T(x)n(x) = 0. (6)

Nou trete sistèm lineyè sa a kòm siyal jewometrik nou an pou plizyè-view rekonstriksyon 3D polarize.

Siyal fotometrik
Sipoze ekleraj anviwònman ensidan an pa polarize, vektè Stokes direksyon limyè ensidan ω a ka reprezante kòm

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

kote L(ω) reprezante entansite limyè a. Limyè sortan ki anrejistre pa kamera polarizasyon an vin pasyèlman polarize akòz refleksyon an. Pwosesis sa a modle atravè yon matris Muller 4×4 H. Anba yon ekleraj anviwònman, vektè Stokes sortan an kapab fòmile kòm entegral vektè Stokes ensidan an miltipliye ak matris Muller la, sa vle di

kote v ak Ω reprezante view direksyon ak domèn entegral. Swivan modèl BRDF polarize a (pBRDF) [2], vektè Stokes pwodiksyon an ka dekonpoze an pati difize ak espekilè modle atravè Hd ak Hs korespondan, sa vle di

Apati derivasyon PANDORA [9] la, nou ka fòmile vektè Stokes rezilta a pi lwen kòm

kote Ld =fΩ ρL(ω)ω⊤n T+i T−i dω deziyen kòm radyans difize ki gen rapò ak nòmal sifas n, koyefisyan transmisyon Fresnel [2] T+i,o ak T−i,o, albedo difize ρ, ak ang azimit limyè ensidan ϕn. Ls = fΩ L(ω) DG 4n⊤v dω deziyen radyans espekilè ki gen rapò ak koyefisyan refleksyon Fresnel [2] R+ ak R−, ang azimit ensidan ϕh parapò ak demi vektè h = ω+v∥ω+v∥22, ak distribisyon nòmal ak tèm lonbraj D ak G nan modèl Microfacet la [31].

Tanpri gade materyèl siplemantè a pou plis detay. Baze sou modèl fòmasyon imaj polarimetrik ki montre nan ekwasyon (10), nou konstwi siyal fotometrik la.

Metòd pwopoze a

NeRSP nou an pran plizyè bagay ki raview Imaj polarize yo, mask silwèt objè sib la ki koresponn lan, ak pozisyon kamera kòm antre ak sòti fòm sifas objè a ki reprezante enplisitman atravè SDF. Nou kòmanse ak diskisyon sou endikatè fotometrik ak endikatè jewometrik pou rezoud anbigwite rekonstriksyon fòm lan, ki te swiv pa enstriksyon sou estrikti rezo a ak fonksyon pèt NeRSP nou an.

Anbigwite nan rekonstriksyon 3D ki ra
Siyal jewometrik la ak siyal fotometrik la jwe yon wòl enpòtan nan rediksyon espas solisyon fòm sifas la anba kondisyon ra. views. Jan yo montre nan Fig. 3, nou ilistre estimasyon fòm lan anba 2 views ak diferan endikatè. Si nou sèlman bay imaj RGB kòm opinyon (ki koresponn ak paramèt ki nan NeRO [19] ak S-VolSDF [35]), diferan konbinezon pozisyon pwen sèn, nòmal sifas, ak pwopriyete refleksyon tankou albedo ka mennen nan menm obsèvasyon imaj yo, piske gen sèlman de mezi RGB pou chak pwen 3D sou reyon kamera a. Avèk vektè Stokes yo ekstrè nan imaj polarize yo, endikatè fotometrik la pote 6 mezi pou chak pwen 3D (vektè Stokes la gen 3 eleman), sa ki diminye kandida nòmal sifas yo ki pa anfòm ak modèl fòmasyon imaj polarimetrik la.

Yon lòt bò, ki baze sou kat AoP1 ki soti nan imaj polarize yo, nou ka detèmine inikman nòmal sifas la jiska yon anbigwite π pou chak pwen sèn sou reyon kamera a. Sepandan, li toujou anbigwite pou jwenn pozisyon kote reyon kamera a kwaze sifas la sof si yon twazyèm... view yo bay [6]. Se poutèt sa, anba ra viewparamèt (pa egzanp, 2 view(jan yo nan Fig. 3), detèminasyon pozisyon pwen sèn nan ki baze sou swa endikasyon jeyometrik oswa fotometrik rete anbigi.
Metòd nou an konbine de endikatè sa yo ki sòti nan imaj polarize yo. Jan yo montre nan pati anba adwat Fig. 3 la, pozisyon pwen sèn ki kòrèk la ta dwe gen nòmal sifas li ki kouche nan entèseksyon gwoup kandida nòmal yo ki sòti nan tou de endikatè fotometrik ak jewometrik yo. Kòm nòmal sifas nan diferan sampPwen sèn dirije yo detèmine inikman pa endikatè jewometrik, nou ka fasilman detèmine si pwen an sou sifas la avèk èd yon endikatè fotometrik. Nan fason sa a, nou diminye espas solisyon rekonstriksyon sifas reflektif ki pa twò klè.

NeRSP
Estrikti rezo a Jan yo montre nan Fig. 4, NeRSP nou an aplike yon estrikti rezo menm jan an ak PANDORA [9] ki sòti okòmansman nan Ref-NeRF [30]. Pou yon reyon limyè ki emèt soti nan sant kamera o ak direksyon v, nou sampAnn pran yon pwen sou reyon an ak distans vwayaj ti, kote li make nan xi = o + tiv. Swivan rann volim ki itilize nan NeRF [25], vektè Stokes s(v) ki obsève a ka entegre pa opakite volim σi a ak vektè Stokes yo nan s la.amppwen dirije sou reyon an, sa vle di

kote deziyen transmisyon akimile a kòmamppwen dirije.

Motive pa metòd rekonstriksyon neyronal 3D ki fèk parèt NeuS [33] la, nou derive opakite volim nan yon rezo SDF epi nou ekstrè nòmal sifas la nan gradyan SDF la. Pou kalkile so(xi, v) nan sampPou pwen ki te dirije yo, nou swiv modèl fòmasyon imaj polarimetrik nan ekwasyon (10) la. Espesyalman, radyans difize Ld a gen rapò ak albedo difize a ak koyefisyan transmisyon Fresnel yo, ki depann de pozisyon sèn yo men ki envaryan ak view direksyon. Se poutèt sa, nou itilize yon rezo radyans difize pou trase Ld apati karakteristik chak pwen sèn nan. Radyans espekilè Ls la gen rapò ak lòb espekilè a detèmine pa la view direksyon, nòmal sifas, ak aspè sifas. Se poutèt sa nou itilize yon RoughnessNet pou predi aspè sifas la. Ansanm ak kamera a view Anba direksyon an ak nòmal sifas prevwa a, nou estime radyans espekilè Ls la lè nou swiv modil kodaj pozisyonèl entegre ki pwopoze pa Ref-NeRF [30]. Lè nou konbine Ld ak Ls, nou rekonstwi vektè Stokes ki obsève a lè nou swiv ekwasyon (10).

Fonksyon pèt
Pèt fotometrik la defini kòm distans L1 ant vektè ˆs(v) yo obsève a ak vektè Stokes rekonstwi yo s(v), sa vle di,

kote V reprezante tout reyon kamera yo ki pwojte nan mask objè yo nan diferan views. Pou pèt jewometrik la. nou premye jwenn pwen sèn 3D x la sou reyon kamera v la jiskaske li touche sifas la epi answit lokalize pozisyon pixel 2D projeté yo nan diferan views. Pèt jewometrik la defini dapre ekwasyon (6) la, sa vle di,

kote X reprezante tout entèseksyon reyon-sifas ki andedan mask objè yo nan diferan views. Anplis pèt fotometrik ak jewometrik la, nou ajoute pèt mask sipèvize pa mask objè yo ak pèt regilarizasyon Eikonal la. Pèt mask la defini kòm

kote reprezante mask prevwa a nan k-yèm reyon kamera a, ki gen valè mask GT li a deziyen kòm Mk. BCE reprezante yon pèt entropi kwaze binè.

kote ni,k se nòmal sifas ki sòti nan rezo SDF la nan i-yèm s laamppwen dirije sou reyon kamera k-yèm lan. NeRSP nou an sipèvize pa konbinezon tèm pèt ki anwo yo, sa vle di

kote λe, λm, ak λp se koyefisyan pou tèm pèt korespondan yo.

Ansanm Done RMVP3D
Pou evalye quantitatively metòd yo pwopoze a, nou pran yon Multi mond reyèl laview Ansanm done imaj polarize ak may verite tè a ki aliyen. Figi 5 (agoch) ilistre konfigirasyon kaptire nou an, ki gen ladan yon kamera polarimetrik, FLIR BFS-U3-51S5PC-C, ekipe ak yon lantiy 12 mm ak yon ray wotasyon. Nou itilize OpenCV pou demonstrasyon done brit yo epi nou jwenn imaj koulè 1224 × 1024 ak ang polarizè a 0, 45, 90, ak 135 degre. Pandan kaptire done yo, nou mete objè sib yo nan sant ray la epi nou kaptire 60 imaj pou chak objè lè nou deplase kamera a manyèlman. Nou kolekte 4 objè kòm sib: CHYEN, KRAPO, LYON, ak BOUL, jan yo montre nan Fig. 5 (mitan). Pou evalyasyon kantitatif la, nou adopte yon eskanè lazè Creaform HandySCAN BLACK ak yon presizyon 0.01 mm pou jwenn may verite tè a. Pou aliyen may la ak imaj kaptire a. views, nou premye aplike PANDORA [9] pou estime yon fòm referans lè l sèvi avèk tout disponib yo views epi answit aliyen may eskane a ak sa ki estime a atravè algorithm ICP a [4]. Anplis fòm verite tè a ak miltiview Avèk imaj yo, nou kaptire tou kat anviwònman an lè l sèvi avèk yon kamera 360 degre THETA Z1, sa ki benefisye evalyasyon kantitatif sou estimasyon ekleraj la pou travay rann envès newonal ki gen rapò.

Eksperyans

Nou evalye NeRSP avèk twa eksperyans: 1) konparezon ak plizyè sistèm ki deja egziste.view metòd rekonstriksyon 3D quantitatively sou yon seri done sentetik; 2) etid ablasyon sou kontribisyon tèm pèt jewometrik ak fotometrik 3) evalyasyon kalitatif ak quantitative sou seri done mond reyèl la. Nou tou bay BRDF ak roman view rezilta nan materyèl siplemantè a.

Ansanm Done ak Liy de Referans
Ansanm done. Nou prepare de ansanm done reyèl: ansanm done PAN-DORA a [9] ak RMVP3D nou pwopoze a, kote ansanm done PANDORA a [9] sèlman itilize pou evalyasyon kalitatif paske may verite tèren yo pa bay. Nou prepare tou yon milti-ansanm sentetik.view Ansanm done imaj polarize SMVP3D ak motè rann Mitsuba [15], ki gen ladan 5 objè ki gen refleksyon varyab nan espas ak refleksyon, jan yo montre nan Fig. 6. Objè yo eklere pa kat anviwònman2 epi yo kaptire pa 6 viewdistribye owaza otou objè yo. Anplis imaj polarize yo rann, nou ekspòte tou vektè Stokes yo, kat nòmal sifas GT yo, ak kat AoP yo pou chak objè.

Liy debaz yo. Travay nou an rezoud plizyè pwoblèmview Rekonstriksyon 3D pou sifas reflektif ki baze sou imaj polarize ki ra. Se poutèt sa, nou chwazi metòd rekonstriksyon 3D ki pi avanse yo ki vize sifas reflektif NeRO [19] ak imaj ki ra. views S-VolSDF [35]. De metòd ki anwo yo baze sou imaj RGB. Pou plizyèview Pou stereo ki baze sou imaj polarize, nou chwazi PANDORA [9] ak MVAS [6] kòm liy debaz nou yo. NeRO [19] pa bezwen mask silwèt kòm opinyon. Pou yon konparezon ki jis, nou retire background nan nan imaj RGB yo ak mask korespondan yo anvan nou antre nan NeRO [19]. Pou konpare diferan metòd yo, nou aplike distans Chanfren (CD) ant may estime a ak may GT a, ak erè angilè mwayèn (MAE) ant nòmal sifas estime a ak nòmal sifas GT a nan diferan... views kòm metrik evalyasyon nou yo.

Rekiperasyon fòm sou yon seri done sentetik
Jan Tablo 1 montre a, nou rezime erè estimasyon fòm metòd ki deja egziste yo ak pa nou an sou SMVP3D. Metòd nou an rive nan pi piti distans Chanfren sou tout 5 objè sentetik yo. Baze sou estimasyon fòm vizyalize yo montre nan Figi 7 la, NeRO [19] ak S-VolSDF [35] pa ka refè detay sifas yo avèk presizyon jan yo mete aksan sou yo nan imaj fèmen an. viewYon rezon posib se ke demele fòm nan ak refleksyon refleksyon an nan imaj ki ra yo twò difisil pou metòd sa yo ki baze sèlman sou enfòmasyon RGB. MVAS [6] ak PANDORA [9] adrese endikatè jeyometrik ak fotometrik imaj polarize yo separeman. Sepandan, fòm sifas reflektif rekonstwi yo toujou pa satisfezan akòz anbigwite ki genyen nan endikatè jeyometrik ak fotometrik anba imaj ki ra yo. viewanviwònman an. Jan yo mete aksan sou li nan imaj fèmen an viewLè nou benefisye de endikasyon jeyometrik ak fotometrik, metòd nou an diminye espas solisyon estimasyon fòm nan, sa ki mennen nan rekiperasyon fòm ki pi rezonab konpare ak fòm GT yo.

Anplis evalyasyon may rekonstwi a, nou teste tou rezilta estimasyon nòmal sifas la. Jan yo montre nan Tablo 2, nou rezime erè angilè mwayèn nòmal sifas estime yo nan 6 viewsoti nan diferan metòd. An akò ak rezilta evalyasyon yo nan Tablo 1, NeRSP reyalize pi piti erè angilè mwayèn yo an mwayèn. Nou te obsève tou ke rezilta ki soti nan NeRO [19], MVAS [6], ak PANDORA [9] gen pi gwo erè sou objè ki gen detay amann, tankou objè DAVID ak DRAGON. Kòm yon egzanpampPa egzanp, MVAS [6] gen dezyèm pi piti distans Chanfren ki montre nan Tablo 1, men erè angilè mwayèn nan plis pase 20◦. Yon rezon potansyèl se metòd ki egziste yo bay fòm lis nan zòn ra a. viewAnviwònman s, kote detay sifas yo tankou flokon DRAGON an pa byen refè.

Tablo 1. Konparezon rekiperasyon fòm sou seri done sentetik evalye pa distans chanfren (↓). Pi piti ak dezyèm pi piti erè yo make an karaktè gra ak souliye. "N/A" vle di eksperyans kote yon metòd espesifik pa ka bay rezilta estimasyon fòm rezonab.

Etid ablasyon
Nan seksyon sa a, nou fè yon etid ablasyon pou teste efikasite endikatè jewometrik ak fotometrik yo. Lè nou pran objè DRAGON an kòm yon egzanp...ampSa vle di, nou fè metòd nou an avèk e san pèt fotometrik Lp ak pèt jewometrik Lg. Jan yo montre nan Fig. 8, nou trase estimasyon nòmal fòm ak sifas la lè nou enfim diferan tèm pèt yo. San pèt fotometrik la, anbigwite fòm akòz ra a views rive. Jan yo montre nan imaj fèmen an views, fòm ki toupre pati janm lan gen yon atifak konkav, paske gen sèlman de vizib views pou rejyon sa a, ki pa kapab fòmile yon solisyon inik pou fòm nan sèlman ki baze sou kat AoP yo [6]. San pèt jewometrik, nou jwenn tou rezilta fòm defòme paske obsèvasyon imaj ki ra yo pa ase pou dekonpoze fòm nan, refleksyon an ak ekleraj la yon fason inik. Lè nou konbine pèt fotometrik ak jewometrik la, NeRSP nou an diminye anbigwite rekiperasyon fòm nan epi fòm estime a pi pre GT a, jan sa parèt nan imaj fèmen an. views.

Figi 8. Etid ablasyon sou diferan tèm pèt. Ranje anwo ak anba yo vizyalize fòm estime a ak nòmal sifas la, ak distans chanfren an ak erè angilè mwayèn nan make sou tèt chak sou-figi, respektivman.

Rekiperasyon fòm sou done reyèl
Anplis eksperyans sentetik yo ki te montre nan seksyon anvan an, nou evalye metòd nou an tou sou ansanm done reyèl PANDORA [9] ak RMVP3D pou teste aplikabilite li nan senaryo rekonstriksyon 3D reyèl.

Evalyasyon kalitatif sou seri done PANDORA a [9]. Jan yo montre nan Fig. 9, nou bay evalyasyon kalitatif sou seri done PAN-DORA a [9]. Konpare ak aparans imaj la ak rezilta estime ki soti nan S-VolSDF [35] ak NeRO [19], fòm nan pa konplètman demele ak refleksyon an, sa ki mennen nan fòm sifas aksidante ki gen yon relasyon sere avèk teksti refleksyon an. MVAS [6] ak PANDORA [9] gen estimasyon fòm ki twò lis oswa atifak fòm konkav, akòz adrese sèlman endikasyon jewometrik oswa fotometrik anba paramèt kaptire ra a. Rezilta estimasyon fòm nou yo pa gen okenn atifak fòm sa yo epi yo koresponn byen ak obsèvasyon imaj yo.

Tablo 3. Evalyasyon kantitatif sou RMVP3D ak distans chanfren (↓). Metòd nou an rive nan pi piti erè an mwayèn.

Metòd	CHEN	LYON	Krapo	BOUL	Mwayèn
NeRO [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
PANDORA [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (Pa nou)	8.80	5.18	6.70	3.84	6.13

Evalyasyon kantitatif sou RMVP3D. Jan yo montre nan Tablo 3, nou prezante yon evalyasyon kantitatif RMVP3D ki baze sou distans Chanfren. An akò ak eksperyans sentetik la, NeRSP nou an reyalize pi piti erè estimasyon an mwayèn. Fòm vizyalize yo montre nan Fig. 10 revele tou ke sifas reflektif yo difisil pou S-VolSDF [35] pou demele fòm nan ak refleksyon an, jan sifas aksidante objè FROG la mete aksan sou li nan sifas fèmen an. views. NeRO [19] ak PANDORA [9] gen erè estimasyon menm jan ak nou sou objè BALL senp lan. Pou fòm konplèks tankou LION, rekiperasyon fòm defòme yo jwenn nan metòd sa yo akòz ra a. view anvirònman an, alòske pa nou yo pi pre may GT yo, sa ki demontre efikasite metòd nou an sou rekonstriksyon sifas reflektif nan mond reyèl la anba antre ki ra.

Konklizyon

Nou pwopoze NeRSP, yon metòd rekonstriksyon 3D newòn pou sifas reflektif anba imaj polarize ki ra. Akòz defi anbigwite radyans fòm ak refleksyon konplèks, metòd ki egziste yo ap lite swa ak sifas reflektif oswa imaj polarize ki ra. views epi yo pa ka adrese tou de pwoblèm yo ak imaj RGB yo. Nou pwopoze pou itilize imaj polarize kòm opinyon. Lè nou konbine endikasyon jewometrik ak fotometrik ki ekstrè nan imaj polarize yo, nou diminye espas solisyon fòm estime a, sa ki pèmèt rekiperasyon efikas sifas reflektif la ak sèlman 6 views, jan done ki disponib piblikman ak ansanm done nou yo demontre sa.

Limitasyon
Entè-refleksyon yo ak limyè anviwònman polarize a pa konsidere nan travay sa a, sa ki ta ka enfliyanse presizyon rekonstriksyon fòm nan. Nou te remake yon travay ki pi resan NeISF [17] ki konsantre sou sijè sa a, epi nou enterese nan konbine merit kout zeklè ra nou yo ak travay sa a nan lavni.
Rekonesans
Travay sa a te resevwa sipò nan men Pwojè Fondasyon Syans Natirèl Beijing nimewo Z200002 la, Fondasyon Nasyonal Syans Natirèl Lachin nan (Sibvansyon nimewo 62136001, 62088102, 62225601, U23B2052), Ekip Rechèch Inovatif Jèn BUPT nimewo 2023QNTD02 la, ak JSPS KAKENHI (Sibvansyon nimewo JP22K17910 ak JP23H05491). Nou remèsye Youwei Lyu pou diskisyon ki te gen anpil enfòmasyon.

Referans

Yunhao Ba, Alex Gilbert, Franklin Wang, Jinfa Yang, Rui Chen, Yiqin Wang, Lei Yan, Boxin Shi, ak Achuta Kadambi. Fòm gwo twou san fon soti nan polarizasyon. Nan ECCV, paj 554–571, 2020. 2
Seung-Hwan Baek, Daniel S Jeon, Xin Tong, ak Min H Kim. Akizisyon similtane SVBRDF polarimetrik ak nòmal. ACM TOG, 37(6):268–1, 2018. 2, 3, 4

Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla, ak Pratul P Srinivasan. Mip-NeRF: Yon reprezantasyon milti-echèl pou chan mayetik radyans newòn anti-aliasing. Nan ICCV, paj 5855–5864, 2021. 2
Paul J Besl ak Neil D McKay. Metòd pou anrejistreman fòm 3D. Nan Sensor fusion IV: paradigmes kontwòl ak estrikti done, paj 586–606, 1992. 6
Mak Boss, Varun Jampani, Raphael Braun, Ce Liu, Jonathan Barron, ak Hendrik Lensch. Neural-PIL: Ekleraj pre-entegre newral pou dekonpozisyon refleksyon. Nan NeurIPS, paj 10691–10704, 2021. 1, 2

Xu Cao, Hiroaki Santo, Fumio Okura, ak Yasuyuki Matsushita. milti-View Azimit Stereo atravè Konsistans Espas Tanjant. Nan CVPR, paj 825–834, 2023. 2, 3, 4, 6, 7, 8
Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, ak Hao Su. MVSNeRF: Rekonstriksyon rapid eneralize jaden eklatman soti nan milti-view stereo. Nan CVPR, paj 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan, ak Jan Kautz. Polarimetrik milti-view stereo. Nan CVPR, paj 1558–1567, 2017. 2

Akshat Dave, Yongyi Zhao, ak Ashok Veeraraghavan. Pandora: Dekonpozisyon newòn radyans ak èd polarizasyon. Nan ECCV, paj 538–556, 2022. 1, 2, 4, 6, 7, 8
Kangle Deng, Andrew Liu, Jun-Yan Zhu, ak Deva Ra-manan. NeRF ki sipèvize pwofondè: mwens views ak fòmasyon pi rapid gratis. Nan CVPR, paj 12882–12891, 2022. 2
Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang, ak Jin-wei Ye. Polarimetrik helmholtz stereopsis. Nan ICCV, paj 5037–5046, 2021. 2

Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, ak Ko Nishino. Polarimetrik nòmal stereo. Nan CVPR, paj 682–690, 2021. 2
Wenhang Ge, Tao Hu, Haoyu Zhao, Shu Liu, ak Ying-Cong Chen. Ref-NeuS: Anbigwite-Redwi Neural Enplis Sur-face Learning pou Multi-View Rekonstriksyon avèk Refleksyon. arXiv preprint arXiv:2303.10840, 2023. 1
Richard Hartley ak Andrew Zisserman. Plizyè view jeyometri nan vizyon òdinatè. Cambridge University Press, 2003. 1

Wenzel Jakob. Mitsuba renderer, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, ak Qifeng Chen. Fòm soti nan polarizasyon pou sèn konplèks nan bwa a. Nan CVPR, paj 12632–12641, 2022. 2
Chenhao Li, Taishi Ono, Takeshi Uemori, Hajime Mihara, Alexander Gatto, Hajime Nagahara, ak Yuseke Moriuchi. NeISF: Chan Stokes Ensidan Neyron pou Jewometri ak Estimasyon Materyèl. arXiv preprint arXiv:2311.13187, 2023. 8

Zhaoshuo Li, Thomas Müller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming-Yu Liu, ak Chen-Hsuan Lin. Neu-Colangelo: Rekonstriksyon Sifas Neyron Segondè Fidelite. Nan CVPR, paj 8456–8465, 2023. 2
Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura, ak Wenping Wang. NeRO: Jewometri Neyron ak Rekonstriksyon BRDF Objè Reflektif ki Soti nan Plizyèview Imaj. arXiv preprint arXiv:2305.17398, 2023. 1, 2, 4, 6, 7, 8
Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura, ak Wenping Wang. SparseNeuS: Rekonstriksyon sifas newòn jeneralizabl rapid apati de eleman ra. views. Nan ECCV, paj 210–227, 2022. 2

Youwei Lyu, Lingran Zhao, Si Li, ak Boxin Shi. Fòm ki soti nan polarizasyon ak estimasyon ekleraj ki lwen. IEEE TPAMI, 2023. 2
Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, ak Ren Ng. NeRF: Reprezante sèn kòm chan mayetik newòn pou view sentèz. Nan ECCV, paj 405–421, 2020. 1, 2
Miyazaki, Tan, Hara, ak Ikeuchi. Rann envès ki baze sou polarizasyon soti nan yon sèl viewNan ICCV, paj 982–987, 2003. 2

Michael Niemeyer, Lars Mescheder, Michael Oechsle, ak Andreas Geiger. Rann volimik diferansyab: Aprantisaj reprezantasyon 3D implicite san sipèvizyon 3D. Nan CVPR, paj 3504–3515, 2020. 2
Michael Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger, ak Noha Radwan. Reg-nerf: Regilarize chan mayetik neworal yo pou view sentèz apati de antre ra. Nan CVPR, paj 5480–5490, 2022. 2, 4
Michael Oechsle, Songyou Peng, ak Andreas Geiger. UNISURF: Inifye sifas enplisit newonal ak chan mayetik pou plizyè-view rekonstriksyon. Nan ICCV, paj 5589–5599, 2021. 2

Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, ak Steven Lovegrove. DeepSDF: Aprantisaj fonksyon distans kontinyèl ak siy pou reprezantasyon fòm. Nan CVPR, paj 165–174, 2019. 1
Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, ak Gordon Wetzstein. Reprezantasyon newòn enplisit ak fonksyon aktivasyon peryodik. Nan NeurIPS, 2020. 1
William AP Smith, Ravi Ramamoorthi, ak Silvia Tozza. Wotè-apati-polarizasyon ak ekleraj enkoni oswa albedo. IEEE TPAMI, 41(12):2875–2888, 2018. 2

Dor Verbin, Peter Hedman, Ben Mildenhall, Todd Zickler, Jonathan T Barron, ak Pratul P Srinivasan. Ref-NeRF: Estriktire viewaparans ki depann de limyè pou chan mayetik newòn yo. Nan CVPR, paj 5481–5490, 2022. 4, 5
Bruce Walter, Stephen R Marschner, Hongsong Li, ak Ken-neth E Torrance. Modèl mikrofasèt pou refraksyon atravè sifas ki graj. Nan Pwosedi 18yèm konferans Eurographics sou Teknik Rann, paj 195–206, 2007. 4
Guangcong Wang, Zhaoxi Chen, Chen Change Loy, ak Ziwei Liu. SparseNeRF: Distiling pwofondè klasman pou roman kèk-piki view sentèz. arXiv preprint arXiv:2303.16196, 2023. 2

Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, ak Wenping Wang. NeuS: Aprantisaj Sifas Enplisit Neyron pa Rann Volim pou Milti-view Rekonstriksyon. Pre-enprime arXiv arXiv:2106.10689, 2021. 1, 2, 5
Yiqun Wang, Ivan Skorokhodov, ak Peter Wonka. HF-NeuS: Rekonstriksyon sifas amelyore lè l sèvi avèk detay wo-frekans. Nan NeurIPS, paj 1966–1978, 2022. 2
Haoyu Wu, Alexandros Graikos, ak Dimitris Samaras. S-VolSDF: Sparse Multi-View Regilarizasyon Stereo Sifas Enplisit Neyronal yo. arXiv preprint arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8

Jiawei Yang, Marco Pavone, ak Yue Wang. FreeNeRF: Amelyore rann newòn kèk imaj ak regilarizasyon frekans lib. Nan CVPR, paj 8254–8263, 2023. 2
Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, ak Yaron Lipman. Multiview rekonstriksyon sifas newòn pa demele jeyometri ak aparans. Nan NeurIPS, paj 2492–2502, 2020. 2
Lior Yariv, Jiatao Gu, Yoni Kasten, ak Yaron Lipman. Rann volim nan sifas neral implicite. Nan NeurIPS, paj 4805–4815, 2021. 1, 2

Alex Yu, Vickie Ye, Matthew Tancik, ak Angjoo Kanazawa. pixelNeRF: Chan radyans newòn ki soti nan youn oubyen kèk imaj. Nan CVPR, paj 4578–4587, 2021. 2
Kai Zhang, Gernot Riegler, Noah Snavely, ak Vladlen Koltun. NeRF++: Analize ak amelyore chan mayetik newòn yo. arXiv preprint arXiv:2010.07492, 2020. 2
Kai Zhang, Fujun Luan, Qianqian Wang, Kavita Bala, ak Noah Snavely. PhySG: Rann envès ak Gaussyen esferik pou koreksyon ak re-ekleraj materyèl ki baze sou fizik. Nan CVPR, paj 5453–5462, 2021. 1, 2

Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul De-bevel, William T Freeman, ak Jonathan T Barron. NeR-Factor: Faktèrizasyon newòn fòm ak refleksyon anba yon ekleraj enkoni. ACM TOG, 40(6):1–18, 2021. 2
Jinyu Zhao, Yusuke Monno, ak Masatoshi Okutomi. Polarimetrik milti-view rann envès. IEEE TPAMI, 2022. 2

Endikatè fotometrik ak jewometrik NeRSP yo

Derivasyon yon siyal jewometrik
Jan yo montre nan Fig. S1, yo bay yon pwen sèn obsève pa diferan views, nòmal sifas li nan sib la view kapab reprezante pa ang azimit ak elevasyon ϕ ak θ respektivman, sa vle di,

Relasyon ki genyen ant ang azimit la ak eleman nòmal sifas la kapab fòmile kòm

Nòmal sifas la nan sib la view ka kalkile lè w vire nòmal la nan sous la view, sa vle di ˆn = Rn. Etandone matris wotasyon ki soti nan kamera kalibre a poze kòm R = [r1, r2, r3]⊤, ekwasyon (2) ki baze sou ˆn ka fòmile kòm

r⊤1 n cos ϕ − r⊤ 2 n sin ϕ = 0. (3)

Swivan MVAS [2], nou ka ranje ekwasyon (3) la pou jwenn relasyon ortogonal ki genyen ant nòmal sifas la ak vektè tanjant projetée t(ϕ) la jan sa defini anba a,

Konklizyon sa a sou ang azimit la ka pwolonje pou ang polarizasyon an (AoP). Anbigwite π a ka rezoud natirèlman jan ekwasyon (4) la ye si nou ajoute ϕ pa π. Anbigwite π/2 a ka adrese lè l sèvi avèk yon vektè tanjant pseudo-pwojeksyon tˆ(ϕ) ki fè sa

Si yon pwen sèn x obsève pa f views, nou ka anpile ekwasyon (4) ak ekwasyon (5) ki baze sou diferan wotasyon ak AoP obsève yo, sa ki mennen nan yon sistèm lineyè.

T(x)n(x) = 0. (6)

Nou trete sistèm lineyè sa a kòm siyal jewometrik nou an pou plizyè-view rekonstriksyon 3D polarize.

Derivasyon siyal fotometrik la
Swivan modèl BRDF polarize a [1], vektè stokes pwodiksyon an ka dekonpoze an pati difize ak espekilè modle atravè Hd ak Hs korespondan, sa vle di,

Yo ka fòmile konpozan difize Stokes anba yon sèl limyè kòm

kote ρd reprezante albedo difize a, ϕn se ang azimit limyè ensidan an sou plan pèpandikilè ak nòmal sifas la, T+i,o ak T−i,o reprezante kalkil koyefisyan transmisyon Fresnel yo [1] ki gen rapò ak ang ki genyen ant view direksyon ak nòmal sifas. Swivan nosyon ki nan PANDORA [3], nou reekri vektè Stokes difize a anba limyè anviwònman an kòm

kote yo deziyen kòm radyans difize. Olye pou yo kalkile apati ekwasyon an, yo trase radyans difize a kòm yon varyab espasyalman dirèkteman apati yon karakteristik pwen newòn ki ekstrè pa yon MLP ki baze sou kowòdone. Nan lòt men an, vektè stokes espekilè a anba yon sèl direksyon limyè ω nan modèl polarimetrik BRDF la ka defini kòm

kote ρs reprezante albedo espekilè a; D ak G reprezante distribisyon nòmal la ak tèm lonbraj nan modèl Microfacet la [8], ki ka kontwole pa brutality sifas la; R+ ak R− reprezante kalkil koyefisyan refleksyon Fresnel yo [1], ki gen rapò ak ang ki genyen ant nòmal sifas la ak direksyon limyè ensidan an; ϕh se ang azimit ensidan an parapò ak demi vektè a.Swivan nosyon ki nan PANDORA [3] yo, nou reekri vektè espekilè Stokes la anba limyè anviwònman an kòm

kote vle di radyans espekilè. Avèk apwoksimasyon sòm divize a [5], nou ka plis apwoksime Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω. An konbine avèk vektè Stokes difize ki montre nan ekwasyon (9), nou konstwi siyal fotometrik la ki baze sou modèl fòmasyon imaj polarimetrik sa a.

Detay aplikasyon

Seksyon sa a prezante detay rann Sentetik Milti- nou an.view Ansanm done imaj polarize SMVP3D ak detay antrènman NeRSP.

Dataset
Nou bay SMVP3D, ki gen imaj senk objè sentetik ki reflete anba limyè natirèl. Pou chak objè, nou rann 48 views epi anrejistre kat nòmal sifas verite tè (GT) korespondan yo. Nou itilize Mit-suba3 [4] kòm motè rann lan, ak kalite BRDF la mete sou materyèl plastik polarize nan rann nou an. Pou albedo difize ρd a, nou itilize yon teksti albedo ki varye espasyalman pou amelyore réalisme rezilta rann nou yo. An menm tan, nou kenbe albedo espekilè ρs la nan yon valè konstan 1.0 epi nou mete aspè sifas la nan 0.05. Apwòch sa a asire yon reflektivite inifòm sou tout sifas objè yo. Imaj polarize ki kapab lakòz yo rann nan yon rezolisyon 512 × 512 piksèl.

Fòmasyon
Iperparamèt λg, λm, ak λe nan fonksyon pèt nou an yo fikse respektivman sou 1, 1, ak 0.1. Pandan pwosesis antrènman an, nou itilize yon estrateji chofe ki swiv PAN-DORA [3], kote pou premye 1 000 epòk yo, nou konsidere sèlman enfòmasyon ki pa polarize nan siyal fotometrik la epi nou sipoze ke konpozan espekilè objè a se 0. Nan tout eksperyans yo, nou itilize yon rezolisyon 512 × 512 pou antrènman ak tès sou SMVP3D, ak 512 × 612 pou ansanm done reyèl yo. Metòd nou an jeneralman konvèje alantou 100 000 epòk, ki pran apeprè 6 èdtan sou yon GPU Nvidia RTX 3090, ak memwa a ki konsome apeprè 8 000 MB.

Estimasyon BRDF ak rezilta re-rann

Figi S4 (anlè) prezante estimasyon nou sou konpozan aspè majik, difize, ak espekilè. Estimasyon yo gen yon ti bri akòz sèlman 6 views. Menm jan ak Ref-NeRF [7] kote ekleraj la kontwole enplisitman atravè IDE, nou pa ka fè eksperyans re-ekleraj. Se poutèt sa, nou montre nouvo a view rezilta sentèz yo olye de sa, jan yo montre nan Fig. S4 (anba). Konpare ak metòd ki deja egziste yo, imaj nou yo ki re-rann yo pi pre obsèvasyon reyèl ki koresponn yo.

Lòt rezilta sou ansanm done nou yo

Nan seksyon sa a, nou prezante rezilta adisyonèl sou rekonstriksyon fòm sou SMVP3D ak Real-world Multi-view Ansanm done imaj polarize RMVP3D.

Evalyasyon sou SMVP3D
Nou prezante rezilta rekonstriksyon kalitatif metòd debaz yo ak apwòch nou an nan Fig. S2. Rezilta MVAS [2] yo manke detay, paske yo pa pran an kont endikatè fotometrik la. Pandan ke NeRO [6] ofri rekonstriksyon fòm amelyore, li pa bay yon sifas serye pou objè san teksti, tankou DAVID. S-VolSDF [9] itilize yon Multi-View Apwòch Stereo (MVS) la montre yon sansibilite ogmante pou enfòmasyon teksti sou sifas objè yo, sa ki pafwa mennen nan yon move entèpretasyon detay teksti kòm karakteristik estriktirèl. PANDORA [3] gen difikilte pou separe enfòmasyon albedo ak espekilè efektivman, sa ki mennen nan rezilta rekonstriksyon ki pa fyab. Metòd nou an, NeRSP, itilize tou de endikatè fotometrik ak jewometrik efektivman, sa ki bay rekonstriksyon ki reflete estrikti GT a avèk plis presizyon.

Nou montre tou estimasyon nòmal sifas yo ak distribisyon erè angilè korespondan yo nan Fig. S3, ki montre toujou ke NeRSP reyalize pi bon rezilta rekonstriksyon fòm pou sifas reflektif ak opinyon ra. views.

Evalyasyon sou RMVP3D
Nan seksyon sa a, nou prezante yon lòt rezilta rekonstriksyon objè sou RMVP3D. Figi S5 montre ke NeRO [6], MVAS [2], ak NeRSP ka rekonstwi avèk presizyon yon objè esferik senp ak yon sifas reflechisan. Okontrè, S-VolSDF [9] ak PANDORA [3] pa ka dekonpoze albedo ak konpozan espekilè sifas la, sa ki lakòz yon distòsyon nan pwosesis rekonstriksyon fòm lan. Pou distenge rezilta rekonstriksyon NeRO [6], MVAS [2], ak NeRSP yo, nou vizyalize Distans Chanfren an pou may yo rekonstwi pa chak metòd. Jan yo montre nan Figi S6, koulè chak pwen endike Distans Chanfren li, ki koupe ant 0 ak 5 mm. Ilistrasyon sa yo montre ke erè rekonstriksyon ki asosye avèk NeRSP a pi piti konpare ak sa ki nan de lòt metòd yo.

Etid ablasyon sou refleksyon sifas

Metòd nou an vize rekonstriksyon sifas reflektif, epi li kapab aplike tou pou rekipere fòm sifas ki graj. Kòm yon egzanpampPa egzanp, nou re-rann objè SNAIL la ak albedo espekilè li a ρs ki diminye soti nan 1.0 pou rive nan 0.1. Erè angilè mwayèn (MAE) nan nòmal sifas estime a nan 6 antre viewTablo S1 montre s ki soti nan diferan metòd yo. Evalyasyon kalitatif estimasyon nòmal sifas la ak distribisyon erè angilè korespondan nan diferan metòd anba menm done antre a. view yo montre nan Fig. S7. Eksperyans sa yo endike ke pifò metòd amelyore kalite rekonstriksyon sou sifas ki graj konpare ak sifas ki reflete. An patikilye, metòd nou an toujou bay rekonstriksyon sifas objè a ki pi fyab.

Etid ablasyon sou #views

NeRSP nou an vize rekonstriksyon sifas reflektif anba enfliyans ra. viewEksperyans yo montre nan atik prensipal la pran 6 espas vid. views kòm antre. Pou evalye metòd nou an anba diferan kantite antre views (sa vle di, #views), nou fè eksperyans sou objè reyèl LION nan paramèt 3, 6, 12, ak 24 viewFigi S8 la vizyalize fòm yo refè yo, alòske evalyasyon kalitatif la ak Distans Chanfren an prezante nan Tablo S2.

Anba opinyon ra viewMenm jan ak 3, metòd ki egziste deja yo ap lite pou jwenn rezilta ki posib. Sa a se sitou paske yo konsantre swa sou endikatè fotometrik oswa endikatè jewometrik. Si nou pran S-VolSDF [9] kòm yon egzanpampfòm estime a, jan yo obsève l deprè views, enfliyanse anpil pa teksti korespondan an. Sa mennen nan fòm ki pa kòrèk akòz anbigwite fòm-radans anba ra views. Lè nou adrese tou de endikatè jewometrik ak fotometrik yo, NeRSP nou an diminye anbigwite anba antre ki ra. Kòm rezilta, nou reyalize yon rekonstriksyon fòm ki pi rezonab. Obsèvasyon sa a rete valab lè kantite antre yo views depase 12. Jan yo montre nan Tablo S2, NeRSP nou an toujou reyalize pi piti Distans Chanfren an ak yon kantite opinyon k ap ogmante. viewSa montre efikasite metòd nou an sou sifas reflektif sou yon pakèt views.

Tablo S2. Evalyasyon kalitatif sou LION mezire pa Distans Chanfren (↓) anba diferan opinyon views.

#Views	NeRO [6]	S-VolSDF [9]	MVAS [2]	PANDORA [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

Evalyasyon seri done polarimetrik MVIR la

Anplis eksperyans reyèl yo sou seri done PANDORA a [3] ak RMVP3D nou an, nou bay tou evalyasyon yon milti-view Ansanm done imaj polarize ki prezan nan PMVIR [10]. Jan yo montre nan Fig. S9, nou vizyalize rezilta rekiperasyon fòm yo soti nan PANDORA [3] ak pa nou an, pran 6 imaj ra. views kòm antre. Piske pa gen okenn fòm GT nan seri done sa a, nou itilize rezilta yo soti nan PMVIR [10] kòm yon referans, ki pran 31 ak 56 views kòm opinyon pou kamera a ak sèn machin nan, respektivman. Nou obsève ke rezilta nou yo pi rezonab konpare ak sa yo ki itilize PANDORA [3], sa ki demontre efikasite metòd nou an sou rekonstriksyon 3D ki ra.