NeRSP CVPR24 Neural 3D Reconstruction alang sa Reflective Objects Instruction Manual

Mga tagsulat: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
Kauban: Beijing University of Posts and Telecommunications, Osaka University, Peking University

Abstract: Nagtanyag ang produkto sa NeRSP og gipaayo nga mga resulta sa pagtukod pag-usab sa porma alang sa mga reflective surface kumpara sa kasamtangan nga mga pamaagi.

Mga Instruksyon sa Paggamit sa Produkto

Pasiuna
Ang produkto sa NeRSP gidisenyo alang sa 3D nga pagtukod pag-usab sa mga butang nga nagpabanaag gamit ang mga gamay nga polarized nga mga imahe. Gibuntog niini ang mga hagit nga may kalabutan sa pagpangita og multiview mga sulat ug pagtangtang sa porma gikan sa kahayag ubos sa limitado nga mga sulat.

May Kalabutan nga Trabaho
Ang NeRSP giinspirar sa Neural Radiance Fields (NeRF) ug uban pang mga neural 3D nga pamaagi sa pagtukod pag-usab. Gi-modelo niini ang porma sa nawong pinaagi sa signed distance field (SDF) ug gigamit ang differentiable sphere tracing ug volume rendering aron mapalambo ang kalidad sa pagtukod pag-usab.
Polarimetric Image Formation Model
Ang NeRSP nag-apil sa usa ka polarimetric image formation model aron makuha ang photometric ug geometric nga mga cues alang sa pagtukod pag-usab.

FAQ:

Q: Unsa ang advantage sa paggamit sa NeRSP para sa 3D reconstruction?
A: Nagtanyag ang NeRSP og mas maayo nga mga resulta sa pagtukod pag-usab sa porma alang sa mga reflective surface kumpara sa kasamtangan nga mga pamaagi tungod sa bag-ong pamaagi niini gamit ang mga gamay nga polarized nga mga hulagway.
P: Ang produkto ba sa NeRSP angayan alang sa nagkatag nga mga nawong?
A: Samtang ang NeRSP panguna nga gidisenyo alang sa mga reflective surface, makahatag usab kini og makapakombinsir nga pagbanabana sa porma alang sa nagkatag nga mga ibabaw diin ang photometric consistency balido sa tibuok views.

NeRSP:
Ang Neural 3D Reconstruction alang sa Reflective Objects nga adunay Sparse Polarized Images

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

Beijing University of Posts and Telecommunications
Graduate School of Information Science and Technology, Osaka University
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University 4National Engineering Research Center sa Visual Technology, School of Computer Science, Peking University
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

Abstract

Gipresentar namo ang NeRSP, usa ka Neural 3D reconstruction technique alang sa Reflective surfaces nga adunay Sparse Polarized images. Ang replective surface reconstruction hilabihan ka mahagiton sama sa specular reflections view-depende ug sa ingon makalapas sa multiview pagkamakanunayon alang sa multiview stereo. Sa laing bahin, ang mga gamay nga pag-input sa imahe, ingon usa ka praktikal nga setting sa pagkuha, sagad nga hinungdan sa dili kompleto o gituis nga mga sangputanan tungod sa kakulang sa pagpares sa mga sulat. Kini nga papel hiniusang nagdumala sa mga hagit sa kadaghan nga mga input ug reflective surface pinaagi sa paggamit sa polarized nga mga imahe. Nakuha namo ang photometric ug geometric cues gikan sa polarimetric image formulation model ug multiview azimuth pagkamakanunayon, nga hiniusang pag-optimize sa ibabaw nga geometry nga gimodelo pinaagi sa implicit neural representasyon. Base sa mga eksperimento sa among sintetiko ug tinuod nga mga dataset, nakab-ot namo ang state-of-the-art nga mga resulta sa pagtukod pag-usab sa ibabaw nga adunay 6 lamang views isip input.

Pasiuna

Daghangview Ang 3D reconstruction usa ka sukaranang problema sa computer vision (CV) ug kaylap nga gitun-an sulod sa daghang katuigan [14]. Uban sa pag-uswag sa implicit surface representation [27, 28] ug neural radiance fields [22], bag-o nga multiview Ang 3D nga mga pamaagi sa pagtukod pag-usab [5, 33, 38, 41] nakahimo og dako nga pag-uswag. Bisan pa sa makapadani nga mga resulta sa pagbawi sa porma, kadaghanan sa mga multiview stereo (MVS) mga pamaagi sa gihapon nagsalig pag-ayo sa pagpangita sa mga sulat tali sa views, nga labi ka mahagiton alang sa mga reflective surface ug gamay nga input views.

Alang sa reflective surfaces, ang view-depende sa nawong ap-

Parehas nga kontribusyon. ∗ Katugbang nga awtor.
panid sa proyekto: https://yu-fei-han.github.io/NeRSP-project/.

Figure 1. Pag-ayo sa porma sa usa ka reflective surface gikan sa 6 ka gamay nga polarized nga mga hulagway nga nagkuha (top row). Nakab-ot sa among NeRSP ang usa ka labi ka maayo nga resulta sa pagtukod pag-usab kung itandi sa mga naa na nga mga pamaagi nga nagtubag sa mga gamay nga input (S-VolSDF [35]) o reflective reflectance (PANDORA [9]).

Ang Pearance nagbungkag sa photometric consistency assumption nga gigamit sa pagbanabana sa mga sulat sa MVS. Aron matubag kini nga problema, ang bag-o nga neural 3D reconstruction nga mga pamaagi (eg, Ref-NeuS [13], NeRO [19], ug PANDORA [9]) tin-aw nga nagmodelo sa reflectance ug dungan nga gibanabana ang reflectance ug mga mapa sa palibot pinaagi sa inverse rendering. Bisan pa, ang dasok nga pagkuha sa imahe sa ilawom sa lainlain views gikinahanglan sa matinud-anong pagdumala sa mga dugang nga wala mailhi gawas sa porma, sama sa albedo, kabangis, ug mapa sa palibot.

Gikan sa gamay nga input views, kini sa kasagaran mahagiton sa pagpangita sa igo nga multiview mga sulat. Ilabi na kung magrepresentar view-dependent reflectances, lisud ang pagtangtang sa porma gikan sa kahayag ubos sa usa ka limitado nga gidaghanon sa mga sulat, nga mosangput ngadto sa porma sa kahayag nga dili klaro [40]. Bag-o nga neural 3D nga mga pamaagi sa pagtukod pag-usab alang sa kadaghan views (pananglitan, S-VolSDF [35] ug SparseNeuS [20]) nanginahanglan regularization gamit ang photometric consistency, nga mahimong malapas alang sa reflective surfaces.

Aron matubag ang duha ka mga problema, among gisugyot nga gamiton ang mga gamay nga polarized nga mga imahe imbes nga mga RGB input. Sa espesipiko, among gisugyot ang NeRSP, usa ka Neural 3D nga pamaagi sa pagtukod pag-usab aron mabawi ang porma sa Reflective surfaces gikan sa Sparse Polarized nga mga hulagway. Gigamit namo ang anggulo sa polarization (AoP) nga nakuha gikan sa polarized nga mga hulagway, nga direktang nagpakita sa azimuth nga anggulo sa porma sa nawong hangtod sa π ug π/2 nga mga ambiguity. Kini nga geometric cue nahibal-an nga makahimo sa multiview pag-usab sa porma bisan unsa pa ang mga kabtangan sa pagpabanaag sa nawong, apan ang gibanabana nga porma nga gibase lamang sa geometric cue dili klaro [6] ubos sa kadaghan. view mga setting. Sa laing bahin, ang usa ka photometric cue gikan sa polarimetric image formation model [2] makatabang sa neural surface reconstruction (eg, PANDORA [9]) pinaagi sa pagpamenos sa kalainan tali sa gi-re-render ug nakuha nga polarized nga mga hulagway. Bisan pa, ang gibana-bana nga porma nga gibase lamang sa photometric cue dili maayo nga gipakita sa ilawom sa kadaghan nga mga input tungod sa pagkadili klaro sa porma. Dili sama sa naglungtad nga polarimetric-based nga pamaagi PANDORA [9] nga gikonsiderar ang photometric cue lamang, ang among NeRSP nagpakita sa panagsama sa geometric ug photometric nga mga cue nga epektibo nga nagpagamay sa solusyon nga luna alang sa porma sa nawong, nga gipakita nga epektibo sa reflective surface reconstruction base sa sparse inputs. , ingon sa gipakita sa Fig. 1.

Gawas sa gisugyot nga NeRSP alang sa 3D nga pagtukod pag-usab, nagtukod usab kami og Real-world MultiView Polarized image dataset nga adunay 6 ka butang nga adunay aligned ground-truth (GT) 3D meshes, nga ginganlag RMVP3D. Lahi sa kasamtangan nga mga dataset sama sa PANDORA dataset [9] nga naghatag og polarized nga mga hulagway lamang, ang aligned GT meshes ug ang surface normals para sa matag view pagtugot sa usa ka quantitative evaluation sa multiview polarized 3D pagtukod pag-usab.

Sa pag-summarize, nag-uswag kami sa multiview 3D nga pagtukod pag-usab pinaagi sa pagsugyot

Ang NeRSP, ang unang pamaagi nga nagsugyot sa paggamit sa polarimetric nga impormasyon alang sa reflective surface reconstruction ubos sa gamay views;
usa ka komprehensibo nga pagtuki sa photometric ug geometric cue nga nakuha gikan sa polarized nga mga hulagway; ug

RMVP3D, ang una nga real-world multiview polarized image dataset nga adunay GT shapes para sa quantitative evaluation.

May kalabotan nga trabaho

Daghangview Ang 3D reconstruction kaylap nga gitun-an sulod sa mga dekada. Ang Neural Radiance Fields (NeRF) [3, 22, 40] nakab-ot ang dakong kalampusan sa nobela view synthesis sa bag-ohay nga mga tuig. Gidasig sa NeRF, ang neural 3D reconstruction nga mga pamaagi [24] gisugyot, diin ang porma sa nawong gimodelo sa hingpit pinaagi sa gipirmahan nga distansya nga field (SDF). Sugod gikan sa DVR [24], ang gisundan nga mga pamaagi nagpauswag sa kalidad sa pagtukod pag-usab sa porma pinaagi sa pagkalainlain nga pagsubay sa sphere [37], paghubad sa gidaghanon [26, 33, 38], o representasyon sa porma nga gipaayo sa detalye [18, 34]. Kini nga mga pamaagi mahimo’g makab-ot ang makapakombinsir nga pagbanabana sa porma alang sa nagkatag nga mga ibabaw diin ang pagkamakanunayon sa photo-metric balido sa tibuuk views.

Ang pagtukod pag-usab alang sa reflective surfaces mahagiton tungod kay ang photometric consistency dili balido. Ang kasamtangan nga mga pamaagi [5, 41, 42] tin-aw nga modelo sa view-dependent reflectance ug buwag sa porma, spatially-varying il-luminations, ug reflectance properties sama sa albedo ug roughness. Bisan pa, ang mga banabana sa naa sa ibabaw nga mga variable dili makatagbaw tungod kay ang pagkabulag labi ka daotan. Ang NeRO [19] nagsugyot sa paggamit sa split-sum approximation sa modelo sa pagporma sa imahe ug dugang nga pagpalambo sa kalidad sa pagtukod pag-usab nga wala magkinahanglan og mga maskara sa butang. Bisan pa, ang mga pamaagi sa ibabaw kasagarang nanginahanglan dasok nga pagkuha sa imahe aron magarantiya ang katuohan nga mga sangputanan sa pagbawi sa porma alang sa mahagiton nga mga bahin sa pagpamalandong.

Pagtukod pag-usab uban sa katag views kinahanglanon alang sa praktikal nga mga senaryo nga nanginahanglan episyente nga pagdakop. Tungod sa kakulang sa igong sulat gikan sa limitado views, dili masulbad ang dili klaro nga porma sa kahayag, nga mosangpot sa saba ug hiwi nga pagbawi sa porma. Ang kasamtangan nga mga pamaagi nagsulbad niini nga problema pinaagi sa pagdugang sa regularizations sama sa surface geometry smoothness [25], coarse depth before [10, 32], o frequency control sa positional encoding [36]. Ang ubang mga pamaagi [7, 20, 39] nagporma sa gamay nga 3D nga pagtukod pag-usab isip usa ka gikondisyon nga 3D generalization nga problema diin ang mga hulagway nga pre-trained gigamit isip generalizable priors. Ang S-VolSDF [35] magamit ang klasikal nga multiview stereo nga pamaagi isip initialization ug regularize ang neural rendering optimization nga adunay probability volume. Bisan pa, lisud gihapon alang sa karon nga mga pamaagi aron mabawi ang tukma nga mga reflective surface.

Ang pagtukod pag-usab gamit ang polarized nga mga hulagway gitun-an alang sa duha ka single-view setting [1, 2, 16, 23, 29] ug multiview setting [6, 8, 9, 11, 12, 43]. Dili sama sa mga imahe sa RGB, ang AoP gikan sa polarized nga mga imahe naghatag direkta nga mga pahibalo alang sa normal nga nawong. single-view porma gikan sa polarization (SfP) nga mga teknik nakabenepisyo gikan niini nga kabtangan ug gibanabana ang nawong nga normal ubos sa usa ka layo nga kahayag [21, 29] o wala mailhi nga natural nga kahayag [1, 16]. Daghangview Ang mga pamaagi sa SfP [8, 43] makasulbad sa π ug π/2 nga mga ambiguity sa AoP base sa multiview obserbasyon. Ang PANDORA [9] mao ang unang neural 3D reconstruction method base sa polarized images, gipakita nga epektibo sa pagbawi sa surface shape ug illumination. Gibawi sa MVAS [6] ang porma sa nawong gikan sa multiview azimuth nga mga mapa, suod nga may kalabutan sa mga mapa sa AoP nga gikan sa

polarized nga mga hulagway. Bisan pa, kini nga mga pamaagi wala mag-usisa gamit ang polarized nga mga imahe alang sa reflective surface reconstruction ubos sa sparse shots.

Polarimetric Image Formation Model

Sa dili pa mosalom sa gisugyot nga pamaagi, una natong ipaila ang polarimetric image formation model ug makuha ang photo-metric cue ug geometric cue sa atong pamaagi. Ingon sa gipakita sa Fig. 2, ang usa ka snapshot polarization camera nagrekord sa mga obserbasyon sa imahe sa upat ka lainlaing mga anggulo sa polarization, nga ang mga kantidad sa pixel niini gipunting nga {I0, I45, I90, I135}. Kining upat ka mga hulagway nagpadayag sa polarisasyon nga kahimtang sa nadawat nga mga suga, nga girepresentahan isip 4D Stokes vector s = [s0, s1, s2, s3] nga giihap isip

Nagtuo kami nga walay circularly polarized nga kahayag busa nag-assign sa s3 nga mahimong 0. Ang Stokes vector mahimong gamiton sa pagkuwenta sa anggulo sa polarization (AoP), ie

Base sa AoP ug Stokes vector, atong makuha ang geometric ug photometric cues nga katumbas.

Geometric nga cue
Gihatag sa AoP ϕa, ang azimuth nga anggulo sa nawong mahimong ϕa + π/2 o ϕa + π, nailhan nga π ug π/2 nga ambiguity depende kung ang nawong specular o diffuse dominant. Niini nga seksyon, una natong gipaila ang geometric cue nga gidala sa multiview azimuth nga mapa ug dayon ipaabot kini sa kaso sa AoP.

Pagsunod sa MVAS [6], alang sa usa ka punto sa talan-awon x, normal ang nawong niini n ug ang giplano nga anggulo sa azimuth ϕ sa usa ka camera view sunda ang relasyon ingon

diin ang R = [r1, r2, r3]⊤ mao ang rotation matrix sa pose sa camera. Mahimo pa namon nga i-arrange pag-usab ang Eq. (3) aron makuha ang orthogonal nga relasyon tali sa normal nga nawong ug usa ka giplano nga tangent vector t(ϕ) nga gihubit sa ubos,

Ang π ambiguity tali sa AoP ug azimuth nga anggulo mahimong natural nga masulbad ingon Eq. Ang (4) nagbarug kon atong idugang ang ϕ sa π. Ang π/2 ambiguity mahimong matubag pinaagi sa paggamit sa usa ka pseudo-projected tangent vector tˆ(ϕ) sa ingon nga

Kung ang usa ka talan-awon nga punto x maobserbahan sa f views, mahimo natong i-stack ang Eq. (4) ug Eq. (5) base sa k lain-laing mga rotation ug naobserbahan AoPs, padulong ngadto sa usa ka linear nga sistema

T(x)n(x) = 0. (6)

Gitratar namon kini nga linear nga sistema ingon among geometric cue alang sa daghangview polarized 3D pagtukod pag-usab.

Photometric cue
Sa pag-ingon nga ang pag-iilaw sa palibot sa insidente dili polarized, ang Stokes vector sa direksyon sa kahayag sa insidente ω mahimong irepresentar isip

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

diin L(ω) nagpasabot sa kahayag intensity. Ang mogawas nga kahayag nga narekord sa polarization camera mahimong partially polarized tungod sa reflection. Kini nga proseso gimodelo pinaagi sa usa ka 4 × 4 Muller matrix H. Ubos sa usa ka palibot nga kahayag, ang outgoing Stokes vector mao nga maporma isip integral sa insidente Stokes vector gipadaghan sa Muller matrix, ie

diin ang v ug Ω nagpaila sa view direksyon ug integral domain. Pagsunod sa polarized BRDF (pBRDF) nga modelo [2], ang output Stokes vector mahimong madunot ngadto sa diffuse ug specular nga mga bahin nga gimodelo pinaagi sa Hd ug Hs nga katumbas, ie

Pagsunod sa gigikanan gikan sa PANDORA [9], mahimo pa naton maporma ang output Stokes vector ingon

diin ang Ld =fΩ ρL(ω)ω⊤n T+i T−i dω gitumbok nga diffuse radiance nga may kalabutan sa normal nga surface n, Fresnel transmission coefficients [2] T+i,o ug T−i,o, diffuse albedo ρ , ug ang azimuth nga anggulo sa insidente nga kahayag ϕn. Ls = fΩ L(ω) DG 4n⊤v dω nagpasabot sa specular radiance nga may kalabutan sa Fresnel reflection coefficients [2] R+ ug R−, ang incident azimuth angle ϕh wrt the half vector h = ω+v∥ω+v∥22, ug ang normal nga pag-apod-apod ug landong nga termino D ug G sa modelo sa Microfacet [31].

Palihug susiha ang dugang nga materyal alang sa dugang mga detalye. Base sa polarimetric image formation model nga gipakita sa Eq. (10), nagtukod kami sa photometric cue.

Gisugyot nga pamaagi

Ang among NeRSP nagkuha ug pila ka daghanview polarized nga mga hulagway, ang katugbang nga silhouette mask sa target nga butang, ug ang camera poses isip input ug output sa nawong nga porma sa butang nga girepresentahan pinaagi sa SDF. Nagsugod kami sa diskusyon sa mga photometric cues ug geometric cues sa pagsulbad sa pagkadili klaro sa pagtukod pag-usab, gisundan sa panudlo sa istruktura sa network ug pagkawala sa function sa among NeRSP.

Ang kalabuan sa gamay nga pagtukod pag-usab sa 3D
Ang geometric cue ug photometric cue adunay importante nga papel sa pagpakunhod sa luna sa solusyon sa porma sa nawong ubos sa gamay. views. Ingon sa gipakita sa Fig. 3, among gihulagway ang porma nga pagbana-bana ubos sa 2 views uban sa lain-laing mga ilhanan. Gihatag lamang ang RGB nga mga hulagway isip input (katugbang sa setting sa NeRO [19] ug S-VolSDF [35]), lain-laing mga kombinasyon sa mga posisyon sa punto sa talan-awon, mga normal sa nawong, ug mga kabtangan sa reflectance sama sa albedo mahimong mosangpot sa sama nga mga obserbasyon sa imahe, tungod kay adunay duha lamang ka sukod sa RGB alang sa matag 3D nga punto subay sa ray sa camera. Uban sa Stokes vectors nga gikuha gikan sa polarized nga mga hulagway, ang photometric cue nagdala ug 6 ka sukod alang sa matag 3D point (Stokes vector adunay 3 ka elemento), nga nagpamenos sa nawong nga normal nga mga kandidato nga dili angay sa polarimetric image formation model.

Sa laing bahin, base sa mga mapa sa AoP1 gikan sa polarized nga mga hulagway, mahimo natong talagsaon nga mahibal-an ang normal nga nawong hangtod sa usa ka π ambiguity alang sa matag punto sa talan-awon subay sa ray sa camera. Bisan pa, dili klaro ang pagpangita sa posisyon diin ang silaw sa camera nag-intersect sa nawong gawas kung ang ikatulo view gihatag [6]. Busa, sa ilalum sa mga sparse views setting (pananglitan, 2 views sa Fig. 3), ang pagtino sa posisyon sa punto sa talan-awon base sa geometric o photometric cue nagpabilin nga dili klaro.
Ang among pamaagi naghiusa niining duha ka mga cue nga nakuha gikan sa polarized nga mga hulagway. Ingon nga makita sa ubos-tuo nga bahin sa Fig. 3, ang husto nga posisyon sa punto sa talan-awon kinahanglan nga adunay normal nga nawong niini sa intersection sa normal nga mga grupo sa kandidato nga nakuha gikan sa parehong photometric ug geometric cues. Ingon nga nawong normal sa lain-laing mga sampAng mga punto sa talan-awon nga gipangulohan talagsaon nga gitino pinaagi sa geometric cues, dali natong mahibal-an kung ang punto anaa sa ibabaw gamit ang tabang sa usa ka photometric cue. Niining paagiha, gipakunhod nato ang luna sa solusyon sa sparse-shot reflective surface reconstruction.

NeRSP
Ang istruktura sa network Sama sa gipakita sa Fig. 4, ang among NeRSP nagpadapat sa usa ka susama nga istruktura sa network nga adunay PANDORA [9] nga orihinal nga nakuha gikan sa Ref-NeRF [30]. Alang sa usa ka kahayag nga silaw nga gipagawas gikan sa sentro sa camera o nga adunay direksyon v, kami sampAng usa ka punto sa silaw nga adunay gilay-on nga pagbiyahe ti, ang lokasyon niini gitangtang sa xi = o + tiv. Pagsunod sa volume rendering nga gigamit sa NeRF [25], ang naobserbahan nga Stokes vector s(v) mahimong i-integrate sa volume opacity σi ug ang Stokes vectors sa sampnanguna nga mga punto subay sa ray, ie

diin ipasabut ang natipon nga pagpasa sa ingonampnanguna nga punto.

Nadasig sa bag-o nga neural 3D reconstruction method NeuS [33], atong makuha ang volume opacity gikan sa SDF network ug gikuha usab ang surface nga normal gikan sa gradient sa SDF. Sa pagkuwenta sa ingon(xi, v) sa sampnanguna nga mga punto, among gisunod ang polarimetric image formation model sa Eq. (10). Sa piho, ang diffuse radiance Ld nalangkit sa diffuse albedo ug Fresnel transmission coefficients, nga nag-agad sa mga posisyon sa talan-awon apan wala'y kalainan sa view direksyon. Busa, migamit kami ug diffuse radiance network aron mapa ang Ld gikan sa mga feature sa matag scene point. Ang specular radiance Ls nalangkit sa specular lobe nga gitino sa view direksyon, normal sa ibabaw, ug kabangis sa nawong. Busa migamit kami ug RoughnessNet aron matagna ang kabangis sa nawong. Uban sa camera view direksyon ug gitagna nga normal nga nawong, among gibanabana ang specular radiance Ls nga nagsunod sa integrated positional encoding module nga gisugyot sa Ref-NeRF [30]. Paghiusa sa Ld ug Ls, among gitukod pag-usab ang nakita nga Stokes vector nga nagsunod sa Eq. (10).

Pagkawala function
Ang pagkawala sa photometric gihubit isip ang L1 nga gilay-on tali sa naobserbahang ˆs(v) ug natukod pag-usab nga Stokes vectors s(v), ie,

diin ang V nagpasabut sa tanan nga mga silaw sa camera nga gihulog sa sulod sa mga maskara sa butang sa lainlain views. Alang sa geometric nga pagkawala. una namong pangitaon ang 3D scene point x ubay sa camera ray v hangtod sa paghikap sa ibabaw ug dayon pangitaa ang giplanohang 2D-pixel nga mga posisyon sa lain-laing views. Ang geometric nga pagkawala gihubit base sa Eq. (6), nga,

diin ang X nagpasabot sa tanan nga ray-surface intersections sulod sa object mask sa lain-laing views. Gawas sa pagkawala sa photometric ug geometric, gidugang namon ang pagkawala sa maskara nga gidumala sa mga maskara sa butang ug ang pagkawala sa regularisasyon sa Eikonal. Ang pagkawala sa maskara gihubit ingon

diin nagrepresentar sa gitagna nga maskara sa k-th camera ray, kansang GT mask nga kantidad gipaila nga Mk. Ang BCE nagrepresentar sa binary cross-entropy nga pagkawala.

diin ang ni,k mao ang normal nga nawong nga nakuha gikan sa network sa SDF sa i-th sampled point subay sa k-th camera ray. Ang among NeRSP gidumala sa kombinasyon sa mga termino sa pagkawala sa ibabaw, ie

diin ang λe, λm, ug λp mao ang mga coefficient alang sa katugbang nga mga termino sa pagkawala.

RMVP3D Dataset
Aron matimbangtimbang ang gidaghanon sa gisugyot nga pamaagi, nakuha namon ang usa ka Real-world Multiview Polarized nga dataset sa hulagway nga adunay gipahiangay nga ground truth meshes. Ang Figure 5 (wala) naghulagway sa among pag-setup sa pagkuha, nga naglakip sa usa ka polarimetric camera, FLIR BFS-U3-51S5PC-C, nasangkapan sa usa ka 12 mm lens ug usa ka rotation rail. Gigamit namo ang OpenCV alang sa demosaicing sa hilaw nga datos ug makakuha og 1224 × 1024 nga kolor nga mga hulagway nga adunay mga anggulo sa polarizer sa 0, 45, 90, ug 135 degrees. Atol sa pagkuha sa datos, atong ibutang ang mga target nga butang sa sentro sa riles ug makuha ang 60 ka mga hulagway matag butang pinaagi sa mano-manong paglihok sa kamera. Gikolekta namo ang 4 ka mga butang isip mga target: DOG, FROG, LION, ug BALL, sama sa gipakita sa Fig. 5 (tunga). Alang sa quantitative evaluation, gisagop namo ang usa ka laser scanner nga Creaform HandySCAN BLACK nga adunay katukma nga 0.01 mm aron makuha ang ground truth mesh. Aron ipahiangay ang mata sa nakuha nga imahe views, una natong i-apply ang PANDORA [9] sa pagbanabana sa usa ka reference nga porma gamit ang tanan nga anaa views ug dayon i-align ang gi-scan nga mata sa gibanabana pinaagi sa ICP algorithm [4]. Gawas sa yuta-kamatuoran porma ug multiview mga imahe, nakuha usab namon ang mapa sa palibot gamit ang usa ka 360-degree nga camera nga THETA Z1, nga nakabenepisyo sa mga quantitative evaluation sa pagtantiya sa kahayag alang sa mga may kalabutan nga neural inverse rendering nga mga buhat.

Mga eksperimento

Among gi-evaluate ang NeRSP nga adunay tulo ka eksperimento: 1) pagtandi sa kasamtangan nga multiview 3D nga mga pamaagi sa pagtukod pag-usab sa quantitatively sa usa ka sintetikong dataset; 2) ablation study sa kontribusyon sa geometric ug photometric loss terms 3) qualitative ug quantitative evaluation sa real-world datasets. Naghatag usab kami sa BRDF ug nobela view nagresulta sa dugang nga materyal.

Mga Dataset ug Baseline
Dataset. Nag-andam kami og duha ka tinuod nga kalibutan nga dataset: ang PAN-DORA dataset [9] ug ang among gisugyot nga RMVP3D, diin ang PANDORA dataset [9] gigamit lamang alang sa qualitative evaluation kay ang ground truth meshes wala gihatag. Nag-andam usab kami usa ka sintetikong multiview polarized image dataset SMVP3D uban sa Mitsuba rendering engine [15], nga adunay 5 ka mga butang nga adunay spatially-varying ug reflective reflectance, ingon nga makita sa Fig. 6. Ang mga butang gipadan-ag sa mga mapa sa palibot2 ug nakuha sa 6 views random-apod-apod sa palibot sa mga butang. Gawas sa gihubad nga polarized nga mga imahe, gi-export usab namo ang mga stokes nga mga vector, GT surface normal nga mga mapa, ug mga mapa sa AoP alang sa matag butang.

Mga baseline. Ang among trabaho nagsulbad sa daghangview Pagtukod pag-usab sa 3D alang sa mga reflective surface nga gibase sa mga gamay nga polarized nga mga imahe. Busa, gipili namo ang state-of-the-art nga mga pamaagi sa pagtukod pag-usab sa 3D nga nagpunting sa mga reflective surface nga NeRO [19] ug katag views S-VolSDF [35]. Ang duha ka mga pamaagi sa ibabaw gibase sa mga input sa imahe sa RGB. Alang sa multiview stereo base sa polarized nga mga hulagway, gipili namo ang PANDORA [9] ug MVAS [6] isip among baseline. Ang NeRO [19] wala magkinahanglan og silhouette masks isip input. Alang sa patas nga pagtandi, among gikuha ang background sa mga imahe sa RGB nga adunay katugbang nga mga maskara sa wala pa i-input sa NeRO [19]. Aron itandi ang lain-laing mga pamaagi, atong gamiton ang Chamfer distance (CD) tali sa gibanabana ug sa GT meshes, ug ang mean angular error (MAE) tali sa gibanabana ug sa GT surface normals sa lain-laing views isip atong mga sukdanan sa ebalwasyon.

Pag-ayo sa porma sa usa ka sintetikong dataset
Sama sa gipakita sa Talaan 1, among gi-summarize ang porma sa pagbanabana nga sayop sa kasamtangan nga mga pamaagi ug ang atoa sa SMVP3D. Ang among pamaagi nakab-ot ang pinakagamay nga gilay-on sa Chamfer sa tanan nga 5 nga sintetikong butang. Base sa gilantaw nga mga banabana sa porma nga gipakita sa Fig. 7, ang NeRO [19] ug S-VolSDF [35] dili tukma nga makabawi sa mga detalye sa nawong sama sa gipasiugda sa closed-up views. Ang usa ka posible nga rason mao nga ang pagkabungkag sa porma ug ang reflective reflectance gikan sa mga talagsa nga mga hulagway lisud kaayo alang niini nga mga pamaagi base lamang sa RGB nga impormasyon. Gitubag sa MVAS [6] ug PANDORA [9] ang geometric ug photometric nga mga cues sa polarized nga mga imahe, nga gilain. Bisan pa, ang mga reconstructed reflective surface shapes dili gihapon makatagbaw tungod sa mga ambiguity sa geometric ug photometric cues ubos sa sparse. views setting. Ingon sa gipasiugda sa closed-up views, nga nakabenepisyo gikan sa geometric ug photometric cues, ang among pamaagi nagpamenos sa luna sa solusyon sa pagbanabana sa porma, nga mitultol ngadto sa labing makatarunganon nga pagbawi sa porma kon itandi sa mga porma sa GT.

Gawas sa pag-evaluate sa reconstructed mesh, gisulayan usab namo ang mga resulta sa normal nga pagtantiya sa nawong. Ingon sa gipakita sa Talaan 2, among gisumada ang mean angular errors sa gibanabana nga mga normal sa ibabaw sa 6 views gikan sa lain-laing mga pamaagi. Nahiuyon sa mga resulta sa ebalwasyon sa Table 1, ang NeRSP nakab-ot ang pinakagamay nga mean angular errors sa aberids. Naobserbahan usab namo nga ang mga resulta gikan sa NeRO [19], MVAS [6], ug PANDORA [9] adunay mas dagkong mga sayop sa mga butang nga adunay maayong mga detalye, sama sa DAVID ug DRAGON nga mga butang. Ingon usa ka example, MVAS [6] adunay ikaduha nga pinakagamay nga gilay-on sa Chamfer nga gipakita sa Talaan 1, apan ang mean nga angular nga sayup labaw sa 20◦. Usa ka potensyal nga hinungdan mao ang kasamtangan nga mga pamaagi nga nagpagawas sa hapsay nga mga porma sa kadaghan views setting, diin ang mga detalye sa nawong sama sa mga flakes sa DRAGON dili maayo nga nakuha.

Talaan 1. Pagtandi sa pagbawi sa porma sa sintetikong dataset nga gi-evaluate sa Chamfer distance (↓). Ang pinakagamay ug ikaduha nga pinakagamay nga mga sayop gimarkahan sa bold ug underline. Ang "N/A" nagpasabot sa eksperimento diin ang usa ka espesipikong pamaagi dili makapagawas ug makatarunganong mga resulta sa pagtantiya sa porma.

Pagtuon sa ablation
Niini nga seksyon, nagpahigayon kami usa ka pagtuon sa ablation aron sulayan ang pagkaepektibo sa geometric ug photometric nga mga cues. Gikuha ang DRAGON nga butang isip usa ka example, among gihimo ang among pamaagi nga adunay ug wala ang photometric loss Lp ug ang geometric loss Lg. Ingon sa gipakita sa Fig. 8, among gilaraw ang porma ug nawong nga normal nga mga pagbanabana pinaagi sa pag-disable sa lainlaing mga termino sa pagkawala. Kung wala ang pagkawala sa photometric, dili klaro ang porma tungod sa kadaghan views mahitabo. Ingon sa gipakita gikan sa closed-up views, ang porma duol sa bitiis nga bahin adunay usa ka concave artifact, tungod kay adunay duha ra nga makita views alang niini nga rehiyon, dili makahimo sa usa ka talagsaon nga solusyon alang sa porma base lamang sa mga mapa sa AoP [6]. Kung wala’y pagkawala sa geometriko, makuha usab namon ang mga resulta nga gituis nga porma tungod kay ang mga obserbasyon sa gamay nga imahe dili igo aron talagsaon nga madugta ang porma, pagpamalandong, ug kahayag. Pinaagi sa paghiusa sa photometric ug geo-metric nga pagkawala, ang atong NeRSP makunhuran ang dili klaro sa porma nga pagtabon pag-usab ug ang gibanabana nga porma mas duol sa GT, ingon sa gipasiugda sa closed-up. views.

Figure 8. Pagtuon sa ablation sa lain-laing mga termino sa pagkawala. Ang ibabaw ug ubos nga mga laray naghulagway sa gibanabana nga porma ug normal nga nawong, nga ang gilay-on sa Chamfer ug ang mean angular error nga gimarkahan sa ibabaw sa matag sub-figure, matag usa.

Hulma ang pagkaayo sa tinuod nga datos
Gawas sa sintetikong mga eksperimento nga gipakita sa miaging seksyon, among gisusi usab ang among pamaagi sa tinuod nga kalibutan nga mga dataset nga PANDORA dataset [9] ug RMVP3D aron sulayan ang pagkagamit niini sa tinuod nga kalibutan nga 3D nga mga senaryo sa pagtukod pag-usab.

Qualitative evaluation sa PANDORA dataset [9]. Ingon sa gipakita sa Fig. 9, naghatag kami og qualitative evaluation sa PAN-DORA dataset [9]. Kung itandi sa hitsura sa imahe nga adunay gibanabana nga mga resulta gikan sa S-VolSDF [35] ug NeRO [19], ang porma dili hingpit nga nabulag gikan sa reflectance, nga misangpot sa mga bumpy surface shapes nga suod nga may kalabutan sa reflectance texture. Ang MVAS [6] ug PANDORA [9] adunay sobra nga pagkahapsay nga mga banabana sa porma o concave nga porma nga mga artifact, tungod sa pagtubag lamang sa geometric o photometric nga mga pahibalo ubos sa gamay nga setting sa pagkuha. Ang among mga resulta sa pagbanabana sa porma walay ingon nga porma nga mga artifact ug mohaum pag-ayo sa mga obserbasyon sa hulagway.

Talaan 3. Quantitative evaluation sa RMVP3D nga adunay Chamfer dis-tance (↓). Ang among pamaagi nakab-ot ang pinakagamay nga sayup sa kasagaran.

Pamaagi	IRO	LEON	BAKAL	BOLA	Average
NeRO [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
PANDORA [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (Amo)	8.80	5.18	6.70	3.84	6.13

Ang quantitative evaluation sa RMVP3D. Ingon sa gipakita sa Talaan 3, nagpresentar kami usa ka quantitative evaluation sa RMVP3D base sa distansya sa Chamfer. Nahiuyon sa sintetikong eksperimento, ang among NeRSP nakab-ot ang labing gamay nga sayup sa pagtantiya sa kasagaran. Ang makita nga mga porma nga gipakita sa Fig. 10 dugang nga nagpadayag nga ang mga reflective surface mahagiton sa S-VolSDF [35] alang sa pagtangtang sa porma gikan sa reflectance, ingon nga gipasiugda sa bumpy surface sa FROG nga butang sa closed-up views. Ang NeRO [19] ug PANDORA [9] adunay parehas nga mga sayup sa pagbanabana uban kanamo sa yano nga butang sa BALL. Alang sa komplikado nga mga porma sama sa LION, ang mga gituis nga pagbawi sa porma makuha gikan niini nga mga pamaagi tungod sa kagamay view setting, samtang ang atoa mas duol sa GT meshes, nga nagpakita sa pagka-epektibo sa among pamaagi sa real-world reflective surface reconstruction ubos sa mga gamay nga input.

Panapos

Gisugyot namon ang NeRSP, usa ka pamaagi sa pagtukod pag-usab sa neural 3D alang sa mga reflective surface sa ilawom sa gamay nga polarized nga mga imahe. Tungod sa mga hagit sa kalabuan sa dagway sa kahayag ug komplikado nga pagpalandong, ang kasamtangan nga mga pamaagi nanlimbasug sa bisan hain sa mapalandong nga mga ibabaw o katag. views ug dili makatubag sa duha ka problema sa RGB nga mga hulagway. Gisugyot namon nga gamiton ang polarized nga mga imahe ingon input. Pinaagi sa paghiusa sa geometric ug photometric cues nga gikuha gikan sa polarized nga mga hulagway, gipakunhod namo ang luna sa solusyon sa gibanabana nga porma, nga nagtugot alang sa epektibo nga pagbawi sa reflective surface nga gamay ra sa 6 views, ingon sa gipakita sa magamit sa publiko ug sa among mga dataset.

Limitasyon
Ang inter-reflections ug polarized environ-ment nga kahayag wala gikonsiderar niini nga trabaho, nga makaimpluwensya sa pagkatukma sa pagtukod pag-usab sa porma. Namatikdan namo ang usa ka pinakabag-o nga trabaho nga NeISF [17] nga nagpunting niini nga hilisgutan, ug kami interesado sa paghiusa sa among mga merito nga gamay nga shot uban niini nga trabaho sa umaabot.
Pag-ila
Kini nga buhat gisuportahan sa Beijing Natural Science Foundation Project No. Z200002, ang National Nature Science Foundation sa China (Grant No. 62136001, 62088102, 62225601, U23B2052), ang Youth Innovative Research Team sa BUPT No. 2023QNTD02, ug ang JHNTD22. (Grant No. JP17910K23 ug JP05491HXNUMX). Nagpasalamat kami kang Youwei Lyu alang sa makahuluganon nga mga diskusyon.

Mga pakisayran

Yunhao Ba, Alex Gilbert, Franklin Wang, Jinfa Yang, Rui Chen, Yiqin Wang, Lei Yan, Boxin Shi, ug Achuta Kadambi. Lawom nga porma gikan sa polarization. Sa ECCV, mga pahina 554–571, 2020. 2
Seung-Hwan Baek, Daniel S Jeon, Xin Tong, ug Min H Kim. Dungan nga pag-angkon sa polarimetric SVBRDF ug normal. ACM TOG, 37(6):268–1, 2018. 2, 3, 4
Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla, ug Pratul P Srinivasan. Mip-NeRF: Usa ka multiscale nga representasyon alang sa anti-aliasing neural radiance fields. Sa ICCV, mga pahina 5855–5864, 2021. 2

Paul J Besl ug Neil D McKay. Pamaagi sa pagrehistro sa 3-D nga mga porma. Sa Sensor fusion IV: control paradigms ug data structures, mga pahina 586–606, 1992. 6
Mark Boss, Varun Jampani, Raphael Braun, Ce Liu, Jonathan Barron, ug Hendrik Lensch. Neural-PIL: Neural pre-integrated nga suga para sa reflectance decomposition. Sa NeurIPS, mga panid 10691–10704, 2021. 1, 2
Xu Cao, Hiroaki Santo, Fumio Okura, ug Yasuyuki Matsushita. multi-View Azimuth Stereo pinaagi sa Tangent Space Consistency. Sa CVPR, mga panid 825–834, 2023. 2, 3, 4, 6, 7, 8

Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, ug Hao Su. MVSNeRF: Paspas nga generalizable radiance field reconstruction gikan sa multi-view stereo. Sa CVPR, mga panid 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan, ug Jan Kautz. Daghang Polarimetricview stereo. Sa CVPR, mga panid 1558–1567, 2017. 2
Akshat Dave, Yongyi Zhao, ug Ashok Veeraraghavan. Pandora: Polarization-aided neural decomposition sa kahayag. Sa ECCV, mga panid 538–556, 2022. 1, 2, 4, 6, 7, 8

Kangle Deng, Andrew Liu, Jun-Yan Zhu, ug Deva Ra-manan. Depth-supervised NeRF: Mas gamay views ug mas paspas nga pagbansay nga libre. Sa CVPR, mga panid 12882–12891, 2022. 2
Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang, ug Jin-wei Ye. Polarimetric helmholtz stereopsis. Sa ICCV, mga pahina 5037–5046, 2021. 2
Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, ug Ko Nishino. Polarimetric normal nga stereo. Sa CVPR, mga pahina 682–690, 2021. 2

Wenhang Ge, Tao Hu, Haoyu Zhao, Shu Liu, ug Ying-Cong Chen. Ref-NeuS: Pagkat-on sa Pagkat-on alang sa Multi-View Pagtukod pag-usab uban ang Pagpamalandong. arXiv preprint arXiv:2303.10840, 2023. 1
Richard Hartley ug Andrew Zisserman. Daghan view geometry sa panan-awon sa kompyuter. Cambridge University Press, 2003. 1
Wenzel Jakob. Mitsuba renderer, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, ug Qifeng Chen. Porma gikan sa polarisasyon para sa komplikadong mga talan-awon sa lasang. Sa CVPR, mga panid 12632–12641, 2022. 2

Chenhao Li, Taishi Ono, Takeshi Uemori, Hajime Mihara, Alexander Gatto, Hajime Nagahara, ug Yuseke Moriuchi. NeISF: Neural Incident Stokes Field para sa Geometry ug Material Estimation. arXiv preprint arXiv:2311.13187, 2023. 8
Zhaoshuo Li, Thomas M¨uller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming-Yu Liu, ug Chen-Hsuan Lin. Neu-Colangelo: High-Fidelity nga Neural Surface Reconstruction. Sa CVPR, mga panid 8456–8465, 2023. 2
Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura, ug Wenping Wang. NeRO: Neural Geometry ug BRDF Reconstruction sa Reflective Objects gikan sa Multiview Mga hulagway. arXiv preprint arXiv:2305.17398, 2023. 1, 2, 4, 6, 7, 8

Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura, ug Wenping Wang. SparseNeuS: Paspas nga generalizable neural surface reconstruction gikan sa sparse views. Sa ECCV, mga pahina 210–227, 2022. 2
Youwei Lyu, Lingran Zhao, Si Li, ug Boxin Shi. Porma gikan sa polarization nga adunay layo nga pagtantiya sa suga. IEEE TPAMI, 2023. 2
Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, ug Ren Ng. NeRF: Nagrepresentar sa mga talan-awon isip mga natad sa neural radiance alang sa view synthesis. Sa ECCV, mga panid 405–421, 2020. 1, 2

Miyazaki, Tan, Hara, ug Ikeuchi. Ang polarization-based inverse rendering gikan sa usa ka single view. Sa ICCV, mga pahina 982–987, 2003. 2
Michael Niemeyer, Lars Mescheder, Michael Oechsle, ug Andreas Geiger. Nagkalainlain nga volumetric nga paghubad: Pagkat-on sa dili klaro nga mga representasyon sa 3D nga wala’y pagdumala sa 3D. Sa CVPR, mga panid 3504–3515, 2020. 2
Michael Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger, ug Noha Radwan. Reg-nerf: Pag-regular sa mga natad sa neural radiance alang sa view synthesis gikan sa katag nga mga input. Sa CVPR, mga panid 5480–5490, 2022. 2, 4

Michael Oechsle, Songyou Peng, ug Andreas Geiger. UNISURF: Paghiusa sa neural implicit surfaces ug radiance fields para sa multi-view pagtukod pag-usab. Sa ICCV, mga pahina 5589–5599, 2021. 2
Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, ug Steven Lovegrove. DeepSDF: Pagkat-on sa padayon nga gipirmahan nga mga function sa distansya alang sa representasyon sa porma. Sa CVPR, mga pahina 165–174, 2019. 1
Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, ug Gordon Wetzstein. Implicit neural representation uban sa periodic activation functions. Sa NeurIPS, 2020. 1

William AP Smith, Ravi Ramamoorthi, ug Silvia Tozza. Gitas-on gikan sa polarisasyon nga adunay wala mailhi nga suga o albedo. IEEE TPAMI, 41(12):2875–2888, 2018. 2
Dor Verbin, Peter Hedman, Ben Mildenhall, Todd Zickler, Jonathan T Barron, ug Pratul P Srinivasan. Ref-NeRF: Gitukod view-depende nga panagway alang sa mga natad sa neural radiance. Sa CVPR, mga panid 5481–5490, 2022. 4, 5
Bruce Walter, Stephen R Marschner, Hongsong Li, ug Ken-neth E Torrance. Mga modelo sa microfacet alang sa pag-refraction pinaagi sa bagis nga mga ibabaw. Sa Proceedings of the 18th Eurographics conference on Rendering Techniques, mga pahina 195–206, 2007. 4

Guangcong Wang, Zhaoxi Chen, Chen Change Loy, ug Ziwei Liu. SparseNeRF: Distilling depth ranking alang sa pipila ka shot nga nobela view synthesis. arXiv preprint arXiv:2303.16196, 2023. 2
Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, ug Wenping Wang. NeuS: Pagkat-on sa Neural Implicit Surfaces pinaagi sa Volume Rendering para sa Multi-view Pagtukod pag-usab. arXiv preprint arXiv:2106.10689, 2021. 1, 2, 5
Yiqun Wang, Ivan Skorokhodov, ug Peter Wonka. HF-NeuS: Gipauswag ang pagtukod pag-usab sa nawong gamit ang mga detalye sa high-frequency. Sa NeurIPS, mga pahina 1966–1978, 2022. 2

Haoyu Wu, Alexandros Graikos, ug Dimitris Samaras. S-VolSDF: Panagsa nga Multi-View Stereo Regularization sa Neural Implicit Surfaces. arXiv preprint arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8
Jiawei Yang, Marco Pavone, ug Yue Wang. FreeNeRF: Pagpauswag sa Few-shot Neural Rendering nga adunay Libre nga Frequency Regularization. Sa CVPR, mga panid 8254–8263, 2023. 2
Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, ug Yaron Lipman. Daghangview pagtukod pag-usab sa neural ibabaw pinaagi sa pagbungkag sa geometry ug hitsura. Sa NeurIPS, mga panid 2492–2502, 2020. 2

Lior Yariv, Jiatao Gu, Yoni Kasten, ug Yaron Lipman. Paghubad sa gidaghanon sa mga neural implicit nga mga ibabaw. Sa NeurIPS, mga panid 4805–4815, 2021. 1, 2
Alex Yu, Vickie Ye, Matthew Tancik, ug Angjoo Kanazawa. pixelNeRF: Mga natad sa neural radiance gikan sa usa o pipila ka mga imahe. Sa CVPR, mga panid 4578–4587, 2021. 2
Kai Zhang, Gernot Riegler, Noah Snavely, ug Vladlen Koltun. NeRF ++: Pag-analisar ug pagpaayo sa mga natad sa neural radiance. arXiv preprint arXiv:2010.07492, 2020. 2

Kai Zhang, Fujun Luan, Qianqian Wang, Kavita Bala, ug Noah Snavely. PhySG: Inverse rendering gamit ang spherical Gaussians para sa physics-based nga materyal nga pag-edit ug relighting. Sa CVPR, mga panid 5453–5462, 2021. 1, 2
Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul De-bevel, William T Freeman, ug Jonathan T Barron. NeR-Factor: Neural factorization sa porma ug reflectance ubos sa wala mailhi nga kahayag. ACM TOG, 40(6):1–18, 2021. 2
Jinyu Zhao, Yusuke Monno, ug Masatoshi Okutomi. Daghang Polarimetricview balikbalik nga paghubad. IEEE TPAMI, 2022. 2

Photometric ug geometric cues sa NeRSP

Ang gigikanan sa geometric cue
Ingon sa gipakita sa Fig. S1, nga gihatag sa usa ka talan-awon nga punto obserbahan sa lain-laing mga views, ang nawong niini normal sa target view mahimong irepresentar sa azimuth ug elevation nga mga anggulo ϕ ug θ matag usa, ie,

Ang relasyon tali sa anggulo sa azimuth ug ang elemento sa normal nga nawong mahimong maporma ingon

Ang nawong normal sa target view mahimong kalkulado pinaagi sa pagtuyok sa normal sa tinubdan view, ie n = Rn. Gihatag ang rotation matrix gikan sa na-calibrate nga camera nga nagpakita nga R = [r1, r2, r3]⊤, Eq. (2) base sa ˆn mahimong maporma nga

r⊤1 n cos ϕ − r⊤ 2 n sin ϕ = 0. (3)

Pagsunod sa MVAS [2], mahimo natong usbon ang Eq. (3) aron makuha ang orthogonal nga relasyon tali sa normal nga nawong ug sa gipaabot nga tangent vector t(ϕ) ingon nga gihubit sa ubos,

Kini nga konklusyon sa anggulo sa azimuth mahimong ipaabot sa anggulo sa polarization (AoP). Ang π ambiguity mahimong natural nga masulbad ingon nga Eq. Ang (4) nagbarug kon atong idugang ang ϕ sa π. Ang π/2 ambiguity mahimong matubag pinaagi sa paggamit sa usa ka pseudo-projected tangent vector tˆ(ϕ) sa ingon nga

Kung ang usa ka talan-awon nga punto x maobserbahan sa f views, mahimo natong i-stack ang Eq. (4) ug Eq. (5) base sa lain-laing mga rotation ug naobserbahan AoPs, padulong ngadto sa usa ka linear nga sistema

T(x)n(x) = 0. (6)

Gitratar namon kini nga linear nga sistema ingon among geometric cue alang sa daghangview polarized 3D pagtukod pag-usab.

Pagkuha sa photometric cue
Pagsunod sa polarized BRDF model [1], ang output stokes vector mahimong madugta ngadto sa diffuse ug specular nga mga bahin nga gimodelo pinaagi sa Hd ug Hs nga katumbas, ie,

Ang diffuse stokes nga sangkap sa ilawom sa usa ka suga mahimong maporma ingon

diin ang ρd nagpasabot sa diffuse albedo, ϕn mao ang azimuth nga anggulo sa insidente nga kahayag ngadto sa eroplano nga patindog sa ibabaw nga normal, T+i,o ug T−i,o nagpasabot sa mga kalkulasyon sa Fresnel transmission coefficients [1] nga may kalabutan sa anggulo sa taliwala view direksyon ug nawong normal. Pagsunod sa mga ideya sa PANDORA [3], among gisulat pag-usab ang diffuse stokes vector ubos sa kahayag sa palibot ingon

diin kay gitumbok nga diffuse radiance. Imbes nga kuwentahon gikan sa equation, ang diffuse radiance isip spatially varying variable kay direkta nga mapa gikan sa neural point feature nga gikuha sa coordinate-based MLP. Sa laing bahin, ang specular stokes vector sa ilawom sa usa ka direksyon sa kahayag ω sa polarimetric BRDF nga modelo mahimong mahubit isip

diin ang ρs nagpasabot sa specular albedo; Ang D ug G nagpaila sa normal nga pag-apod-apod ug termino sa paglandong sa modelo sa Microfacet [8], nga mahimong kontrolahon sa pagkagapos sa nawong; R+ ug R− nagpaila sa mga kalkulasyon sa Fresnel reflection coefficients [1], nga may kalabutan sa anggulo tali sa normal nga nawong ug direksyon sa kahayag sa insidente; ϕh mao ang insidente azimuth anggulo wrt sa katunga nga vector. Pagsunod sa mga ideya sa PANDORA [3], among gisulat pag-usab ang specular stokes vector ubos sa kahayag sa palibot ingon

diin nagpasabot sa specular nga kahayag. Uban sa spilt-sum approximation [5], mahimo pa natong mabanabana ang Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω. Ang paghiusa sa diffuse stokes vector nga gipakita sa Eq. (9), among gitukod ang photometric cue base sa mosunod nga polarimetric image formation model

Mga Detalye sa Implementasyon

Kini nga seksyon nagpresentar sa mga detalye sa paghubad sa among Synthetic Multi-view Polarized image dataset SMVP3D ug ang mga detalye sa pagbansay sa NeRSP.

Dataset
Naghatag kami og SMVP3D, nga adunay mga imahe sa lima ka sintetikong reflective nga mga butang ubos sa natural nga kahayag. Alang sa matag butang, among gihatag ang 48 views ug irekord ang katugbang nga ground truth (GT) surface normal nga mga mapa. Gigamit namo ang Mit-suba3 [4] isip rendering engine, uban ang BRDF type nga gibutang sa polarized plastic material sa among rendering. Para sa dif-fuse albedo ρd, naggamit mi ug spatially varying albedo texture aron mapalambo ang realismo sa among rendering nga mga resulta. Sa samang higayon, atong gitipigan ang specular albedo ρs sa usa ka makanunayon nga bili nga 1.0 ug gitakda ang kabangis sa nawong ngadto sa 0.05. Kini nga pamaagi nagsiguro sa managsama nga pagpabanaag sa mga nawong sa mga butang. Ang resulta nga polarized nga mga hulagway gihubad sa resolusyon nga 512 × 512 pixels.

Paghanas
Ang mga hyperparameter λg, λm, ug λe sa atong pagkawala function gitakda sa 1, 1, ug 0.1, matag usa. Atol sa proseso sa pagbansay, gigamit namo ang usa ka estratehiya sa pagpainit nga nagsunod sa PAN-DORA [3], diin sa unang 1 ka panahon, among gikonsiderar lamang ang unpolarized nga impormasyon sa photometric cue ug nagtuo nga ang specular component sa butang mao ang 000. Sa tanan. mga eksperimento, migamit kami ug resolusyon nga 0 × 512 para sa pagbansay ug pagsulay sa SMVP512D, ug 3 × 512 para sa mga dataset sa tinuod nga kalibotan. Ang among pamaagi sa kasagaran naghiusa sa palibot sa 612, 100 ka mga panahon, nga mokabat ug mga 000 ka oras sa usa ka Nvidia RTX 6 GPU, nga ang panumduman nag-usik sa hapit 3090, 8 MB.

BRDF banabana ug re-rendering resulta

Ang Figure S4 (ibabaw) nagpresentar sa among pagbanabana sa kabangis, diffuse, ug specular nga mga sangkap. Medyo saba ang mga banabana kay 6 ra views. Sama sa Ref-NeRF [7] diin ang paglamdag hingpit nga kontrolado pinaagi sa IDE, dili kami makahimo sa pag-relight sa mga eksperimento. Busa, among gipakita ang nobela view ang resulta sa synthesis sa baylo, ingon nga makita sa Fig. S4 (ubos). Kung itandi sa kasamtangan nga mga pamaagi, ang among pag-re-render nga mga imahe mas duol sa katugbang nga mga obserbasyon sa tinuod nga kalibutan.

Dugang nga mga resulta sa among mga dataset

Niini nga seksyon, gipresentar namo ang dugang nga mga resulta sa pagtukod pag-usab sa porma sa SMVP3D ug sa Real-world Multi-view Polarized nga dataset sa hulagway RMVP3D.

Ebalwasyon sa SMVP3D
Gipresentar namo ang mga resulta sa qualitative reconstruction sa baseline nga mga pamaagi ug ang among pamaagi sa Fig. S2. Ang mga resulta gikan sa MVAS [2] kulang sa detalye, tungod kay ang photometric cue wala gikonsiderar. Samtang ang NeRO [6] nagtanyag ug gipaayo nga mga pagtukod pag-usab sa porma, napakyas kini sa paghatag usa ka kasaligan nga sulud alang sa mga butang nga wala’y texture, sama sa DAVID. Ang S-VolSDF [9] naggamit sa usa ka coarse-to-fine Multi-View Stereo (MVS) nga pamaagi ug nagpakita sa dugang nga pagkasensitibo sa impormasyon sa texture sa ibabaw sa butang, nga usahay mosangpot sa sayop nga paghubad sa mga detalye sa texture isip mga bahin sa istruktura. Ang PANDORA [3] adunay kalisud sa epektibo nga pagbulag sa albedo ug specular nga impormasyon, nga mosangpot sa dili kasaligan nga mga resulta sa pagtukod pag-usab. Ang among pamaagi, ang NeRSP, epektibong naggamit sa photometric ug geometric cues, nga miresulta sa mga reconstruction nga mas tukma nga nagpakita sa GT structure.

Gipakita usab namo ang mga normal nga pagbanabana sa ibabaw ug ang katugbang nga angular error distributions sa Fig. S3, nga makanunayon nga nagpakita nga ang NeRSP nakab-ot ang mas maayo nga mga resulta sa pagtukod pag-usab sa porma alang sa mga reflective surface nga adunay gamay nga input views.

Ebalwasyon sa RMVP3D
Niini nga seksyon, among gipresentar ang laing resulta sa pagtukod pag-usab sa butang sa RMVP3D. Ang Figure S5 nagpakita nga ang NeRO [6], MVAS [2], ug NeRSP tukma nga makahimo pag-usab sa usa ka yano nga spherical nga butang nga adunay usa ka reflective surface. Sa kasukwahi, ang S-VolSDF [9] ug PANDORA [3] dili madugta ang albedo ug specular nga bahin sa nawong, nga moresulta sa pagtuis sa proseso sa pagtukod pag-usab. Aron mailhan ang mga resulta sa pagtukod pag-usab sa NeRO [6], MVAS [2], ug NeRSP, among gitan-aw ang Chamfer Distance alang sa mga meshes nga gitukod pag-usab sa matag pamaagi. Ingon sa gipakita sa Fig. S6, ang kolor sa matag punto nagpakita sa iyang Chamfer Distance, nga giputol tali sa 0 ug 5 mm. Kini nga mga ilustrasyon nagpakita nga ang sayop sa pagtukod pag-usab nga nalangkit sa NeRSP mas gamay kon itandi nianang sa laing duha ka mga pamaagi.

Pagtuon sa ablation sa pagpamalandong sa nawong

Ang among pamaagi nagtumong sa pag-reconstruction sa reflective surface, ug mahimo usab kini nga magamit sa pagbawi sa porma nga adunay bagis nga mga ibabaw. Ingon usa ka example, gi-re-render namo ang SNAIL nga butang nga adunay specular albedo ρs nga nagkunhod gikan sa 1.0 ngadto sa 0.1. Ang mean angular error (MAE) sa gibanabana nga normal nga nawong sa 6 input views gikan sa lain-laing mga pamaagi gipakita sa Table S1. Ang kwalitatibo nga ebalwasyon sa normal nga pagtantiya sa ibabaw ug ang katugbang nga angular error distribution sa lain-laing mga pamaagi ubos sa samang input view gipakita sa Fig. S7. Gipakita niini nga mga eksperimento nga kadaghanan sa mga pamaagi nagpauswag sa kalidad sa pagtukod pag-usab sa bagis nga mga ibabaw kumpara sa mga reflective surface. Sa partikular, ang among pamaagi makanunayon nga naghatag sa labing kasaligan nga pagtukod pag-usab sa ibabaw sa butang.

Pagtuon sa ablation sa #views

Ang among NeRSP nagtumong sa pagtukod pag-usab sa mga reflective surface ubos sa gamay nga input views. Ang mga eksperimento nga gipakita sa nag-unang papel mokuha ug 6 ka gamay views isip input. Aron sa pagtimbang-timbang sa atong pamaagi ubos sa lain-laing mga gidaghanon sa input views (ie, #views), nagpahigayon kami og mga eksperimento sa tinuod nga kalibutan nga butang nga LION ubos sa setting sa 3, 6, 12, ug 24 views. Ang Figure S8 naghulagway sa nabawi nga mga porma, samtang ang qualitative evaluation nga adunay Chamfer Distance gipresentar sa Table S2.

Ubos sa gamay nga input views, sama sa 3, kasamtangan nga mga pamaagi nanlimbasug sa pagbawi sa katuohan nga mga resulta. Nag-una kini tungod kay naka-focus sila sa photometric cues o geometric cues. Gikuha ang S-VolSDF [9] isip example, ang gibanabana nga porma, ingon sa nakita sa close-up views, naimpluwensyahan pag-ayo sa katugbang nga texture. Kini modala ngadto sa sayop nga mga porma tungod sa porma-kadan-ag ambiguity ubos sa mga sparse views. Pinaagi sa pagtubag sa geometric ug sa photometric cues, ang atong NeRSP nagpamenos sa kalabuan ubos sa mga gamay nga input. Ingon usa ka sangputanan, nakab-ot namon ang labi ka makatarunganon nga pagtukod pag-usab sa porma. Kini nga obserbasyon nagpabilin nga balido kung ang gidaghanon sa input views milapas sa 12. Sama sa gipakita sa Talaan S2, ang atong NeRSP makanunayon nga nakakab-ot sa pinakagamay nga Chamfer Distance nga adunay nagkadaghang input views. Kini nagpakita sa pagka-epektibo sa atong pamaagi sa reflective ibabaw sa usa ka halapad nga matang sa views.

Talaan S2. Qualitative evaluation sa LION nga gisukod sa Chamfer Distance (↓) ubos sa lain-laing input views.

#Views	NeRO [6]	S-VolSDF [9]	MVAS [2]	PANDORA [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

Pagtimbang-timbang sa polarimetric MVIR dataset

Gawas sa tinuod nga kalibutan nga mga eksperimento sa PANDORA dataset [3] ug sa among RMVP3D, naghatag usab kami og ebalwasyon sa usa ka multi-view polarized nga mga datos sa mga imahe nga naa sa PMVIR [10]. Ingon sa gipakita sa Fig. S9, atong mahanduraw ang mga resulta sa pagbawi sa porma gikan sa PANDORA [3] ug sa atoa, nga mikuha ug 6 ka gamay views isip input. Tungod kay walay porma sa GT niini nga dataset, gigamit namo ang mga resulta gikan sa PMVIR [10] isip usa ka pakisayran, nga nagkinahanglan og 31 ug 56 views isip input alang sa camera ug sa talan-awon sa sakyanan, matag usa. Among naobserbahan nga ang among mga resulta mas makataronganon kumpara niadtong naggamit sa PANDORA [3], nga nagpakita sa pagka-epektibo sa among pamaagi sa gamay nga 3D nga pagtukod pag-usab.