NeRSP CVPR24 Neural 3D Rekonstruksi kanggo Obyek Reflektif Instruksi Manual

Pengarang: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
Afiliasi: Universitas Pos lan Telekomunikasi Beijing, Universitas Osaka, Universitas Peking

Abstrak: Produk NeRSP nawakake asil rekonstruksi wangun sing luwih apik kanggo permukaan reflektif dibandhingake karo cara sing wis ana.

Pandhuan Panggunaan Produk

Pambuka
Produk NeRSP dirancang kanggo rekonstruksi 3D obyek reflektif nggunakake gambar polarisasi sing jarang. Iku ngatasi tantangan related kanggo nemokake multiview korespondensi lan disentangling wangun saka radiance ing korespondensi winates.

Karya sing gegandhengan
NeRSP diilhami dening Neural Radiance Fields (NeRF) lan metode rekonstruksi 3D saraf liyane. Iku model wangun lumahing implicitly liwat signed distance field (SDF) lan nggunakke diferensial sphere tracing lan volume rendering kanggo nambah kualitas reconstruction wangun.
Model Pembentukan Gambar Polarimetri
NeRSP nggabungake model formasi gambar polarimetri kanggo nurunake isyarat fotometri lan geometris kanggo rekonstruksi.

FAQ:

P: Apa advantage nggunakake NeRSP kanggo rekonstruksi 3D?
A: NeRSP nawakake asil rekonstruksi wangun sing luwih apik kanggo permukaan reflektif dibandhingake karo metode sing ana amarga pendekatan inovatif nggunakake gambar polarisasi sing jarang.

P: Apa produk NeRSP cocok kanggo permukaan sing nyebar?
A: Nalika NeRSP utamané dirancang kanggo lumahing reflektif, iku uga bisa nyedhiyani estimasi wangun mestekake kanggo lumahing kasebar ing ngendi konsistensi photometric bener views.

NeRSP:
Rekonstruksi 3D Neural kanggo Obyek Reflektif kanthi Gambar Polarisasi Jarang

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

Universitas Pos lan Telekomunikasi Beijing

Sekolah Pascasarjana Ilmu lan Teknologi Informasi, Universitas Osaka
National Key Laboratory for Multimedia Information Processing, School of Computer Science, Peking University 4National Engineering Research Center of Visual Technology, School of Computer Science, Peking University
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

Abstrak

Kita nampilake NeRSP, teknik rekonstruksi Neural 3D kanggo permukaan Reflektif kanthi gambar Polarisasi Jarang. Rekonstruksi permukaan reflektif angel banget amarga refleksi specular view-gumantung lan kanthi mangkono nglanggar multiview konsistensi kanggo multiview stereo. Ing sisih liya, input gambar sing jarang, minangka setelan panangkepan praktis, umume nyebabake asil sing ora lengkap utawa kleru amarga ora cocog karo korespondensi. Makalah iki bareng-bareng nangani tantangan input sing jarang lan permukaan reflektif kanthi nggunakake gambar polarisasi. Kita entuk isyarat fotometri lan geometris saka model formulasi gambar polarimetri lan multiview konsistensi azimuth, sing bebarengan ngoptimalake geometri permukaan sing dimodelake liwat perwakilan saraf implisit. Adhedhasar eksperimen ing set data sintetik lan nyata, kita entuk asil rekonstruksi permukaan sing paling canggih kanthi mung 6 views minangka input.

Pambuka

Multiview Rekonstruksi 3D minangka masalah dhasar ing visi komputer (CV) lan wis diteliti sacara ekstensif nganti pirang-pirang taun [14]. Kanthi kemajuan perwakilan permukaan implisit [27, 28] lan lapangan sinar saraf [22],view Cara rekonstruksi 3D [5, 33, 38, 41] wis ngalami kemajuan sing luar biasa. Senadyan asil Recovery wangun milutaken, paling multiview stereo (MVS) cara isih akeh gumantung ing nemokake Correspondence antarane views, kang utamané tantangan kanggo lumahing termenung lan input jarang views.

Kanggo lumahing termenung, ing view- gumantung permukaan ap-

Kontribusi sing padha. ∗ Penulis sing cocog.
kaca proyek: https://yu-fei-han.github.io/NeRSP-project/.

Figure 1. Wangun recoveries saka lumahing termenung saka 6 gambar polarized jarang njupuk (larik ndhuwur). NeRSP kita entuk asil rekonstruksi bentuk sing luwih apik dibandhingake karo metode sing ana sing ngatasi input sing jarang (S-VolSDF [35]) utawa reflektansi reflektif (PANDORA [9]).

Pearance ngilangi asumsi konsistensi fotometri sing digunakake ing estimasi korespondensi ing MVS. Kanggo ngatasi masalah iki, metode rekonstruksi 3D saraf anyar (contone, Ref-NeuS [13], NeRO [19], lan PANDORA [9]) kanthi jelas menehi model reflektansi lan ngira-ngira peta reflektansi lan lingkungan liwat rendering kuwalik. Nanging, akuisisi gambar kandhel ing macem-macem views dibutuhake kanggo setya nangani tambahan dingerteni kajaba wangun, kayata albedo, roughness, lan peta lingkungan.

Saka input jarang views, iku asring tantangan kanggo nemokake cukup multiview korespondensi. Utamane nalika makili view-reflectances gumantung, iku angel kanggo disentangle wangun saka radiance ing nomer winates saka Correspondences, anjog kanggo wangun-radiance ambiguity [40]. Cara rekonstruksi 3D saraf anyar kanggo jarang views (contone, S-VolSDF [35] lan SparseNeuS [20]) mbutuhake regularization nggunakake konsistensi photometric, kang bisa dilanggar kanggo lumahing reflektif.

Kanggo ngatasi masalah loro, kita ngusulake nggunakake gambar polarisasi sing jarang tinimbang input RGB. Khusus, kita ngusulake NeRSP, metode rekonstruksi 3D Neural kanggo mbalekake bentuk permukaan Reflektif saka gambar Polarisasi Jarang. Kita nggunakake sudut polarisasi (AoP) sing asale saka gambar polarisasi, sing langsung nggambarake sudut azimuth saka wangun permukaan nganti ambiguitas π lan π/2. Isyarat geometris iki dikenal kanggo ngaktifake multiview rekonstruksi wangun preduli saka sifat reflektansi lumahing, nanging kira-kira wangun adhedhasar mung ing isyarat geometris ambigu [6] kurang. view setelan. Saliyane, isyarat fotometri saka model formasi gambar polarimetri [2] mbantu rekonstruksi permukaan saraf (contone, PANDORA [9]) kanthi nyuda prabédan antarane gambar polarisasi sing digawe maneh lan dijupuk. Nanging, kira-kira wangun mung adhedhasar isyarat fotometri uga ora apik ing input sing jarang amarga ambiguitas bentuk-radiance. Beda karo metode berbasis polarimetrik PANDORA [9] sing mung nimbang isyarat fotometrik, NeRSP kita nuduhake integrasi loro isyarat geometris lan fotometri kanthi efektif nyuda ruang solusi kanggo bentuk permukaan, dituduhake efektif ing rekonstruksi permukaan reflektif adhedhasar input sing jarang. , minangka visualized ing Fig. 1.

Saliyane NeRSP sing diusulake kanggo rekonstruksi 3D, kita uga mbangun Multi-donya NyataView Dataset gambar terpolarisasi sing ngemot 6 obyek kanthi jejaring 3D ground-truth (GT), jenenge RMVP3D. Beda karo set data sing ana kayata set data PANDORA [9] mung nyedhiyakake gambar terpolarisasi, jejaring GT sing selaras lan normal permukaan kanggo saben view ngidini evaluasi kuantitatif saka multiview rekonstruksi 3D polarisasi.

Kanggo ngringkes, kita maju multiview Rekonstruksi 3D kanthi ngusulake

NeRSP, cara pisanan sing ngusulake nggunakake informasi polarimetri kanggo rekonstruksi permukaan reflektif kanthi jarang. views;

analisis lengkap saka isyarat fotometri lan geometris sing asalé saka gambar polarisasi; lan
RMVP3D, multi donya nyata pisananview dataset gambar polarisasi karo wangun GT kanggo evaluasi kuantitatif.

Karya sing gegandhengan

Multiview Rekonstruksi 3D wis diteliti sacara ekstensif sajrone pirang-pirang dekade. Neural Radiance Fields (NeRF) [3, 22, 40] wis sukses banget ing novel view sintesis ing taun-taun pungkasan. Diilhami dening NeRF, metode rekonstruksi 3D saraf [24] diusulake, ing endi bentuk permukaan dimodelake kanthi implisit liwat lapangan jarak sing ditandatangani (SDF). Diwiwiti saka DVR [24], cara sing diterusake nambah kualitas rekonstruksi wangun liwat tracing bola sing bisa dibedakake [37], rendering volume [26, 33, 38], utawa perwakilan bentuk sing ditingkatake kanthi rinci [18, 34]. Cara kasebut bisa entuk estimasi bentuk sing yakin kanggo permukaan sing nyebar sing konsistensi foto-metrik bener views.

Rekonstruksi kanggo permukaan reflektif angel amarga konsistensi fotometrik ora valid. Cara sing ana [5, 41, 42] kanthi eksplisit model view-gumantung reflektansi lan ngilangi wangun, il-luminasi sing beda-beda sacara spasial, lan sifat pemantulan kaya albedo lan kasar. Nanging, prakiraan saka variabel ing ndhuwur ora nyukupi amarga panyebaran kasebut ora apik banget. NeRO [19] ngusulake nggunakake panyerakan pamisah-sum saka model tatanan gambar lan luwih nambah kualitas reconstruction wangun tanpa mrintahake topeng obyek. Nanging, cara ing ndhuwur biasane mbutuhake panangkepan gambar sing padhet kanggo njamin asil pemulihan wujud sing bisa dipercaya kanggo permukaan reflektif sing tantangan.

Rekonstruksi kanthi jarang views penting kanggo skenario praktis mbutuhake panangkepan efisien. Amarga lack of Correspondence cekap saka winates views, wangun-radiance ambiguity ora bisa ditanggulangi, anjog kanggo rame lan kleru wangun recoveries. Cara sing ana saiki ngatasi masalah iki kanthi nambahake regularisasi kayata kelancaran geometri permukaan [25], kedalaman kasar sadurunge [10, 32], utawa kontrol frekuensi saka enkoding posisi [36]. Sawetara metode [7, 20, 39] ngrumusake rekonstruksi 3D sing jarang minangka masalah generalisasi 3D sing dikondisikake ing ngendi fitur gambar sing wis dilatih digunakake minangka prior sing bisa digeneralisasi. S-VolSDF [35] ditrapake multi klasikview cara stereo minangka initialization lan regularizes Optimization rendering syaraf kanthi volume kemungkinan. Nanging, cara saiki isih angel kanggo mbalekake permukaan reflektif kanthi akurat.

Rekonstruksi nggunakake gambar polarisasi wis diteliti kanggo loro-lorone.view setelan [1, 2, 16, 23, 29] lan multiview setelan [6, 8, 9, 11, 12, 43]. Ora kaya gambar RGB, AoP saka gambar polarisasi nyedhiyakake isyarat langsung kanggo normal permukaan. Tunggal-view wangun saka polarisasi (SfP) Techniques entuk manfaat saka properti iki lan ngira lumahing normal ing cahya adoh siji [21, 29] utawa cahya alam dingerteni [1, 16]. Multiview Metode SfP [8, 43] ngrampungake ambiguitas π lan π/2 ing AoP adhedhasar multiview pengamatan. PANDORA [9] minangka cara rekonstruksi saraf 3D pisanan adhedhasar gambar terpolarisasi, dituduhake efektif kanggo mbalekake bentuk lan katerangan permukaan. MVAS [6] waras wangun lumahing saka multiview peta azimuth, sing ana hubungane karo peta AoP sing asale saka

gambar polarisasi. Nanging, cara kasebut ora njelajah nggunakake gambar polarisasi kanggo rekonstruksi permukaan reflektif ing gambar sing jarang.

Model Pembentukan Gambar Polarimetri

Sadurunge nyilem menyang metode sing diusulake, kita ngenalake model pembentukan gambar polarimetri lan entuk isyarat foto-metrik lan isyarat geometris ing metode kita. Kaya sing dituduhake ing Fig. 2, kamera polarisasi snapshot nyathet pengamatan gambar ing papat sudut polarisasi sing beda, kanthi nilai piksel kasebut minangka {I0, I45, I90, I135}. Papat gambar kasebut nuduhake kahanan polarisasi lampu sing ditampa, sing dituduhake minangka vektor Stokes 4D s = [s0, s1, s2, s3] sing diitung minangka

Kita nganggep ora ana cahya polarisasi sirkuler saengga nemtokake s3 dadi 0. Vektor Stokes bisa digunakake kanggo ngitung sudut polarisasi (AoP), yaiku

Adhedhasar vektor AoP lan Stokes, kita ngasilake isyarat geometris lan fotometri sing cocog.

Geometris tandha
Diwenehi AoP ϕa, amba azimuth saka lumahing bisa salah siji ϕa + π/2 utawa ϕa + π, dikenal minangka π lan π/2 ambiguitas gumantung apa lumahing specular utawa difus dominan. Ing bagean iki, kita pisanan introduce isyarat geometris digawa dening multiview peta azimuth lan banjur ngluwihi menyang kasus AoP.

Sawise MVAS [6], kanggo titik pemandangan x, permukaane normal n lan sudut azimuth sing diproyeksikan ϕ ing siji kamera view tindakake sesambetan minangka

ngendi R = [r1, r2, r3]⊤ punika matriks rotasi pose kamera. Kita bisa luwih ngatur maneh Eq. (3) kanggo entuk hubungan ortogonal antarane normal permukaan lan vektor tangen proyeksi t(ϕ) kaya sing ditegesake ing ngisor iki,

Ambiguitas π antarane AoP lan sudut azimuth bisa ditanggulangi kanthi alami minangka Persamaan. (4) stands yen kita nambah ϕ dening π. Ambiguitas π/2 bisa ditanggulangi kanthi nggunakake pseudo-projected tangent vector tˆ(ϕ)

Yen salah siji titik adegan x diamati dening f views, kita bisa tumpukan Eq. (4) lan Eq. (5) adhedhasar k rotasi beda lan diamati AoPs, anjog menyang sistem linear

T(x)n(x) = 0. (6)

Kita nganggep sistem linear iki minangka isyarat geometris kanggo multi-view rekonstruksi 3D polarisasi.

Isyarat fotometrik
Yen katerangan lingkungan kedadeyan ora dipolarisasi, vektor Stokes saka arah cahya kedadeyan ω bisa dituduhake minangka

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

ngendi L(ω) nuduhake intensitas cahya. Cahya metu sing direkam dening kamera polarisasi dadi sebagian polarisasi amarga pantulan. Proses iki dimodelake liwat matriks 4 × 4 Muller H. Ing katerangan lingkungan, vektor Stokes sing metu supaya bisa dirumusake minangka integral saka kedadean vektor Stokes dikalikan karo matriks Muller, yaiku.

ngendi v lan Ω nuduhake view arah lan domain integral. Sawise model BRDF (pBRDF) terpolarisasi [2], vektor Stokes output bisa diurai dadi bagian sing nyebar lan specular sing dimodelake liwat Hd lan Hs sing cocog, yaiku.

Dipuntedahaken derivasi saka PANDORA [9], kita bisa luwih ngramu output Stokes vektor minangka

ngendi Ld =fΩ ρL(ω)ω⊤n T+i T−i dω dilambangake minangka pancaran difus sing ana hubungane karo normal permukaan n, koefisien transmisi Fresnel [2] T+i,o lan T−i,o, albedo difus ρ , lan sudut azimuth saka cahya kedadean ϕn. Ls = fΩ L(ω) DG 4n⊤v dω nuduhake sinar spekuler sing ana hubungane karo koefisien refleksi Fresnel [2] R+ lan R−, sudut azimuth kedadeyan ϕh wrt setengah vektor h = ω+v∥ω+v∥22, lan distribusi normal lan istilah bayangan D lan G ing model Microfacet [31].

Mangga dipriksa materi tambahan kanggo rincian liyane. Adhedhasar model pambentukan gambar polarimetri sing ditampilake ing Persamaan. (10), kita mbangun isyarat fotometri.

Metode sing diusulake

NeRSP kita njupuk sawetara jarangview gambar polarisasi, topeng siluet sing cocog saka obyek target, lan kamera nuduhke minangka input lan output wangun lumahing obyek dituduhake implicitly liwat SDF. Kita miwiti karo rembugan ing pitunjuk photometric lan pertondho geometris ing mutusake masalah ambiguitas reconstruction wangun, ngiring dening instruction ing struktur jaringan lan fungsi mundhut saka NeRSP kita.

Ambiguitas ing rekonstruksi 3D sing jarang
Isyarat geometris lan isyarat fotometrik nduweni peran penting kanggo ngurangi ruang solusi saka wangun permukaan ing ngisor sing jarang. views. Minangka ditampilake ing Fig. 3, kita nggambarake taksiran wangun ing 2 views karo pertondho beda. Diwenehi mung gambar RGB minangka input (cocog karo setelan ing NeRO [19] lan S-VolSDF [35]), kombinasi beda posisi titik pemandangan, normal permukaan, lan sifat pantulan kayata albedo bisa mimpin kanggo pengamatan gambar padha, wiwit mung ana rong pangukuran RGB kanggo saben titik 3D ing sinar kamera. Kanthi vektor Stokes sing diekstrak saka gambar polarisasi, isyarat fotometri nggawa 6 pangukuran kanggo saben titik 3D (vektor Stokes duweni 3 unsur), nyuda permukaan normal sing ora cocog karo model pembentukan gambar polarimetrik.

Saliyane, adhedhasar peta AoP1 saka gambar polarisasi, kita bisa nemtokake kanthi unik permukaan normal nganti ambiguitas π kanggo saben titik pemandangan ing sinar kamera. Nanging, iku isih ambigu kanggo nemokake posisi ngendi sinar kamera intersects lumahing kajaba katelu view dicawisake [6]. Mulane, ing ngisor sparse views setelan (contone, 2 views ing Fig. 3), nemtokake posisi titik pemandangan adhedhasar salah siji geometris utawa fotometri isyarat tetep ambigu.
Cara kita nggabungake rong isyarat sing asale saka gambar polarisasi. Minangka visualized ing sisih ngisor-tengen Fig. 3, posisi titik pemandangan sing bener kudu lumahing normal lay ing persimpangan saka kelompok calon normal asalé saka loro isyarat photometric lan geometris. Minangka lumahing normal ing s bedaampTCTerms pemandangan mimpin unik ditemtokake dening pertondho geometris, kita bisa gampang nemtokake apa titik ing lumahing karo bantuan saka isyarat photometric. Kanthi cara iki, kita nyuda ruang solusi rekonstruksi permukaan reflektif sing jarang dijupuk.

NeRSP
Struktur jaringan Kaya sing ditampilake ing Gambar 4, NeRSP kita ngetrapake struktur jaringan sing padha karo PANDORA [9] sing asale saka Ref-NeRF [30]. Kanggo sinar cahya sing dipancarake saka pusat kamera o kanthi arah v, kita sampTitik ing sinar kanthi jarak tempuh ti, lokasi kasebut dicathet ing xi = o + tiv. Sawise rendering volume sing digunakake ing NeRF [25], vektor Stokes sing diamati s(v) bisa digabungake kanthi opacity volume σi lan vektor Stokes ing s.ampTCTerms mimpin bebarengan ray, ie

ngendi nuduhake transmisi akumulasi saka minangkaamptitik mimpin.

Motivasi dening metode rekonstruksi 3D saraf anyar NeuS [33], kita entuk opacity volume saka jaringan SDF lan uga ngekstrak permukaan normal saka gradien SDF. Kanggo ngetung dadi (xi, v) ing samptitik mimpin, kita tindakake model formasi gambar polarimetri ing Eq. (10). Khusus, radian difus Ld ana hubungane karo koefisien transmisi albedo lan Fresnel sing nyebar, sing gumantung saka posisi pemandangan nanging ora beda karo view arah. Mulane, kita nggunakake jaringan radiance kasebar kanggo peta Ld saka fitur saben titik pemandangan. Radiance specular Ls ana hubungane karo lobus specular sing ditemtokake dening view arah, normal permukaan, lan kasar permukaan. Mulane kita nggunakake RoughnessNet kanggo prédhiksi roughness lumahing. Bebarengan karo kamera view arah lan prediksi lumahing normal, kita ngira specular radiance Ls tindakake modul enkoding posisi terpadu ngajokaken dening Ref-NeRF [30]. Nggabungke Ld lan Ls, kita mbangun maneh vektor Stokes diamati ing ngisor iki Eq. (10).

fungsi mundhut
Rugi fotometri ditetepake minangka jarak L1 antarane ˆs(v) sing diamati lan vektor Stokes sing direkonstruksi s(v), yaiku,

ngendi V nuduhake kabeh sinar kamera matak ing topeng obyek ing beda views. Kanggo mundhut geometris. kita pisanan nemokake titik pemandangan 3D x ing sadawane sinar kamera v nganti ndemek permukaan lan banjur nemokake posisi 2D-piksel sing digambarake ing macem-macem views. Rugi geometris ditetepake adhedhasar Eq. (6), yaiku,

ing ngendi X nuduhake kabeh persimpangan sinar-lumahing ing njero topeng obyek kanthi beda views. Kejabi mundhut photometric lan geometris, kita nambah mundhut topeng sing diawasi dening topeng obyek lan mundhut regularization Eikonal. Rugi topeng ditetepake minangka

ngendi nggambarake topeng sing diprediksi ing sinar kamera k-th, sing nilai topeng GT dituduhake minangka Mk. BCE nggambarake kerugian cross-entropy binar.

ngendi ni, k punika lumahing normal asalé saka jaringan SDF ing i-th samptitik mimpin bebarengan sinar kamera k-th. NeRSP kita diawasi dening kombinasi istilah mundhut ndhuwur, ie

ing ngendi λe, λm, lan λp minangka koefisien kanggo istilah mundhut sing cocog.

Dataset RMVP3D
Kanggo ngevaluasi kuantitatif metode sing diusulake, kita njupuk Multi-donya Nyataview Dataset gambar polarisasi kanthi jejaring bebener lemah sing sejajar. Gambar 5 (kiwa) nggambarake persiyapan motret kita, sing kalebu kamera polarimetri, FLIR BFS-U3-51S5PC-C, dilengkapi lensa 12 mm lan rel rotasi. Kita nggunakake OpenCV kanggo demosaicing data mentah lan entuk gambar warna 1224 × 1024 kanthi sudut polarizer ing 0, 45, 90, lan 135 derajat. Sajrone njupuk data, kita nyelehake obyek target ing tengah ril lan njupuk 60 gambar saben obyek kanthi mindhah kamera kanthi manual. Kita ngumpulake 4 obyek minangka target: DOG, FROG, SINGA, lan BALL, minangka ditampilake ing Fig. 5 (tengah). Kanggo evaluasi kuantitatif, kita nggunakake scanner laser Creaform HandySCAN BLACK kanthi akurasi 0.01 mm kanggo entuk bolong bebener lemah. Kanggo nyelarasake bolong menyang gambar sing dijupuk views, kita pisanan aplikasi PANDORA [9] kanggo ngira wangun referensi nggunakake kabeh kasedhiya views banjur selarasake bolong sing dipindai menyang kira-kira liwat algoritma ICP [4]. Kejabi wangun lemah-bebener lan multiview gambar, kita uga dijupuk peta lingkungan nggunakake kamera 360-degree THETA Z1, benefiting evaluasi kuantitatif ing estimasi katerangan kanggo related karya Rendering kuwalik syaraf.

Eksperimen

We ngevaluasi NeRSP karo telung nyobi: 1) comparison karo ana multiview Cara rekonstruksi 3D kanthi kuantitatif ing dataset sintetik; 2) studi ablasi babagan kontribusi istilah kerugian geometris lan fotometri 3) evaluasi kualitatif lan kuantitatif ing dataset donya nyata. Kita uga nyedhiyakake BRDF lan novel view asil ing materi tambahan.

Dataset & Baselines
kumpulan data. Kita nyiapake rong set data ing donya nyata: set data PAN-DORA [9] lan RMVP3D sing diusulake, ing ngendi set data PANDORA [9] mung digunakake kanggo evaluasi kualitatif amarga mesh bebener lemah ora kasedhiya. Kita uga nyiyapake multi sintetikview dataset gambar polarisasi SMVP3D karo mesin Mitsuba rendering [15], kang ngemot 5 obyek karo spasial-variasi lan reflektif reflektansi, minangka visualized ing Fig. views acak mbagekke sak obyek. Saliyane gambar polarisasi, kita uga ngekspor vektor stokes, peta normal permukaan GT, lan peta AoP kanggo saben obyek.

Baseline. Kita karya solves multiview Rekonstruksi 3D kanggo permukaan reflektif adhedhasar gambar polarisasi sing jarang. Mula, kita milih metode rekonstruksi 3D canggih sing ngarahake permukaan reflektif NeRO [19] lan jarang. views S-VolSDF [35]. Rong cara ing ndhuwur adhedhasar input gambar RGB. Kanggo multiview stereo adhedhasar gambar polarisasi, kita milih PANDORA [9] lan MVAS [6] minangka garis dasar. NeRO [19] ora mbutuhake topeng siluet minangka input. Kanggo mbandhingake sing adil, kita mbusak latar mburi ing gambar RGB kanthi topeng sing cocog sadurunge input menyang NeRO [19]. Kanggo mbandhingake cara sing beda-beda, kita nggunakake jarak Chamfer (CD) antarane taksiran lan bolong GT, lan kesalahan sudut rata-rata (MAE) antarane perkiraan lan normal permukaan GT ing beda. views minangka metrik evaluasi kita.

Recovery wangun ing dataset sintetik
Minangka ditampilake ing Tabel 1, kita ngringkes kesalahan ngira wangun saka cara ana lan kita ing SMVP3D. Cara kita entuk jarak Chamfer paling cilik ing kabeh obyek sintetik 5. Adhedhasar prakiraan wangun visual sing ditampilake ing Fig. 7, NeRO [19] lan S-VolSDF [35] ora bisa kanthi akurat mbalekake rincian permukaan kaya sing disorot ing tutup sing ditutup. views. Salah sawijining alesan sing bisa ditindakake yaiku panyebaran wujud lan reflektif saka gambar sing jarang banget angel banget kanggo metode kasebut mung adhedhasar informasi RGB. MVAS [6] lan PANDORA [9] ngatasi isyarat geometris lan fotometri saka gambar polarisasi, kanthi kapisah. Nanging, wangun permukaan reflektif sing direkonstruksi isih ora nyenengake amarga ambiguitas ing isyarat geometris lan fotometri ing sangisore sing jarang. views setelan. Minangka disorot ing tutup-up views, entuk manfaat saka isyarat geometris lan fotometri, cara kita nyuda ruang solusi saka taksiran wangun, ndadékaké kanggo Recovery wangun paling cukup dibandhingake karo wangun GT.

Saliyane evaluasi bolong sing direkonstruksi, kita uga nguji asil estimasi normal permukaan. Kaya sing ditampilake ing Tabel 2, kita ngringkes kesalahan sudut rata-rata saka perkiraan normal permukaan ing 6 views saka macem-macem cara. Konsisten karo asil evaluasi ing Tabel 1, NeRSP entuk kesalahan sudut rata-rata paling cilik. Kita uga mirsani yen asil saka NeRO [19], MVAS [6], lan PANDORA [9] duwe kesalahan sing luwih gedhe ing obyek kanthi rincian sing apik, kayata obyek DAVID lan DRAGON. Minangka mantanample, MVAS [6] nduweni jarak Chamfer paling cilik kaloro ditampilake ing Tabel 1, nanging kesalahan sudut rata-rata luwih saka 20◦. Salah sawijining alasan potensial yaiku metode sing ana ngasilake bentuk sing lancar ing jarang views setelan, ngendi rincian lumahing kayata flakes saka DRAGON ora uga mbalekake.

Tabel 1. Perbandhingan recoveries wangun ing dataset sintetik dievaluasi dening Chamfer jarak (↓). Kesalahan paling cilik lan paling cilik nomer loro diwenehi label kanthi kandel lan digaris ngisor. "N / A" nuduhake eksperimen ing ngendi cara tartamtu ora bisa ngasilake asil estimasi wangun sing cukup.

Sinau ablasi
Ing bagean iki, kita nganakake studi ablasi kanggo nguji efektifitas isyarat geometris lan fotometri. Njupuk obyek DRAGON minangka mantanample, kita nindakake cara kita karo lan tanpa mundhut photometric Lp lan mundhut geometris Lg. Minangka ditampilake ing Fig.. 8, kita plot wangun lan lumahing prakiraan normal dening mateni istilah mundhut beda. Tanpa mundhut photometric, wangun ambiguity amarga arang views dumadi. Minangka ditampilake saka tutup-up views, wangun cedhak bagean wentis wis artefak cekung, minangka ana mung loro katon viewKanggo wilayah iki, ora bisa ngrumusake solusi unik kanggo wangun mung adhedhasar peta AoP [6]. Tanpa mundhut geometris, kita uga entuk asil bentuk sing kleru amarga pengamatan gambar sing jarang ora cukup kanggo ngurai wujud, pantulan, lan katerangan kanthi unik. Kanthi nggabungake mundhut fotometrik lan geo-metrik, NeRSP kita nyuda ambiguitas tutupan maneh lan perkiraan bentuke luwih cedhak karo GT, kaya sing disorot ing tutup tertutup. views.

Gambar 8. Panliten ablasi babagan istilah kerugian sing beda. Baris ndhuwur lan ngisor nggambarake kira-kira wangun lan lumahing normal, kanthi jarak Chamfer lan kesalahan sudut rata-rata ing ndhuwur saben sub-tokoh, mungguh.

Recovery wangun ing data nyata
Saliyane eksperimen sintetik sing ditampilake ing bagean sadurunge, kita uga ngevaluasi metode kita ing set data nyata PANDORA dataset [9] lan RMVP3D kanggo nyoba ditrapake ing skenario rekonstruksi 3D ing donya nyata.

Evaluasi kualitatif ing dataset PANDORA [9]. Minangka ditampilake ing Gambar 9, kita nyedhiyakake evaluasi kualitatif saka dataset PAN-DORA [9]. Dibandhingake karo tampilan gambar karo asil kira-kira saka S-VolSDF [35] lan NeRO [19], wangun ora kebak dipisahake saka reflectance, ndadékaké kanggo wangun lumahing bumpy sing raket hubungane karo tektur reflectance. MVAS [6] lan PANDORA [9] duwe prakiraan wangun sing over-smoothed utawa artefak wangun cekung, amarga mung alamat geometris utawa fotometri isyarat ing setelan panangkepan jarang. Asil taksiran wangun kita ora duwe artefak wujud lan cocog karo pengamatan gambar.

Tabel 3. Evaluasi kuantitatif ing RMVP3D karo Chamfer dis-tance (↓). Cara kita entuk rata-rata kesalahan paling cilik.

Metode	ASU	SINGA	KOdhok	BOLA	Rata-rata
NeRO [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
PANDORA [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (Kita)	8.80	5.18	6.70	3.84	6.13

Evaluasi kuantitatif ing RMVP3D. Minangka ditampilake ing Tabel 3, kita saiki evaluasi kuantitatif RMVP3D adhedhasar kadohan Chamfer. Konsisten karo eksperimen sintetik, NeRSP kita entuk rata-rata kesalahan perkiraan paling cilik. Wangun visual sing ditampilake ing Fig. 10 luwih nuduhake manawa permukaan reflektif nantang S-VolSDF [35] kanggo ngilangi wujud saka pantulan, kaya sing disorot dening permukaan bumpy obyek FROG ing tutup sing ditutup. views. NeRO [19] lan PANDORA [9] duwe kesalahan taksiran padha karo kita ing obyek BALL prasaja. Kanggo wangun komplèks kaya LION, Recovery wangun kleru dipikolehi saka cara iki amarga arang view setelan, nalika kita nyedhaki bolong GT, nuduhake efektifitas cara kita ing reconstruction lumahing termenung nyata ing input jarang.

Kesimpulan

Kita ngusulake NeRSP, cara rekonstruksi saraf 3D kanggo permukaan reflektif ing gambar polarisasi sing jarang. Amarga tantangan ambiguitas bentuk-radiance lan pantulan kompleks, metode sing ana berjuang karo permukaan reflektif utawa jarang. views lan ora bisa ngatasi loro masalah karo gambar RGB. Kita ngusulake nggunakake gambar polarisasi minangka input. Kanthi nggabungake isyarat geometris lan fotometri sing diekstrak saka gambar terpolarisasi, kita nyuda ruang solusi saka bentuk sing dikira-kira, saéngga bisa pulih kanthi efektif saka permukaan reflektif kanthi sethithik 6 views, minangka dituduhake dening kasedhiya kanggo umum lan dataset kita.

Watesan
Inter-refleksi lan cahya lingkungan polarisasi ora dianggep ing karya iki, sing bisa mengaruhi akurasi rekonstruksi wangun. Kita ngeweruhi karya paling anyar NeISF [17] fokus ing topik iki, lan kita kasengsem ing nggabungake merit dijupuk jarang karo karya iki ing mangsa.
Ngakoni
Karya iki didhukung dening Proyek Yayasan Ilmu Pengetahuan Alam Beijing No. Z200002, Yayasan Ilmu Alam Nasional China (Grant No. 62136001, 62088102, 62225601, U23B2052), Tim Riset Inovatif Pemuda BUPT No. 2023, 02, 22, U17910B23), Tim Riset Inovatif Pemuda BUPT No. 05491QENDPSXNUMX, (Ganti No. JPXNUMXKXNUMX lan JPXNUMXHXNUMX). Kita matur nuwun marang Youwei Lyu kanggo diskusi sing migunani.

Referensi

Yunhao Ba, Alex Gilbert, Franklin Wang, Jinfa Yang, Rui Chen, Yiqin Wang, Lei Yan, Boxin Shi, and Achuta Kadambi. Bentuk jero saka polarisasi. Ing ECCV, kaca 554–571, 2020. 2
Seung-Hwan Baek, Daniel S Jeon, Xin Tong, and Min H Kim. Akuisisi simultan saka SVBRDF polarimetrik lan normal. ACM TOG, 37(6):268–1, 2018. 2, 3, 4

Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla, and Pratul P Srinivasan. Mip-NeRF: Perwakilan multiskala kanggo bidang sinar saraf anti-aliasing. Ing ICCV, kaca 5855–5864, 2021. 2
Paul J Besl lan Neil D McKay. Cara kanggo registrasi wangun 3-D. Ing Sensor fusi IV: paradigma kontrol lan struktur data, kaca 586–606, 1992. 6
Mark Boss, Varun Jampani, Raphael Braun, Ce Liu, Jonathan Barron, and Hendrik Lensch. Neural-PIL: Neural pra-integrasi cahya kanggo dekomposisi pantulan. Ing NeurIPS, kaca 10691–10704, 2021. 1, 2

Xu Cao, Hiroaki Santo, Fumio Okura, lan Yasuyuki Matsushita. multi-View Azimuth Stereo liwat Tangent Space Consistency. Ing CVPR, kaca 825–834, 2023. 2, 3, 4, 6, 7, 8
Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, lan Hao Su. MVSNeRF: Rekonstruksi lapangan sinar sing bisa digeneralisasi kanthi cepet saka multi-view stereo. Ing CVPR, kaca 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan, and Jan Kautz. polarimetri multi-view stereo. Ing CVPR, kaca 1558–1567, 2017. 2

Akshat Dave, Yongyi Zhao, and Ashok Veeraraghavan. Pandora: dekomposisi syaraf sing dibantu polarisasi saka sinar. Ing ECCV, kaca 538–556, 2022. 1, 2, 4, 6, 7, 8
Kangle Deng, Andrew Liu, Jun-Yan Zhu, and Deva Ra-manan. NeRF sing diawasi jero: Kurang views lan latihan luwih cepet kanggo free. Ing CVPR, kaca 12882–12891, 2022. 2
Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang, and Jin-wei Ye. Stereopsis polarimetri helmholtz. Ing ICCV, kaca 5037–5046, 2021. 2

Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, lan Ko Nishino. Stereo normal polarimetri. Ing CVPR, kaca 682–690, 2021. 2
Wenhang Ge, Tao Hu, Haoyu Zhao, Shu Liu, lan Ying-Cong Chen. Ref-NeuS: Ambiguity-Reduced Neural Implicit Sur-face Learning kanggo Multi-View Rekonstruksi kanthi Refleksi. pracetak arXiv arXiv:2303.10840, 2023. 1
Richard Hartley lan Andrew Zisserman. Multiple view geometri ing visi komputer. Cambridge University Press, 2003. 1

Wenzel Jakob. Mitsuba renderer, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, and Qifeng Chen. Wangun saka polarisasi kanggo pemandangan Komplek ing alam bébas. Ing CVPR, kaca 12632–12641, 2022. 2
Chenhao Li, Taishi Ono, Takeshi Uemori, Hajime Mihara, Alexander Gatto, Hajime Nagahara, lan Yuseke Moriuchi. NeISF: Neural Insiden Stokes Field kanggo Geometri lan Estimasi Material. pracetak arXiv arXiv:2311.13187, 2023. 8

Zhaoshuo Li, Thomas M¨uller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming-Yu Liu, and Chen-Hsuan Lin. Neu-Colangelo: Rekonstruksi Permukaan Saraf Kasetyan Tinggi. Ing CVPR, kaca 8456–8465, 2023. 2
Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura, lan Wenping Wang. NeRO: Geometri saraf lan BRDF Rekonstruksi Objek Reflektif saka Multiview Gambar. pracetak arXiv arXiv:2305.17398, 2023. 1, 2, 4, 6, 7, 8
Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura, lan Wenping Wang. SparseNeuS: Rekonstruksi permukaan saraf sing bisa digeneralisasi kanthi cepet saka jarang views. Ing ECCV, kaca 210–227, 2022. 2

Youwei Lyu, Lingran Zhao, Si Li, and Boxin Shi. Wangun saka polarisasi kanthi perkiraan cahya sing adoh. IEEE TPAMI, 2023. 2
Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, Ren Ng. NeRF: Makili pemandangan minangka lapangan sinar saraf kanggo view sintesis. Ing ECCV, kaca 405–421, 2020. 1, 2
Miyazaki, Tan, Hara, lan Ikeuchi. Rendering kuwalik adhedhasar polarisasi saka siji view. Ing ICCV, kaca 982–987, 2003. 2

Michael Niemeyer, Lars Mescheder, Michael Oechsle, and Andreas Geiger. Rendering volumetrik sing bisa dibedakake: Sinau perwakilan 3D implisit tanpa pengawasan 3D. Ing CVPR, kaca 3504–3515, 2020. 2
Michael Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger, and Noha Radwan. Reg-nerf: Regularizing kolom sinar saraf kanggo view sintesis saka input jarang. Ing CVPR, kaca 5480–5490, 2022. 2, 4
Michael Oechsle, Songyou Peng, and Andreas Geiger. UNISURF: Nyawiji permukaan implisit saraf lan lapangan sinar kanggo multi-view rekonstruksi. Ing ICCV, kaca 5589–5599, 2021. 2

Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, lan Steven Lovegrove. DeepSDF: Sinau fungsi jarak sing ditandatangani terus kanggo perwakilan bentuk. Ing CVPR, kaca 165–174, 2019. 1
Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, and Gordon Wetzstein. Representasi saraf implisit kanthi fungsi aktivasi périodik. Ing NeurIPS, 2020. 1
William AP Smith, Ravi Ramamoorthi, and Silvia Tozza. Dhuwur-saka-polarisasi kanthi cahya sing ora dingerteni utawa albedo. IEEE TPAMI, 41(12):2875–2888, 2018. 2

Dor Verbin, Peter Hedman, Ben Mildenhall, Todd Zickler, Jonathan T Barron, and Pratul P Srinivasan. Ref-NeRF: Terstruktur view- katon gumantung kanggo lapangan radian saraf. Ing CVPR, kaca 5481–5490, 2022. 4, 5
Bruce Walter, Stephen R Marschner, Hongsong Li, and Ken-neth E Torrance. Model mikrofaset kanggo refraksi liwat permukaan kasar. Ing Proceedings of the 18th Eurographics conference on Rendering Techniques, kaca 195–206, 2007. 4
Guangcong Wang, Zhaoxi Chen, Chen Change Loy, and Ziwei Liu. SparseNeRF: Distilling depth ranking for few-shot novel view sintesis. pracetak arXiv arXiv:2303.16196, 2023. 2

Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, and Wenping Wang. NeuS: Sinau Permukaan Implisit Saraf dening Rendering Volume kanggo Multi-view Rekonstruksi. pracetak arXiv arXiv:2106.10689, 2021. 1, 2, 5
Yiqun Wang, Ivan Skorokhodov, and Peter Wonka. HF-NeuS: Apik reconstruction lumahing nggunakake rincian frekuensi dhuwur. Ing NeurIPS, kaca 1966–1978, 2022. 2
Haoyu Wu, Alexandros Graikos, lan Dimitris Samaras. S-VolSDF: Jarang Multi-View Regularisasi Stereo saka Permukaan Implisit Syaraf. arXiv pracetak arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8

Jiawei Yang, Marco Pavone, and Yue Wang. FreeNeRF: Ngapikake Rendering Neural Sedikit kanthi Regularisasi Frekuensi Gratis. Ing CVPR, kaca 8254–8263, 2023. 2
Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, and Yaron Lipman. Multiview rekonstruksi lumahing syaraf dening disentangling geometri lan katon. Ing NeurIPS, kaca 2492–2502, 2020. 2
Lior Yariv, Jiatao Gu, Yoni Kasten, and Yaron Lipman. Rendering volume saka permukaan implisit saraf. Ing NeurIPS, kaca 4805–4815, 2021. 1, 2

Alex Yu, Vickie Ye, Matthew Tancik, and Angjoo Kanazawa. pixelNeRF: Kolom sinar saraf saka siji utawa sawetara gambar. Ing CVPR, kaca 4578–4587, 2021. 2
Kai Zhang, Gernot Riegler, Noah Snavely, and Vladlen Koltun. NeRF ++: Nganalisa lan ningkatake lapangan sinar saraf. pracetak arXiv arXiv:2010.07492, 2020. 2
Kai Zhang, Fujun Luan, Qianqian Wang, Kavita Bala, lan Noah Snavely. PhySG: Rendering kuwalik karo Gaussians spherical kanggo nyunting lan relighting materi adhedhasar fisika. Ing CVPR, kaca 5453–5462, 2021. 1, 2

Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul De-bevel, William T Freeman, and Jonathan T Barron. NeR-Factor: Faktorisasi saraf saka wangun lan pantulan ing katerangan sing ora dingerteni. ACM TOG, 40(6):1–18, 2021. 2
Jinyu Zhao, Yusuke Monno, lan Masatoshi Okutomi. polarimetri multi-view rendering kuwalik. IEEE TPAMI, 2022. 2

Isyarat fotometrik lan geometris saka NeRSP

Derivasi saka isyarat geometris
Minangka ditampilake ing Fig. S1, diwenehi titik pemandangan diamati dening beda views, lumahing sawijining normal ing target view bisa diwakili dening sudut azimuth lan elevasi ϕ lan θ, yaiku,

Hubungan antarane sudut azimuth lan unsur normal permukaan bisa dirumusake minangka

Lumahing normal ing target view bisa diitung kanthi muter normal ing sumber view, yaiku n = Rn. Diwenehi matriks rotasi saka kamera sing dikalibrasi minangka R = [r1, r2, r3]⊤, Eq. (2) adhedhasar ˆn bisa dirumusake minangka

r⊤1 n cos ϕ − r⊤ 2 n sin ϕ = 0. (3)

Sawise MVAS [2], kita bisa ngatur maneh Persamaan. (3) kanggo entuk hubungan ortogonal antarane normal permukaan lan vektor tangen proyeksi t(ϕ) kaya sing ditegesake ing ngisor iki,

Kesimpulan babagan sudut azimuth iki bisa ditambah menyang sudut polarisasi (AoP). Ambiguitas π bisa dirampungake kanthi alami minangka Persamaan. (4) stands yen kita nambah ϕ dening π. Ambiguitas π/2 bisa ditanggulangi kanthi nggunakake pseudo-projected tangent vector tˆ(ϕ)

Yen salah siji titik adegan x diamati dening f views, kita bisa tumpukan Eq. (4) lan Eq. (5) adhedhasar rotasi beda lan diamati AoPs, anjog menyang sistem linear

T(x)n(x) = 0. (6)

Kita nganggep sistem linear iki minangka isyarat geometris kanggo multi-view rekonstruksi 3D polarisasi.

Derivasi saka isyarat fotometri
Sawise model BRDF terpolarisasi [1], vektor stokes output bisa diurai dadi bagian sing nyebar lan specular sing dimodelake liwat Hd lan Hs sing cocog, yaiku,

Komponen stokes kasebar ing cahya siji bisa dirumuske minangka

ing ngendi ρd nuduhake albedo difus, ϕn minangka sudut azimuth saka cahya kedadean menyang bidang tegak lurus karo permukaan normal, T+i,o lan T−i,o nuduhake petungan koefisien transmisi Fresnel [1] sing ana hubungane karo amba antarane view arah lan lumahing normal. Dipuntedahaken pemanggih ing PANDORA [3], kita nulis ulang vektor stokes kasebar ing cahya lingkungan minangka

ngendi dicethakaké minangka radiance nyebar. Tinimbang ngetung saka persamaan, sinar difus minangka variabel sing beda-beda sacara spasial dipetakan langsung saka fitur titik saraf sing diekstrak dening MLP berbasis koordinat. Ing sisih liya, vektor stokes specular ing arah cahya siji ω ing model BRDF polarimetrik bisa ditetepake minangka

ngendi ρs nuduhake albedo specular; D lan G nuduhake distribusi normal lan istilah bayangan ing model Microfacet [8], sing bisa dikontrol dening kekasaran permukaan; R + lan R− nyathet petungan saka koefisien refleksi Fresnel [1], sing ana hubungane karo sudut antarane normal permukaan lan arah cahya kedadeyan; ϕh yaiku sudut azimuth kedadeyan wrt setengah vektor. Dipuntedahaken pemanggih ing PANDORA [3], kita nulis ulang vektor stokes specular ing cahya lingkungan minangka

ngendi nuduhake sinar specular. Kanthi perkiraan splt-sum [5], kita bisa ngira-ngira Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω. Nggabungake karo vektor stokes kasebar ditampilake ing Eq. (9), kita mbangun isyarat fotometri adhedhasar model pambentukan gambar polarimetri ing ngisor iki

Rincian Implementasine

Bagean iki nampilake rincian rendering Multi-Sintetis kita.view Dataset gambar terpolarisasi SMVP3D lan rincian pelatihan NeRSP.

kumpulan data
Kita nyedhiyakake SMVP3D, sing ngemot gambar saka limang obyek reflektif sintetik ing katerangan alami. Kanggo saben obyek, kita menehi 48 views lan ngrekam cocog ground bebener (GT) lumahing maps normal. Kita nggunakake Mit-suba3 [4] minangka mesin rendering, kanthi jinis BRDF disetel kanggo bahan plastik polarisasi ing rendering. Kanggo albedo ρd dif-fuse, kita nggunakake tekstur albedo sing beda-beda sacara spasial kanggo nambah realisme asil rendering kita. Ing wektu sing padha, kita njaga albedo specular ρs ing nilai konstan 1.0 lan nyetel kekasaran permukaan dadi 0.05. Pendekatan iki njamin reflektivitas seragam ing permukaan obyek. Gambar polarisasi sing diasilake ditampilake kanthi resolusi 512 × 512 piksel.

Latihan
Hyperparameters λg, λm, lan λe ing fungsi mundhut kita disetel kanggo 1, 1, lan 0.1, mungguh. Sajrone proses latihan, kita nggunakake strategi pemanasan sawise PAN-DORA [3], ing ngendi kanggo 1 jaman pisanan, kita mung nganggep informasi sing ora dipolarisasi ing isyarat fotometrik lan nganggep yen komponen spekular obyek kasebut yaiku 000. Ing kabeh. eksperimen, kita nggunakake resolusi 0 × 512 kanggo latihan lan testing ing SMVP512D, lan 3 × 512 kanggo dataset donya nyata. Cara kita umume konvergen sekitar 612 jaman, sing butuh udakara 100 jam ing GPU Nvidia RTX 000, kanthi memori nggunakake sekitar 6 MB.

taksiran BRDF lan asil re-rendering

Gambar S4 (ndhuwur) nampilake estimasi komponen kasar, nyebar, lan specular. Perkiraan rada rame amarga mung 6 views. Padha Ref-NeRF [7] ngendi katerangan implicitly kontrol liwat IDE, kita ora bisa nindakake nyobi relighting. Mulane, kita nuduhake novel kasebut view asil sintesis tinimbang, minangka visualized ing Fig. S4 (ngisor). Dibandhingake karo cara sing wis ana, gambar rendering maneh luwih cedhak karo pengamatan ing jagad nyata sing cocog.

Asil tambahan ing dataset kita

Ing bagean iki, kita nampilake asil tambahan saka rekonstruksi wangun ing SMVP3D lan Real-world Multi-view Dataset gambar terpolarisasi RMVP3D.

Evaluasi ing SMVP3D
Kita nampilake asil rekonstruksi kualitatif saka metode baseline lan pendekatan kita ing Fig. S2. Asil saka MVAS [2] kurang rinci, amarga isyarat fotometri ora dianggep. Nalika NeRO [6] nawakake reconstructions wangun apik, iku gagal kanggo nyedhiyani lumahing dipercaya kanggo obyek tekstur, kayata DAVID. S-VolSDF [9] nggunakake Multi-View Stereo (MVS) pendekatan lan nuduhake tambah sensitivitas kanggo informasi tekstur ing lumahing obyek, kang kadhangkala ndadékaké kanggo misinterpreting rincian tekstur minangka fitur struktural. PANDORA [3] angel misahake informasi albedo lan specular kanthi efektif, nyebabake asil rekonstruksi sing ora bisa dipercaya. Cara kita, NeRSP, kanthi efektif nggunakake isyarat fotometri lan geometris, ngasilake rekonstruksi sing luwih akurat nggambarake struktur GT.

Kita uga nampilake prakiraan normal permukaan lan distribusi kesalahan sudut sing cocog ing Fig. S3, sing terus-terusan nuduhake yen NeRSP entuk asil rekonstruksi bentuk sing luwih apik kanggo permukaan reflektif kanthi input jarang. views.

Evaluasi ing RMVP3D
Ing bagean iki, kita nampilake asil rekonstruksi obyek liyane ing RMVP3D. Gambar S5 nuduhake yen NeRO [6], MVAS [2], lan NeRSP kanthi akurat bisa mbangun obyek bunder sing prasaja kanthi permukaan reflektif. Ing kontras, S-VolSDF [9] lan PANDORA [3] ora bisa decompose albedo lan komponen specular saka lumahing, asil ing distorsi ing proses reconstruction wangun. Kanggo mbedakake antarane asil rekonstruksi NeRO [6], MVAS [2], lan NeRSP, kita nggambarake Jarak Chamfer kanggo bolong sing direkonstruksi kanthi saben metode. Minangka ditampilake ing Fig.. S6, werna saben titik nuduhake Jarak Chamfer sawijining, kang clipped antarane 0 lan 5 mm. Ilustrasi kasebut nuduhake yen kesalahan rekonstruksi sing ana gandhengane karo NeRSP luwih cilik dibandhingake karo rong cara liyane.

Sinau ablasi babagan pantulan permukaan

Cara kita ngarahake rekonstruksi permukaan reflektif, lan uga bisa ditrapake kanggo mbalekake bentuk kanthi permukaan sing kasar. Minangka mantanample, kita re-render obyek SNAIL karo specular albedo ρs ngurangi saka 1.0 kanggo 0.1. Kesalahan sudut rata-rata (MAE) saka permukaan kira-kira normal ing 6 input views saka macem-macem cara ditampilake ing Tabel S1. Evaluasi kualitatif saka estimasi normal permukaan lan distribusi kesalahan sudut sing cocog saka macem-macem cara ing input sing padha view ditampilake ing Fig. S7. Eksperimen kasebut nuduhake manawa umume cara nambah kualitas rekonstruksi ing permukaan kasar dibandhingake karo permukaan reflektif. Utamane, cara kita terus-terusan ngirim rekonstruksi permukaan obyek sing paling dipercaya.

Sinau ablasi ing #views

NeRSP kita ngarahake rekonstruksi permukaan reflektif ing input sing jarang views. Eksperimen sing ditampilake ing kertas utama njupuk 6 jarang views minangka input. Kanggo ngevaluasi cara kita miturut nomer input sing beda views (yaiku, #views), kita nganakake eksperimen ing obyek nyata SINGA ing setelan 3, 6, 12, lan 24. views. Figure S8 visualizes wangun mbalekake, nalika evaluasi kualitatif karo Chamfer Distance presented ing Tabel S2.

Ing input jarang views, kayata 3, cara ana perjuangan kanggo mbalekake asil masuk akal. Iki utamane amarga fokus ing isyarat fotometrik utawa isyarat geometris. Njupuk S-VolSDF [9] minangka mantanample, wangun kira-kira, minangka diamati ing close-up views, akeh banget dipengaruhi dening tektur cocog. Iki ndadékaké kanggo wangun sing salah amarga ambiguitas wangun-radiance ing sangisore jarang views. Kanthi ngatasi isyarat geometris lan fotometri, NeRSP kita nyuda ambiguitas ing input sing jarang. Akibaté, kita entuk reconstruction wangun luwih cukup. Pengamatan iki tetep valid nalika jumlah input views ngluwihi 12. Minangka ditampilake ing Tabel S2, NeRSP kita terus-terusan entuk Jarak Chamfer paling cilik kanthi tambah akeh input. views. Iki nuduhake efektifitas cara kita ing lumahing reflektif liwat sawetara saka sudhut views.

Tabel S2. Evaluasi kualitatif ing LION diukur dening Chamfer Distance (↓) ing input beda views.

#Views	NeRO [6]	S-VolSDF [9]	MVAS [2]	PANDORA [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

Evaluasi dataset MVIR polarimetri

Saliyane eksperimen nyata ing dataset PANDORA [3] lan RMVP3D, kita uga menehi evaluasi multi-view dataset gambar polarisasi sing ana ing PMVIR [10]. Kaya sing ditampilake ing Gambar S9, kita nggambarake asil pemulihan bentuk saka PANDORA [3] lan kita, njupuk 6 jarang. views minangka input. Amarga ora ana wangun GT ing dataset iki, kita nggunakake asil saka PMVIR [10] minangka referensi, kang njupuk 31 lan 56 views minangka input kanggo kamera lan pemandangan mobil, mungguh. Kita mirsani yen asil kita luwih cukup dibandhingake karo sing nggunakake PANDORA [3], nuduhake efektifitas metode kita ing rekonstruksi 3D sing jarang.