Leabhar-stiùiridh NeRSP CVPR24 Ath-thogail 3D neural airson nithean meòrachail

Ùghdaran: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
Càirdean: Oilthigh Puist is Tele-chonaltradh Beijing, Oilthigh Osaka, Oilthigh Peking

Geàrr-chunntas: Tha toradh NeRSP a’ tabhann toraidhean ath-thogail cumadh nas fheàrr airson uachdar meòrachail an taca ris na dòighean a th’ ann mar-thà.

Stiùireadh airson cleachdadh bathar

Ro-ràdh
Tha toradh NeRSP air a dhealbhadh airson ath-chruthachadh 3D de nithean meòrachail a’ cleachdadh ìomhaighean gann polarized. Bidh e a’ faighinn thairis air dùbhlain co-cheangailte ri bhith a’ lorg iomaview litrichean agus cruth a sgaradh bho rèididheachd fo litrichean cuibhrichte.

Obair Co-cheangailte
Tha NeRSP air a bhrosnachadh le Neural Radiance Fields (NeRF) agus dòighean ath-thogail 3D neural eile. Bidh e a’ modail cumadh uachdar gu ciallach tro raon astair soidhnichte (SDF) agus a’ cleachdadh lorg raon eadar-dhealaichte agus toirt seachad meud gus càileachd ath-thogail cumadh a leasachadh.
Modail Cruthachadh Ìomhaigh Polarimetric
Tha NeRSP a’ toirt a-steach modal cruthachadh ìomhaighean polarimetric gus sanasan photometric agus geoimeatrach fhaighinn airson ath-thogail.

Ceistean Cumanta:

C: Dè th' ann an advantage a bhith a’ cleachdadh NeRSP airson ath-thogail 3D?
A: Tha NeRSP a’ tabhann toraidhean ath-thogail cumadh nas fheàrr airson uachdar meòrachail an taca ris na dòighean a th’ ann mar-thà air sgàth an dòigh-obrach ùr-ghnàthach aige a’ cleachdadh ìomhaighean gann de polarized.

C: A bheil an toradh NeRSP freagarrach airson uachdar sgaoilte?
A: Ged a tha NeRSP air a dhealbhadh gu sònraichte airson uachdar meòrachail, faodaidh e cuideachd tuairmse cumadh cinnteach a thoirt seachad airson uachdar sgaoilte far a bheil cunbhalachd photometric dligheach tarsainn views.

NeRSP:
Ath-thogail neural 3D airson nithean meòrachail le ìomhaighean polarichte gann

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Bogsa Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

Oilthigh Postachd is Teileachumunicas Beijing

Ceumnaiche Sgoil Saidheans agus Teicneòlas Fiosrachaidh, Oilthigh Osaka
Prìomh Obair-lann Nàiseanta airson Giullachd Fiosrachaidh Ioma-mheadhain, Sgoil Saidheans Coimpiutaireachd, Oilthigh Peking 4 Ionad Sgrùdaidh Innleadaireachd Nàiseanta airson Teicneòlas Lèirsinneach, Sgoil Saidheans Coimpiutaireachd, Oilthigh Peking
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

Abradh

Bidh sinn a’ taisbeanadh NeRSP, dòigh ath-thogail Neural 3D airson uachdar meòrachail le ìomhaighean gann polarichte. Tha ath-thogail uachdar meòrachail air leth dùbhlanach mar a tha faileasan tuairmeasach view-dependent agus mar sin a 'briseadh an iomaview cunbhalachd airson iomaview stereo. Air an làimh eile, mar as trice bidh cuir a-steach ìomhaighean gann, mar shuidheachadh glacaidh practaigeach, ag adhbhrachadh toraidhean neo-choileanta no diofraichte air sgàth dìth co-fhreagairt conaltraidh. Bidh am pàipear seo còmhla a’ làimhseachadh na dùbhlain a tha an lùib cuir a-steach gann agus uachdar meòrachail le bhith a’ faighinn buannachd bho ìomhaighean polarichte. Bidh sinn a’ faighinn sanasan photometric agus geoimeatrach bhon mhodail cruthachadh ìomhaigh polarimetric agus iomaview cunbhalachd azimuth, a bhios le chèile a’ dèanamh an fheum as fheàrr den geoimeatraidh uachdar air a mhodaladh tro riochdachadh neural so-thuigsinn. Stèidhichte air na deuchainnean air na stòran-dàta synthetigeach agus fìor againn, bidh sinn a’ coileanadh toraidhean ath-thogail uachdar ùr-nodha le dìreach 6 views mar chur-a-steach.

Ro-ràdh

Iomaview Tha ath-thogail 3D na dhuilgheadas bunaiteach ann an lèirsinn coimpiutair (CV) agus chaidh a sgrùdadh gu mòr airson iomadh bliadhna [14]. Le adhartas ann an riochdachadh uachdar so-thuigsinn [27, 28] agus raointean radiance neural [22], o chionn ghoirid iomaview Tha dòighean ath-thogail 3D [5, 33, 38, 41] air adhartas mòr a dhèanamh. A dh 'aindeoin na toraidhean ath-bheothachaidh cumadh làidir, tha a' mhòr-chuid iomaview Tha dòighean stereo (MVS) fhathast gu mòr an urra ri bhith a’ lorg conaltradh eadar views, a tha gu sònraichte dùbhlanach airson uachdar meòrachail agus cuir a-steach gann views.

Airson uachdar meòrachail, tha an view- uachdar eisimeileach ap-

Tabhartas co-ionann. ∗ Ùghdar co-fhreagarrach.
Duilleag a’ phròiseict: https://yu-fei-han.github.io/NeRSP-project/.

Figear 1. Cruth a 'faighinn air ais uachdar meòrachail bho 6 ìomhaighean polarichte gann a' glacadh (sreathan gu h-àrd). Bidh an NeRSP againn a’ coileanadh toradh ath-thogail cumadh nas fheàrr an coimeas ri dòighean a th’ ann mar-thà a bhios a’ dèiligeadh ri cuir a-steach gann (S-VolSDF [35]) no meòrachadh meòrachail (PANDORA [9]).

Bidh Pearance a’ briseadh a’ bharail cunbhalachd photometric a thathar a’ cleachdadh anns an tuairmse conaltraidh ann an MVS. Gus dèiligeadh ris an duilgheadas seo, tha dòighean ath-thogail neural 3D o chionn ghoirid (me, Ref-NeuS [13], NeRO [19], agus PANDORA [9]) gu soilleir a’ modaladh a’ mheòrachadh agus aig an aon àm a’ toirt tuairmse air na mapaichean meòrachaidh agus àrainneachd tro bhith a’ toirt seachad cas. Ach, togail ìomhaigh dùmhail fo eadar-mheasgte views gus dèiligeadh gu dìleas ris na nithean neo-aithnichte a bharrachd air cumadh, leithid albedo, garbh, agus mapa àrainneachd.

Bho chuir a-steach gann views, gu tric tha e dùbhlanach ioma gu leòr a lorgview litrichean. Gu sònraichte nuair a bhios tu a’ riochdachadh view- an urra ri faileasan, tha e duilich cruth a sgaradh bho radiance fo àireamh chuingealaichte de chonaltraidhean, a’ leantainn gu mì-chinnt cruth-radiance [40]. Modhan ath-thogail neural 3D o chionn ghoirid airson gann views (me, S-VolSDF [35] agus SparseNeuS [20]) feumach air cunbhalachadh a’ cleachdadh cunbhalachd photometric, a dh’ fhaodar a bhriseadh airson uachdar meòrachail.

Gus dèiligeadh ris an dà dhuilgheadas, tha sinn a 'moladh a bhith a' cleachdadh ìomhaighean polarized gann an àite cuir a-steach RGB. Gu sònraichte, tha sinn a’ moladh NeRSP, dòigh ath-thogail Neural 3D gus cumadh uachdar meòrachail fhaighinn air ais bho ìomhaighean Polarized gann. Bidh sinn a’ cleachdadh ceàrn polarachaidh (AoP) a thig bho ìomhaighean polarized, a tha a’ nochdadh gu dìreach ceàrn azimuth cumadh an uachdair suas gu π agus π/2 dà-sheaghach. Tha fios gu bheil an cue geoimeatrach seo a’ comasachadh iomaview ath-thogail cumadh ge bith dè na feartan meòrachaidh uachdar a th’ ann, ach tha an cumadh tuairmseach stèidhichte air a’ chuan geoimeatrach a-mhàin dà-sheaghach [6] fo gann view roghainnean. Air an làimh eile, tha cue photometric bhon mhodail cruthachadh ìomhaigh polarimetric [2] a’ cuideachadh le ath-chruthachadh uachdar neural (me, PANDORA [9]) le bhith a’ lughdachadh an eadar-dhealachaidh eadar ìomhaighean polarized ath-rinnte agus glacte. Ach, tha an cumadh measta a tha stèidhichte air a’ chuan photometric a-mhàin cuideachd air a dhroch shuidheachadh fo chuir-a-steach gann mar thoradh air an ath-thomhas cumadh-radiance. Eu-coltach ris an dòigh stèidhichte air polarimetric PANDORA [9] a’ beachdachadh air an t-sealladh photometric a-mhàin, tha an NeRSP againn a’ sealltainn gu bheil amalachadh an dà chuid cuisean geoimeatrach agus photometric gu h-èifeachdach a’ caolachadh an àite fuasglaidh airson cumadh uachdar, air a dhearbhadh gu bhith èifeachdach ann an ath-thogail uachdar meòrachail stèidhichte air cuir a-steach gann. , mar a chithear ann am Fig. 1.

A bharrachd air an NeRSP a chaidh a mholadh airson ath-thogail 3D, thog sinn cuideachd Ioma-shaoghal Fìor.View Seata dàta ìomhaighean pòlaichte anns a bheil 6 nithean le mogaill fìrinn-talmhainn (GT) 3D co-thaobhach, air an ainmeachadh RMVP3D. Eadar-dhealaichte bho sheataichean dàta a th’ ann mar-thà leithid seata dàta PANDORA [9] a bheir seachad ìomhaighean pòlaichte a-mhàin, na mogaill GT co-thaobhach agus na h-àbhaist uachdar airson gach fear. view leigeil le measadh cainneachdail air iomaview ath-thogail 3d polarized.

Airson geàrr-chunntas, bidh sinn ag adhartachadh iomaview Ath-thogail 3D le moladh

NeRSP, a 'chiad dhòigh a tha a' moladh am fiosrachadh polarimetric a chleachdadh airson ath-thogail uachdar meòrachail fo gann views;

mion-sgrùdadh farsaing air an t-sealladh photometric agus geoimeatrach a thàinig bho ìomhaighean polarized; agus
RMVP3D, a’ chiad ioma-saoghal fhìorview seata dàta ìomhaigh polarichte le cumaidhean GT airson measadh cainneachdail.

Obair co-cheangailte

Iomaview Tha ath-thogail 3D air a bhith air a sgrùdadh gu mòr airson deicheadan. Tha Neural Radiance Fields (NeRF) [3, 22, 40] air soirbheachadh gu mòr ann an nobhail view synthesis anns na bliadhnachan mu dheireadh. Air a bhrosnachadh le NeRF, thathas a’ moladh dòighean ath-thogail neural 3D [24], far a bheil cumadh an uachdair air a mhodaladh gu soilleir tro raon astar ainmichte (SDF). A’ tòiseachadh bho DVR [24], bidh na dòighean leanmhainn a’ leasachadh càileachd ath-chruthachadh cumadh tro bhith a’ lorg raon eadar-dhealaichte [37], toirt seachad tomhas-lìonaidh [26, 33, 38], no riochdachadh cruth le mion-fhiosrachadh [18, 34]. Faodaidh na modhan sin tuairmse cumadh cinnteach a choileanadh airson uachdar sgaoilte far a bheil cunbhalachd dealbh-meatrach dligheach tarsainn views.

Tha ath-thogail airson uachdar meòrachail dùbhlanach leis gu bheil an cunbhalachd photometric neo-dhligheach. Tha modhan gnàthaichte [5, 41, 42] gu soilleir a’ modail an view- an urra ri meòrachadh agus cuir às don chumadh, soillseachadh a tha ag atharrachadh gu àite, agus feartan meòrachaidh mar albedo agus garbh. Ach, tha na tuairmsean air na caochladairean gu h-àrd mì-riarachail leis gu bheil an sgaradh gu math mì-chinnteach. Tha NeRO [19] a’ moladh a bhith a’ cleachdadh tuairmse-suim sgoltadh den mhodail cruthachadh ìomhaighean agus a’ leasachadh càileachd ath-thogail cumadh gun a bhith feumach air masgaichean nì. Ach, mar as trice bidh na dòighean gu h-àrd a’ feumachdainn glacadh ìomhaighean dùmhail gus toraidhean ath-bheothachaidh cumadh so-chreidsinneach a ghealltainn airson uachdar meòrachail dùbhlanach.

Ath-thogail le gann views riatanach airson suidheachaidhean practaigeach a dh’ fheumas glacadh èifeachdach. Air sgàth dìth conaltraidh gu leòr bho chuingealaichte views, chan urrainnear an mì-chinnt cumadh-radiance a rèiteach, a’ leantainn gu faighinn air ais ann an cruth fuaimneach agus claon. Bidh na dòighean a th’ ann mar-thà a’ dèiligeadh ris an duilgheadas seo le bhith a’ cur ri riaghailteachadh leithid rèidh geoimeatraidh uachdar [25], doimhneachd garbh roimhe [10, 32], no smachd tricead air a’ chòdachadh suidheachaidh [36]. Bidh cuid de dhòighean [7, 20, 39] a’ cruthachadh an ath-chruthachadh gann 3D mar dhuilgheadas coitcheannachadh 3D le cumhachan far a bheil feartan ìomhaigh air an ro-thrèanadh air an cleachdadh mar phrìomhachasan coitcheann. Bidh S-VolSDF [35] a’ buntainn ris an ioma-chlasaigeachview dòigh stereo mar thòiseachadh agus a’ riaghladh an optimization tairgse neural le tomhas coltachd. Ach, tha e fhathast na dhùbhlan do dhòighean gnàthach gus uachdar meòrachail fhaighinn air ais gu ceart.

Chaidh ath-chruthachadh a’ cleachdadh ìomhaighean polarichte a sgrùdadh airson gach cuidview roghainnean [1, 2, 16, 23, 29] agus iomaview roghainnean [6, 8, 9, 11, 12, 43]. Eu-coltach ri ìomhaighean RGB, tha an AoP bho ìomhaighean polarized a ’toirt seachad comharran dìreach airson uachdar àbhaisteach. Singilte-view Tha cumadh bho dhòighean polarization (SfP) a’ faighinn buannachd bhon togalach seo agus a’ dèanamh tuairmse air an uachdar àbhaisteach fo sholas singilte fad às [21, 29] no solas nàdarrach neo-aithnichte [1, 16]. Iomaview Bidh modhan SfP [8, 43] a’ fuasgladh na mìneachaidhean π agus π/2 anns an AoP stèidhichte air an iomaview amharc. Is e PANDORA [9] a’ chiad dhòigh ath-thogail 3D neural stèidhichte air ìomhaighean polarized, a chaidh a dhearbhadh a bhith èifeachdach ann a bhith a’ faighinn air ais cumadh uachdar agus soillseachadh. Bidh MVAS [6] a’ faighinn air ais cumadh uachdar bho iomaview mapaichean azimuth, dlùth cheangailte ris na mapaichean AoP a thàinig bho

dealbhan polarichte. Ach, chan eil na dòighean sin a’ sgrùdadh le bhith a’ cleachdadh ìomhaighean polarichte airson ath-thogail uachdar meòrachail fo dhealbhan gann.

Modail Cruthachadh Ìomhaigh Polarimetric

Mus tèid sinn a-steach don dòigh a thathar a’ moladh, bidh sinn an-toiseach a’ toirt a-steach am modal cruthachadh ìomhaigh polarimetric agus a’ faighinn a’ chulaidh dealbh-meatrach agus an sealladh geoimeatrach san dòigh againn. Mar a chithear ann am Fig. 2, tha camara polarization snaidhpear a’ clàradh seallaidhean ìomhaigh aig ceithir ceàrnan polarachaidh eadar-dhealaichte, le na luachan piogsail aige air an comharrachadh mar {I0, I45, I90, I135}. Tha na ceithir ìomhaighean seo a’ nochdadh staid polarachaidh nan solais a fhuaireadh, a tha air a riochdachadh mar vectar 4D Stokes s = [s0, s1, s2, s3] air a thomhas mar

Tha sinn a’ gabhail ris nach eil solas cruinn polarichte agus mar sin a’ sònrachadh s3 gu bhith 0. Faodar vectar Stokes a chleachdadh gus ceàrn polarachaidh (AoP) a thomhas, i.e.

Stèidhichte air vectar AoP agus Stokes, bidh sinn a’ faighinn na comharran geoimeatrach agus photometric a rèir sin.

Gèam geoimeatrach
Le AoP ϕa, faodaidh ceàrn azimuth an uachdair a bhith an dàrna cuid ϕa + π/2 no ϕa + π, ris an canar an t-eadar-dhealachadh π agus π/2 a rèir a bheil an uachdar làmh-an-uachdair no sgaoilte. Anns an earrainn seo, bidh sinn an toiseach a’ toirt a-steach an cue geoimeatrach a thug an multiview mapa azimuth agus an uairsin leudaich e gu cùis AoP.

Às deidh MVAS [6], airson puing seallaidh x, an uachdar àbhaisteach n agus an ceàrn azimuth ro-mheasta ϕ ann an aon chamara view lean an dàimh mar

far a bheil R = [r1, r2, r3] ⊤ mar mhaitrix cuairteachaidh suidheachadh a’ chamara. Is urrainn dhuinn tuilleadh ath-eagrachadh Eq. (3) gus an dàimh orthogonal fhaighinn eadar uachdar àbhaisteach agus vectar tangent t (ϕ) mar a tha air a mhìneachadh gu h-ìosal,

Faodar an ath-thomhas π eadar AoP agus ceàrn azimuth a rèiteachadh gu nàdarra mar Eq. (4) seasamh ma chuireas sinn ϕ le π ris. Faodar dèiligeadh ris an ath-thomhas π/2 le bhith a’ cleachdadh vectar tangent tˆ(ϕ) mar sin.

Ma tha f views, faodaidh sinn cruachadh Eq. (4) agus Eq. (5) stèidhichte air k cuairteachadh eadar-dhealaichte agus AoPs a chaidh fhaicinn, a’ leantainn gu siostam sreathach

T(x)n(x) = 0. (6)

Bidh sinn a’ làimhseachadh an t-siostam sreathach seo mar ar sealladh geoimeatrach airson ioma-view ath-thogail 3d polarized.

Dealbh photometric
Leis gu bheil an soillseachadh àrainneachd tachartais neo-phòla, faodar vectar Stokes de stiùireadh solais tachartais ω a riochdachadh mar

si(ω) = L(ω)[1, 0, 0, 0] ⊤, (7)

far a bheil L(ω) a’ comharrachadh dian an t-solais. Bidh an solas a-muigh a tha air a chlàradh leis a’ chamara polarization a’ fàs gu ìre polar air sgàth a’ mheòrachadh. Tha am pròiseas seo air a mhodaladh tro mhaitrix Muller 4 × 4 H. Fo shoillseachadh àrainneachd, faodar an vectar Stokes a tha a’ dol a-mach a dhealbhadh mar phàirt riatanach den tachartas Stokes vector iomadachadh le matrix Muller, i.e.

far a bheil v agus Ω a’ comharrachadh an view stiùireadh agus àrainn iomlan. Às deidh modal polarized BRDF (pBRDF) [2], faodar vectar toraidh Stokes a thoirt a-steach do na pàirtean sgaoilte agus specular a tha air am modaladh tro Hd agus Hs a rèir sin, i.e.

Às deidh an toradh bho PANDORA [9], is urrainn dhuinn tuilleadh cruth a dhèanamh air toradh toradh Stokes vector mar

far a bheil Ld = fΩ ρL (ω) ω⊤n T + i T−i dω air a chomharrachadh mar radiance sgaoilte co-cheangailte ri uachdar àbhaisteach n, co-èifeachdan tar-chuir Fresnel [2] T + i, o agus T−i, o, albedo sgaoilte ρ , agus ceàrn azimuth an t-solais tachartais ϕn. Ls = fΩ L(ω) DG 4n⊤v dω a’ comharrachadh radiance sònraichte co-cheangailte ri co-èifeachdan meòrachaidh Fresnel [2] R + agus R−, an tachartas ceàrn azimuth ϕh a’ sgrìobhadh an leth vectar h = ω + v∥ω + v∥22, agus an teirm àbhaisteach sgaoilidh is sgàile D agus G anns a’ mhodail Microfacet [31].

Feuch an toir thu sùil air an stuth leasachail airson tuilleadh fiosrachaidh. Stèidhichte air a’ mhodail cruthachadh ìomhaigh polarimetric a chithear ann an Eq. (10), bidh sinn a’ togail an cue photometric.

Modh a thathar a’ moladh

Tha an NeRSP againn a’ gabhail mòran gannview ìomhaighean polarized, masg sgàil-dhealbh co-fhreagarrach an nì targaid, agus camara a ’seasamh mar chuir a-steach agus a’ toirt a-mach cumadh uachdar an nì a tha air a riochdachadh gu soilleir tro SDF. Bidh sinn a’ tòiseachadh leis a’ chòmhradh air sanasan photometric agus cuisean geoimeatrach ann a bhith a’ fuasgladh an ath-chruthachadh cumadh, air a leantainn leis an stiùireadh air structar lìonra agus gnìomh call ar NeRSP.

Duilgheadas ann an ath-thogail gann 3D
Tha àite cudromach aig a’ chue geoimeatrach agus an cue photometric ann a bhith a’ lughdachadh farsaingeachd fuasglaidh cumadh an uachdair fo gann views. Mar a chithear ann am Fig. 3, tha sinn a’ sealltainn an tuairmse cumadh fo 2 views le comharran eadar-dhealaichte. Leis nach eil ach ìomhaighean RGB mar chur-a-steach (a rèir an t-suidheachaidh ann an NeRO [19] agus S-VolSDF [35]), faodaidh measgachadh eadar-dhealaichte de shuidheachadh puing seallaidh, gnàthasan uachdar, agus feartan meòrachaidh leithid albedo leantainn gu na h-aon ìomhaighean ìomhaigh, oir chan eil ann ach dà thomhas RGB airson gach puing 3D air an gath camara. Le vectaran Stokes air an toirt a-mach às na h-ìomhaighean polarichte, bheir an cue photometric 6 tomhasan airson gach puing 3D (tha 3 eileamaidean aig vectar Stokes), a’ lughdachadh an uachdar tagraichean àbhaisteach nach eil iomchaidh don mhodail cruthachadh ìomhaigh polarimetric.

Air an làimh eile, stèidhichte air mapaichean AoP1 bho ìomhaighean polarichte, is urrainn dhuinn gu h-annasach an uachdar a dhearbhadh suas gu π teagmhachd airson a h-uile puing seallaidh air feadh gath a’ chamara. Ach, tha e fhathast teagmhach an suidheachadh a lorg far a bheil gath a’ chamara a’ dol tarsainn air an uachdar mura h-eil an treas cuid view air a thoirt seachad [6]. Uime sin, fo sgail views suidheachadh (me, 2 views ann am Fig. 3), tha a bhith a’ dearbhadh suidheachadh puing-seallaidh stèidhichte air cue geoimeatrach no photometric fhathast dà-sheaghach.
Bidh an dòigh-obrach againn a’ cothlamadh an dà chuisean seo a thàinig bho ìomhaighean polarized. Mar a chithear anns a' phàirt gu h-ìosal air an làimh dheis de Fig. 3, bu chòir gum biodh an t-uachdar air suidheachadh ceart a' phuing-seallaidh na laighe gu h-àbhaisteach anns an eadar-ghearradh de bhuidhnean tagraiche àbhaisteach a thàinig bho gach cuid comharran photometric agus geoimeatrach. Mar uachdar àbhaisteach aig diofar samptha puingean seallaidh stiùirichte air an co-dhùnadh gu h-annasach le comharran geoimeatrach, is urrainn dhuinn gu furasta faighinn a-mach a bheil a’ phuing air an uachdar le taic bho shealladh photometric. San dòigh seo, bidh sinn a’ lughdachadh farsaingeachd fuasglaidh ath-thogail uachdar meòrachail le peilear.

NeRSP
Structar lìonraidh Mar a chithear ann am Fig. 4, tha an NeRSP againn a’ cur an sàs structar lìonra coltach ri PANDORA [9] a thàinig bho thùs bho Ref-NeRF [30]. Airson gath solais a thèid a-mach à meadhan a’ chamara o leis an stiùireadh v, bidh sinn sample puing air a’ ghathan le astar siubhail ti, tha a shuidheachadh air a chomharrachadh aig xi = o + tiv. Às deidh an toirt seachad meud a chaidh a chleachdadh ann an NeRF [25], faodar an vectar Stokes s (v) a chaidh fhaicinn a thoirt a-steach leis an neo-sheasmhachd meud σi agus na vectaran Stokes aig an samppuingean air an stiùireadh air feadh an gath, ie

càite comharrachadh an tar-chuir cruinnichte maramppuing air a stiùireadh.

Air a bhrosnachadh leis an dòigh ath-thogail 3D neural o chionn ghoirid NeuS [33], bidh sinn a’ faighinn an teodhachd meud bho lìonra SDF agus cuideachd a ’toirt a-mach an uachdar àbhaisteach bho chaisead an SDF. Gus seo a dhèanamh (xi, v) aig samppuingean air an stiùireadh, bidh sinn a’ leantainn modal cruthachadh ìomhaigh polarimetric ann an Eq. (10). Gu sònraichte, tha an radiance sgaoilte Ld co-cheangailte ris na co-èifeachdan tar-chuir albedo agus Fresnel, a tha an urra ri suidheachadh an t-seallaidh ach eadar-dhealaichte ris an view treòrachadh. Mar sin, bidh sinn a’ cleachdadh lìonra radiance sgaoilte gus Ld a mhapadh bho fheartan gach puing seallaidh. Tha an radiance specular Ls co-cheangailte ris an lobe specular a tha air a dhearbhadh leis an view stiùireadh, uachdar àbhaisteach, agus garbh uachdar. Mar sin bidh sinn a’ cleachdadh RoughnessNet gus garbh uachdar a ro-innse. Còmhla ris a 'chamara view stiùireadh agus uachdar àbhaisteach àbhaisteach, bidh sinn a’ dèanamh tuairmse air an radiance specular Ls às deidh a’ mhodal còdaidh suidheachaidh aonaichte a mhol Ref-NeRF [30]. A’ cothlamadh Ld agus Ls, bidh sinn ag ath-chruthachadh an vectar Stokes a chaidh fhaicinn às deidh Eq. (10).

Gnìomh call
Tha an call photometric air a mhìneachadh mar an astar L1 eadar na s(v) a chaidh fhaicinn agus na vectaran Stokes ath-chruthaichte s(v), ie,

far a bheil V a’ comharrachadh a h-uile ghathan camara air an tilgeadh taobh a-staigh masgaichean nithean aig eadar-dhealaichte views. Airson an call geoimeatrach. Lorgaidh sinn an-toiseach puing-seallaidh 3D x air a’ ghathan camara v gus an suathadh sinn an uachdar agus an uairsin lorg sinn na h-àiteachan ro-mheasta 2D-pixel aig diofar views. Tha an call geoimeatrach air a mhìneachadh stèidhichte air an Eq. (6), ie,

far a bheil X a’ comharrachadh a h-uile crois-aghaidh ghathan taobh a-staigh masgaichean an nì aig eadar-dhealaichte views. A bharrachd air a’ chall photometric agus geoimeatrach, bidh sinn a’ cur call masg ris fo stiùir masgaichean an nì agus call riaghailteachd Eikonal. Tha an call masg air a mhìneachadh mar

càite a’ riochdachadh am masg ris a bheil dùil aig k-th camara ray, aig a bheil luach masg GT air a chomharrachadh mar Mk. Tha BCE a’ riochdachadh call dà-chànanach tar-entropy.

far a bheil ni,k mar an uachdar àbhaisteach a thig bhon lìonra SDF aig na i-th samppuing stiùirichte air feadh an k-th camara-ray. Tha an NeRSP againn fo stiùir measgachadh de na teirmean call gu h-àrd, ie

far a bheil λe, λm, agus λp nan co-èifeachdan airson nan teirmean call co-fhreagarrach.

Seata-dàta RMVP3D
Gus measadh cainneachdail a dhèanamh air an dòigh a thathar a’ moladh, bidh sinn a’ glacadh Real-world Multiview Stòr-dàta ìomhaigh polarichte le mogaill fìrinn talmhainn co-thaobhadh. Tha Figear 5 (clì) a’ sealltainn ar suidheachadh glacaidh, a tha a’ toirt a-steach camara polarimetric, FLIR BFS-U3-51S5PC-C, uidheamaichte le lionsa 12 mm agus rèile cuairteachaidh. Bidh sinn a’ cleachdadh OpenCV airson demosaicing an dàta amh agus a’ faighinn ìomhaighean dath 1224 × 1024 le ceàrnan polarizer aig 0, 45, 90, agus 135 ceum. Rè an glacadh dàta, bidh sinn a’ cur nithean targaid ann am meadhan an rèile agus a’ glacadh 60 ìomhaigh gach nì le bhith a’ gluasad a’ chamara le làimh. Bidh sinn a’ cruinneachadh 4 nithean mar thargaidean: DOG, FROG, LION, agus BALL, mar a chithear ann am Fig. 5 (meadhan). Airson a’ mheasadh cainneachdail, bidh sinn a’ gabhail ri sganair laser Creaform HandySCAN BLACK le cruinneas 0.01 mm gus am mogal fìrinn talmhainn fhaighinn. Gus am mogal a cho-thaobhadh ris an ìomhaigh a chaidh a ghlacadh views, tha sinn a 'buntainn an toiseach PANDORA [9] gus tuairmse a dhèanamh cumadh iomraidh a' cleachdadh a h-uile ri fhaotainn views agus an uairsin co-thaobhadh am mogal a chaidh a sganadh ris an fhear a chaidh a mheasadh tron algorithm ICP [4]. A bharrachd air na cruthan fìrinn talmhainn agus iomaview ìomhaighean, bidh sinn cuideachd a’ glacadh mapa na h-àrainneachd le bhith a’ cleachdadh camara 360-ceum THETA Z1, a’ faighinn buannachd bho mheasaidhean cainneachdail air an tuairmse soillseachaidh airson obraichean tairgse neo-dhruim-neònach co-cheangailte.

Deuchainnean

Bidh sinn a’ measadh NeRSP le trì deuchainnean: 1) coimeas ri ioma-ghnèitheachd a th’ ann mar-thàview Modhan ath-thogail 3D gu cainneachdail air seata dàta synthetigeach; 2) sgrùdadh ablation air na tha briathran call geoimeatrach agus photometric 3) measaidhean càileachdail is cainneachdail air stòran-dàta an t-saoghail fhìor. Bidh sinn cuideachd a’ toirt seachad am BRDF agus an nobhail view toraidhean anns an stuth a bharrachd.

Stòran-dàta & Bun-loidhne
Stòr-dàta. Bidh sinn ag ullachadh dà sheata dàta san t-saoghal fhìor: an stòr-dàta PAN-DORA [9] agus an RMVP3D a tha sinn a’ moladh, far nach eil an stòr-dàta PANDORA [9] air a chleachdadh ach airson measadh càileachdail leis nach eil na mogalan fìrinn talmhainn air an toirt seachad. Bidh sinn cuideachd ag ullachadh ioma-synthetview seata dàta ìomhaigh polarichte SMVP3D le einnsean cuibhreachaidh Mitsuba [15], anns a bheil 5 nithean le faileasan eadar-dhealaichte agus meòrachail, mar a chithear ann am Fig. 6. Tha na nithean air an soillseachadh le mapaichean àrainneachd2 agus air an glacadh le 6 views air thuaiream timcheall nan nithean. A bharrachd air ìomhaighean polarichte air an toirt seachad, bidh sinn cuideachd a’ cur a-mach na vectaran stokes, mapaichean àbhaisteach uachdar GT, agus mapaichean AoP airson gach nì.

Bun-loidhnichean. Bidh an obair againn a’ fuasgladh iomaview Ath-thogail 3D airson uachdar meòrachail stèidhichte air ìomhaighean polarized gann. Mar sin, bidh sinn a’ taghadh na dòighean ath-thogail 3D as ùire a tha ag amas air uachdar meòrachail NeRO [19] agus gann. views S-VolSDF [35] . Tha an dà dhòigh gu h-àrd stèidhichte air cuir a-steach ìomhaigh RGB. Airson iomaview stereo stèidhichte air ìomhaighean polarichte, bidh sinn a’ taghadh PANDORA [9] agus MVAS [6] mar ar bun-loidhne. Chan fheum NeRO [19] masgaichean sgàil-dhealbh mar chuir a-steach. Airson coimeas cothromach, bheir sinn air falbh an cùl-raon anns na h-ìomhaighean RGB leis na masgaichean co-fhreagarrach mus cuir sinn a-steach gu NeRO [19]. Gus coimeas a dhèanamh eadar diofar dhòighean, bidh sinn a’ cur a-steach astar Chamfer (CD) eadar na mogaill mheasta agus GT, agus a’ mhearachd cuibheasach ceàrnach (MAE) eadar na h-àbhaist uachdar tuairmseach agus GT aig eadar-dhealaichte. views mar ar meatrach measaidh.

Ath-bheothachadh cruth air dàta synthetigeach
Mar a chithear ann an Clàr 1, tha sinn a’ toirt geàrr-chunntas air mearachd tuairmseach cumadh nan dòighean a th’ ann mar-thà agus sinne air SMVP3D. Bidh an dòigh againn a’ coileanadh an astar Chamfer as lugha air feadh nan 5 nithean synthetigeach. Stèidhichte air na tuairmsean cumadh lèirsinneach a chithear ann am Fig. 7, chan urrainn dha NeRO [19] agus S-VolSDF [35] mion-fhiosrachadh uachdar fhaighinn air ais gu ceart mar a chaidh a chomharrachadh anns an raon dùinte. views. Is e aon adhbhar a dh’ fhaodadh a bhith ann gu bheil e ro dhùbhlanach a bhith a’ dealachadh cumadh agus meòrachadh meòrachail bho na h-ìomhaighean gann airson nan dòighean sin stèidhichte air dìreach fiosrachadh RGB. Bidh MVAS [6] agus PANDORA [9] a’ dèiligeadh ri sanasan geoimeatrach agus photometric nan ìomhaighean polarichte, fa leth. Ach, tha na cumaidhean uachdar meòrachail ath-chruthaichte fhathast mì-riaraichte mar thoradh air na mì-chinnt ann an cuisean geoimeatrach agus photometric fo na comharran gann. views suidheachadh. Mar a chaidh a chomharrachadh anns an dùnadh views, a’ faighinn buannachd bho chuisean geoimeatrach agus photometric, tha an dòigh againn a’ lughdachadh farsaingeachd fuasglaidh tuairmse cumadh, a’ leantainn gu faighinn air ais cumadh as reusanta an coimeas ri cumaidhean GT.

A bharrachd air a bhith a’ measadh a’ mhogal ath-chruthaichte, bidh sinn cuideachd a’ dèanamh deuchainn air toraidhean tuairmseach àbhaisteach an uachdair. Mar a chithear ann an Clàr 2, tha sinn a’ toirt geàrr-chunntas air na mearachdan ceàrnagach cuibheasach ann an àbhaistean uachdar tuairmseach aig 6 views bho dhiofar dhòighean. Co-chòrdail ris na toraidhean measaidh ann an Clàr 1, bidh NeRSP a’ coileanadh nam mearachdan ceàrnach as lugha sa chumantas. Chunnaic sinn cuideachd gu bheil mearachdan nas motha aig toraidhean NeRO [19], MVAS [6], agus PANDORA [9] air nithean le mion-fhiosrachadh, leithid nithean DAVID agus DRAGON. Mar example, tha an dàrna astar Chamfer as lugha aig MVAS [6] a chithear ann an Clàr 1, ach tha a’ mhearachd cuibheasach ceàrnach os cionn 20◦. Is e aon adhbhar a dh’ fhaodadh na dòighean a th ’ann mar-thà a bhith a’ toirt a-mach cumaidhean rèidh anns an gann views suidheachadh, far nach eil mion-fhiosrachadh an uachdair leithid flakes an DRAGON air fhaighinn air ais gu math.

Clàr 1. Coimeas eadar ath-bheothachadh cumadh air dàta synthetigeach air a mheasadh le astar Chamfer (↓). Tha na mearachdan as lugha agus an dàrna mearachd as lugha air an ainmeachadh ann an clò trom agus le cuideam orra. Tha “N/A” a’ comharrachadh an deuchainn far nach urrainn do dhòigh sònraichte toraidhean tuairmseach cumadh reusanta a thoirt a-mach.

Sgrùdadh ablation
Anns an earrainn seo, bidh sinn a’ dèanamh sgrùdadh ablation gus èifeachdas cuisean geoimeatrach agus photometric a dhearbhadh. A’ gabhail an nì DRAGON mar neach a bha roimheample, bidh sinn a’ giùlan ar modh le agus às aonais an call photometric Lp agus an call geoimeatrach Lg. Mar a chithear ann am Fig. 8, bidh sinn a 'dealbhadh cumadh agus uachdar tuairmsean àbhaisteach le bhith a' cur às do na teirmean call eadar-dhealaichte. Às aonais call photometric, cruth neo-chinnteach mar thoradh air cho gann views a' tachairt. Mar a chithear bhon chlàr dùinte views, tha artifact cuasach aig a’ chumadh faisg air a’ chas, leis nach eil ach dà ri fhaicinn views airson na roinne seo, gun chomas fuasgladh sònraichte a chruthachadh airson an cumadh dìreach stèidhichte air mapaichean AoP [6]. Às aonais call geoimeatrach, bidh sinn cuideachd a’ faighinn toraidhean cumadh sgaraichte leis nach eil na beachdan gann de dh’ ìomhaighean gu leòr gus an cumadh, an faileas agus an soillseachadh a mhilleadh gu h-annasach. Le bhith a’ cothlamadh a’ chall photometric agus geo-mheatrach, bidh an NeRSP againn a’ lughdachadh na mì-chinnt ann an ath-chòmhdach cumadh agus tha an cumadh measta nas fhaisge air an GT, mar a chaidh a chomharrachadh anns an dreach dùinte. views.

Figear 8. Sgrùdadh ablation air teirmean call eadar-dhealaichte. Bidh na sreathan gu h-àrd agus gu h-ìosal a’ faicinn a’ chumadh is an uachdar àbhaisteach, leis an astar Chamfer agus a’ mhearachd cuibheasach ceàrnach air a chomharrachadh air mullach gach fo-fhigear, fa leth.

Ath-bheothachadh cruth air dàta fìor
A bharrachd air na deuchainnean synthetigeach a chithear san earrann roimhe seo, bidh sinn cuideachd a’ measadh ar modh air dàta fìor-shaoghail PANDORA data [9] agus RMVP3D gus deuchainn a dhèanamh air iomchaidheachd ann an suidheachaidhean ath-thogail 3D san t-saoghal fhìor.

Measadh càileachdail air stòr-dàta PANDORA [9]. Mar a chithear ann am Fig. 9, bidh sinn a’ toirt seachad measaidhean càileachdail air an t-seata dàta PAN-DORA [9]. An coimeas ri coltas na h-ìomhaigh leis na toraidhean measta bho S-VolSDF [35] agus NeRO [19], chan eil an cumadh air a sgaradh gu tur bhon fhaileas, a’ leantainn gu cumaidhean uachdar cnapach a tha dlùth cheangailte ri inneach meòrachaidh. Tha tuairmsean cumadh ro-rèidh aig MVAS [6] agus PANDORA [9] no artifacts cumadh cuasach, mar thoradh air dèiligeadh ri dìreach sanasan geoimeatrach no photometric fon t-suidheachadh glacaidh gann. Chan eil a leithid de stuthan cumadh aig na co-dhùnaidhean tuairmse cumadh againn agus tha iad a’ maidseadh gu dlùth ri beachdan ìomhaigh.

Clàr 3. Measadh cainneachdail air RMVP3D le astar Chamfer (↓). Bidh an dòigh-obrach againn a’ coileanadh a’ mhearachd as lugha gu cuibheasach.

Dòigh-obrach	DOG	LAOIDH	FROG	BALL	Cuibheasach
NeRO [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
PANDORA [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (Ar linne)	8.80	5.18	6.70	3.84	6.13

Measadh cainneachdail air RMVP3D. Mar a chithear ann an Clàr 3, bidh sinn a’ taisbeanadh measadh cainneachdail de RMVP3D stèidhichte air astar Chamfer. Co-chòrdail ris an deuchainn synthetigeach, bidh an NeRSP againn a’ coileanadh a’ mhearachd tuairmseachaidh as lugha gu cuibheasach. Tha na cumaidhean lèirsinneach a chithear ann am Fig. 10 a’ nochdadh tuilleadh gu bheil uachdar meòrachail dùbhlanach do S-VolSDF [35] airson an cumadh a sgaradh bho mheòrachadh, mar a chaidh a chomharrachadh le uachdar cnapach an nì FROG anns an raon dùinte. views. Tha mearachdan tuairmseach co-chosmhail aig NeRO [19] agus PANDORA [9] leinn air an nì sìmplidh BALL. Airson cumaidhean iom-fhillte mar LION, gheibhear ath-bheothachadh cumadh air a shaobhadh bho na dòighean sin air sgàth cho gann view suidheachadh, fhad ‘s a tha an fheadhainn againn nas fhaisge air na mogaill GT, a’ nochdadh èifeachdas ar dòigh air ath-thogail uachdar meòrachail san t-saoghal fo chuir-a-steach gann.

Co-dhùnadh

Tha sinn a’ moladh NeRSP, dòigh ath-chruthachadh neural 3D airson uachdar meòrachail fo ìomhaighean gann polarichte. Mar thoradh air na dùbhlain a tha an lùib ath-thomhas cruth-radiance agus meòrachadh iom-fhillte, tha na dòighean a th’ ann mar-thà a’ strì le uachdar meòrachail no le bhith gann. views agus chan urrainn dhaibh dèiligeadh ris an dà dhuilgheadas le ìomhaighean RGB. Tha sinn a’ moladh ìomhaighean polarized a chleachdadh mar chur-a-steach. Le bhith a’ cothlamadh na sanasan geoimeatrach agus photometric a chaidh a thoirt a-mach à ìomhaighean polarichte, bidh sinn a’ lughdachadh farsaingeachd fuasglaidh a’ chruth a thathar a’ meas, a’ toirt cothrom air an uachdar meòrachail fhaighinn air ais gu h-èifeachdach le cho beag ri 6 views, mar a tha air a nochdadh leis a’ phoball agus na stòran-dàta againn.

Cuingealachadh
Chan eilear a’ beachdachadh air na h-eadar-mheòrachadh agus an t-solas àrainneachd polar san obair seo, a dh’ fhaodadh buaidh a thoirt air cruinneas ath-thogail cumadh. Mhothaich sinn obair as ùire NeISF [17] a’ cuimseachadh air a’ chuspair seo, agus tha ùidh againn ann a bhith a’ cothlamadh ar luach gann de shealladh leis an obair seo san àm ri teachd.
Aithneachadh
Fhuair an obair seo taic bho Phròiseact Bunait Saidheans Nàdarra Beijing No. Z200002, Bunait Nàiseanta Saidheans Nàdair na Sìne (Tabhartas Àireamh 62136001, 62088102, 62225601, U23B2052), Sgioba Rannsachaidh Ùr-ghnàthach Òigridh BUPT No. 2023QNTD02PS KENAK, agus (Tabhartas Àir. JP22K17910 agus JP23H05491). Tha sinn a’ toirt taing do Youwei Lyu airson còmhraidhean lèirsinneach.

Iomraidhean

Yunhao Ba, Ailig Gilbert, Franklin Wang, Jinfa Yang, Rui Chen, Yiqin Wang, Lei Yan, Boxin Shi, agus Achuta Kadambi. Cruth domhainn bho polarachadh. Ann an ECCV, duilleagan 554–571, 2020. 2
Seung-Hwan Baek, Daniel S Jeon, Xin Tong, agus Min H Kim. Togail aig an aon àm air SVBRDF polarimetric agus gnàthasan. ACM TOG, 37(6): 268–1, 2018. 2, 3, 4

Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla, agus Pratul P Srinivasan. Mip-NeRF: Riochdachadh ioma-sgèile airson raointean radiance neural anti-aliasing. Ann an ICCV, duilleagan 5855–5864, 2021. 2
Pòl J Besl agus Niall D MacAoidh. Dòigh airson cumaidhean 3-D a chlàradh. Ann am fusion Sensor IV: paradigms smachd agus structaran dàta, duilleagan 586–606, 1992. 6
Mark Boss, Varun Jampani, Raphael Braun, Ce Liu, Jonathan Barron, agus Hendrik Lensch. Neural-PIL: Solais neural ro-amalaichte airson lobhadh meòrachaidh. Ann an NeurIPS, duilleagan 10691–10704, 2021. 1, 2

Xu Cao, Hiroaki Santo, Fumio Okura, agus Yasuyuki Matsushita. Ioma-View Stereo Asimuth tro Cho-sheasmhachd Àite Tangent. Ann an CVPR, duilleagan 825–834, 2023. 2, 3, 4, 6, 7, 8
Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, agus Hao Su. MVSNeRF: Ath-thogail raon radiance luath coitcheann bho ioma-view stereo. Ann an CVPR, duilleagan 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan, agus Jan Kautz. Polarimetric ioma-view stereo. Ann an CVPR, duilleagan 1558–1567, 2017. 2

Akshat Dave, Yongyi Zhao, agus Ashok Veeraraghavan. Pandora: Lùghdachadh neural le taic polarization de radiance. Ann an ECCV, duilleagan 538–556, 2022. 1, 2, 4, 6, 7, 8
Kangle Deng, Anndra Liu, Jun-Yan Zhu, agus Deva Ra-manan. NeRF fo stiùir doimhneachd: Nas lugha views agus trèanadh nas luaithe an-asgaidh. Ann an CVPR, duilleagan 12882–12891, 2022. 2
Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang, agus Jin-wei Ye. Stereopsis Polarimetric helmholtz. Ann an ICCV, duilleagan 5037–5046, 2021. 2

Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, agus Ko Nishino. Stereo àbhaisteach Polarimetric. Ann an CVPR, td 682–690, 2021. 2
Wenhang Ge, Tao Hu, Haoyu Zhao, Shu Liu, agus Ying-Cong Chen. Ref-NeuS: Ionnsachadh Aghaidh-aghaidh Neural In-ghabhail air a Lùghdachadh le Teagmhalachd airson Ioma-View Ath-thogail le Meòrachadh. ro-chlò arXiv arXiv:2303.10840, 2023. 1
Richard Hartley agus Anndra Zisserman. Iomadach view geoimeatraidh ann an sealladh coimpiutair. Clò Oilthigh Chambridge, 2003. 1

Wenzel Jakob. Renderer Mitsuba, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, agus Qifeng Chen. Cruth bho polarachadh airson seallaidhean iom-fhillte san fhàsach. Ann an CVPR, duilleagan 12632–12641, 2022. 2
Chenhao Li, Taishi Ono, Takeshi Uemori, Hajime Mihara, Alexander Gatto, Hajime Nagahara, agus Yuseke Moriuchi. NeISF: Tachartas Neural Stokes Field airson Geoimeatraidh agus Tomhas Stuthan. arXiv preprint arXiv: 2311.13187, 2023. 8

Zhaoshuo Li, Thomas M¨uller, Ailig Evans, Russell H Mac an Tàilleir, Mathias Unberath, Ming-Yu Liu, agus Chen-Hsuan Lin. Neu-Colangelo: Ath-thogail uachdar neural àrd-dhìlseachd. Ann an CVPR, duilleagan 8456–8465, 2023. 2
Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura, agus Wenping Wang. NeRO: Geoimeatraidh Neural agus BRDF Ath-thogail de Rudan Meòrachail bho Iomaview Dealbhan. arXiv preprint arXiv: 2305.17398, 2023. 1, 2, 4, 6, 7, 8
Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura, agus Wenping Wang. SparseNeuS: Ath-thogail uachdar neural coitcheann luath bho bhith gann views. Ann an ECCV, duilleagan 210–227, 2022. 2

Youwei Lyu, Lingran Zhao, Si Li, agus Boxin Shi. Cumadh bho polarachadh le tuairmse solais fad às. IEEE TPAMI, 2023. 2
Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, agus Ren Ng. NeRF: A’ riochdachadh seallaidhean mar raointean radiance neural airson view sintéise. Ann an ECCV, duilleagan 405–421, 2020. 1, 2
Miyazaki, Tan, Hara, agus Ikeuchi. Rendering inverse stèidhichte air polarization bho aon view. Ann an ICCV, duilleagan 982–987, 2003. 2

Mìcheal Niemeyer, Lars Mescheder, Michael Oechsle, agus Andreas Geiger. Taisbeanadh tomhas-lìonaidh eadar-dhealaichte: Ag ionnsachadh riochdachaidhean 3D so-thuigsinn gun stiùireadh 3D. Ann an CVPR, duilleagan 3504–3515, 2020. 2
Mìcheal Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger, agus Noha Radwan. Reg-nerf: A’ riaghladh raointean radiance neural airson view synthesis bho chuir a-steach gann. Ann an CVPR, duilleagan 5480–5490, 2022. 2, 4
Mìcheal Oechsle, Songyou Peng, agus Andreas Geiger. UNISURF: Ag aonachadh uachdaran so-thuigsinn neural agus raointean radiance airson ioma-view ath-thogail. Ann an ICCV, duilleagan 5589–5599, 2021. 2

Pàirc Jeong Joon, Peter Florence, Julian Straub, Richard Newcombe, agus Steven Lovegrove. DeepSDF: Ag ionnsachadh gnìomhan astar soidhnichte leantainneach airson riochdachadh cumadh. Ann an CVPR, duilleagan 165–174, 2019. 1
Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, agus Gordon Wetzstein. Riochdachaidhean neural so-thuigsinn le gnìomhan gnìomhachaidh bho àm gu àm. Ann an NeurIPS, 2020. 1
Uilleam AP Smith, Ravi Ramamoorthi, agus Silvia Tozza. Àirde-bho-polarachadh le solais neo-aithnichte no albedo. IEEE TPAMI, 41(12):2875–2888, 2018. 2

Dor Verbin, Peter Hedman, Ben Mildenhall, Todd Zickler, Jonathan T Barron, agus Pratul P Srinivasan. Ref-NeRF: Structarail view- coltas an urra ri raointean radiance neural. Ann an CVPR, duilleagan 5481–5490, 2022. 4, 5
Bruce Walter, Stephen R Marschner, Hongsong Li, agus Coinneach E Torrance. Modalan microfacet airson ath-tharraing tro uachdar garbh. Ann an Imeachdan an 18mh co-labhairt Eurographics air Teicneòlasan Rendering, duilleagan 195–206, 2007. 4
Guangcong Wang, Zhaoxi Chen, Chen Change Loy, agus Ziwei Liu. SparseNeRF: A’ tarraing ìre doimhneachd airson nobhail le beagan dhealbhan view sintéise. arXiv preprint arXiv: 2303.16196, 2023. 2

Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, agus Wenping Wang. NeuS: Ag ionnsachadh uachdar neo-inntinneach le bhith a’ toirt seachad tomhas airson ioma-view Ath-thogail. arXiv preprint arXiv: 2106.10689, 2021. 1, 2, 5
Yiqun Wang, Ivan Skorokhodov, agus Peter Wonka. HF-NeuS: Ath-thogail uachdar nas fheàrr a’ cleachdadh mion-fhiosrachadh àrd-tricead. Ann an NeurIPS, duilleagan 1966–1978, 2022. 2
Haoyu Wu, Alexandros Graikos, agus Dimitris Samaras. S-VolSDF: gann ioma-View Riaghladh Stereo de Uachdaran Neo-fhollaiseach Neoni. ro-chlò arXiv arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8

Jiawei Yang, Marco Pavone, agus Yue Wang. FreeNeRF: Ag adhartachadh tairgse neural le glè bheag de dhealbhan le riaghladh tricead an-asgaidh. Ann an CVPR, duilleagan 8254–8263, 2023. 2
Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, agus Yaron Lipman. Iomaview ath-thogail uachdar neural le bhith a 'cur às do geoimeatraidh agus coltas. Ann an NeurIPS, duilleagan 2492–2502, 2020. 2
Lior Yariv, Jiatao Gu, Yoni Kasten, agus Yaron Lipman. Riochdachadh tomhas-lìonaidh de dh 'uachdar neònach neònach. Ann an NeurIPS, duilleagan 4805–4815, 2021. 1, 2

Alex Yu, Vickie Ye, Matthew Tancik, agus Angjoo Kanazawa. pixelNeRF: raointean radiance neural bho aon no beagan ìomhaighean. Ann an CVPR, duilleagan 4578–4587, 2021. 2
Kai Zhang, Gernot Riegler, Noah Snavely, agus Vladlen Koltun. NeRF ++: A’ sgrùdadh agus a’ leasachadh raointean radiance neural. arXiv preprint arXiv: 2010.07492, 2020. 2
Kai Zhang, Fujun Luan, Qianqian Wang, Kavita Bala, agus Noah Snavely. PhySG: Aithris neo-dhruim le Gaussians spherical airson deasachadh stuthan stèidhichte air fiosaig agus ath-sholarachadh. Ann an CVPR, duilleagan 5453–5462, 2021. 1, 2

Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul De-bevel, Uilleam T Freeman, agus Jonathan T Barron. NeR-Factor: Factaraidh neural de chumadh agus faileas fo shoillseachadh neo-aithnichte. ACM TOG, 40(6):1–18, 2021. 2
Jinyu Zhao, Yusuke Monno, agus Masatoshi Okutomi. Polarimetric ioma-view toirt seachad neo-dhìreach. IEEE TPAMI, 2022. 2

Soidhnichean photometric agus geoimeatrach de NeRSP

A 'tighinn a-mach à cue geoimeatrach
Mar a chithear ann am Fig. S1, le sealladh air a choimhead le diofar views, a uachdar àbhaisteach aig an targaid view faodar a riochdachadh leis na ceàrnan azimuth agus àrdachaidh ϕ agus θ fa leth, ie,

Faodar an dàimh eadar an ceàrn azimuth agus an eileamaid den uachdar àbhaisteach a chruthachadh mar

An uachdar àbhaisteach aig an targaid view faodar a thomhas le bhith a’ cuairteachadh an àbhaist aig an stòr view, ie ˆn = Rn. Leis gu bheil am matrix cuairteachaidh bhon chamara calibrated a’ seasamh mar R = [r1, r2, r3] ⊤, Eq. (2) stèidhichte air ˆn faodar a dhealbhadh mar

r⊤1 n cos ϕ − r⊤ 2 n sin ϕ = 0. (3)

Às deidh MVAS [2], is urrainn dhuinn Eq. (3) gus an dàimh orthogonal fhaighinn eadar an uachdar àbhaisteach agus an vectar tangent t (ϕ) mar a tha air a mhìneachadh gu h-ìosal,

Faodar an co-dhùnadh seo air ceàrn azimuth a leudachadh gu ceàrn polarization (AoP). Faodar an ath-thomhas π a rèiteachadh gu nàdarra mar Eq. (4) seasamh ma chuireas sinn ϕ le π ris. Faodar dèiligeadh ris an ath-thomhas π/2 le bhith a’ cleachdadh vectar tangent tˆ(ϕ) mar sin.

Ma tha f views, faodaidh sinn cruachadh Eq. (4) agus Eq. (5) stèidhichte air cuairteachadh eadar-dhealaichte agus AoPn a chaidh fhaicinn, a’ leantainn gu siostam sreathach

T(x)n(x) = 0. (6)

Bidh sinn a’ làimhseachadh an t-siostam sreathach seo mar ar sealladh geoimeatrach airson ioma-view ath-thogail 3d polarized.

A 'tighinn a-mach à cue photometric
Às deidh a’ mhodail BRDF polarized [1], faodar an vectar stokes toraidh a thoirt a-steach do na pàirtean sgaoilte agus specular a tha air am modaladh tro Hd agus Hs a rèir sin, ie,

Faodar am pàirt stokes sgaoilte fo aon solas a dhealbhadh mar

far a bheil ρd a’ comharrachadh an albedo sgaoilte, is e ϕn an ceàrn azimuth de sholas tachartais air an itealan ceart-cheàrnach ris an uachdar àbhaisteach, T + i, o agus T−i, o comharraich àireamhachadh co-èifeachdan tar-chuir Fresnel [1] a tha co-cheangailte ris an ceàrn eadar view stiùireadh agus uachdar àbhaisteach. Às deidh na beachdan ann am PANDORA [3], bidh sinn ag ath-sgrìobhadh an vectar stokes sgaoilte fo sholas àrainneachd mar

càite air a chomharrachadh mar radiance sgaoilte. An àite a bhith ag obrachadh a-mach bhon cho-aontar, tha an radiance sgaoilte mar chaochladair a tha ag atharrachadh gu àite air a mhapadh gu dìreach bho fheart puing neural a chaidh a thoirt a-mach le MLP stèidhichte air co-chomharran. Air an làimh eile, faodar an vectar stokes specular fo aon stiùireadh solais ω ann am modal polarimetric BRDF a mhìneachadh mar

far a bheil ρs a' comharrachadh an albedo specular; Tha D agus G a’ comharrachadh an teirm sgaoilidh is sgàile àbhaisteach anns a’ mhodal Microfacet [8], a dh’ fhaodar a smachdachadh le garbh uachdar; Tha R + agus R− a’ comharrachadh àireamhachadh nan co-èifeachdan meòrachaidh Fresnel [1], a tha co-cheangailte ris a’ cheàrn eadar uachdar àbhaisteach agus stiùireadh solais tachartais; Is e ϕh an tachartas ceàrn azimuth wrt an leth vectar. Às deidh na beachdan ann am PANDORA [3], bidh sinn ag ath-sgrìobhadh an vectar stokes specular fo sholas àrainneachd mar

càite a’ ciallachadh radiance specular. Leis an tuairmse-suim spilt [5], is urrainn dhuinn tuilleadh tuairmse a dhèanamh air Ls ≈ ρsDG/4n⊤v * fΩ L(ω) dω. A’ tighinn còmhla ris an vectar stokes sgaoilte a chithear ann an Eq. (9), bidh sinn a’ togail a’ chulaidh photometric stèidhichte air a’ mhodail cruthachadh ìomhaigh polarimetric a leanas

Mion-fhiosrachadh Buileachaidh

Tha an earrann seo a’ taisbeanadh mion-fhiosrachadh tairgse ar Synthetic Multi-view Stòr-dàta ìomhaigh polar SMVP3D agus mion-fhiosrachadh trèanaidh NeRSP.

Stòr-dàta
Bidh sinn a’ toirt seachad SMVP3D, anns a bheil ìomhaighean de chòig nithean meòrachail synthetigeach fo shoillseachadh nàdarra. Airson gach nì, bidh sinn a’ toirt seachad 48 views agus clàraich na mapaichean àbhaisteach uachdar fìrinn talmhainn (GT). Bidh sinn a’ cleachdadh Mit-suba3 [4] mar an einnsean tairgse, leis an t-seòrsa BRDF air a chuir gu stuth plastaig polarichte nar tairgse. Airson an albedo ρd sgaoilte, bidh sinn a’ cleachdadh inneach albedo a tha eadar-dhealaichte gu àite gus fìor-eòlas ar toraidhean tairgse àrdachadh. Aig an aon àm, bidh sinn a’ cumail an albedo ρs specular aig luach seasmhach de 1.0 agus a’ suidheachadh garbh an uachdar gu 0.05. Bidh an dòigh-obrach seo a’ dèanamh cinnteach à faileas èideadh thairis air uachdar nan nithean. Tha na h-ìomhaighean polarized a thig às air an toirt seachad aig rùn 512 × 512 piogsail.

Trèanadh
Tha na hyperparameters λg, λm, agus λe nar gnìomh call air an suidheachadh gu 1, 1, agus 0.1, fa leth. Rè a 'phròiseas trèanaidh, bidh sinn a' cleachdadh ro-innleachd blàthachaidh a 'leantainn PAN-DORA [3], far am bi sinn a' beachdachadh air fiosrachadh neo-phòla a-mhàin anns a 'ghiùlan photometric anns a' chiad 1 epochs agus a 'gabhail ris gur e 000 pàirt sònraichte an nì. deuchainnean, bidh sinn a’ cleachdadh rùn de 0 × 512 airson trèanadh agus deuchainn air SMVP512D, agus 3 × 512 airson seataichean dàta fìor. Mar as trice bidh an dòigh againn a’ tighinn còmhla timcheall air 612, 100 epochs, a bheir timcheall air 000 uairean air Nvidia RTX 6 GPU, leis a’ chuimhne a’ caitheamh timcheall air 3090, 8 MB.

Toraidhean tuairmse agus ath-render BRDF

Tha Figear S4 (gu h-àrd) a’ taisbeanadh ar tuairmse air garbh, sgaoilte, agus co-phàirtean specular. Tha na tuairmsean beagan fuaimneach air sgàth dìreach 6 views. Coltach ri Ref-NeRF [7] far a bheil soillseachadh air a smachdachadh gu soilleir tro IDE, chan urrainn dhuinn deuchainnean ath-sholais a dhèanamh. Mar sin, tha sinn a 'sealltainn an nobhail view toraidhean synthesis an àite sin, mar a chithear ann am Fig. S4 (bonn). An coimeas ris na dòighean a th’ ann mar-thà, tha na h-ìomhaighean ath-rìoghail againn nas fhaisge air na beachdan co-fhreagarrach san t-saoghal fhìor.

Toraidhean a bharrachd air na stòran-dàta againn

Anns an earrainn seo, bidh sinn a’ taisbeanadh toraidhean a bharrachd de ath-thogail cumadh air SMVP3D agus an Real-world Multi-view Stòr-dàta ìomhaigh polarichte RMVP3D.

Luachadh air SMVP3D
Tha sinn a’ taisbeanadh nan toraidhean ath-thogail càileachdail bho dhòighean bunaiteach agus an dòigh-obrach againn ann am Figear S2. Tha dìth mion-fhiosrachaidh anns na toraidhean bho MVAS [2], leis nach eil an comharra fotometraigeach air a ghabhail a-steach. Ged a tha NeRO [6] a’ tabhann ath-thogail chumaidhean nas fheàrr, chan eil e a’ toirt seachad uachdar earbsach airson nithean gun inneach, leithid DAVID. Bidh S-VolSDF [9] a’ cleachdadh ioma-gharbh gu mìn.View Dòigh-obrach steireo (MVS) agus a’ sealltainn barrachd cugallachd ri fiosrachadh inneach air uachdar nithean, a bhios uaireannan a’ leantainn gu mì-mhìneachadh mion-fhiosrachadh inneach mar fheartan structarail. Tha duilgheadas aig PANDORA [3] ann a bhith a’ sgaradh fiosrachadh albedo agus speurail gu h-èifeachdach, a’ leantainn gu toraidhean ath-thogail neo-earbsach. Bidh an dòigh againne, NeRSP, a’ cleachdadh comharran fotomeatrach agus geoimeatrach gu h-èifeachdach, agus mar thoradh air sin bidh ath-thogail a tha a’ nochdadh structar GT nas cruinne.

Bidh sinn cuideachd a’ taisbeanadh tuairmsean àbhaisteach an uachdair agus na sgaoilidhean mearachd ceàrnach co-fhreagarrach ann am Fig. views.

Luachadh air RMVP3D
Anns an earrainn seo, bidh sinn a’ taisbeanadh toradh ath-thogail nì eile air RMVP3D. Tha Figear S5 a’ sealltainn gum faod NeRO [6], MVAS [2], agus NeRSP rud spherical sìmplidh ath-chruthachadh gu ceart le uachdar meòrachail. An coimeas ri sin, chan urrainn dha S-VolSDF [9] agus PANDORA [3] an albedo agus pàirt specular den uachdar a mhilleadh, a ’leantainn gu saobhadh anns a’ phròiseas ath-thogail cumadh. Gus eadar-dhealachadh a dhèanamh am measg toraidhean ath-thogail NeRO [6], MVAS [2], agus NeRSP, bidh sinn a’ faicinn an astar Chamfer airson na mogaill ath-thogail le gach dòigh. Mar a chithear ann am Fig. Tha na dealbhan seo a 'sealltainn gu bheil a' mhearachd ath-thogail co-cheangailte ri NeRSP nas lugha an taca ris an dà dhòigh eile.

Sgrùdadh ablation air meòrachadh uachdar

Tha an dòigh againn ag amas air ath-thogail uachdar meòrachail, agus faodar cuideachd a chuir an sàs ann a bhith a’ faighinn air ais an cumadh le uachdar garbh. Mar example, bidh sinn a’ toirt seachad an nì SNAIL a-rithist leis an albedo ρ specular aige a’ lughdachadh bho 1.0 gu 0.1. Tha mearachd cuibheasach ceàrnach (MAE) den uachdar measta àbhaisteach aig cuir a-steach 6 views bho dhiofar dhòighean air a shealltainn ann an Clàr S1. Measadh càileachdail air tuairmse àbhaisteach uachdar agus cuairteachadh mearachd ceàrnach co-fhreagarrach de dhiofar dhòighean fon aon chur-a-steach view air an nochdadh ann am Fig. S7. Tha na deuchainnean sin a’ nochdadh gu bheil a’ mhòr-chuid de dhòighean-obrach a’ leasachadh càileachd ath-thogail air uachdar garbh an taca ri uachdar meòrachail. Gu sònraichte, bidh an dòigh-obrach againn gu cunbhalach a ’lìbhrigeadh an ath-thogail uachdar as earbsaiche den nì.

Sgrùdadh ablation air #views

Tha an NeRSP againn ag amas air ath-thogail de uachdar meòrachail fo chuir a-steach gann views. Bheir na deuchainnean a chithear sa phrìomh phàipear 6 gann views mar chur-a-steach. Gus measadh a dhèanamh air an dòigh-obrach againn fo na h-àireamhan eadar-dhealaichte de chuir a-steach views (ie, #views), bidh sinn a’ dèanamh dheuchainnean air an rud fìor san t-saoghal LION fo shuidheachadh 3, 6, 12, agus 24 views. Tha Figear S8 a’ sealltainn nan cumaidhean a chaidh fhaighinn air ais, fhad ‘s a tha am measadh càileachdail le Chamfer Distance air a thaisbeanadh ann an Clàr S2.

Fo chur-a-steach gann views, leithid 3, tha dòighean a th’ ann mar-thà a’ strì ri toraidhean so-chreidsinneach fhaighinn air ais. Tha seo gu ìre mhòr air sgàth gu bheil iad a’ cuimseachadh an dàrna cuid air sanasan photometric no sanasan geoimeatrach. A’ gabhail S-VolSDF [9] mar example, an cruth measta, mar a chithear ann an dlùth-sheasamh views, fo bhuaidh an inneach co-fhreagarrach. Bidh seo a’ leantainn gu cumaidhean ceàrr mar thoradh air an t-seallaidheachd cruth-radiance fo gann views. Le bhith a’ dèiligeadh ris an dà chuid na comharran geoimeatrach agus photometric, bidh an NeRSP againn a’ lughdachadh na mì-chinnt fo chuir-a-steach gann. Mar thoradh air an sin, bidh sinn a 'coileanadh ath-thogail cumadh nas reusanta. Tha an amharc seo fhathast dligheach nuair a tha an àireamh de chuir a-steach views nas àirde na 12. Mar a chithear ann an Clàr S2, bidh an NeRSP againn gu cunbhalach a’ coileanadh an astar Chamfer as lugha le àireamh nas motha de chuir a-steach views. Tha seo a’ sealltainn èifeachdas ar dòigh-obrach air uachdar meòrachail thar raon farsaing de views.

Clàr S2. Measadh càileachdail air LION air a thomhas le Chamfer Distance (↓) fo chuir a-steach eadar-dhealaichte views.

#Views	NeRO [6]	S-VolSDF [9]	MVAS [2]	PANDORA [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

Luachadh air an dàta polarimetric MVIR

A bharrachd air na fìor dheuchainnean san t-saoghal air stòr-dàta PANDORA [3] agus ar RMVP3D, bidh sinn cuideachd a’ toirt seachad measadh air ioma-view Stòr-dàta ìomhaighean polarichte an làthair ann am PMVIR [10]. Mar a chithear ann am Fig. views mar chur-a-steach. Leis nach eil cumadh GT san t-seata dàta seo, bidh sinn a’ cleachdadh toraidhean PMVIR [10] mar iomradh, a bheir 31 agus 56 views mar chur-a-steach airson a’ chamara agus sealladh a ’chàir, fa leth. Tha sinn a’ faicinn gu bheil na toraidhean againn nas reusanta an taca ris an fheadhainn a tha a’ cleachdadh PANDORA [3], a’ sealltainn èifeachdas ar dòigh air ath-chruthachadh gann 3D.