NeRSP CVPR24 Ujenzi Upya wa Neural 3D kwa Mwongozo wa Maagizo ya Vitu vya Kuakisi

Waandishi: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
Ushirikiano: Chuo Kikuu cha Beijing cha Posta na Mawasiliano ya simu, Chuo Kikuu cha Osaka, Chuo Kikuu cha Peking

Muhtasari: Bidhaa ya NeRSP inatoa matokeo bora ya uundaji upya wa sura kwa nyuso zinazoakisi ikilinganishwa na mbinu zilizopo.

Maagizo ya Matumizi ya Bidhaa

Utangulizi
Bidhaa ya NeRSP imeundwa kwa ajili ya uundaji upya wa 3D wa vitu vya kuakisi kwa kutumia picha chache za polarized. Inashinda changamoto zinazohusiana na kutafuta nyingiview mawasiliano na umbo la kutenganisha kutoka kwa mng'ao chini ya mawasiliano machache.

Kazi Zinazohusiana
NeRSP imehamasishwa na Sehemu za Neural Radiance (NeRF) na mbinu zingine za ujenzi wa neural 3D. Ni mfano wa umbo la uso kwa njia kamili kupitia uga wa umbali uliotiwa saini (SDF) na hutumia ufuatiliaji wa duara unaoweza kutofautishwa na utoaji wa sauti ili kuboresha ubora wa uundaji upya.
Mfano wa Uundaji wa Picha ya Polarimetric
NeRSP inajumuisha modeli ya uundaji wa picha ya polarimetri ili kupata alama za fotometri na kijiometri kwa ajili ya ujenzi upya.

Maswali Yanayoulizwa Mara kwa Mara:

Swali: Advan ni ninitage ya kutumia NERSP kwa uundaji upya wa 3D?
A: NeRSP inatoa matokeo bora ya uundaji upya wa sura kwa nyuso za kuakisi ikilinganishwa na mbinu zilizopo kutokana na mbinu yake ya kibunifu kwa kutumia picha chache zilizogawanyika.

Swali: Je, bidhaa ya NERSP inafaa kwa nyuso zinazoenea?
A: Ingawa NeRSP imeundwa kwa ajili ya nyuso zinazoakisi, inaweza pia kutoa makadirio ya umbo ya kusadikisha kwa nyuso zinazosambaa ambapo uthabiti wa fotometri ni halali kote. views.

NERSP:
Uundaji Upya wa Neural 3D kwa Vitu vya Kuakisi na Picha Zenye Polarized

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

Chuo Kikuu cha Beijing cha Posta na Mawasiliano

Shule ya Wahitimu wa Sayansi ya Habari na Teknolojia, Chuo Kikuu cha Osaka
Maabara Muhimu ya Kitaifa ya Usindikaji wa Habari za Multimedia, Shule ya Sayansi ya Kompyuta, Chuo Kikuu cha Peking 4Kituo cha Utafiti cha Kitaifa cha Uhandisi cha Teknolojia ya Kuonekana, Shule ya Sayansi ya Kompyuta, Chuo Kikuu cha Peking.
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

Muhtasari

Tunawasilisha NeRSP, mbinu ya uundaji upya wa Neural 3D kwa Nyuso za Kuakisi na picha za Sparse Polarized. Uundaji upya wa uso wa kuakisi ni changamoto kubwa kama vile tafakari maalum zilivyo view-tegemezi na hivyo kukiuka wingiview uthabiti kwa anuwaiview stereo. Kwa upande mwingine, pembejeo chache za picha, kama mpangilio wa kunasa kivitendo, kwa kawaida husababisha kutokamilika au matokeo yaliyopotoshwa kwa sababu ya ukosefu wa kulinganisha mawasiliano. Karatasi hii inashughulikia kwa pamoja changamoto za pembejeo chache na nyuso za kuakisi kwa kutumia picha zilizogawanyika. Tunapata vidokezo vya fotometriki na kijiometri kutoka kwa muundo wa uundaji wa picha za polarimetri na anuwaiview uthabiti wa azimuth, ambayo huboresha kwa pamoja jiometri ya uso iliyoigwa kupitia uwakilishi dhahiri wa neva. Kulingana na majaribio ya seti zetu za data za sanisi na halisi, tunapata matokeo ya hali ya juu ya urekebishaji wa uso kwa kutumia 6 pekee. views kama pembejeo.

Utangulizi

Nyingiview Uundaji upya wa 3D ni shida ya kimsingi katika maono ya kompyuta (CV) na imesomwa sana kwa miaka mingi [14]. Pamoja na maendeleo ya uwakilishi kamili wa uso [27, 28] na nyanja za mionzi ya neva [22], anuwai ya hivi majuzi.view Mbinu za ujenzi wa 3D [5, 33, 38, 41] zimepata maendeleo makubwa. Licha ya matokeo ya kulazimisha ya urejeshaji wa sura, nyingi nyingiview Mbinu za stereo (MVS) bado zinategemea sana kupata mawasiliano kati ya views, ambayo ni changamoto hasa kwa nyuso zinazoakisi na ingizo chache views.

Kwa nyuso za kutafakari, view-uso tegemezi ap-

Mchango sawa. ∗ Mwandishi anayelingana.
Ukurasa wa mradi: https://yu-fei-han.github.io/NeRSP-project/.

Mchoro 1. Urejeshaji wa umbo la uso wa kuakisi kutoka kwa picha 6 zilizo na rangi chache (safu za juu). NeRSP yetu hupata matokeo bora ya uundaji upya ikilinganishwa na mbinu zilizopo ambazo hushughulikia pembejeo chache (S-VolSDF [35]) au uakisi wa kuakisi (PANDORA [9]).

Pearance huvunja dhana ya uthabiti wa fotometri inayotumika katika makadirio ya mawasiliano katika MVS. Ili kushughulikia tatizo hili, mbinu za hivi majuzi za uundaji upya wa 3D wa neva (km, Ref-NeuS [13], NeRO [19] na PANDORA [9]) huonyesha kielelezo cha uakisi na kukadiria kwa wakati mmoja uakisi na ramani za mazingira kupitia uwasilishaji kinyume. Walakini, upatikanaji wa picha mnene chini ya anuwai views inahitajika ili kushughulikia kwa uaminifu mambo ya ziada yasiyojulikana kando na umbo, kama vile albedo, ukali na ramani ya mazingira.

Kutoka kwa pembejeo chache views, mara nyingi ni changamoto kupata nyingi za kutoshaview mawasiliano. Hasa wakati wa kuwakilisha view-akisi tegemezi, ni vigumu kutenganisha umbo kutoka kwa mng'ao chini ya idadi ndogo ya mawasiliano, na kusababisha utata wa mng'ao wa umbo [40]. Mbinu za hivi majuzi za ujenzi wa neural 3D kwa sparse views (km, S-VolSDF [35] na SparseNeuS [20]) zinahitaji urekebishaji kwa kutumia uthabiti wa fotometriki, ambayo inaweza kukiukwa kwa nyuso zinazoakisi.

Ili kushughulikia matatizo yote mawili, tunapendekeza kutumia picha chache za polarized badala ya pembejeo za RGB. Hasa, tunapendekeza NeRSP, mbinu ya uundaji upya wa Neural 3D ili kurejesha umbo la Nyuso za Kuakisi kutoka kwa picha za Sparse Polarized. Tunatumia pembe ya polarization (AoP) inayotokana na picha za polarized, ambayo inaonyesha moja kwa moja angle ya azimuth ya umbo la uso hadi π na π/2 utata. Alama hii ya kijiometri inajulikana kuwezesha anuwaiview uundaji upya wa umbo bila kujali sifa za uakisi wa uso, lakini umbo linalokadiriwa kulingana na alama ya kijiometri pekee ni utata [6] chini ya uhaba. view mipangilio. Kwa upande mwingine, kidokezo cha fotometri kutoka kwa modeli ya uundaji wa picha ya polarimetri [2] husaidia uundaji upya wa uso wa neva (km, PANDORA [9]) kwa kupunguza tofauti kati ya picha zilizotolewa tena na zilizonaswa za polarized. Hata hivyo, makadirio ya umbo kulingana na kiashiria cha fotometri pekee pia hayajawekwa vizuri chini ya viingizi vichache kutokana na utata wa mng'aro wa umbo. Tofauti na mbinu iliyopo ya msingi wa polarimetri ya PANDORA [9] kwa kuzingatia alama ya fotometri pekee, NeRSP yetu inaonyesha ujumuishaji wa viashiria vya kijiometri na fotometri kwa ufanisi hupunguza nafasi ya suluhisho kwa umbo la uso, inayoonyeshwa kuwa bora katika uundaji upya wa uso unaoakisi kulingana na pembejeo chache. , kama inavyoonekana kwenye Mchoro 1.

Kando na NeRSP iliyopendekezwa ya ujenzi wa 3D, pia tumeunda Multi-world MultiView Seti ya data ya picha iliyochanganuliwa iliyo na vipengee 6 vilivyo na wavu wa 3D uliopangiliwa (GT), unaoitwa RMVP3D. Tofauti na seti za data zilizopo kama vile seti ya data ya PANDORA [9] inayotoa picha zilizogawanyika pekee, wavu wa GT uliopangiliwa na kanuni za uso kwa kila moja. view kuruhusu tathmini ya kiasi cha multiview ujenzi wa polarized 3D.

Kwa muhtasari, tunasonga mbele nyingiview Uundaji upya wa 3D kwa kupendekeza

NeRSP, njia ya kwanza inapendekeza kutumia habari ya polarimetri kwa ujenzi wa uso wa kuakisi chini ya uhaba. views;

uchambuzi wa kina wa ishara ya photometric na kijiometri inayotokana na picha za polarized; na
RMVP3D, aina ya kwanza ya ulimwengu halisiview seti ya data iliyogawanyika na maumbo ya GT kwa tathmini ya kiasi.

Kazi inayohusiana

Nyingiview Uundaji upya wa 3D umesomwa sana kwa miongo kadhaa. Sehemu za Neural Radiance (NeRF) [3, 22, 40] zimepata mafanikio makubwa katika riwaya. view awali katika miaka ya hivi karibuni. Ikiongozwa na NeRF, mbinu za uundaji upya wa 3D wa neva [24] zinapendekezwa, ambapo umbo la uso huigwa kikamilifu kupitia uga wa umbali uliotiwa saini (SDF). Kuanzia DVR [24], mbinu zinazofuata huboresha ubora wa uundaji upya kupitia ufuatiliaji wa duara unaotofautiana [37], uwasilishaji wa sauti [26, 33, 38], au uwakilishi wa umbo ulioimarishwa zaidi [18, 34]. Mbinu hizi zinaweza kufikia makadirio ya umbo yenye kushawishi kwa nyuso zilizosambaa ambapo uthabiti wa kipimo cha picha ni halali kote. views.

Uundaji upya wa nyuso za kuakisi ni changamoto kwani uthabiti wa fotometri ni batili. Mbinu zilizopo [5, 41, 42] kwa uwazi mfano wa view-akisi tegemezi na kutenganisha umbo, miale ya anga-tofauti ya anga, na sifa za uakisi kama vile albedo na ukali. Walakini, makadirio ya vigeu vilivyo hapo juu hayaridhishi kwani mtengano huo haujaletwa vibaya sana. NeRO [19] inapendekeza kutumia ukadiriaji wa mgawanyiko wa muundo wa uundaji wa picha na kuboresha zaidi ubora wa uundaji upya bila kuhitaji vinyago vya kitu. Hata hivyo, mbinu zilizo hapo juu kwa kawaida huhitaji kunasa picha mnene ili kuhakikisha matokeo yanayokubalika ya kurejesha umbo kwa nyuso zenye changamoto za kuakisi.

Ujenzi upya na wachache views ni muhimu kwa matukio ya vitendo yanayohitaji kunasa kwa ufanisi. Kwa sababu ya ukosefu wa mawasiliano ya kutosha kutoka kwa mdogo views, utata wa mng'ao wa umbo hauwezi kutatuliwa, na kusababisha urejeshaji wa umbo lenye kelele na potofu. Mbinu zilizopo hushughulikia tatizo hili kwa kuongeza urekebishaji kama vile ulaini wa jiometri ya uso [25], kina kirefu kabla ya [10, 32], au udhibiti wa marudio wa usimbaji wa nafasi [36]. Baadhi ya mbinu [7, 20, 39] huunda uundaji upya wa 3D kama tatizo la ujanibishaji wa 3D ambapo vipengele vya picha vilivyofunzwa mapema hutumiwa kama vipaumbele vinavyoweza kueleweka kwa ujumla. S-VolSDF [35] inatumika anuwai ya zamaniview mbinu ya stereo kama uanzishaji na kuhalalisha uboreshaji wa uwasilishaji wa neva na ujazo wa uwezekano. Hata hivyo, bado ni changamoto kwa mbinu za sasa za kurejesha nyuso zinazoakisi kwa usahihi.

Uundaji upya kwa kutumia picha za polarized umesomwa kwa zote mbili.view mipangilio [1, 2, 16, 23, 29] na anuwaiview mipangilio [6, 8, 9, 11, 12, 43]. Tofauti na picha za RGB, AoP kutoka kwa picha zilizogawanywa hutoa vidokezo vya moja kwa moja kwa kawaida ya uso. Mmoja-view umbo kutoka kwa mbinu za utengano (SfP) hufaidika kutokana na mali hii na kukadiria uso wa kawaida chini ya mwanga mmoja wa mbali [21, 29] au mwanga wa asili usiojulikana [1, 16]. Nyingiview Mbinu za SfP [8, 43] kutatua utata wa π na π/2 katika AoP kulingana na anuwaiview uchunguzi. PANDORA [9] ndiyo mbinu ya kwanza ya uundaji upya wa 3D wa neva kulingana na picha zilizogawanyika, iliyoonyeshwa kuwa nzuri katika kurejesha umbo la uso na mwangaza. MVAS [6] hurejesha umbo la uso kutoka kwa anuwaiview ramani za azimuth, zinazohusiana kwa karibu na ramani za AoP zinazotokana na

picha za polarized. Hata hivyo, mbinu hizi hazichunguzi kwa kutumia picha zilizogawanyika kwa ajili ya uundaji upya wa uso unaoakisi chini ya picha chache.

Mfano wa Uundaji wa Picha ya Polarimetric

Kabla ya kupiga mbizi kwenye mbinu iliyopendekezwa, kwanza tunatanguliza modeli ya uundaji wa picha ya polarimetri na kupata alama ya kipimo cha picha na alama ya kijiometri katika mbinu yetu. Kama inavyoonyeshwa kwenye Mchoro wa 2, kamera ya mgawanyiko wa muhtasari hurekodi uchunguzi wa picha katika pembe nne tofauti za mgawanyiko, huku thamani zake za pikseli zikibainishwa kama {I0, I45, I90, I135}. Picha hizi nne zinaonyesha hali ya mgawanyiko wa taa zilizopokewa, ambayo inawakilishwa kama vekta ya 4D Stokes s = [s0, s1, s2, s3] iliyokokotwa kama

Tunadhania kuwa hakuna mwanga wa mchanganyiko wa mviringo hivyo basi kugawa s3 kuwa 0. Vekta ya Stokes inaweza kutumika kukokotoa pembe ya ubaguzi (AoP), yaani.

Kulingana na vekta ya AoP na Stokes, tunapata viashiria vya kijiometri na fotometri sawia.

Kielelezo cha kijiometri
Kwa kuzingatia AoP ϕa, pembe ya azimuth ya uso inaweza kuwa ϕa + π/2 au ϕa + π, inayojulikana kama utata wa π na π/2 kutegemea kama uso ni maalum au unaoenea. Katika sehemu hii, tunatanguliza kwanza alama ya kijiometri inayoletwa na anuwaiview azimuth ramani na kisha kuipanua kwa kesi ya AoP.

Kufuatia MVAS [6], kwa eneo x, uso wake wa kawaida n na pembe ya azimuth iliyokadiriwa ϕ katika kamera moja. view kufuata uhusiano kama

ambapo R = [r1, r2, r3]⊤ ni matriki ya mzunguko wa mkao wa kamera. Tunaweza kupanga tena Eq. (3) kupata uhusiano wa orthogonal kati ya uso wa kawaida na vekta tangent iliyokadiriwa t(ϕ) kama inavyofafanuliwa hapa chini,

Utata wa π kati ya AoP na pembe ya azimuth inaweza kutatuliwa kwa kawaida kama Eq. (4) inasimama ikiwa tutaongeza ϕ kwa π. Utata wa π/2 unaweza kushughulikiwa kwa kutumia vekta tangent t ˆ(ϕ) inayokisiwa kuwa bandia ili

Ikiwa eneo moja la tukio x linazingatiwa na f views, tunaweza kuweka Eq. (4) na Eq. (5) kulingana na k mizunguko tofauti na kuzingatiwa AoPs, inayoongoza kwa mfumo wa mstari

T(x)n(x) = 0. (6)

Tunachukulia mfumo huu wa mstari kama kiashiria chetu cha kijiometri kwa anuwai nyingi.view ujenzi wa polarized 3D.

Kiashiria cha picha
Kwa kudhani kuwa mwangaza wa mazingira ya tukio hauna mgawanyiko, vekta ya Stokes ya mwelekeo wa mwanga wa tukio ω inaweza kuwakilishwa kama

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

ambapo L(ω) inaashiria mwangaza wa mwanga. Mwangaza unaotoka uliorekodiwa na kamera ya utengano hubadilika kwa sehemu kutokana na uakisi. Mchakato huu umeundwa kupitia 4×4 Muller matrix H. Chini ya mwangaza wa mazingira, vekta ya Stokes inayotoka hivyo inaweza kutengenezwa kama kiungo cha tukio la vekta ya Stokes ikizidishwa na muundo wa Muller, yaani.

ambapo v na Ω zinaashiria view mwelekeo na kikoa muhimu. Kufuatia modeli ya BRDF (pBRDF) iliyogawanywa [2], vekta ya pato ya Stokes inaweza kuoza na kuwa sehemu za kipekee zilizoigwa kupitia Hd na Hs sambamba, yaani.

Kufuatia chimbuko kutoka PANDORA [9], tunaweza kuunda vekta ya pato la Stokes kama

ambapo Ld =fΩ ρL(ω)ω⊤n T+i T−i dω inaashiriwa kama mng'ao mtawanyiko unaohusiana na uso wa kawaida n, viambajengo vya maambukizi ya Fresnel [2] T+i,o na T−i,o, kueneza albedo ρ , na pembe ya azimuth ya mwanga wa tukio ϕn. Ls = fΩ L(ω) DG 4n⊤v dω inaashiria mng'ao maalum unaohusiana na viwianishi vya kuakisi vya Fresnel [2] R+ na R-, tukio la pembe ya azimuth ϕh wrt nusu vekta h = ω+v∥ω+v∥22, na usambazaji wa kawaida na neno la kivuli D na G katika modeli ya Microfacet [31].

Tafadhali angalia nyenzo za ziada kwa maelezo zaidi. Kulingana na modeli ya kuunda picha ya polarimetri iliyoonyeshwa katika Eq. (10), tunaunda alama ya picha.

Mbinu iliyopendekezwa

NeRSP yetu inachukua anuwai nyingiview picha zilizogawanyika, kinyago sambamba cha silhouette ya kitu kinacholengwa, na kamera husimama kama ingizo na kutoa umbo la uso wa kitu kinachowakilishwa kwa njia isiyo dhahiri kupitia SDF. Tunaanza na mjadala kuhusu viashiria vya fotometri na viashiria vya kijiometri katika kutatua utata wa uundaji upya wa umbo, ikifuatiwa na maagizo ya muundo wa mtandao na utendaji wa upotevu wa NRSP yetu.

Utata katika uundaji upya wa 3D
Kiashiria cha kijiometri na alama ya picha huchukua jukumu muhimu katika kupunguza nafasi ya suluhisho la umbo la uso chini ya chache. views. Kama inavyoonyeshwa kwenye Mchoro wa 3, tunaonyesha makadirio ya umbo chini ya 2 views na ishara tofauti. Kwa kuzingatia picha za RGB pekee kama ingizo (sambamba na mpangilio katika NeRO [19] na S-VolSDF [35]), michanganyiko tofauti ya nafasi za eneo la tukio, hali ya kawaida ya uso, na sifa za uakisi kama vile albedo zinaweza kusababisha uchunguzi sawa wa picha, kwani kuna vipimo viwili tu vya RGB kwa kila pointi za 3D kando ya mwale wa kamera. Na vekta za Stokes zilizotolewa kutoka kwa picha zilizogawanyika, kiashiria cha fotometri huleta vipimo 6 kwa kila nukta ya 3D (vekta ya Stokes ina vipengele 3), na kupunguza utahiniwa wa kawaida wa uso kutofaa kwa muundo wa uundaji wa picha za polarimetri.

Kwa upande mwingine, kulingana na ramani za AoP1 kutoka kwa picha zilizogawanyika, tunaweza kubainisha kwa njia ya kipekee uso wa kawaida hadi utata wa π kwa kila sehemu ya tukio kando ya mwale wa kamera. Hata hivyo, bado ni utata kupata nafasi ambapo mwale wa kamera hukatiza uso isipokuwa theluthi view hutolewa [6]. Kwa hiyo, chini ya wachache viewmpangilio wa s (kwa mfano, 2 views katika Mchoro 3), kubainisha nafasi ya eneo la tukio kulingana na alama ya kijiometri au fotometric bado ni utata.
Njia yetu inachanganya vidokezo hivi viwili vinavyotokana na picha za polarized. Kama inavyoonekana katika sehemu ya chini-kulia ya Mtini. 3, nafasi sahihi ya eneo la tukio inapaswa kuwa ya kawaida katika makutano ya makundi ya watahiniwa wa kawaida yanayotokana na alama za picha na kijiometri. Kama uso wa kawaida kwa s tofautiampsehemu za eneo zinazoongozwa hubainishwa kwa njia ya kipekee na viashiria vya kijiometri, tunaweza kubainisha kwa urahisi kama uhakika uko juu ya uso kwa usaidizi wa alama ya picha. Kwa njia hii, tunapunguza nafasi ya ufumbuzi wa ujenzi wa uso wa kutafakari wa sparse-risasi.

NERSP
Muundo wa mtandao Kama inavyoonyeshwa katika Kielelezo 4, NERSP yetu inatumia muundo sawa wa mtandao na PANDORA [9] asili iliyotokana na Ref-NeRF [30]. Kwa miale ya mwanga inayotolewa kutoka kituo cha kamera o na mwelekeo v, sisi sample uhakika kwenye miale yenye umbali wa kusafiri ti, eneo lake limebainishwa kwa xi = o + tiv. Kufuatia uwasilishaji wa sauti unaotumika katika NeRF [25], vekta ya Stokes s(v) iliyoangaliwa inaweza kuunganishwa na uwazi wa sauti σi na vekta za Stokes kwenye s.amppointi zilizoongozwa kando ya ray, yaani

wapi onyesha upitishaji uliokusanywa wa asamppointi inayoongozwa.

Kwa kuchochewa na mbinu ya hivi majuzi ya kujenga upya 3D ya neva NeuS [33], tunapata uwazi wa sauti kutoka kwa mtandao wa SDF na pia kutoa uso wa kawaida kutoka kwa upinde rangi wa SDF. Kukokotoa hivyo(xi, v) kwa samppointi zinazoongozwa, tunafuata mfano wa uundaji wa picha ya polarimetri katika Eq. (10). Hasa, mng'ao wa kueneza Ld unahusiana na mgawo wa usambazaji wa albedo na Fresnel, ambayo inategemea nafasi za tukio lakini haibadilika kwa view mwelekeo. Kwa hivyo, tunatumia mtandao wa mng'ao ulioenea kuweka ramani ya Ld kutoka kwa vipengele vya kila eneo la tukio. Mng'ao maalum Ls unahusiana na lobe maalum iliyoamuliwa na view mwelekeo, uso wa kawaida, na ukali wa uso. Kwa hivyo tunatumia RoughnessNet kutabiri ukali wa uso. Pamoja na kamera view mwelekeo na uso uliotabiriwa kuwa wa kawaida, tunakadiria mng'ao maalum Ls kufuata-kupunguza moduli jumuishi ya usimbaji nafasi iliyopendekezwa na Ref-NeRF [30]. Kwa kuchanganya Ld na Ls, tunaunda upya vekta ya Stokes iliyozingatiwa kufuatia Eq. (10).

Kazi ya kupoteza
Upotezaji wa fotometri hufafanuliwa kama umbali wa L1 kati ya ˆs(v) iliyozingatiwa na vekta za Stokes s(v), yaani,

ambapo V inaashiria miale yote ya kamera inayotupwa ndani ya vinyago vya kitu kwa tofauti views. Kwa hasara ya kijiometri. kwanza tunapata eneo la tukio la 3D x kando ya miale ya kamera v hadi kugusa uso na kisha kupata nafasi zilizokadiriwa za 2D-pixel katika tofauti. views. Hasara ya kijiometri inafafanuliwa kulingana na Eq. (6), yaani,

ambapo X inaashiria makutano yote ya uso wa miale ndani ya vinyago vya kitu kwa tofauti views. Kando na upotezaji wa picha na kijiometri, tunaongeza upotezaji wa vinyago unaosimamiwa na vinyago vya kifaa na upotezaji wa urekebishaji wa Eikonal. Upotezaji wa mask hufafanuliwa kama

wapi inawakilisha barakoa iliyotabiriwa kwenye mionzi ya kamera ya k-th, ambayo thamani yake ya barakoa ya GT inaashiriwa kama Mk. BCE inawakilisha upotezaji wa mtambuka wa binary.

ambapo ni,k ni uso wa kawaida unaotokana na mtandao wa SDF kwenye i-th sampsehemu inayoongoza kwenye mionzi ya kamera ya k-th. NeRSP yetu inasimamiwa na mchanganyiko wa masharti ya upotevu yaliyo hapo juu, yaani

ambapo λe, λm, na λp ni mgawo wa masharti ya hasara yanayolingana.

Karatasi ya data ya RMVP3D
Ili kutathmini kwa kiasi mbinu inayopendekezwa, tunanasa Wingi wa Ulimwengu Halisiview Seti ya data ya picha iliyochangiwa na meshi za ukweli wa msingi. Mchoro wa 5 (kushoto) unaonyesha usanidi wetu wa kunasa, unaojumuisha kamera ya polarimetric, FLIR BFS-U3-51S5PC-C, iliyo na lenzi ya mm 12 na reli ya mzunguko. Tunatumia OpenCV kwa kuondoa data mbichi na kupata picha za rangi 1224×1024 na pembe za polarizer katika digrii 0, 45, 90 na 135. Wakati wa kunasa data, tunaweka vitu vinavyolengwa katikati ya reli na kunasa picha 60 kwa kila kitu kwa kusogeza kamera wewe mwenyewe. Tunakusanya vitu 4 kama malengo: MBWA, CHURA, SIMBA, NA MPIRA, kama inavyoonyeshwa kwenye Mchoro 5 (katikati). Kwa tathmini ya kiasi, tunatumia kichanganuzi cha leza cha Creaform HandySCAN BLACK chenye usahihi wa mm 0.01 ili kupata wavu wa ukweli wa msingi. Ili kupanga mesh kwa picha iliyopigwa views, kwanza tunatumia PANDORA [9] kukadiria umbo la rejeleo kwa kutumia zote zinazopatikana views na kisha ulinganishe wavu uliochanganuliwa kwa ile iliyokadiriwa kupitia algoriti ya ICP [4]. Kando na maumbo ya ukweli wa ardhini na anuwaiview picha, pia tunanasa ramani ya mazingira kwa kutumia kamera ya digrii 360 THETA Z1, na kunufaisha tathmini za kiasi kwenye ukadiriaji wa mwanga kwa kazi zinazohusiana za uwasilishaji kinyume cha neva.

Majaribio

Tunatathmini NERSP kwa majaribio matatu: 1) kulinganisha na anuwai iliyopoview Mbinu za uundaji upya wa 3D kwa kiasi kwenye mkusanyiko wa data sintetiki; 2) utafiti wa uondoaji juu ya mchango wa masharti ya hasara ya kijiometri na fotometri 3) tathmini za ubora na kiasi kwenye seti za data za ulimwengu halisi. Pia tunatoa BRDF na riwaya view matokeo katika nyenzo za ziada.

Seti za Data na Misingi
Seti ya data. Tunatayarisha seti mbili za data za ulimwengu halisi: seti ya data ya PAN-DORA [9] na RMVP3D inayopendekezwa, ambapo mkusanyiko wa data wa PANDORA [9] hutumika tu kwa tathmini ya ubora kwani wavu za ukweli msingi hazijatolewa. Pia tunatayarisha multi-syntheticview seti ya data ya picha ya polarized SMVP3D yenye injini ya uonyeshaji ya Mitsuba [15], ambayo ina vitu 5 vyenye mwonekano unaotofautiana wa anga, kama inavyoonyeshwa kwenye Mchoro 6. Vipengee hivyo vinamulikwa na ramani za mazingira2 na kunaswa na 6 viewinasambazwa kwa nasibu karibu na vitu. Kando na picha zilizogawanywa, tunasafirisha pia vekta za stoki, ramani za kawaida za uso wa GT, na ramani za AoP kwa kila kitu.

Misingi ya msingi. Kazi yetu inasuluhisha anuwaiview Uundaji upya wa 3D kwa nyuso zinazoakisi kulingana na picha chache za polarized. Kwa hivyo, tunachagua mbinu za kisasa za ujenzi wa 3D zinazolenga nyuso zinazoakisi NeRO [19] na chache. views S-VolSDF [35]. Njia mbili zilizo hapo juu zinatokana na pembejeo za picha za RGB. Kwa nyingiview stereo kulingana na picha zilizogawanyika, tunachagua PANDORA [9] na MVAS [6] kama msingi wetu. NeRO [19] haihitaji vinyago vya silhouette kama pembejeo. Kwa ulinganisho wa haki, tunaondoa usuli katika picha za RGB na vinyago vinavyolingana kabla ya kuingiza kwenye NeRO [19]. Ili kulinganisha mbinu tofauti, tunatumia umbali wa Chamfer (CD) kati ya makadirio na wavu za GT, na wastani wa hitilafu ya angular (MAE) kati ya makadirio na kawaida ya uso wa GT kwa tofauti. views kama vipimo vyetu vya tathmini.

Urejeshaji wa umbo kwenye mkusanyiko wa data sanisi
Kama inavyoonyeshwa katika Jedwali la 1, tunafupisha hitilafu ya ukadiriaji wa umbo la mbinu zilizopo na yetu kwenye SMVP3D. Mbinu yetu inafikia umbali mdogo wa Chamfer pamoja na vitu vyote 5 vya syntetisk. Kulingana na makadirio ya umbo yaliyoonyeshwa kwenye Mchoro 7, NeRO [19] na S-VolSDF [35] haziwezi kurejesha kwa usahihi maelezo ya uso kama ilivyoangaziwa katika hali iliyofungwa. views. Sababu moja inayowezekana ni kwamba kutengana kwa umbo na uakisi wa kuakisi kutoka kwa picha chache ni changamoto sana kwa mbinu hizi kulingana na maelezo ya RGB pekee. MVAS [6] na PANDORA [9] hushughulikia viashiria vya kijiometri na fotometri vya picha zilizogawanyika, kando. Hata hivyo, maumbo ya uso ya kuakisi yaliyojengwa upya bado hairidhishi kwa sababu ya utata wa alama za kijiometri na fotometri chini ya uhaba. views mpangilio. Kama ilivyoangaziwa katika hali iliyofungwa views, kwa kunufaika na viashiria vya kijiometri na fotometri, mbinu yetu hupunguza nafasi ya suluhisho la ukadiriaji wa umbo, na hivyo kusababisha urejeshaji wa umbo unaofaa ikilinganishwa na maumbo ya GT.

Kando na tathmini ya matundu yaliyojengwa upya, pia tunajaribu matokeo ya makadirio ya kawaida ya uso. Kama inavyoonyeshwa katika Jedwali la 2, tunafupisha wastani wa makosa ya angular ya makadirio ya hali ya kawaida ya uso katika 6 views kutoka kwa njia tofauti. Sambamba na matokeo ya tathmini katika Jedwali la 1, NeRSP hufanikisha makosa madogo ya wastani ya angular kwa wastani. Pia tuliona kuwa matokeo kutoka kwa NeRO [19], MVAS [6], na PANDORA [9] yana hitilafu kubwa zaidi kwenye vitu vilivyo na maelezo mazuri, kama vile vitu vya DAVID na DRAGON. Kama example, MVAS [6] ina umbali wa pili mdogo wa Chamfer ulioonyeshwa katika Jedwali 1, lakini wastani wa hitilafu ya angular ni zaidi ya 20◦. Sababu moja inayowezekana ni njia zilizopo hutoa maumbo laini kwenye sparse views, ambapo maelezo ya uso kama vile flakes ya JOKA haijapatikana vizuri.

Jedwali 1. Ulinganisho wa urejeshaji wa umbo kwenye mkusanyiko wa data sanisi uliotathminiwa na umbali wa Chamfer (↓). Makosa madogo na ya pili madogo yameandikwa kwa herufi nzito na kupigwa mstari. “N/A” inaashiria jaribio ambapo mbinu mahususi haiwezi kutoa matokeo yanayofaa ya ukadiriaji wa umbo.

Utafiti wa uondoaji
Katika sehemu hii, tunafanya utafiti wa uondoaji ili kupima ufanisi wa ishara za kijiometri na photometric. Kuchukua kitu cha DRAGON kama exampna, tunaendesha njia yetu na bila upotezaji wa picha ya Lp na upotezaji wa kijiometri Lg. Kama inavyoonyeshwa kwenye Mchoro wa 8, tunapanga umbo na uso wa makadirio ya kawaida kwa kuzima masharti tofauti ya hasara. Bila upotezaji wa fotometri, utata wa umbo kwa sababu ya uchache views hutokea. Kama inavyoonyeshwa kutoka kwa kufungwa views, sura karibu na sehemu ya mguu ina mabaki ya concave, kwani kuna mbili tu zinazoonekana views kwa eneo hili, haiwezi kuunda suluhu la kipekee la umbo kulingana na ramani za AoP [6]. Bila upotevu wa kijiometri, pia tunapata matokeo ya umbo potofu kwani uchunguzi wa picha chache hautoshi kuoza umbo, uakisi na mwanga kwa njia ya kipekee. Kwa kuchanganya upotezaji wa picha na kijiografia, NeRSP yetu inapunguza utata wa ufunikaji upya wa umbo na umbo linalokadiriwa kuwa karibu na GT, kama ilivyoangaziwa katika sehemu iliyofungwa. views.

Mchoro wa 8. Utafiti wa uondoaji juu ya masharti tofauti ya hasara. Safu mlalo za juu na za chini zinaonyesha taswira ya umbo lililokadiriwa na uso wa kawaida, na umbali wa Chamfer na wastani wa hitilafu ya angular iliyoandikwa juu ya kila kielelezo kidogo, mtawalia.

Urejeshaji wa umbo kwenye data halisi
Kando na majaribio ya syntetiki yaliyoonyeshwa katika sehemu iliyotangulia, pia tunatathmini mbinu yetu kwenye seti za data za ulimwengu halisi za PANDORA [9] na RMVP3D ili kupima utumikaji wake katika hali halisi za uundaji upya wa 3D.

Tathmini ya ubora kwenye mkusanyiko wa data wa PANDORA [9]. Kama inavyoonyeshwa kwenye Kielelezo 9, tunatoa tathmini za ubora wa mkusanyiko wa data wa PAN-DORA [9]. Ikilinganishwa na mwonekano wa picha na makadirio ya matokeo kutoka S-VolSDF [35] na NeRO [19], umbo hilo halijatenganishwa kikamilifu kutoka kwenye uakisi, na kusababisha maumbo matuta ambayo yanahusiana kwa karibu na umbile la uakisi. MVAS [6] na PANDORA [9] zina makadirio ya umbo lililolainishwa kupita kiasi au vizalia vya umbo la concave, kutokana na kushughulikia viashiria vya kijiometri au fotometric pekee chini ya mpangilio wa kunasa kidogo. Matokeo yetu ya ukadiriaji wa umbo hayana vizalia vya umbo kama hivi na yanalingana na uchunguzi wa picha kwa karibu.

Jedwali 3. Tathmini ya kiasi kwenye RMVP3D yenye umbali wa Chamfer (↓). Mbinu yetu inafikia hitilafu ndogo zaidi kwa wastani.

Mbinu	MBWA	SIMBA	CHURA	MPIRA	Wastani
NeRO [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
PANDORA [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (Yetu)	8.80	5.18	6.70	3.84	6.13

Tathmini ya kiasi kwenye RMVP3D. Kama inavyoonyeshwa katika Jedwali la 3, tunawasilisha tathmini ya kiasi cha RMVP3D kulingana na umbali wa Chamfer. Sambamba na jaribio la sintetiki, NERSP yetu hufanikisha hitilafu ndogo zaidi ya ukadiriaji kwa wastani. Maumbo yaliyoonyeshwa kwenye Mchoro wa 10 yanaonyesha zaidi kuwa nyuso zinazoakisi ni changamoto kwa S-VolSDF [35] kwa kutenganisha umbo kutoka kwa uakisi, kama inavyoangaziwa na uso wenye matuta wa kitu cha FROG katika sehemu iliyofungwa. views. NeRO [19] na PANDORA [9] wana hitilafu sawa za ukadiriaji na sisi kwenye kipengee rahisi cha MPIRA. Kwa maumbo changamano kama SIMBA, urejeshaji wa umbo potofu hupatikana kutoka kwa njia hizi kwa sababu ya uchache view mipangilio, huku yetu ikiwa karibu na wavu wa GT, inayoonyesha ufanisi wa mbinu yetu kwenye uundaji upya wa uso wa ulimwengu halisi chini ya ingizo chache.

Hitimisho

Tunapendekeza NeRSP, mbinu ya uundaji upya wa neural 3D kwa nyuso zinazoakisi chini ya picha chache zilizochanganuliwa. Kwa sababu ya changamoto za utata wa mng'ao wa umbo na uakisi changamano, mbinu zilizopo hupambana na nyuso zinazoakisi au chache. views na haiwezi kushughulikia shida zote mbili na picha za RGB. Tunapendekeza kutumia picha za polarized kama ingizo. Kwa kuchanganya alama za kijiometri na fotometri zilizotolewa kutoka kwa picha zilizogawanyika, tunapunguza nafasi ya suluhu ya umbo linalokadiriwa, kuruhusu urejeshaji bora wa uso wa kuakisi kwa chache kama 6. views, kama inavyoonyeshwa na inapatikana kwa umma na seti zetu za data.

Kizuizi
Uakisi baina na mwangaza wa mazingira uliogawanyika hauzingatiwi katika kazi hii, ambayo inaweza kuathiri usahihi wa uundaji upya. Tuligundua kazi ya hivi majuzi zaidi ya NeISF [17] inayoangazia mada hii, na tunataka kuchanganya sifa zetu chache na kazi hii katika siku zijazo.
Shukrani
Kazi hii iliungwa mkono na Beijing Natural Science Foundation Project No. Z200002, National Nature Science Foundation of China (Ruzuku Na. 62136001, 62088102, 62225601, U23B2052), Timu ya Utafiti ya Ubunifu ya Vijana ya BUPT Na. (Ruzuku Nambari JP2023K02 na JP22H17910). Tunakushukuru Youwei Lyu kwa majadiliano ya kina.

Marejeleo

Yunhao Ba, Alex Gilbert, Franklin Wang, Jinfa Yang, Rui Chen, Yiqin Wang, Lei Yan, Boxin Shi, na Achuta Kadambi. Umbo la kina kutoka kwa ubaguzi. Katika ECCV, ukurasa wa 554–571, 2020. 2
Seung-Hwan Baek, Daniel S Jeon, Xin Tong, na Min H Kim. Upataji wa wakati mmoja wa SVBRDF ya polarimetric na kanuni za kawaida. ACM TOG, 37(6):268–1, 2018. 2, 3, 4

Jonathan T Barron, Ben Mildenhall, Matthew Tancik, Peter Hedman, Ricardo Martin-Brualla, na Pratul P Srinivasan. Mip-NeRF: Uwakilishi wa mizani mingi kwa nyuga za mionzi ya neural ya kuzuia aliasing. Katika ICCV, kurasa 5855–5864, 2021. 2
Paul J Besl na Neil D McKay. Njia ya usajili wa maumbo 3-D. Katika Muunganisho wa Sensor IV: dhibiti dhana na miundo ya data, kurasa 586-606, 1992. 6
Mark Boss, Varun Jampani, Raphael Braun, Ce Liu, Jonathan Barron, na Hendrik Lensch. Neural-PIL: Mwangaza wa Neural kabla ya kuunganishwa kwa mtengano wa uakisi. Katika NeurIPS, kurasa 10691–10704, 2021. 1, 2

Xu Cao, Hiroaki Santo, Fumio Okura, na Yasuyuki Matsushita. nyingi-View Azimuth Stereo kupitia Tangent Space Consistency. Katika CVPR, kurasa 825–834, 2023. 2, 3, 4, 6, 7, 8
Anpei Chen, Zexiang Xu, Fuqiang Zhao, Xiaoshuai Zhang, Fanbo Xiang, Jingyi Yu, na Hao Su. MVSNeRF: Ujenzi wa uwanja wa mionzi unaoweza kufikiwa haraka kutoka kwa anuwaiview stereo. Katika CVPR, kurasa 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan, na Jan Kautz. Polarimetric anuwaiview stereo. Katika CVPR, kurasa 1558–1567, 2017. 2

Akshat Dave, Yongyi Zhao, na Ashok Veeraraghavan. Pandora: Mtengano wa neva unaosaidiwa na ubaguzi wa mng'ao. Katika ECCV, ukurasa wa 538–556, 2022. 1, 2, 4, 6, 7, 8
Kangle Deng, Andrew Liu, Jun-Yan Zhu, na Deva Ra-manan. NeRF inayosimamiwa kwa kina: Chache views na mafunzo ya haraka bila malipo. Katika CVPR, kurasa 12882–12891, 2022. 2
Yuqi Ding, Yu Ji, Mingyuan Zhou, Sing Bing Kang, na Jin-wei Ye. Polarimetric helmholtz stereopsis. Katika ICCV, kurasa 5037–5046, 2021. 2

Yoshiki Fukao, Ryo Kawahara, Shohei Nobuhara, na Ko Nishino. Polarimetric stereo ya kawaida. Katika CVPR, ukurasa wa 682–690, 2021. 2
Wenhang Ge, Tao Hu, Haoyu Zhao, Shu Liu, na Ying-Cong Chen. Ref-NeuS: Ambiguity-Imepunguza Neural Implicit Sur-face Learning kwa Multi-View Ujenzi upya kwa Tafakari. arXiv preprint arXiv:2303.10840, 2023. 1
Richard Hartley na Andrew Zisserman. Nyingi view jiometri katika maono ya kompyuta. Chuo Kikuu cha Cambridge Press, 2003. 1

Wenzel Jacob. Mtoaji wa Mitsuba, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, na Qifeng Chen. Umbo kutoka kwa ubaguzi kwa matukio changamano katika pori. Katika CVPR, kurasa 12632–12641, 2022. 2
Chenhao Li, Taishi Ono, Takeshi Uemori, Hajime Mihara, Alexander Gatto, Hajime Nagahara, na Yuseke Moriuchi. NEISF: Sehemu ya Tukio la Neural Stokes kwa Jiometri na Kadirio la Nyenzo. arXiv preprint arXiv:2311.13187, 2023. 8

Zhaoshuo Li, Thomas M¨uller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming-Yu Liu, na Chen-Hsuan Lin. Neu-Colangelo: Urekebishaji wa Uso wa Neural wa Uaminifu wa Juu. Katika CVPR, kurasa 8456–8465, 2023. 2
Yuan Liu, Peng Wang, Cheng Lin, Xiaoxiao Long, Jiepeng Wang, Lingjie Liu, Taku Komura, na Wenping Wang. NeRO: Jiometri ya Neural na BRDF Ujenzi Upya wa Vitu vya Kuakisi kutoka kwa Multiview Picha. arXiv preprint arXiv:2305.17398, 2023. 1, 2, 4, 6, 7, 8
Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura, na Wenping Wang. SparseNeuS: Uundaji upya wa uso wa neva unaoweza kufikiwa haraka kutoka kwa nadra views. Katika ECCV, ukurasa wa 210–227, 2022. 2

Youwei Lyu, Lingran Zhao, Si Li, na Boxin Shi. Umbo kutoka kwa ubaguzi na makadirio ya mbali ya mwanga. IEEE TPAMI, 2023. 2
Ben Mildenhall, Pratul P Srinivasan, Matthew Tancik, Jonathan T Barron, Ravi Ramamoorthi, na Ren Ng. NeRF: Inawakilisha matukio kama sehemu za mng'aro wa neva kwa view usanisi. Katika ECCV, ukurasa wa 405–421, 2020. 1, 2
Miyazaki, Tan, Hara, na Ikeuchi. Utoaji kinyume wa msingi wa ubaguzi kutoka kwa moja view. Katika ICCV, ukurasa wa 982-987, 2003. 2

Michael Niemeyer, Lars Mescheder, Michael Oechsle, na Andreas Geiger. Utoaji tofauti wa ujazo: Kujifunza uwakilishi wa 3D bila uangalizi wa 3D. Katika CVPR, kurasa 3504–3515, 2020. 2
Michael Niemeyer, Jonathan T Barron, Ben Mildenhall, Mehdi SM Sajjadi, Andreas Geiger, na Noha Radwan. Reg-nerf: Kurekebisha sehemu za mng'aro wa neva kwa view awali kutoka kwa pembejeo chache. Katika CVPR, kurasa 5480–5490, 2022. 2, 4
Michael Oechsle, Songyou Peng, na Andreas Geiger. UNISURF: Kuunganisha nyuso zisizo wazi za neva na sehemu za mng'aro kwa anuwai nyingi.view ujenzi upya. Katika ICCV, kurasa 5589–5599, 2021. 2

Jeong Joon Park, Peter Florence, Julian Straub, Richard Newcombe, na Steven Lovegrove. DeepSDF: Kujifunza utendaji endelevu wa umbali uliotiwa saini kwa uwakilishi wa sura. Katika CVPR, ukurasa wa 165–174, 2019. 1
Vincent Sitzmann, Julien Martel, Alexander Bergman, David Lindell, na Gordon Wetzstein. Uwakilishi dhahiri wa neva na vitendaji vya kuwezesha mara kwa mara. Katika NeurIPS, 2020. 1
William AP Smith, Ravi Ramamoorthi, na Silvia Tozza. Urefu-kutoka-polarisation na taa isiyojulikana au albedo. IEEE TPAMI, 41(12):2875–2888, 2018. 2

Dor Verbin, Peter Hedman, Ben Mildenhall, Todd Zickler, Jonathan T Barron, na Pratul P Srinivasan. Ref-NeRF: Imeundwa view-mwonekano tegemezi kwa nyuga za mng'aro wa neva. Katika CVPR, kurasa 5481–5490, 2022. 4, 5
Bruce Walter, Stephen R Marschner, Hongsong Li, na Ken-neth E Torrance. Mifano ya microfacet kwa refraction kupitia nyuso mbaya. Katika Kesi za kongamano la 18 la Eurographics kuhusu Mbinu za Utoaji, ukurasa wa 195-206, 2007. 4
Guangcong Wang, Zhaoxi Chen, Chen Change Loy, na Ziwei Liu. SparseNeRF: Nafasi ya kina ya kina kwa riwaya ya risasi chache view usanisi. arXiv preprint arXiv:2303.16196, 2023. 2

Peng Wang, Lingjie Liu, Yuan Liu, Christian Theobalt, Taku Komura, na Wenping Wang. NeuS: Kujifunza Nyuso za Neural Implicit kwa Utoaji wa Kiasi kwa Multi-view Ujenzi upya. arXiv preprint arXiv:2106.10689, 2021. 1, 2, 5
Yiqun Wang, Ivan Skorokhodov, na Peter Wonka. HF-NeuS: Urekebishaji wa uso ulioboreshwa kwa kutumia maelezo ya masafa ya juu. Katika NeurIPS, kurasa 1966–1978, 2022. 2
Haoyu Wu, Alexandros Graikos, na Dimitris Samaras. S-VolSDF: Sparse Multi-View Urekebishaji wa Stereo wa Nyuso Zilizowekwa za Neural. arXiv preprint arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8

Jiawei Yang, Marco Pavone, na Yue Wang. FreeNeRF: Kuboresha Utoaji wa Neural wenye risasi chache kwa Udhibiti wa Frequency Bila Malipo. Katika CVPR, kurasa 8254–8263, 2023. 2
Lior Yariv, Yoni Kasten, Dror Moran, Meirav Galun, Matan Atzmon, Basri Ronen, na Yaron Lipman. Nyingiview ujenzi wa uso wa neva kwa kutenganisha jiometri na mwonekano. Katika NeurIPS, kurasa 2492–2502, 2020. 2
Lior Yariv, Jiatao Gu, Yoni Kasten, na Yaron Lipman. Utoaji wa sauti wa nyuso zisizo wazi za neva. Katika NeurIPS, kurasa 4805–4815, 2021. 1, 2

Alex Yu, Vickie Ye, Matthew Tancik, na Angjoo Kanazawa. pixelNeRF: Sehemu za mng'aro wa Neural kutoka kwa picha moja au chache. Katika CVPR, kurasa 4578–4587, 2021. 2
Kai Zhang, Gernot Riegler, Noah Snavely, na Vladlen Koltun. NeRF++: Kuchambua na kuboresha sehemu za mng'aro wa neva. arXiv preprint arXiv:2010.07492, 2020. 2
Kai Zhang, Fujun Luan, Qianqian Wang, Kavita Bala, na Noah Snavely. PhySG: Uwasilishaji wa kinyume na Gaussians duara kwa uhariri na mwangaza wa nyenzo kulingana na fizikia. Katika CVPR, kurasa 5453–5462, 2021. 1, 2

Xiuming Zhang, Pratul P Srinivasan, Boyang Deng, Paul De-bevel, William T Freeman, na Jonathan T Barron. NeR-Factor: Uainishaji wa Neural wa umbo na uakisi chini ya mwanga usiojulikana. ACM TOG, 40(6):1–18, 2021. 2
Jinyu Zhao, Yusuke Monno, na Masatoshi Okutomi. Polarimetric nyingiview utoaji kinyume. IEEE TPAMI, 2022. 2

Viashiria vya picha na kijiometri vya NeRSP

Utoaji wa alama ya kijiometri
Kama inavyoonyeshwa kwenye Mtini. S1, kutokana na eneo la tukio lililozingatiwa na tofauti views, uso wake wa kawaida kwenye lengo view inaweza kuwakilishwa na azimuth na pembe za mwinuko ϕ na θ mtawalia, yaani,

Uhusiano kati ya angle ya azimuth na kipengele cha uso wa kawaida unaweza kutengenezwa kama

Uso wa kawaida kwenye lengo view inaweza kuhesabiwa kwa kuzungusha kawaida kwenye chanzo view, yaani ˆn = Rn. Kwa kuzingatia matrix ya mzunguko kutoka kwa kamera iliyosawazishwa inasimama kama R = [r1, r2, r3]⊤, Eq. (2) kulingana na n inaweza kutengenezwa kama

r⊤1 n cos ϕ − r⊤ 2 n dhambi ϕ = 0. (3)

Kufuatia MVAS [2], tunaweza kupanga upya Eq. (3) kupata uhusiano wa orthogonal kati ya uso wa kawaida na vekta tangent iliyokadiriwa t(ϕ) kama inavyofafanuliwa hapa chini,

Hitimisho hili kwenye angle ya azimuth inaweza kupanuliwa kwa pembe ya polarization (AoP). Utata wa π unaweza kutatuliwa kwa njia ya asili kama Eq. (4) inasimama ikiwa tutaongeza ϕ kwa π. Utata wa π/2 unaweza kushughulikiwa kwa kutumia vekta tangent t ˆ(ϕ) inayokisiwa kuwa bandia ili

Ikiwa eneo moja la tukio x linazingatiwa na f views, tunaweza kuweka Eq. (4) na Eq. (5) kulingana na mizunguko tofauti na AoP zilizozingatiwa, zinazoongoza kwa mfumo wa mstari

T(x)n(x) = 0. (6)

Tunachukulia mfumo huu wa mstari kama kiashiria chetu cha kijiometri kwa anuwai nyingi.view ujenzi wa polarized 3D.

Utoaji wa alama ya photometric
Kufuatia modeli ya BRDF iliyogawanyika [1], vekta ya stoki za pato inaweza kuoza katika sehemu zinazoenea na maalum zilizoigwa kupitia Hd na Hs sambamba, yaani,

Sehemu ya stoki zinazoenea chini ya mwanga mmoja inaweza kutengenezwa kama

ambapo ρd inaashiria albedo ya kueneza, ϕn ni pembe ya azimuth ya mwanga wa tukio kwenye ndege iliyo sawa na uso wa kawaida, T+i,o na T−i,o inaashiria hesabu za migawo ya upokezaji ya Fresnel [1] ambayo inahusiana na pembe kati view mwelekeo na uso wa kawaida. Kufuatia dhana katika PANDORA [3], tunaandika upya vekta ya stoki zinazoenea chini ya mwanga wa mazingira kama

wapi inaashiriwa kama mng'ao ulioenea. Badala ya kukokotoa kutoka kwa mlingano, mng'ao unaoeneza kama kigezo badilifu cha anga huchorwa moja kwa moja kutoka kwa kipengele cha nukta ya neva kilichotolewa na MLP yenye msingi wa kuratibu. Kwa upande mwingine, vekta maalum ya stoki chini ya mwelekeo mmoja wa mwanga ω katika modeli ya polarimetric BRDF inaweza kufafanuliwa kama

ambapo ρs inaashiria albedo maalum; D na G zinaashiria neno la kawaida la usambazaji na kivuli katika modeli ya Microfacet [8], ambayo inaweza kudhibitiwa na ukali wa uso; R+ na R- huashiria mahesabu ya vigawo vya kuakisi vya Fresnel [1], ambavyo vinahusiana na pembe kati ya uso wa kawaida na mwelekeo wa mwanga wa tukio; ϕh ni tukio la pembe ya azimuth iliyo na nusu vekta. Kufuatia dhana katika PANDORA [3], tunaandika upya vekta ya specular chini ya mwanga wa mazingira kama

wapi inaashiria mng'ao maalum. Kwa ukadiriaji wa jumla ya spilt [5], tunaweza kukadiria zaidi Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω. Kuchanganya na vekta ya stoki iliyoenea iliyoonyeshwa kwenye Eq. (9), tunaunda alama ya fotometri kulingana na modeli ifuatayo ya kuunda picha ya polarimetri

Maelezo ya Utekelezaji

Sehemu hii inawasilisha maelezo ya utoaji wa Synthetic Multi-view Seti ya data iliyogawanywa kwa picha SMVP3D na maelezo ya mafunzo ya NeRSP.

Seti ya data
Tunatoa SMVP3D, ambayo ina picha za vitu vitano vya kuakisi vilivyo chini ya mwanga wa asili. Kwa kila kitu, tunatoa 48 views na kurekodi ukweli wa msingi unaolingana (GT) juu ya ramani za kawaida. Tunatumia Mit-suba3 [4] kama injini ya uwasilishaji, huku aina ya BRDF ikiwa imewekwa kwenye nyenzo za plastiki zilizogawanyika katika uwasilishaji wetu. Kwa dif-fuse albedo ρd, tunatumia muundo wa albedo unaotofautiana wa anga ili kuboresha uhalisia wa matokeo yetu ya uwasilishaji. Wakati huo huo, tunaweka albedo ρs maalum kwa thamani ya mara kwa mara ya 1.0 na kuweka ukali wa uso hadi 0.05. Njia hii inahakikisha kutafakari kwa usawa kwenye nyuso za vitu. Picha zinazotokana na polarized hutolewa kwa azimio la saizi 512 × 512.

Mafunzo
Vigezo λg, λm, na λe katika utendaji wetu wa upotezaji vimewekwa kuwa 1, 1, na 0.1, mtawalia. Wakati wa mchakato wa mafunzo, tunatumia mbinu ya kuongeza joto ifuatayo PAN-DORA [3], ambapo kwa enzi 1 za kwanza, tunazingatia tu maelezo ambayo hayana mgawanyiko katika kiashiria cha fotometri na kuchukulia kuwa kijenzi maalum cha kitu ni 000. Kwa jumla. kwa majaribio, tunatumia azimio la 0 × 512 kwa mafunzo na majaribio kwenye SMVP512D, na 3 × 512 kwa seti za data za ulimwengu halisi. Mbinu yetu kwa ujumla hubadilika takriban nyakati 612, 100, ambayo huchukua takriban saa 000 kwenye Nvidia RTX 6 GPU, huku kumbukumbu ikitumia takriban 3090, 8 MB.

Ukadiriaji wa BRDF na uwasilishaji upya matokeo

Kielelezo S4 (juu) kinawasilisha makadirio yetu ya ukali, mtawanyiko, na vijenzi maalum. Makadirio ni kelele kidogo kutokana na 6 tu views. Sawa na Ref-NeRF [7] ambapo uangazaji unadhibitiwa kwa njia kamili kupitia IDE, hatuwezi kufanya majaribio ya kuwasha tena. Kwa hivyo, tunaonyesha riwaya view matokeo ya usanisi badala yake, kama inavyoonyeshwa kwenye Mtini. S4 (chini). Ikilinganishwa na mbinu zilizopo, picha zetu zinazoonyesha upya ziko karibu na uchunguzi unaolingana wa ulimwengu halisi.

Matokeo ya ziada kwenye seti zetu za data

Katika sehemu hii, tunawasilisha matokeo ya ziada ya uundaji upya wa umbo kwenye SMVP3D na Real-world Multi-view Seti ya data ya picha iliyogawanyika RMVP3D.

Tathmini kwenye SMVP3D
Tunawasilisha matokeo ya ubora wa ujenzi wa mbinu za msingi na mbinu yetu katika Mchoro S2. Matokeo kutoka kwa MVAS [2] hayana maelezo ya kina, kwa kuwa alama ya picha haijazingatiwa. Ingawa NeRO [6] inatoa uundaji upya wa umbo lililoboreshwa, inashindwa kutoa uso unaotegemeka kwa vitu visivyo na maandishi, kama vile DAVID. S-VolSDF [9] hutumia ukali-kwa-faini Multi-View Mbinu ya Stereo (MVS) na inaonyesha kuongezeka kwa unyeti kwa maelezo ya umbile kwenye nyuso za vitu, ambayo wakati mwingine husababisha kutafsiri vibaya maelezo ya unamu kama vipengele vya muundo. PANDORA [3] ina ugumu wa kutenganisha vyema albedo na taarifa maalum, na kusababisha matokeo ya uundaji upya yasiyotegemewa. Mbinu yetu, NeRSP, hutumia vyema viashiria vya fotometriki na kijiometri, hivyo kusababisha uundaji upya unaoakisi muundo wa GT kwa usahihi zaidi.

Pia tunaonyesha makadirio ya kawaida ya uso na ugawaji wa makosa ya angular katika Mtini. S3, ambayo inaonyesha mara kwa mara kwamba NeRSP hupata matokeo bora ya uundaji upya wa nyuso za nyuso zinazoangazia na uingizaji mdogo. views.

Tathmini kwenye RMVP3D
Katika sehemu hii, tunawasilisha matokeo mengine ya uundaji upya wa kitu kwenye RMVP3D. Kielelezo S5 kinaonyesha kuwa NeRO [6], MVAS [2], na NeRSP zinaweza kuunda upya kwa usahihi kitu rahisi cha duara kwa uso unaoakisi. Kinyume chake, S-VolSDF [9] na PANDORA [3] haziwezi kuoza albedo na sehemu maalum ya uso, na kusababisha upotovu katika mchakato wa kuunda upya umbo. Ili kutofautisha kati ya matokeo ya uundaji upya wa NeRO [6], MVAS [2], na NeRSP, tunatoa taswira ya Umbali wa Chamfer kwa wavu zilizojengwa upya kwa kila mbinu. Kama inavyoonyeshwa kwenye Mchoro S6, rangi ya kila nukta inaonyesha Umbali wake wa Chamfer, ambao umepunguzwa kati ya 0 na 5 mm. Vielelezo hivi vinaonyesha kuwa hitilafu ya uundaji upya inayohusishwa na NeRSP ni ndogo ikilinganishwa na ile ya mbinu zingine mbili.

Utafiti wa utoaji juu ya uakisi wa uso

Njia yetu inalenga uundaji wa uso wa kutafakari, na inaweza pia kutumika kurejesha umbo na nyuso mbaya. Kama exampna, tunatoa tena kipengee cha SNAIL huku albedo ρs yake maalum ikipungua kutoka 1.0 hadi 0.1. Hitilafu ya wastani ya angular (MAE) ya makadirio ya uso wa kawaida katika pembejeo 6 views kutoka kwa njia tofauti imeonyeshwa kwenye Jedwali S1. Tathmini ya ubora wa makadirio ya kawaida ya uso na mgawanyo unaolingana wa makosa ya angular ya mbinu tofauti chini ya ingizo sawa. view zinaonyeshwa kwenye Mchoro S7. Majaribio haya yanaonyesha kuwa mbinu nyingi huboresha ubora wa ujenzi kwenye nyuso korofi ikilinganishwa na nyuso zinazoakisi. Hasa, njia yetu hutoa uundaji wa uso wa kuaminika zaidi wa kitu.

Utafiti wa uondoaji kwenye #views

NeRSP yetu inalenga uundaji upya wa nyuso za kuakisi chini ya uingizaji mdogo views. Majaribio yaliyoonyeshwa kwenye karatasi kuu huchukua 6 chache views kama pembejeo. Ili kutathmini mbinu yetu chini ya nambari tofauti za ingizo views (yaani, #views), tunafanya majaribio kwenye kitu cha ulimwengu halisi LION chini ya mpangilio wa 3, 6, 12, na 24 views. Kielelezo S8 kinaonyesha maumbo yaliyorejeshwa, wakati tathmini ya ubora na Umbali wa Chamfer imewasilishwa katika Jedwali S2.

Chini ya pembejeo chache views, kama vile 3, mbinu zilizopo zinatatizika kupata matokeo yanayokubalika. Hii ni hasa kwa sababu wao huzingatia alama za fotometri au alama za kijiometri. Kuchukua S-VolSDF [9] kama example, umbo lililokadiriwa, kama linavyoonekana kwa karibu views, inaathiriwa sana na muundo unaolingana. Hii husababisha maumbo yasiyo sahihi kwa sababu ya utata wa mng'ao wa umbo chini ya uhaba views. Kwa kushughulikia viashiria vya kijiometri na fotometri, NERSP yetu inapunguza utata chini ya ingizo chache. Kama matokeo, tunafikia uundaji wa sura unaofaa zaidi. Uchunguzi huu unabaki halali wakati idadi ya ingizo views inazidi 12. Kama inavyoonyeshwa katika Jedwali S2, NERSP yetu inafanikisha Umbali mdogo kabisa wa Chamfer kwa kuongezeka kwa idadi ya pembejeo. views. Hii inaonyesha ufanisi wa njia yetu kwenye nyuso za kuakisi juu ya anuwai ya views.

Jedwali S2. Tathmini ya ubora kwenye SIMBA inayopimwa kwa Umbali wa Chamfer (↓) chini ya ingizo tofauti views.

#Views	NeRO [6]	S-VolSDF [9]	MVAS [2]	PANDORA [3]	NERSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

Tathmini ya seti ya data ya polarimetric MVIR

Kando na majaribio ya ulimwengu halisi kwenye mkusanyiko wa data wa PANDORA [3] na RMVP3D yetu, pia tunatoa tathmini ya anuwai ya data.view seti ya data ya picha zilizogawanyika katika PMVIR [10]. Kama inavyoonyeshwa kwenye Mchoro S9, tunaona taswira ya matokeo ya kurejesha umbo kutoka kwa PANDORA [3] na yetu, kwa kuchukua 6 chache. views kama pembejeo. Kwa kuwa hakuna umbo la GT katika mkusanyiko huu wa data, tunatumia matokeo kutoka PMVIR [10] kama marejeleo, ambayo huchukua 31 na 56. views kama ingizo la kamera na eneo la gari, mtawalia. Tunaona kwamba matokeo yetu ni ya kuridhisha zaidi ikilinganishwa na yale yanayotumia PANDORA [3], yakionyesha ufanisi wa mbinu yetu katika uundaji upya wa 3D.