NeRSP CVPR24 د انعکاس څیزونو لپاره د عصبي 3D بیا رغونه لارښود لارښود

لیکوالان: یوفی هان، هینګ ګو، کوکی فوکای، هیروکی سانتو، بوکسین شی، فومیو اوکورا، ژانیو ما، یونپینګ جیا
تړاوونه: د بیجینګ پوسټ او مخابراتو پوهنتون، د اوساکا پوهنتون، د پیکنګ پوهنتون

خلاصه: د NeRSP محصول د موجوده میتودونو په پرتله د عکاس سطحو لپاره د شکل بیارغونې ښه پایلې وړاندې کوي.

د محصول کارولو لارښوونې

پیژندنه
د NeRSP محصول د انعکاس شیانو د 3D بیارغونې لپاره ډیزاین شوی چې د لږ قطبي عکسونو په کارولو سره. دا د څو موندلو پورې اړوند ننګونو باندې بریالي کیږيview ارتباطات او د محدودو اړیکو لاندې د روښانتیا څخه بې برخې کول.

اړوند کار
NeRSP د Neural Radiance Fields (NeRF) او نورو عصبي 3D بیارغونې میتودونو څخه الهام اخیستل کیږي. دا د لاسلیک شوي فاصلې ساحې (SDF) له لارې په ښکاره ډول د سطحې شکل ماډل کوي او د شکل بیارغونې کیفیت ښه کولو لپاره د توپیر وړ ساحې تعقیب او حجم رینډینګ کاروي.
د Polarimetric انځور جوړونې ماډل
NeRSP د بیارغونې لپاره د فوتومیټریک او جیومیټریک اشارو ترلاسه کولو لپاره د پولاریمیټریک عکس جوړولو ماډل شاملوي.

FAQ:

پوښتنه: اذان څه شی دی؟tagد 3D بیارغونې لپاره د NeRSP کارولو څخه؟
A: NeRSP د موجوده میتودونو په پرتله د انعکاس سطحو لپاره د غوره شکل بیارغونې پایلې وړاندې کوي ځکه چې د لږ قطبي عکسونو په کارولو سره د دې نوښتګر چلند له امله.

پوښتنه: ایا د NeRSP محصول د توزیع سطحو لپاره مناسب دی؟
A: پداسې حال کې چې NeRSP په ابتدايي توګه د انعکاس سطحو لپاره ډیزاین شوی، دا کولی شي د پراخو سطحو لپاره د قناعت وړ شکل اټکل هم چمتو کړي چیرې چې د فوتومیټریک ثبات په اوږدو کې د اعتبار وړ وي. views.

NeRSP:
د عصبي 3D بیا رغونه د انعکاس څیزونو لپاره د سپیر پولر شوي عکسونو سره

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

د بیجینګ د پوسټونو او مخابراتو پوهنتون

د اوساکا پوهنتون د معلوماتي ساینس او ټیکنالوژۍ فراغت ښوونځی
د ملټي میډیا معلوماتو پروسس کولو ملي کلیدي لابراتوار، د کمپیوټر ساینس ښوونځي، د پیکنګ پوهنتون 4 د بصری ټیکنالوژۍ ملي انجینري څیړنیز مرکز، د کمپیوټر ساینس ښوونځي، پیکنګ پوهنتون
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

خلاصون

موږ NeRSP وړاندې کوو، د عصبي 3D بیارغونې تخنیک د انعکاس سطحو لپاره د سپارس پولر شوي عکسونو سره. د انعکاس سطحه بیا رغونه خورا ننګونه ده ځکه چې ځانګړي انعکاسونه دي view- انحصار او په دې توګه د څو څخه سرغړونهview د څو لپاره ثباتview سټیریو له بلې خوا، لږ عکس العملونه، د عملي کیپچر ترتیب په توګه، معمولا د اړیکو د سمون نشتوالي له امله نیمګړتیا یا تحریف شوي پایلې رامینځته کوي. دا مقاله په ګډه د قطبي عکسونو په ګټه اخیستو سره د لږ انډولونو او انعکاس سطحو ننګونې اداره کوي. موږ فوتومیټریک او جیومیټریک اشارو د پولاریمیټریک عکس فارمولیشن ماډل او ملټي څخه اخلوview azimuth consistency، کوم چې په ګډه د عصبي عصبي نمایندګۍ له لارې ماډل شوي سطحي جیومیټري غوره کوي. زموږ د مصنوعي او ریښتیني ډیټا سیټونو تجربو پراساس، موږ یوازې د 6 سره د سطحي بیارغونې عالي پایلې ترلاسه کوو views د ننوت په توګه.

پیژندنه

ملټيview د 3D بیا رغونه د کمپیوټر لید (CV) کې یوه اساسي ستونزه ده او د ډیرو کلونو لپاره په پراخه کچه مطالعه شوې [14]. د ضمني سطحې نمایندګۍ په پرمختګ سره [27, 28] او د عصبي وړانګو ساحو [22] ، وروستي څوview د 3D بیارغونې میتودونو [5, 33, 38, 41] ډیر پرمختګ کړی دی. د مجبور شکل د بیا رغونې پایلو سره سره، ډیری ډیریview د سټیریو (MVS) میتودونه لاهم د اړیکو موندلو لپاره خورا ډیر تکیه کوي views، کوم چې په ځانګړې توګه د انعکاس سطحو او لږ انډول لپاره ننګونې دي views.

د عکاس سطحو لپاره، د view- انحصار سطحه ایپ-

مساوي ونډه. ∗ اړونده لیکوال.
د پروژې پاڼه: https://yu-fei-han.github.io/NeRSP-project/.

شکل 1. د انعکاس سطحې د شکل بیرته راګرځول د 6 لږ قطبي عکسونو اخیستلو (پورته قطارونو) څخه. زموږ NeRSP د موجوده میتودونو په پرتله د بیارغونې ښه شکل پایله ترلاسه کوي کوم چې یا لږ انډولونه (S-VolSDF [35]) یا د عکاس انعکاس (PANDORA [9]).

پییرنس په MVS کې د ارتباط اټکل کې کارول شوي فوتومیټریک مطابقت انګیرنه ماتوي. د دې ستونزې د حل لپاره، د عصبي 3D بیارغونې وروستي میتودونه (د بیلګې په توګه، Ref-NeuS [13]، NeRO [19]، او PANDORA [9]) په واضح ډول د انعکاس ماډل کوي او په ورته وخت کې د انعکاس او چاپیریال نقشې د برعکس رینډینګ له لارې اټکل کوي. په هرصورت، د متنوع الندې د کثافاتو انځور استملاک views ته اړتیا ده چې د شکل سربیره اضافي ناپیژندل شوي شیان په وفادارۍ سره اداره کړي، لکه البیډو، خرابوالی، او د چاپیریال نقشه.

د لږ ان پټ څخه views، ډیری وختونه د کافي کثیر موندلو لپاره ننګونه ويview لیکنې په ځانګړې توګه کله چې استازیتوب کوي view- انحصاري انعکاسونه، دا ستونزمنه ده چې د یو محدود شمیر لیکونو لاندې د رڼا څخه شکل جلا کړئ، چې د شکل - رڼا ابهام لامل کیږي [40]. د سپرس لپاره وروستي عصبي 3D بیارغونې میتودونه views (د مثال په توګه، S-VolSDF [35] او SparseNeuS [20]) د فوتومیټریک تسلسل په کارولو سره منظم کولو ته اړتیا لري، کوم چې د انعکاس سطحو لپاره سرغړونه کیدی شي.

د دواړو ستونزو د حل کولو لپاره، موږ وړاندیز کوو چې د RGB ان پټونو پر ځای د سپینو قطبي انځورونو څخه کار واخلو. په ځانګړې توګه، موږ NeRSP وړاندیز کوو، د عصبي 3D بیارغونې طریقه چې د سپارس پولر شوي انځورونو څخه د انعکاس سطحو شکل بیرته راګرځوي. موږ د قطبي انځورونو څخه اخیستل شوي د قطبي کولو زاویه (AoP) کاروو، کوم چې په مستقیم ډول د π او π/2 ابهامونو پورې د سطحې شکل د ایزیموت زاویه منعکس کوي. دا جیومیټریک کیو د څو فعالولو لپاره پیژندل شویview د شکل بیا رغونه پرته له دې چې د سطحې انعکاس ملکیتونه په پام کې ونیسي، مګر اټکل شوی شکل یوازې د جیومیټریک کیو پر بنسټ مبهم دی [6] view ترتیبات. له بلې خوا، د پولاریمیټریک عکس جوړولو ماډل [2] څخه فوتومیټریک کیو د عصبي سطحې بیارغونې سره مرسته کوي (د بیلګې په توګه ، پانډورا [9]) د بیا وړاندې شوي او نیول شوي قطبي عکسونو ترمینځ توپیر کمولو سره. په هرصورت، اټکل شوی شکل چې یوازې د فوتومیټریک کیو پر بنسټ والړ دی هم د شکل د رڼا د ابهام له امله د لږ انډولونو لاندې خراب شوی دی. د موجوده پولاریمیټریک پر بنسټ میتود PANDORA [9] برعکس یوازې د فوتومیټریک کیو په پام کې نیولو سره، زموږ NeRSP ښیي چې د جیومیټریک او فوتومیټریک اشارو دواړو ادغام په مؤثره توګه د سطحې شکل لپاره د حل ځای کموي، چې د لږو معلوماتو پراساس د انعکاس سطحې بیارغونې کې اغیزمن ښودل شوي. لکه څنګه چې په انځور کې لیدل شوي.

د 3D بیارغونې لپاره د وړاندیز شوي NeRSP سربیره، موږ د ریښتیني نړۍ ملټي هم جوړه کړهView د قطبي انځور ډیټاسیټ چې د RMVP6D په نوم 3D میشونو سره 3 څیزونه لري. د موجوده ډیټاسیټونو څخه توپیر لري لکه د PANDORA ډیټاسیټ [9] یوازې قطبي عکسونه چمتو کوي ، د هر یو لپاره د GT میشونه او د سطح نورمالونه view د څو کمیتي ارزونې اجازه ورکړئview قطبي 3D بیا رغونه.

د لنډیز لپاره، موږ څو ته وده ورکووview د وړاندیز کولو په واسطه د 3D بیارغونه

NeRSP، لومړی میتود چې وړاندیز کوي د پولاریمیتریک معلوماتو کارولو لپاره د انعکاس سطحې بیارغونې لپاره لږ تر لږه views;

د فوتومیټریک او جیومیټریک کیو جامع تحلیل چې له قطبي عکسونو څخه اخیستل شوي؛ او
RMVP3D، د ریښتینې نړۍ لومړی ملټيview د کمیتي ارزونې لپاره د GT شکلونو سره د قطبي عکس ډیټاسیټ.

اړوند کار

ملټيview د 3D بیارغونه د لسیزو راهیسې په پراخه کچه مطالعه شوې. Neural Radiance Fields (NeRF) [3, 22, 40] په ناول کې لوی بریالیتوب ترلاسه کړی دی view په وروستیو کلونو کې ترکیب. د NeRF لخوا هڅول شوي، د عصبي 3D بیارغونې میتودونه [24] وړاندیز شوي، چیرې چې د سطحې شکل د لاسلیک شوي فاصلې ساحې (SDF) له لارې په ښکاره ډول ماډل شوی. د DVR څخه پیل [24]، تعقیب شوي میتودونه د توپیر وړ ساحې تعقیب [37]، حجم وړاندې کول [26, 33, 38]، یا د توضیحاتو پرمختللي شکل استازیتوب [18, 34] له لارې د شکل بیارغونې کیفیت ښه کوي. دا میتودونه کولی شي د توزیع شوي سطحو لپاره د قناعت وړ شکل اټکل ترلاسه کړي چیرې چې د عکس میټریک ثبات په ټوله کې اعتبار لري views.

د انعکاس سطحو لپاره بیا رغونه ننګونه ده ځکه چې د فوتومیټریک تسلسل ناباوره دی. موجوده میتودونه [5، 41، 42] په ښکاره ډول ماډل کوي view- انحصاري انعکاس او شکل له مینځه وړي ، په ځایي ډول مختلف il-luminations ، او د انعکاس ملکیتونه لکه البیدو او ناڅاپه. په هرصورت، د پورتنیو متغیرونو اټکلونه د قناعت وړ ندي ځکه چې له مینځه وړل خورا بد حالت دی. نیرو [19] وړاندیز کوي چې د عکس جوړونې ماډل نږدې سپلیټ سم کارولو څخه کار واخلي او د څیز ماسکونو ته اړتیا پرته د شکل بیارغونې کیفیت نور هم ښه کړي. په هرصورت، پورتني میتودونه عموما د سخت عکس اخیستلو ته اړتیا لري ترڅو د ننګونکي انعکاس سطحونو لپاره د احتمالي شکل بیا رغونې پایلې تضمین کړي.

د سپیر سره بیا رغونه views د عملي سناریوګانو لپاره اړین دی چې اغیزمن نیول ته اړتیا لري. له محدودیت څخه د کافي لیکنې نشتوالي له امله views، د شکل روښانه ابهام نشي حل کیدی، چې د شور او تحریف شوي شکل بیرته راګرځیدو لامل کیږي. موجوده میتودونه دا ستونزه د منظم کولو په اضافه کولو سره حل کوي لکه د سطحې جیومیټري نرموالی [25]، د ژور ژوروالی مخکې [10, 32]، یا د موقعیتي کوډ کولو فریکونسۍ کنټرول [36]. ځینې میتودونه [7, 20, 39] د سپارس 3D بیارغونه د مشروط 3D عمومي کولو ستونزې په توګه رامینځته کوي چیرې چې د عکس ځانګړتیاوې دمخه روزل شوي د عمومي کولو وړ لومړیتوبونو په توګه کارول کیږي. S-VolSDF [35] د کلاسیک ملټي پلي کويview د سټریو میتود د ابتکار په توګه او د احتمالي حجم سره د عصبي رینډرینګ اصلاح تنظیموي. په هرصورت، دا لاهم د اوسني میتودونو لپاره ننګونه ده چې د انعکاس سطحې په سمه توګه بیرته ترلاسه کړي.

د قطبي انځورونو په کارولو سره بیا رغونه د دواړو واحدونو لپاره مطالعه شوې.view ترتیبات [1، 2، 16، 23، 29] او څوview ترتیبات [6، 8، 9، 11، 12، 43]. د RGB عکسونو برخلاف ، د قطبي عکسونو څخه AoP د سطحې نورمال لپاره مستقیم اشارې چمتو کوي. مجرد-view د قطبي کولو شکل (SfP) تخنیکونه د دې ملکیت څخه ګټه پورته کوي او د واحد لرې رڼا لاندې د سطح نورمال اټکل کوي [21, 29] یا نامعلوم طبیعي رڼا [1, 16]. ملټيview د SfP میتودونه [8, 43] په AoP کې د کثیر پراساس π او π/2 ابهامونه حل کويview مشاهدات پانډورا [9] د قطبي عکسونو پراساس د عصبي 3D بیارغونې لومړی میتود دی ، چې د سطحې شکل او روښانتیا په رغولو کې اغیزمن ثابت شوی. MVAS [6] د څو څخه د سطح شکل بیرته راګرځويview azimuth نقشې، د AoP نقشو سره نږدې تړاو لري چې له دې څخه اخیستل شوي

قطبي انځورونه په هرصورت، دا میتودونه د لږ شاټونو الندې د عکاس سطحې بیا رغونې لپاره د قطبي انځورونو په کارولو سره نه سپړل کیږي.

د Polarimetric انځور جوړونې ماډل

مخکې لدې چې وړاندیز شوي میتود ته لاړ شو ، موږ لومړی د پولاریمیټریک عکس جوړولو ماډل معرفي کوو او زموږ په میتود کې د عکس میټریک کیو او جیومیټریک کیو ترلاسه کوو. لکه څنګه چې په 2 شکل کې ښودل شوي، د سنیپ شاټ پولرائزیشن کیمره په څلورو مختلفو قطبي زاویو کې د عکس کتنې ثبتوي، د هغې د پکسل ارزښتونو سره د {I0, I45, I90, I135} په توګه ښودل شوي. دا څلور انځورونه د ترلاسه شوي څراغونو قطبي حالت څرګندوي، کوم چې د 4D سټوکس ویکتور s = [s0, s1, s2, s3] په توګه محاسبه کیږي.

موږ ګومان کوو چې هیڅ ډول ګردي قطبي رڼا شتون نلري چې په دې توګه د s3 ټاکل 0 وي. د سټوکس ویکتور د قطبي کولو زاویه (AoP) محاسبه کولو لپاره کارول کیدی شي، د بیلګې په توګه

د AoP او Stokes ویکتور پراساس، موږ د جیومیټریک او فوتومیټریک اشارو په ورته ډول اخلو.

جیومیټریک اشاره
د AoP ϕa په پام کې نیولو سره، د سطحې ایزیموت زاویه کیدای شي یا هم ϕa + π/2 یا ϕa + π وي، چې د π او π/2 ابهام په نوم پیژندل کیږي په دې پورې اړه لري چې آیا سطحه سپیکولر یا ډیفوز غالبه ده. پدې برخه کې، موږ لومړی د څو لخوا راوړل شوي جیومیټریک کیو معرفي کووview azimuth نقشه او بیا یې د AoP قضیې ته وغزوئ.

د MVAS [6] په تعقیب، د یوې صحنې ټکي x لپاره، د هغې سطحه نورمال n او په یوه کامره کې د اټکل شوي ایزیموت زاویه ϕ view اړیکې تعقیب کړئ لکه څنګه چې

چیرې چې R = [r1, r2, r3] ⊤ د کیمرې پوز گردش میټریکس دی. موږ کولی شو د Eq بیا تنظیم کړو. (3) د سطحي نورمال او اټکل شوي tangent ویکتور t(ϕ) تر منځ د اورتوګونل اړیکه ترلاسه کول لکه څنګه چې لاندې تعریف شوي،

د AoP او azimuth زاویه ترمنځ π ابهام په طبیعي ډول د Eq په توګه حل کیدی شي. (4) ولاړ دی که چیرې موږ ϕ د π په واسطه اضافه کړو. د π/2 ابهام د pseudo-projected tangent vector t(ϕ) په کارولو سره حل کیدی شي داسې چې

که د یوې صحنې نقطه x د f لخوا مشاهده شي views، موږ کولی شو Eq سټیک کړو. (4) او Eq. (5) د k مختلف گردشونو او مشاهده شوي AoPs پراساس چې د خطي سیسټم لامل کیږي

T(x)n(x) = 0. (6)

موږ دا خطي سیسټم د څو - لپاره زموږ د جیومیټریک اشارو په توګه چلند کوو.view قطبي 3D بیا رغونه.

فوټومیټریک اشاره
فرض کړئ چې د پیښې چاپیریال روښانتیا غیر قطبي ده، د پیښې د رڼا سمت سټوکس ویکتور ω په توګه استازیتوب کیدی شي

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

چیرې چې L(ω) د رڼا شدت څرګندوي. د پولرائزیشن کیمرې لخوا ثبت شوی بهر وتلی رڼا د انعکاس له امله په جزوي ډول قطبي کیږي. دا پروسه د 4 × 4 مولر میټریکس H له لارې نمونه شوې. د چاپیریال د روښانتیا لاندې، د وتلو سټوکس ویکتور د پیښې د بشپړتیا په توګه جوړ کیدی شي سټوکس ویکتور د مولر میټریکس سره ضرب شوی، د بیلګې په توګه.

چیرته چې v او Ω په ګوته کوي view سمت او بشپړ ډومین. د قطبي BRDF (pBRDF) ماډل [2] په تعقیب، د تولید سټوکس ویکتور کولی شي په مساوي ډول د Hd او Hs له لارې ماډل شوي ډیفوز او سپیکولر برخو کې تخریب شي، د بیلګې په توګه.

د PANDORA [9] څخه د اخستلو په تعقیب، موږ کولی شو د تولید سټوکس ویکتور نور هم جوړ کړو

چیرې چې Ld =fΩ ρL(ω)ω⊤n T+i T−i dω د سطحي نورمال n پورې اړوند د توزیع وړانګو په توګه پیژندل کیږي ، د فریسنیل لیږد کوفیینټ [2] T+i,o او T−i,o, diffuse albedo ρ ، او د پیښې د رڼا د ایزیموت زاویه ϕn. Ls = fΩ L(ω) DG 4n⊤v dω د فریسنیل انعکاس کوفیینټ [2] R+ او R− پورې اړوند سپیکولر وړانګې څرګندوي، د پیښې ایزیموت زاویه ϕh د نیم ویکتور h = ω+v∥ω+v∥22، او د نورمال توزیع او سیوري اصطالح D او G په مایکروفاسیټ ماډل کې [31].

مهرباني وکړئ د نورو جزیاتو لپاره ضمیمه توکي وګورئ. په Eq کې ښودل شوي د پولاریمیټریک عکس جوړولو ماډل پراساس. (10)، موږ فوتومیټریک کیو جوړوو.

وړاندیز شوی میتود

زموږ NeRSP لږ ملټي اخليview قطبي شوي عکسونه، د هدف شوي څیز اړوند سلیویټ ماسک، او کیمره د ان پټ په توګه پوز کوي او د څیز د سطحې شکل څرګندوي چې د SDF له لارې په ښکاره ډول ښودل شوي. موږ د شکل د بیارغونې ابهام په حل کولو کې د فوتومیټریک اشارو او جیومیټریک اشارو په اړه بحث پیل کوو، وروسته د شبکې جوړښت او زموږ د NeRSP د ضایع فعالیت په اړه لارښوونې.

په لږ 3D بیارغونه کې ابهام
جیومیټریک کیو او فوتومیټریک کیو د سطحي شکل د محلول ځای کمولو کې مهم رول لوبوي views. لکه څنګه چې په 3 شکل کې ښودل شوي، موږ د 2 الندې د شکل اټکل روښانه کوو viewد مختلفو اشارو سره. یوازې د RGB عکسونو ته د ان پټ په توګه ورکول (په NeRO [19] او S-VolSDF [35] کې ترتیب سره مطابقت لري) ، د صحنې نقطې مختلف ترکیبونه ، د سطحې نورمالونه ، او د انعکاس ملکیتونه لکه البیدو کولی شي د ورته عکس لیدو لامل شي ، ځکه چې د کیمرې شعاع سره د هر 3D نقطو لپاره یوازې دوه RGB اندازه شتون لري. د سټوکس ویکتورونو سره چې د قطبي عکسونو څخه استخراج کیږي، فوتومیټریک کیو د هر 6D نقطې لپاره 3 اندازه راوړي (د سټوکس ویکتور 3 عناصر لري)، د سطح نورمال نوماندان کموي چې د قطبي عکس جوړونې ماډل سره مناسب نه وي.

له بلې خوا، د قطبي انځورونو څخه د AoP نقشې 1 پراساس، موږ کولی شو د کیمرې شعاع سره د هرې صحنې نقطې لپاره تر π ابهام پورې سطح نورمال وټاکو. په هرصورت، دا لاهم مبهم دی چې هغه موقعیت ومومي چیرې چې د کیمرې شعاع سطحه سره یو ځای کوي مګر دریمه برخه view ورکول کیږي [۶] . له همدې امله، لږ تر لږه لاندې views ترتیب (د بیلګې په توګه، 2 viewپه 3 شکل کې)، د جیومیټریک یا فوتومیټریک کیو پراساس د صحنې نقطه موقعیت ټاکل مبهم پاتې کیږي.
زموږ میتود دا دوه اشارې سره یوځای کوي چې د قطبي عکسونو څخه اخیستل شوي. لکه څنګه چې د 3 انځور په لاندې ښي اړخ کې لیدل شوي، د سمې صحنې نقطه موقعیت باید د هغې سطحه نورمال وي چې د نورمال کاندید ګروپونو په تقاطع کې وي چې د فوتومیټریک او جیومیټریک اشارو څخه اخیستل شوي. لکه څنګه چې سطح په مختلف ډولونو کې نورمال ويampد لیډ صحنې نقطې په ځانګړي ډول د جیومیټریک اشارو لخوا ټاکل کیږي، موږ کولی شو په اسانۍ سره معلومه کړو چې ایا نقطه د فوتومیټریک کیو په مرسته په سطحه ده. په دې توګه، موږ د سپارس شاټ عکاسي سطحې بیا رغونې د حل ځای کموو.

NeRSP
د شبکې جوړښت لکه څنګه چې په 4 شکل کې ښودل شوي، زموږ NeRSP د PANDORA [9] سره ورته شبکې جوړښت پلي کوي چې په اصل کې د Ref-NeRF [30] څخه اخیستل شوي. د رڼا وړانګو لپاره چې د کیمرې له مرکز څخه خارج شوي o د سمت v سره، موږ ایسample a نقطه د شعاع سره د سفر فاصله ti سره ، موقعیت یې په xi = o + tiv کې یادونه شوې. په NeRF [25] کې کارول شوي حجم رینډرینګ تعقیبولو سره، مشاهده شوي سټوکس ویکتور s(v) د حجم اوپیسیت σi او د سټوکس ویکتورونو لخوا په s کې مدغم کیدی شي.ampد وړانګو په اوږدو کې رهبري شوي ټکي، د بیلګې په توګه

چیرته د جمع شوي لیږد په توګه په ګوته کويampرهبري شوې نقطه

د وروستي عصبي 3D بیارغونې میتود NeuS [33] لخوا هڅول شوي ، موږ د حجم شفافیت د SDF شبکې څخه اخلو او همدارنګه د SDF له تدریجي څخه سطح نورمال استخراج کوو. د (xi,v) په s کې محاسبه کولampرهبري شوي ټکي، موږ په Eq کې د پولاریمیټریک عکس جوړولو ماډل تعقیب کوو. (۱۰). په ځانګړې توګه، د ډیفوز وړانګې Ld د ډیفوز البیډو او فریسنیل لیږد کوفیینټ پورې اړه لري، کوم چې د صحنې په موقعیت پورې اړه لري مګر په بدل کې view سمت له همدې امله، موږ د هرې صحنې نقطې ځانګړتیاو څخه Ld نقشه کولو لپاره د توزیع وړ وړانګو شبکه کاروو. د سپیکولر وړانګو Ls د سپیکولر لوب سره تړاو لري چې د سپیکولر لخوا ټاکل کیږي view سمت، د سطحې نورمال، او د سطحې خړپړتیا. له همدې امله موږ د سطحې د خرابوالي وړاندوینې لپاره RoughnessNet کاروو. د کیمرې سره یوځای view سمت او وړاندوینه شوې سطحه نورمال، موږ د ریف-NeRF [30] لخوا وړاندیز شوي مدغم موقعیتي کوډ کولو ماډل تعقیب کولو سره د سپیکولر وړانګو Ls اټکل کوو. د Ld او Ls په یوځای کولو سره، موږ د Eq څخه وروسته لیدل شوي سټوکس ویکتور بیا جوړوو. (۱۰).

د ضایع کیدو فعالیت
د فوټومیټریک ضایع د L1 فاصلې په توګه تعریف شوی د لیدل شوي s(v) او بیا جوړ شوي سټوکس ویکتورونو s(v) ترمنځ، د بیلګې په توګه،

چیرې چې V د کیمرې ټولې شعاعونه په مختلف ډول د اعتراض ماسکونو کې کاسټ کوي views. د جیومیټریک تاوان لپاره. موږ لومړی د کیمرې رې v سره د 3D صحنې نقطه ایکس تر هغه وخته پورې ومومو چې سطح ته یې لمس کړو او بیا د اټکل شوي 2D-پکسل موقعیتونه په مختلف کې ومومئ. views. د جیومیټریک تاوان د Eq پر بنسټ تعریف شوی. (۶) یعنی

چیرې چې ایکس د شیانو ماسک دننه د شعاع د سطحې ټول تقاطع په مختلف ډول په ګوته کوي views. د فوتومیټریک او جیومیټریک زیان سربیره ، موږ د ماسک ضایع اضافه کوو چې د اعتراض ماسک لخوا نظارت کیږي او د ایکونال منظم کولو ضایع. د ماسک ضایع په توګه تعریف شوی

چیرته د k-th کیمرې شعاع کې وړاندوینه شوي ماسک استازیتوب کوي ، چې د GT ماسک ارزښت یې د Mk په توګه پیژندل شوی. BCE د بائنری کراس انټروپي تاوان استازیتوب کوي.

چیرته چې ni,k د سطحې نورمال دی چې په i-th s کې د SDF شبکې څخه اخیستل شویampد k-th کیمرې شعاع سره د رهبري نقطه. زموږ NeRSP د پورتني زیان شرایطو د ترکیب لخوا څارل کیږي، د بیلګې په توګه

چیرې چې λe، λm، او λp د اړونده زیان شرایطو لپاره کوفیفینس دي.

RMVP3D ډیټاسیټ
د وړاندیز شوي میتود کمي ارزونه کولو لپاره، موږ د ریښتینې نړۍ ملټي نیولview د قطبي عکس ډیټاسیټ د ځمکې ریښتیني میشونو سره سمون لري. شکل 5 (کیڼ لور ته) زموږ د نیولو ترتیب روښانه کوي، چې پکې د پولاریمیټریک کیمره، FLIR BFS-U3-51S5PC-C، د 12 mm لینز او د گردش ریل سره مجهز دی. موږ د خام ډیټا ډیموزیک کولو لپاره OpenCV کاروو او په 1224، 1024، 0، او 45 درجو کې د قطبي زاویو سره 90 × 135 رنګ عکسونه ترلاسه کوو. د معلوماتو نیولو په جریان کې، موږ د ریل په مرکز کې هدف لرونکي توکي ځای په ځای کوو او د کیمرې په لاسي ډول حرکت کولو سره د هر اعتراض 60 عکسونه اخلو. موږ څلور شیان د هدف په توګه راټولوو: DOG، FROG، LION، او BALL، لکه څنګه چې په 4 شکل کې ښودل شوي (منځنی). د کمیتي ارزونې لپاره، موږ د لیزر سکینر کریفورم هینډی سکین بلیک د 5 ملی میتر دقت سره د ځمکې حقیقت میش ترلاسه کولو لپاره غوره کوو. د نیول شوي عکس سره میش تنظیم کولو لپاره views، موږ لومړی PANDORA [9] پلي کوو ترڅو د ټولو موجوداتو په کارولو سره د حوالې شکل اټکل کړو views او بیا سکین شوی میش د ICP الګوریتم له لارې اټکل شوي سره تنظیم کړئ [4]. د ځمکې-حقیقت شکلونو سربیره او څوview انځورونه، موږ د 360-درجې کیمرې THETA Z1 په کارولو سره د چاپیریال نقشه هم اخلو، د اړونده عصبي برعکس رینډینګ کارونو لپاره د روښانتیا اټکل په اړه د کمیتي ارزونو ګټه پورته کوو.

تجربې

موږ د دریو تجربو سره NeRSP ارزونه کوو: 1) د موجوده کثیر سره پرتله کولview د 3D بیارغونې میتودونه په کمیتي ډول په مصنوعي ډیټاسیټ کې؛ 2) د جیومیټریک او فوتومیټریک زیان شرایطو د ونډې په اړه د خلاصون مطالعه 3) د ریښتیني نړۍ ډیټاسیټونو کې کیفي او کمیتي ارزونې. موږ BRDF او ناول هم چمتو کوو view د اضافي موادو په پایله کې.

ډاټا او اساسات
ډیټاسیټ. موږ دوه ریښتیني نړۍ ډیټاسیټ چمتو کوو: د PAN-DORA ډیټاسیټ [9] او زموږ وړاندیز شوی RMVP3D، چیرې چې د PANDORA ډیټاسیټ [9] یوازې د کیفیت ارزونې لپاره کارول کیږي ځکه چې د ځمکې حقیقت میشونه ندي چمتو شوي. موږ یو مصنوعي ملټي هم چمتو کووview د قطبي انځور ډیټاسیټ SMVP3D د میتسوبا رینډرینګ انجن سره [15]، کوم چې 5 شیان لري چې په ځایي ډول توپیر لري او انعکاس کوي، لکه څنګه چې په 6 شکل کې لیدل شوي. شیان د چاپیریال نقشې لخوا روښانه شوي او د 2 لخوا نیول شوي. viewپه تصادفي ډول د شیانو شاوخوا توزیع شوی. د وړاندې شوي قطبي عکسونو سربیره ، موږ د هر څیز لپاره سټوکس ویکتورونه ، د GT سطحي نورمال نقشې ، او AoP نقشې هم صادروو.

اساسات. زموږ کار څو حل کويview د انعکاس سطحو لپاره د 3D بیارغونه د سپیر پولر شوي عکسونو پراساس. له همدې امله، موږ د انعکاس سطحې NeRO [3] او سپارس په نښه کولو لپاره د عصري 19D بیارغونې میتودونه غوره کوو views S-VolSDF [35]. پورتني دوه میتودونه د RGB عکس آخذونو پراساس دي. د څو لپارهview سټیریو د قطبي عکسونو پراساس ، موږ پانډورا [9] او MVAS [6] زموږ د اساساتو په توګه غوره کوو. نیرو [19] د ان پټ په توګه د سیلویټ ماسکونو ته اړتیا نلري. د عادلانه پرتله کولو لپاره، موږ NeRO ته د ننوتلو دمخه د اړونده ماسکونو سره د RGB انځورونو کې شالید لیرې کوو [19]. د مختلف میتودونو پرتله کولو لپاره ، موږ د اټکل شوي او GT میشونو ترمینځ د چیمفر فاصله (CD) پلي کوو ، او د اټکل شوي او GT سطحي نورمالونو ترمینځ اوسط زاویه خطا (MAE) په مختلف ډول پلي کوو. viewزموږ د ارزونې میټریکونو په توګه.

په مصنوعي ډیټاسیټ کې د شکل بیا رغونه
لکه څنګه چې په 1 جدول کې ښودل شوي، موږ د موجوده میتودونو د اندازې اټکل تېروتنه لنډیز کوو او زموږ په SMVP3D کې. زموږ میتود د ټولو 5 مصنوعي شیانو په اوږدو کې ترټولو کوچنی چیمفر فاصله ترلاسه کوي. د بصری شکل اټکلونو پر بنسټ چې په 7 شکل کې ښودل شوي، NeRO [19] او S-VolSDF [35] نشي کولی په سمه توګه د سطحې توضیحات بیرته ترلاسه کړي لکه څنګه چې په تړل شوي اپ کې روښانه شوي. views. یو احتمالي دلیل دا دی چې د شکل له مینځه وړل او د سپک عکسونو څخه انعکاس منعکس کول یوازې د RGB معلوماتو پراساس د دې میتودونو لپاره خورا ننګونکي دي. MVAS [6] او PANDORA [9] په جلا توګه د قطبي انځورونو جیومیټریک او فوتومیټریک اشارو ته ګوته نیسي. په هرصورت، بیا رغول شوي انعکاس شوي سطحې شکلونه د سپرس لاندې جیومیټریک او فوتومیټریک اشارو کې د ابهام له امله لاهم د قناعت وړ ندي. views ترتیب. لکه څنګه چې په بند کې روښانه شوي views، د جیومیټریک او فوتومیټریک اشارو دواړو څخه ګټه پورته کول، زموږ طریقه د شکل اندازې حل کولو ځای کموي، چې د GT شکلونو په پرتله خورا معقول شکل بیا رغونه کوي.

د بیارغول شوي میش د ارزونې سربیره، موږ د سطحې نورمال اټکل پایلې هم ازموینه کوو. لکه څنګه چې په 2 جدول کې ښودل شوي، موږ په 6 کې د اټکل شوي سطحي نورمالونو منځنۍ زاویې تېروتنې لنډیز کوو. viewد مختلفو میتودونو څخه. په جدول 1 کې د ارزونې پایلو سره په مطابقت کې، NeRSP په اوسط ډول ترټولو کوچنۍ زاویه تېروتنې ترلاسه کوي. موږ دا هم ولیدل چې د NeRO [19]، MVAS [6]، او PANDORA [9] پایلې د ښه توضیحاتو سره د شیانو په اړه لویې تېروتنې لري، لکه DAVID او DRAGON توکي. د پخواني په توګهample، MVAS [6] په جدول 1 کې ښودل شوي د چمفر دوهم کوچنی فاصله لري، مګر منځنۍ زاویه تېروتنه له 20◦ څخه زیاته ده. یو احتمالي دلیل د موجوده میتودونو څخه دی چې په نادر کې نرم شکلونه تولیدوي views ترتیب، چیرې چې د سطحې توضیحات لکه د ډریګون فلیکس په ښه توګه ندي ترلاسه شوي.

جدول 1. په مصنوعي ډیټاسیټ کې د شکل بیا رغونه پرتله کول د چیمفر فاصلې (↓) لخوا ارزول شوي. ترټولو کوچنۍ او دوهمې وړې تېروتنې په بولډ او لاندې لیکو کې لیبل شوي. "N/A" هغه تجربه په ګوته کوي چیرې چې یو ځانګړی میتود نشي کولی د مناسب شکل اندازې پایلې تولید کړي.

د خلاصون مطالعه
په دې برخه کې، موږ د جیومیتریک او فوتومیټریک اشارو اغیزمنتیا ازمولو لپاره د خلاصولو مطالعه ترسره کوو. د DRAGON څیز د پخوا په توګه اخیستلample، موږ خپل میتود د فوتومیټریک ضایع Lp او جیومیټریک ضایع Lg سره او پرته ترسره کوو. لکه څنګه چې په 8 شکل کې ښودل شوي، موږ شکل او د سطحې نورمال اټکلونه د مختلف زیان شرایطو په غیر فعالولو سره ترتیب کوو. د فوتومیټریک زیان پرته، د سپینو له امله د شکل ابهام views واقع کیږي. لکه څنګه چې د تړل شوي څخه ښودل شوي views، د پښې برخې ته نږدې شکل یو مقعر آثار لري، ځکه چې یوازې دوه لیدل کیږي viewد دې سیمې لپاره، نشي کولی یوازې د AoP نقشو پراساس د شکل لپاره یو ځانګړی حل رامینځته کړي [6]. د جیومیټریک له لاسه ورکولو پرته، موږ د تحریف شوي شکل پایلې هم ترالسه کوو ځکه چې د سپک عکس کتنې په ځانګړي ډول د شکل، انعکاس او روښانتیا لپاره کافي ندي. د فوتومیټریک او جیو میټریک ضایعاتو په یوځای کولو سره، زموږ NeRSP د شکل د بیا پوښښ ابهام کموي او اټکل شوی شکل د GT سره نږدې دی، لکه څنګه چې په بند اپ کې روښانه شوی. views.

شکل 8. د ضایع کیدو مختلف شرایطو باندې د خلاصون مطالعه. پورتنۍ او لاندې قطارونه اټکل شوي شکل او سطحه نورمال کوي، د Chamfer فاصلې سره او په ترتیب سره د هرې فرعي شکل په پورتنۍ برخه کې لیبل شوي منځنۍ زاویه تېروتنه.

په ریښتیني معلوماتو کې د رغیدو شکل
د مصنوعي تجربو سربیره چې په تیرو برخه کې ښودل شوي، موږ د ریښتینې نړۍ ډیټاسیټونو PANDORA ډیټاسیټ [9] او RMVP3D باندې زموږ میتود هم ارزوو ترڅو د ریښتینې نړۍ 3D بیارغونې سناریوګانو کې د هغې پلي کولو ازموینه وکړو.

د PANDORA ډیټاسیټ کیفیت ارزونه [9]. لکه څنګه چې په 9 شکل کې ښودل شوي، موږ د PAN-DORA ډیټاسیټ کیفیت ارزونه وړاندې کوو [9]. د S-VolSDF [35] او NeRO [19] اټکل شوي پایلو سره د عکس لید سره پرتله کول ، شکل په بشپړ ډول د انعکاس څخه لرې شوی نه دی ، د دې لامل شوی چې د سطحي شکلونه د انعکاس جوړښت سره نږدې تړاو ولري. MVAS [6] او PANDORA [9] د اندازې ډیر نرم شوي اندازې یا د مقعر شکل آثار لري، ځکه چې د سپیر کیپچر ترتیب لاندې یوازې جیومیټریک یا فوتومیټریک اشارو په نښه کوي. زموږ د شکل د اندازې پایلې هیڅ ډول شکل هنري اثار نلري او د عکس لیدونو سره نږدې مطابقت لري.

جدول 3. په RMVP3D کې د کمیت ارزونه د Chamfer dis-tance (↓) سره. زموږ میتود په اوسط ډول کوچنۍ تېروتنه ترلاسه کوي.

طریقه	DOG	شیر	FROG	بال	اوسط
نیرو [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
پانډورا [۹]	14.3	15.04	11.27	3.96	11.14
NeRSP (زموږ)	8.80	5.18	6.70	3.84	6.13

په RMVP3D کې کمیتي ارزونه. لکه څنګه چې په 3 جدول کې ښودل شوي، موږ د RMVP3D کمیتي ارزونه د چیمفر فاصلې پر بنسټ وړاندې کوو. د مصنوعي تجربې سره سم، زموږ NeRSP په اوسط ډول د اټکل ترټولو کوچنۍ تېروتنه ترلاسه کوي. په 10 شکل کې ښودل شوي بصري شکلونه نور هم په ډاګه کوي چې انعکاس کونکي سطحونه د S-VolSDF [35] لپاره ننګونې دي ترڅو شکل له انعکاس څخه لرې کړي، لکه څنګه چې په بند کې د FROG څیز د ډنډ سطح لخوا روښانه شوي. views. NeRO [19] او PANDORA [9] د ساده BALL څیز په اړه زموږ سره ورته اندازې تېروتنې لري. د پیچلو شکلونو لکه LION لپاره، د مسخ شوي شکل بیا رغونه له دې میتودونو څخه د لږوالي له امله ترلاسه کیږي. view ترتیب، پداسې حال کې چې زموږ د GT میشونو ته نږدې دي، زموږ د میتود اغیزمنتوب په ریښتیني نړۍ کې د انعکاس سطحې بیارغونې په اړه د لږو معلوماتو لاندې ښیي.

پایله

موږ د NeRSP وړاندیز کوو، د عصبي 3D بیارغونې میتود د انعکاس سطحو لپاره د لږ قطبي عکسونو لاندې. د شکل د شعاع ابهام او پیچلي انعکاس د ننګونو له امله، موجوده میتودونه د انعکاس سطحو یا سپین سره مبارزه کوي. views او نشي کولی د RGB عکسونو سره دواړه ستونزې حل کړي. موږ وړاندیز کوو چې قطبي شوي عکسونه د ان پټ په توګه وکاروو. د قطبي انځورونو څخه استخراج شوي جیومیټریک او فوتومیټریک اشارو سره یوځای کولو سره، موږ د اټکل شوي شکل د محلول ځای کموو، چې د انعکاس سطح اغیزمن بیا رغونه ته اجازه ورکوي چې لږ تر لږه 6 پورې وي. views، لکه څنګه چې په عامه توګه شتون لري او زموږ ډیټاسیټونه ښودل شوي.

محدودیت
په دې کار کې د متقابل انعکاس او قطبي چاپیریال رڼا په پام کې نه نیول کیږي، کوم چې کولی شي د شکل بیارغونې دقت اغیزه وکړي. موږ د دې موضوع په اړه د NeISF [17] وروستی کار ولید، او موږ په راتلونکي کې د دې کار سره زموږ د لږ شاټ وړتیا سره یوځای کولو ته لیواله یو.
اعتراف
دا کار د بېجينګ طبيعي علومو بنسټ پروژې نمبر Z200002، د چين د طبيعي علومو ملي بنسټ (د مرستې شمېره 62136001، 62088102، 62225601، U23B2052)، د BUPT د ځوانانو نوښتګر څېړنيزې ډلې او د BUPT نمبر 2023 KNTQND 02PSDENAK د ځوانانو نوښتګر څېړنيز ټيم لخوا ملاتړ شوی. (د مرستې شمیره JP22K17910 او JP23H05491). موږ د بصیرت بحثونو لپاره د یووی لیو څخه مننه کوو.

حوالې

یونهاو با، الیکس ګیلبرټ، فرانکلین وانګ، جینفا یانګ، روی چن، یقین وانګ، لی یان، بوکسین شی، او اچوتا کادامبي. د قطبي کولو څخه ژور شکل. په ECCV کې، پاڼې 554–571، 2020. 2
Seung-Hwan Baek، Daniel S Jeon، Xin Tong، او Min H Kim. د پولاریمیټریک SVBRDF او نورمالونو په ورته وخت کې استملاک. ACM TOG، 37(6):268–1، 2018. 2, 3, 4

جوناتن ټي بارون، بین میلډن هال، میتیو تانسک، پیټر هیډمن، ریکارډو مارتین برولا، او پراتول پی سرینواسن. Mip-NeRF: د الیاس کولو ضد عصبي وړانګو ساحو لپاره څو پیمانه نمایش. په ICCV کې، پاڼې 5855–5864، 2021. 2
پاول جی بیسل او نیل ډی مکی. د 3-D شکلونو د ثبت کولو طریقه. د سینسر فیوژن IV کې: د کنټرول تمثیل او ډیټا جوړښتونه، مخونه 586-606، 1992. 6
مارک باس، ورون جيampانی، رافیل براون، سی لیو، جوناتن بارون، او هینډریک لینسچ. عصبي-PIL: د انعکاس تخریب لپاره د عصبي دمخه مدغم څراغونه. په NeurIPS کې، پاڼې 10691–10704، 2021. 1, 2

Xu Cao، Hiroaki Santo، Fumio Okura، او Yasuyuki Matsushita. څو-View Azimuth سټریو د تنګینټ فضا تسلسل له لارې. په CVPR کې، مخونه 825-834، 2023. 2, 3, 4, 6, 7, 8
انپی چن، ژیژیانګ سو، فوکیانګ ژاو، ژیاوشوای ژانګ، فانبو شیانګ، جینګی یو او هاو سو. MVSNeRF: د څو څخه د چټک عمومي کولو وړ وړانګو ساحه بیارغونهview سټیریو په CVPR کې، مخونه 14124-14133، 2021. 2
ژاوپینګ کوی، جین وی ګو، بوکسین شی، پینګ تان او جان کوتز. پولاریمیټریک څوview سټیریو په CVPR کې، مخونه 1558-1567، 2017. 2

اکشت ډیو، یونګي ژاو، او اشوک ویراراګوان. پانډورا: د وړانګو د قطبي کولو په مرسته عصبي تخریب. په ECCV کې، مخونه 538-556، 2022. 1, 2, 4, 6, 7, 8
کنګل دینګ، اندریو لیو، جون یان ژو او دیوا را منان. ژور څارل شوی NeRF: لږ views او ګړندی روزنه وړیا لپاره. په CVPR کې، مخونه 12882-12891، 2022. 2
یوکی دینګ، یو جی، مینګ یوان ژو، سینګ بینګ کانګ او جین وی یی. Polarimetric helmholtz stereopsis. په ICCV کې، پاڼې 5037-5046، 2021. 2

یوشیکی فوکاو، ریو کاهارا، شوای نوبوهارا، او کو نیشینو. پولاریمیټریک نورمال سټیریو. په CVPR کې، مخونه 682-690، 2021. 2
ون هانګ جي، تاو هو، هاو ژاو، شو ليو او ينګ کانګ چن. Ref-NeuS: ابهام کم شوی عصبي ضمیمه سطحي زده کړه د څو لپارهView د انعکاس سره بیا رغونه. arXiv مخکی چاپ arXiv: 2303.10840, 2023. 1
ریچارډ هارټلي او انډریو زیسرمن. ګڼ view جیومیټری په کمپیوټر لید کې. د کیمبریج پوهنتون مطبوعات، ۲۰۰۳. ۱

وینزیل جاکوب میتسوبا وړاندې کوونکی، 2010. 6
چنیانګ لی، چینیانګ کیو، جیاکسین ژی، نا فین، ولادلین کولتون، او کیفینګ چن. په ځنګل کې د پیچلو صحنو لپاره د قطبي کیدو څخه شکل. په CVPR کې، مخونه 12632-12641، 2022. 2
چنهاو لي، تاشي اونو، تاکيشي اوموري، حاجي ميهارا، الکساندر ګاتو، حاجيم ناګاهارا، او يوسيکي موريچي. NeISF: د جیومیټري او موادو اټکل لپاره د عصبي پیښې سټوکس ساحه. arXiv مخکی چاپ arXiv: 2311.13187, 2023. 8

ژاوشو لی، توماس مولر، الیکس ایونز، رسل ایچ ټیلر، ماتیاس انبرات، مینګ یو لیو او چن-هسوان لین. Neu-Colangelo: د لوړ مخلص عصبي سطحه بیا رغونه. په CVPR کې، مخونه 8456–8465، 2023. 2
یوان لیو، پینګ وانګ، چینګ لین، ژیاو شیاو لونګ، جیپینګ وانګ، لینګ جی لیو، تاکو کومورا او وینپینګ وانګ. نیرو: د عصبي جیومیټري او BRDF بیا رغونه د انعکاس څیزونو له ملټي څخهview انځورونه. arXiv مخکی چاپ arXiv: 2305.17398, 2023. 1, 2, 4, 6, 7, 8
ژیاو شیاو لونګ، چینګ لین، پینګ وانګ، تاکو کومورا او وینپینګ وانګ. SparseNeuS: له سپارس څخه ګړندي عمومي کولو وړ عصبي سطحه بیارغونه views. په ECCV کې، مخونه 210-227، 2022. 2

یووی لیو، لینګران ژاو، سی لی او بوکسین شی. د لرې رڼا اندازې سره د قطبي کولو څخه شکل. IEEE TPAMI، 2023. 2
بین میلډن هال، پراتول پی سرینواسن، میتیو تانسیک، جوناتن ټي بارون، روي رامامورتي، او رین این جی. NeRF: د عصبي روښانتیا ساحو په توګه د صحنو استازیتوب کول view ترکیب په ECCV کې، پاڼې 405-421، 2020. 1، 2
میازاکي، تان، هارا او اکیوچي. د یو واحد څخه د قطبي کولو پر بنسټ معکوس رینډینګ view. په ICCV کې، پاڼې 982-987، 2003. 2

مایکل نیمییر، لارس میشیډر، مایکل اوچسل، او اندریاس ګیګر. د توپیر وړ حجمیتریک رینډینګ: د 3D نظارت پرته د 3D نمایشونو زده کول. په CVPR کې، پاڼې 3504-3515، 2020. 2
مایکل نیمیر، جوناتن ټي بارون، بین میلډن هال، مهدي ایس ایم سجادي، اندریاس ګیګر، او نوها رادوان. Reg-nerf: د عصبي وړانګو ساحو منظم کول view د لږو معلوماتو څخه ترکیب. په CVPR کې، مخونه 5480-5490، 2022. 2، 4
مایکل اوچسل، سونګ یو پینګ، او اندریاس ګیګر. UNISURF: د څو - لپاره د عصبي ضمیمه سطحو او د روښانه ساحې متحد کولview بیارغونه په ICCV کې، پاڼې 5589–5599، 2021. 2

جیونګ جون پارک، پیټر فلورنس، جولیان سټراب، ریچارډ نیوکومب، او سټیون لیوګرو. DeepSDF: د شکل نمایش لپاره د دوامداره لاسلیک شوي فاصلې دندې زده کول. په CVPR کې، مخونه 165-174، 2019. 1
وینسنټ سیټزمن، جولین مارټیل، الکساندر برګمن، ډیویډ لینډل، او ګورډن ویټزټین. د دوراني فعالولو دندو سره ضمیمه عصبي نمایشونه. په NeurIPS، 2020 کې. 1
ویلیم AP سمت، روی رامامورتي، او سلویا توزا. د نامعلومو څراغونو یا البیډو سره د قطبي لوړوالی. IEEE TPAMI، 41(12):2875–2888، 2018. 2

ډور وربین، پیټر هیډمن، بین میلډن هال، ټوډ زیکلر، جوناتن ټ بارون، او پراتول پی سرینواسن. Ref-NeRF: جوړښت view- د عصبي وړانګو ساحو لپاره انحصاري بڼه. په CVPR کې، مخونه 5481-5490، 2022. 4، 5
بروس والټر، سټیفن آر مارشینر، هونګ سونګ لی، او کین نیت ای تورنس. د وړو سطحو له لارې د انعکاس لپاره د مایکروفاسیټ ماډلونه. د رینډینګ تخنیکونو په اړه د 18th یوروګرافیک کنفرانس په بهیر کې، 195-206، 2007 مخونه. 4
ګوانګ کونګ وانګ، ژاوشي چن، چن چین لوی او ژی وی لیو. SparseNeRF: د څو شاټ ناول لپاره د ژورې درجې تحلیل کول view ترکیب arXiv مخکی چاپ arXiv: 2303.16196, 2023. 2

پینګ وانګ، لینګ جی لیو، یوان لیو، کریسټین تیوبالټ، تاکو کومورا او وینپینګ وانګ. NeuS: د څو لپاره د حجم رینډرینګ په واسطه د عصبي ضمیمه سطحو زده کړهview بیا رغونه. arXiv مخکی چاپ arXiv: 2106.10689, 2021. 1, 2, 5
ییقون وانګ، ایوان سکوروخودوف او پیټر وانکا. HF-NeuS: د لوړ فریکونسۍ توضیحاتو په کارولو سره د سطحې بیارغونه ښه شوې. په NeurIPS کې، پاڼې 1966-1978، 2022. 2
هایو وو، الکساندروس ګریکوس او دیمیتریس سمارا. S-VolSDF: سپارس ملټي-View د عصبي ضمیمه سطحو سټیریو منظم کول. arXiv مخکی چاپ arXiv: 2303.17712, 2023. 1, 2, 4, 6, 7, 8

جیاوی یانګ، مارکو پاون او یو وانګ. FreeNeRF: د وړیا فریکونسۍ منظم کولو سره د څو شاټ عصبي رینډرینګ ښه کول. په CVPR کې، مخونه 8254-8263، 2023. 2
لیور یاریف، یوني کاستین، ډور موران، میرو ګالون، متان اتزمون، بصري رونین، او یارون لیپمن. ملټيview د عصبي سطحې بیا رغونه د جیومیټري او ظاهري تحلیل له لارې. په NeurIPS کې، پاڼې 2492–2502، 2020. 2
لیور یاریف، جیتاو ګو، یونی کاستین، او یارون لیپمن. د عصبي ضعیف سطحونو حجم وړاندې کول. په NeurIPS کې، مخونه 4805–4815، 2021. 1, 2

الیکس یو، ویکي یی، میتیو تنیک، او انګجو کانازوا. pixelNeRF: د یو یا څو عکسونو څخه د عصبي وړانګو ساحې. په CVPR کې، مخونه 4578–4587، 2021. 2
کای ژانګ، ګیرنوټ ریګلر، نوح سنویلي، او ولادلین کولتون. NeRF++: د عصبي وړانګو ساحو تحلیل او ښه کول. arXiv مخکی چاپ arXiv: 2010.07492, 2020. 2
کای ژانګ، فوجون لوان، کیان کیان وانګ، کویتا بالا او نوح سنویلي. PhySG: د فزیک پر بنسټ د موادو ایډیټ کولو او راښکاره کولو لپاره د کروی ګوسیانو سره برعکس رینډینګ. په CVPR کې، مخونه 5453-5462، 2021. 1، 2

Xiuming Zhang، Pratul P Srinivasan، Boyang Deng، Paul De-bevel، William T Freeman، او Jonathan T Barron. NeR-Factor: د یوې نامعلومې روښانتیا لاندې د شکل او انعکاس عصبي فکتوریزیشن. ACM TOG، 40(6):1–18، 2021. 2
Jinyu Zhao، Yusuke Monno، او Masatoshi Okutomi. پولاریمیټریک څوview معکوس وړاندې کول. IEEE TPAMI، 2022. 2

د NeRSP فوتومیټریک او جیومیټریک نښې

د جیومیټریک کیو اخستل
لکه څنګه چې په انځور کې ښودل شوي views، په نښه کې د هغې سطح نورمال دی view په ترتیب سره د ایزیموت او لوړوالی زاویو ϕ او θ لخوا نمایش کیدی شي، د بیلګې په توګه،

د azimuth زاویه او د سطحې نورمال عنصر تر مینځ اړیکه په دې ډول ترتیب کیدی شي

په هدف کې سطح نورمال دی view په منبع کې د نورمال په څرخولو سره محاسبه کیدی شي view، د بیلګې په توګه ˆn = Rn. د کیلیبریټ کیمرې څخه د گردش میټرکس په پام کې نیولو سره R = [r1, r2, r3] ⊤، Eq. (2) د n پر بنسټ په توګه ترتیب کیدی شي

r⊤1 n cos ϕ − r⊤ 2 n ګناه ϕ = 0. (3)

د MVAS [2] په تعقیب، موږ کولی شو Eq بیا تنظیم کړو. (3) د سطحي نورمال او اټکل شوي tangent ویکتور t(ϕ) تر منځ د اورتوګونل اړیکه ترلاسه کول لکه څنګه چې لاندې تعریف شوي،

د ایزیموت زاویه کې دا پایله د قطبي کولو زاویه (AoP) ته غزیدلی شي. د π ابهام په طبیعي ډول د Eq په توګه حل کیدی شي. (4) ولاړ دی که چیرې موږ ϕ د π په واسطه اضافه کړو. د π/2 ابهام د pseudo-projected tangent vector t(ϕ) په کارولو سره حل کیدی شي داسې چې

که د یوې صحنې نقطه x د f لخوا مشاهده شي views، موږ کولی شو Eq سټیک کړو. (4) او Eq. (5) د مختلف گردشونو او مشاهده شوي AoPs پراساس چې د خطي سیسټم لامل کیږي

T(x)n(x) = 0. (6)

موږ دا خطي سیسټم د څو - لپاره زموږ د جیومیټریک اشارو په توګه چلند کوو.view قطبي 3D بیا رغونه.

د فوتومیټریک کیو اخستل
د قطبي BRDF ماډل [1] په تعقیب، د تولید سټوکس ویکتور کولی شي په ډیفوز او سپیکولر برخو کې د Hd او Hs له لارې په ورته ډول ماډل شوي وي، د بیلګې په توګه،

د ډیفوز سټوکس اجزا د یو واحد ر lightا لاندې شکل کیدی شي په توګه

چیرته چې ρd د ډیفوز البیډو په نښه کوي، ϕn د الوتکې د نورمال سطحې په عموم کې د پیښې د رڼا د ایزیموت زاویه ده، T+i،o او T−i، د فریسنیل لیږد کوفیفینټونو محاسبه څرګندوي [1] چې د دې سره تړاو لري. تر منځ زاویه view سمت او سطح نورمال. په پانډورا [3] کې د مفکورو په تعقیب، موږ د چاپیریال د رڼا لاندې د ډیفوز سټوکس ویکتور بیا لیکو.

چیرته د خپریدو وړانګو په توګه پیژندل کیږي. د مساواتو څخه د محاسبې پر ځای، د توزیع وړ وړانګې د ځایی توپیر په توګه په مستقیم ډول د عصبي نقطې ځانګړتیا څخه نقشه کیږي چې د همغږۍ پر بنسټ د MLP لخوا استخراج شوي. له بلې خوا، د سپیکولر سټوکس ویکتور د یو واحد ر lightا سمت لاندې ω د پولاریمیتریک BRDF ماډل کې تعریف کیدی شي.

چیرته چې ρs سپیکولر البیډو ته اشاره کوي؛ D او G د Microfacet ماډل کې نورمال توزیع او سیوري اصطالح په ګوته کوي [8]، کوم چې د سطحې خرابوالي لخوا کنټرول کیدی شي؛ R+ او R− د فریسنیل انعکاس کوفیفینټس محاسبې په ګوته کوي [1]، کوم چې د سطحې نورمال او د پیښې د رڼا سمت تر مینځ زاویه پورې تړاو لري؛ ϕh د پیښې ایزیموت زاویه ده چې د نیم ویکتور سره تړاو لري. په پانډورا [3] کې د مفکورو په تعقیب، موږ د چاپیریال رڼا لاندې د سپیکولر سټوکس ویکتور بیا لیکو

چیرته سپیکولر روښانتیا په ګوته کوي. د سپلټ مجموعې نږدې [5] سره، موږ کولی شو د Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω نور هم نږدې کړو. د ډیفوز سټوکس ویکتور سره یوځای کول په Eq کې ښودل شوي. (9)، موږ د لاندې پولاریمیتریک عکس جوړونې ماډل پراساس فوتومیټریک کیو جوړوو

د تطبیق توضیحات

دا برخه زموږ د مصنوعي څو رینډینګ توضیحات وړاندې کوي.view د قطبي عکس ډیټاسیټ SMVP3D او د NeRSP د روزنې توضیحات.

ډیټاسیټ
موږ SMVP3D چمتو کوو، کوم چې د طبیعي روښانتیا لاندې د پنځو مصنوعي انعکاس شیانو انځورونه لري. د هر اعتراض لپاره، موږ 48 وړاندې کوو views او اړونده ځمکني حقیقت (GT) سطحي نورمال نقشې ثبت کړئ. موږ Mit-suba3 [4] د رینډرینګ انجن په توګه کاروو، د BRDF ډول سره زموږ په رینډرینګ کې د قطبي پلاستيکي موادو لپاره ټاکل شوی. د dif-fuse albedo ρd لپاره، موږ زموږ د رینډینګ پایلو حقیقت ته وده ورکولو لپاره د ځایي ډول ډول مختلف البیډو جوړښت کاروو. په ورته وخت کې، موږ سپیکولر البیډو ρs د 1.0 په ثابت ارزښت کې ساتو او د سطحې خرابوالی 0.05 ته ټاکلو. دا طریقه د شیانو په سطحونو کې یوشان انعکاس یقیني کوي. پایله لرونکي قطبي عکسونه د 512 × 512 پکسل په ریزولوشن کې وړاندې کیږي.

روزنه
زموږ د ضایع کولو فعالیت کې هایپرپرامیټرونه λg، λm، او λe په ترتیب سره 1، 1، او 0.1 ته ټاکل شوي. د روزنې د پروسې په جریان کې، موږ د PAN-DORA [3] په تعقیب د تودوخې ستراتیژي کاروو، چیرې چې د لومړي 1 دورې لپاره، موږ یوازې غیر قطبي معلومات په فوتومیټریک کیو کې په پام کې نیسو او فرض کوو چې د څیز سپیکولر برخه 000 ده. تجربې، موږ په SMVP0D کې د روزنې او ازموینې لپاره د 512 × 512 ریزولوشن کاروو، او د ریښتینې نړۍ ډیټاسیټونو لپاره 3 × 512. زموږ میتود عموما شاوخوا 612 epochs بدلوي، کوم چې په Nvidia RTX 100 GPU کې شاوخوا 000 ساعته وخت نیسي، د حافظې شاوخوا 6 MB مصرفوي.

د BRDF اټکل او د بیا راګرځولو پایلې

شکل S4 (پورته) زموږ د خړوبۍ، توزیع، او سپیکولر اجزاوو اټکل وړاندې کوي. اټکلونه یوازې د 6 له امله یو څه شور دي views. د Ref-NeRF په څیر [7] چیرې چې روښانتیا په ښکاره ډول د IDE له لارې کنټرول کیږي، موږ نشو کولی د رڼا کولو تجربې ترسره کړو. له همدې امله، موږ ناول ښودل view د ترکیب پایلې پرځای، لکه څنګه چې په انځور کې لیدل شوي S4 (لاندې). د موجوده میتودونو سره پرتله کول، زموږ د بیا وړاندې کولو عکسونه د ورته ریښتینې نړۍ لیدونو سره نږدې دي.

زموږ په ډیټاسیټونو کې اضافي پایلې

پدې برخه کې، موږ د SMVP3D او د ریښتیني نړۍ ملټي - د شکل بیارغونې اضافي پایلې وړاندې کوو.view د قطبي عکس ډیټاسیټ RMVP3D.

په SMVP3D کې ارزونه
موږ د بنسټیزو میتودونو کیفیت لرونکي بیارغونې پایلې او زموږ چلند په شکل S2 کې وړاندې کوو. د MVAS [2] پایلې توضیحات نلري، ځکه چې فوتومیټریک کیو په پام کې نه نیول کیږي. په داسې حال کې چې نیرو [6] د ښه شکل بیارغونې وړاندیز کوي، دا د بې ساخته شیانو لپاره د باور وړ سطح چمتو کولو کې پاتې راغلی، لکه DAVID. S-VolSDF [9] له وړو څخه تر ښیګڼې څوView سټیریو (MVS) چلند کوي او د شیانو په سطحو کې د جوړښت معلوماتو ته ډیر حساسیت ښیې ، کوم چې ځینې وختونه د ساختماني ځانګړتیاو په توګه د جوړښت توضیحاتو غلط تشریح لامل کیږي. پانډورا [3] په اغیزمنه توګه د البیډو او سپیکولر معلوماتو جلا کولو کې ستونزې لري، چې د بیارغونې غیر باوري پایلو لامل کیږي. زموږ طریقه، NeRSP، په مؤثره توګه دواړه فوتومیټریک او جیومیټریک اشارو څخه کار اخلي، په پایله کې بیا رغونه چې د GT جوړښت په سمه توګه منعکس کوي.

موږ همدارنګه د سطحي نورمال اټکلونه او اړونده زاویه خطا توزیع په شکل S3 کې ښکاره کوو، کوم چې په دوامداره توګه ښیي چې NeRSP د لږ ان پټ سره د انعکاس سطحو لپاره د بیارغونې غوره شکل پایلې ترلاسه کوي. views.

په RMVP3D کې ارزونه
پدې برخه کې، موږ د RMVP3D په اړه د بل اعتراض بیا رغونې پایله وړاندې کوو. شکل S5 ښیي چې NeRO [6]، MVAS [2]، او NeRSP کولی شي په سمه توګه د انعکاس سطح سره یو ساده کروی څیز بیا جوړ کړي. په مقابل کې، S-VolSDF [9] او PANDORA [3] نشي کولی د سطحې البیډو او سپیکولر اجزا تخریب کړي، چې په پایله کې د شکل د بیارغونې په بهیر کې تحریف کیږي. د NeRO [6]، MVAS [2]، او NeRSP د بیارغونې پایلو ترمنځ توپیر کولو لپاره، موږ د هر میتود لخوا بیارغول شوي میشونو لپاره د چیمفر فاصله لیدلو. لکه څنګه چې په انځور S6 کې ښودل شوي، د هرې نقطې رنګ د هغه د چیمفر فاصله په ګوته کوي، کوم چې د 0 او 5 mm تر منځ ټوټه شوی. دا مثالونه ښیي چې د NeRSP سره تړلې د بیارغونې تېروتنه د نورو دوو میتودونو په پرتله کوچنۍ ده.

د سطحې انعکاس په اړه د خلاصون مطالعه

زموږ میتود موخه د انعکاس سطحې بیارغونه ده، او دا د کچو سطحو سره د شکل بیا رغولو لپاره هم کارول کیدی شي. د پخواني په توګهample، موږ د SNAIL څیز د هغې د سپیکولر البیډو ρs سره له 1.0 څخه 0.1 ته راټیټولو سره بیا وړاندې کوو. د اټکل شوي سطحې منځنۍ زاویه تېروتنه (MAE) په 6 انپټ کې نورمال viewد مختلفو میتودونو څخه په جدول S1 کې ښودل شوي. د سطحي نورمال اندازې کیفي ارزونه او د ورته ان پټ لاندې مختلف میتودونو اړوند زاویه غلطی ویش view په انځور S7 کې ښودل شوي. دا تجربې ښیي چې ډیری میتودونه د انعکاس سطحو په پرتله په کچو سطحونو کې د بیارغونې کیفیت ښه کوي. په ځانګړې توګه، زموږ میتود په دوامداره توګه د اعتراض ترټولو معتبر سطحي بیارغونه وړاندې کوي.

د خلاصون مطالعه په #views

زموږ د NeRSP موخه د انعکاس سطحو بیا رغونه ده چې د لږ انپټ لاندې وي views. هغه تجربې چې په اصلي کاغذ کې ښودل شوي 6 سپارس اخلي views د ننوت په توګه. زموږ د میتود ارزونه د مختلف شمیرو ان پټو لاندې views (لکه، #views)، موږ د 3، 6، 12، او 24 ترتیب لاندې د ریښتینې نړۍ اعتراض LION باندې تجربې ترسره کوو views. شکل S8 بیرته ترلاسه شوي شکلونه لیدلي، پداسې حال کې چې د چیمفر فاصله سره کیفیت ارزونه په جدول S2 کې وړاندې کیږي.

د لږ انډول لاندې views، لکه 3، موجوده میتودونه د احتمالي پایلو بیرته ترلاسه کولو لپاره مبارزه کوي. دا په عمده توګه د دې لپاره دی چې دوی یا په فوتومیټریک اشارو یا جیومیټریک اشارو باندې تمرکز کوي. د پخواني په توګه د S-VolSDF [9] اخیستلample، اټکل شوی شکل، لکه څنګه چې په نږدې کې لیدل کیږي views، په پراخه توګه د اړونده جوړښت لخوا اغیزمن کیږي. دا د سپکو لاندې د شکل - روښانه ابهام له امله د غلط شکلونو لامل کیږي views. د جیومیټریک او فوټومیټریک اشارو دواړو په نښه کولو سره، زموږ NeRSP د لږو معلوماتو لاندې ابهام کموي. د پایلې په توګه، موږ ډیر معقول شکل بیا رغونه ترلاسه کوو. دا مشاهده د اعتبار وړ پاتې کیږي کله چې د ننوتلو شمیر views د 12 څخه ډیر دی. لکه څنګه چې په جدول S2 کې ښودل شوي، زموږ NeRSP په دوامداره توګه د انډول زیاتیدونکي شمیر سره ترټولو کوچنی فاصله ترلاسه کوي. views. دا زموږ د میتود اغیزمنتوب په پراخه کچه په انعکاس سطحو کې ښیې views.

جدول S2. د LION په اړه کیفیتي ارزونه د چیمفر فاصلې (↓) لخوا د مختلف ان پټ لاندې اندازه کیږي views.

#Views	نیرو [6]	S-VolSDF [9]	MVAS [2]	پانډورا [۹]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

د پولاریمیټریک MVIR ډیټاسیټ ارزونه

د PANDORA ډیټاسیټ [3] او زموږ RMVP3D کې د ریښتینې نړۍ تجربو سربیره، موږ د څو څو ارزونه هم چمتو کوو.view د قطبي عکسونو ډیټاسیټ په PMVIR کې شتون لري [10]. لکه څنګه چې په شکل S9 کې ښودل شوي، موږ د پانډورا [3] څخه د شکل بیا رغونه پایلې لیدلو او زموږ، 6 سپارس اخیستل views د ننوت په توګه. څرنګه چې په دې ډیټاسیټ کې د GT شکل شتون نلري، موږ د PMVIR [10] پایلې د حوالې په توګه کاروو، کوم چې 31 او 56 اخلي viewپه ترتیب سره د کیمرې او موټر صحنې لپاره د ان پټ په توګه. موږ ګورو چې زموږ پایلې د هغو کسانو په پرتله ډیرې معقولې دي چې پانډورا کاروي [3]، د 3D بیا رغونې په اړه زموږ د میتود اغیزمنتوب څرګندوي.