NeRSP CVPR24 Neural 3D Reconstruction for Reflective Objects Instruction Manual

ليکڪ: Yufei Han, Heng Guo, Koki Fukai, Hiroaki Santo, Boxin Shi, Fumio Okura, Zhanyu Ma, Yunpeng Jia
وابستگيون: بيجنگ يونيورسٽي آف پوسٽس اينڊ ٽيليڪميونيڪيشن، اوساڪا يونيورسٽي، پيڪنگ يونيورسٽي

خلاصو: NeRSP پراڊڪٽ موجوده طريقن جي مقابلي ۾ عڪاسي ڪندڙ سطحن لاءِ بهتر شڪل جي تعمير نو جا نتيجا پيش ڪري ٿو.

پيداوار جي استعمال جون هدايتون

تعارف
NeRSP پراڊڪٽ کي اسپارس پولرائزڊ تصويرن جي استعمال سان عڪاسي ڪندڙ شين جي 3D تعمير نو لاءِ ٺاهيو ويو آهي. اهو ملٽي ڳولڻ سان لاڳاپيل چئلينجن تي قابو پائي ٿو.view محدود خط و ڪتابت جي تحت روشني کان خط و ڪتابت ۽ الڳ ڪرڻ واري شڪل.

لاڳاپيل ڪم
NeRSP نيورل ريڊيئنس فيلڊز (NeRF) ۽ ٻين نيورل 3D تعمير نو طريقن کان متاثر آهي. اهو سائن ٿيل ڊسٽنس فيلڊ (SDF) ذريعي مٿاڇري جي شڪل کي واضح طور تي ماڊل ڪري ٿو ۽ شڪل جي تعمير نو جي معيار کي بهتر بڻائڻ لاءِ مختلف دائري جي ٽريڪنگ ۽ حجم رينڊرنگ کي استعمال ڪري ٿو.
پولاريميٽرڪ تصويري ٺهڻ جو ماڊل
NeRSP هڪ پولاريميٽرڪ تصوير جي جوڙجڪ جو ماڊل شامل ڪري ٿو ته جيئن تعمير نو لاءِ فوٽوميٽرڪ ۽ جاميٽري اشارا حاصل ڪري سگهجن.

اڪثر سوال:

سوال: ايڊوان ڇا آهي؟tag3D تعمير نو لاءِ NeRSP استعمال ڪرڻ جو ڇا مطلب آهي؟
A: NeRSP موجوده طريقن جي مقابلي ۾ عڪاسي ڪندڙ سطحن لاءِ بهتر شڪل جي تعمير نو جا نتيجا پيش ڪري ٿو ڇاڪاڻ ته ان جي جديد طريقي سان اسپارس پولرائزڊ تصويرون استعمال ڪندي.

سوال: ڇا NeRSP پراڊڪٽ پکيڙيندڙ سطحن لاءِ مناسب آهي؟
A: جڏهن ته NeRSP بنيادي طور تي عڪاسي ڪندڙ سطحن لاءِ ٺهيل آهي، اهو پکڙيل سطحن لاءِ قائل ڪندڙ شڪل جو اندازو پڻ فراهم ڪري سگهي ٿو جتي فوٽوميٽرڪ تسلسل صحيح آهي. views.

اين آر ايس پي:
اسپارس پولرائزڊ تصويرن سان عڪاسي ڪندڙ شين لاءِ نيورل 3D بحالي

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

بيجنگ يونيورسٽي آف پوسٽس اينڊ ٽيليڪميونيڪيشن

گريجوئيٽ اسڪول آف انفارميشن سائنس اينڊ ٽيڪنالاجي، اوساڪا يونيورسٽي
ملٽي ميڊيا انفارميشن پروسيسنگ لاءِ نيشنل ڪي ليبارٽري، اسڪول آف ڪمپيوٽر سائنس، پيڪنگ يونيورسٽي 4 نيشنل انجنيئرنگ ريسرچ سينٽر آف ويزوئل ٽيڪنالاجي، اسڪول آف ڪمپيوٽر سائنس، پيڪنگ يونيورسٽي
- {hanyufei، guoheng، mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

خلاصو

اسين NeRSP پيش ڪريون ٿا، جيڪو اسپارس پولرائزڊ تصويرن سان عڪاسي ڪندڙ مٿاڇري لاءِ هڪ نيورل 3D تعمير نو ٽيڪنڪ آهي. عڪاسي ڪندڙ مٿاڇري جي تعمير نو انتهائي چئلينجنگ آهي ڇاڪاڻ ته اسپيڪيولر عڪاسي view- انحصار ۽ انهي ڪري گھڻ جي خلاف ورزيview گھڻن لاءِ تسلسلview اسٽيريو. ٻئي طرف، اسپارس تصويري ان پٽ، عملي ڪيپچر سيٽنگ جي طور تي، عام طور تي خط و ڪتابت جي ميلاپ جي کوٽ جي ڪري نامڪمل يا مسخ ٿيل نتيجا پيدا ڪن ٿا. هي پيپر گڏيل طور تي پولرائزڊ تصويرن کي استعمال ڪندي اسپارس ان پٽن ۽ عڪاسي ڪندڙ سطحن جي چئلينجن کي سنڀاليندو آهي. اسان پولارائميٽرڪ تصويري فارموليشن ماڊل ۽ ملٽي مان فوٽوميٽرڪ ۽ جاميٽري اشارا حاصل ڪندا آهيون.view ازيمٿ تسلسل، جيڪو گڏيل طور تي ضمني اعصابي نمائندگي ذريعي ماڊل ڪيل مٿاڇري جي جاميٽري کي بهتر بڻائي ٿو. اسان جي مصنوعي ۽ حقيقي ڊيٽاسيٽس تي تجربن جي بنياد تي، اسان صرف 6 سان جديد سطح جي تعمير نو جا نتيجا حاصل ڪريون ٿا. views ان پٽ جي طور تي.

تعارف

گهڻview 3D تعمير نو ڪمپيوٽر ويزن (سي وي) ۾ هڪ بنيادي مسئلو آهي ۽ ڪيترن سالن کان ان جو وڏي پيماني تي مطالعو ڪيو ويو آهي [14]. ضمني سطح جي نمائندگي [27، 28] ۽ نيورل ريڊينس فيلڊز [22] جي ترقي سان، تازو ملٽيview 3D تعمير نو جا طريقا [5، 33، 38، 41] زبردست ترقي ڪئي آهي. زبردست شڪل جي بحالي جي نتيجن جي باوجود، گھڻا گھڻاview اسٽيريو (MVS) طريقا اڃا تائين وچ ۾ خط و ڪتابت ڳولڻ تي تمام گهڻو ڀاڙين ٿا views، جيڪو خاص طور تي عڪاسي ڪندڙ سطحن ۽ گهٽ ان پٽ لاءِ مشڪل آهي views.

عڪاسي ڪندڙ سطحن لاءِ، view- منحصر مٿاڇري ايپ-

برابر حصو. ∗ لاڳاپيل ليکڪ.
منصوبي جو صفحو: https://yu-fei-han.github.io/NeRSP-project/.

شڪل 1. 6 اسپارس پولرائزڊ تصويرن (مٿين قطارن) کي پڪڙڻ سان هڪ عڪاسي ڪندڙ مٿاڇري جي شڪل جي بحالي. اسان جو NeRSP موجوده طريقن جي مقابلي ۾ هڪ بهتر شڪل جي بحالي جو نتيجو حاصل ڪري ٿو جيڪي يا ته اسپارس ان پٽ (S-VolSDF [35]) يا عڪاسي ڪندڙ عڪاسي (PANDORA [9]) کي خطاب ڪن ٿا.

پيئرنس MVS ۾ خط و ڪتابت جي تخميني ۾ استعمال ٿيندڙ فوٽوميٽرڪ مستقل مزاجي جي مفروضي کي ٽوڙي ٿو. هن مسئلي کي حل ڪرڻ لاءِ، تازو نيورل 3D تعمير نو جا طريقا (مثال طور، Ref-NeuS [13]، NeRO [19]، ۽ PANDORA [9]) واضح طور تي عڪاسي کي ماڊل ڪن ٿا ۽ ساڳئي وقت انورس رينڊرنگ ذريعي عڪاسي ۽ ماحول جي نقشن جو اندازو لڳائين ٿا. بهرحال، متنوع تحت گهاٽي تصوير حاصل ڪرڻ views کي شڪل کان علاوه اضافي نامعلوم شين کي ايمانداري سان سنڀالڻ جي ضرورت آهي، جهڙوڪ البيڊو، رفنس، ۽ ماحول جو نقشو.

اسپارس ان پٽ مان views، ڪافي ملٽي ڳولڻ اڪثر مشڪل هوندو آهيview خط و ڪتابت. خاص طور تي جڏهن نمائندگي ڪندي view-انحصار واري عڪاسي جي ڪري، محدود تعداد ۾ خط و ڪتابت جي تحت شڪل کي روشني کان الڳ ڪرڻ ڏکيو آهي، جنهن جي ڪري شڪل-چمڪندڙ ابهام پيدا ٿئي ٿو [40]. اسپارس لاءِ تازيون نيورل 3D تعمير نو جا طريقا views (مثال طور، S-VolSDF [35] ۽ SparseNeuS [20]) کي فوٽوميٽرڪ تسلسل استعمال ڪندي باقاعده ڪرڻ جي ضرورت آهي، جيڪا عڪاسي ڪندڙ سطحن لاءِ خلاف ورزي ڪري سگهجي ٿي.

ٻنهي مسئلن کي حل ڪرڻ لاءِ، اسان آر جي بي ان پٽ جي بدران اسپارس پولرائزڊ تصويرون استعمال ڪرڻ جي تجويز ڏيون ٿا. خاص طور تي، اسان NeRSP پيش ڪريون ٿا، هڪ نيورل 3D تعمير نو جو طريقو جيڪو اسپارس پولرائزڊ تصويرن مان عڪاسي ڪندڙ سطحن جي شڪل کي بحال ڪرڻ لاءِ آهي. اسان پولرائزڊ تصويرن مان نڪتل پولرائزيشن جو زاويه (AoP) استعمال ڪريون ٿا، جيڪو سڌي طرح π ۽ π/2 ابهام تائين مٿاڇري جي شڪل جي ازيمٿ زاويه کي ظاهر ڪري ٿو. هي جاميٽري اشارو ملٽي کي فعال ڪرڻ لاءِ سڃاتو وڃي ٿو.view شڪل جي تعمير نو، مٿاڇري جي عڪاسي جي خاصيتن جي پرواهه ڪرڻ کان سواءِ، پر اندازي مطابق شڪل صرف جاميٽري ڪييو تي ٻڌل آهي [6] اسپارس تحت مبهم آهي. view سيٽنگون. ٻئي طرف، پولاريميٽرڪ تصوير جي جوڙجڪ ماڊل [2] مان هڪ فوٽوميٽرڪ ڪيو نيورل مٿاڇري جي تعمير نو ۾ مدد ڪري ٿو (مثال طور، PANDORA [9]) ٻيهر پيش ڪيل ۽ قبضو ڪيل پولرائزڊ تصويرن جي وچ ۾ فرق کي گھٽ ڪندي. جڏهن ته، صرف فوٽوميٽرڪ ڪيو تي ٻڌل اندازي مطابق شڪل پڻ شڪل-روشني جي ابهام جي ڪري اسپارس ان پٽن هيٺ غلط پوزيشن ۾ آهي. موجوده پولاريميٽرڪ-بنياد واري طريقي PANDORA [9] جي برعڪس صرف فوٽوميٽرڪ ڪيو تي غور ڪندي، اسان جو NeRSP ڏيکاري ٿو ته جاميٽري ۽ فوٽوميٽرڪ اشارو ٻنهي جو انضمام مؤثر طريقي سان سطح جي شڪل لاءِ حل جي جڳهه کي تنگ ڪري ٿو، جيڪو اسپارس ان پٽن جي بنياد تي عڪاسي ڪندڙ مٿاڇري جي تعمير نو ۾ اثرائتو ڏيکاريو ويو آهي، جيئن تصوير 1 ۾ ڏيکاريو ويو آهي.

3D تعمير نو لاءِ تجويز ڪيل NeRSP کان علاوه، اسان هڪ حقيقي دنيا ملٽي پڻ ٺاهيوView پولرائزڊ تصويري ڊيٽاسيٽ جنهن ۾ 6 شيون شامل آهن جن ۾ الائنڊ گرائونڊ-ٽروٿ (GT) 3D ميشز آهن، جن کي RMVP3D سڏيو ويندو آهي. موجوده ڊيٽاسيٽس کان مختلف جهڙوڪ PANDORA ڊيٽاسيٽ [9] صرف پولرائزڊ تصويرون مهيا ڪري ٿو، الائنڊ GT ميشز ۽ هر هڪ لاءِ مٿاڇري جا نارمل. view گھڻن جي مقداري تشخيص جي اجازت ڏيوview پولرائزڊ 3D تعمير نو.

مختصر ڪرڻ لاءِ، اسان گھڻن کي اڳتي وڌايون ٿاview تجويز ڪندي 3D تعمير نو

NeRSP، پهريون طريقو جيڪو اسپارس تحت عڪاسي ڪندڙ مٿاڇري جي تعمير نو لاءِ پولاريميٽرڪ معلومات استعمال ڪرڻ جي تجويز ڪري ٿو. views;

پولرائزڊ تصويرن مان نڪتل فوٽوميٽرڪ ۽ جاميٽري ڪيو جو هڪ جامع تجزيو؛ ۽
RMVP3D، پهريون حقيقي دنيا جو ملٽيview مقداري تشخيص لاءِ GT شڪلن سان پولرائزڊ تصويري ڊيٽا سيٽ.

لاڳاپيل ڪم

گهڻview 3D تعمير نو جو ڏهاڪن کان وڏي پيماني تي مطالعو ڪيو ويو آهي. نيورل ريڊيئنس فيلڊز (NeRF) [3، 22، 40] ناول ۾ وڏي ڪاميابي حاصل ڪئي آهي. view تازن سالن ۾ سنٿيسس. NeRF کان متاثر ٿي، نيورل 3D تعمير نو جا طريقا [24] تجويز ڪيا ويا آهن، جتي مٿاڇري جي شڪل کي هڪ دستخط ٿيل فاصلي واري فيلڊ (SDF) ذريعي واضح طور تي ماڊل ڪيو ويندو آهي. DVR [24] کان شروع ڪندي، پٺيان ايندڙ طريقا شڪل جي تعمير نو جي معيار کي مختلف دائري جي ٽريڪنگ [37]، حجم رينڊنگ [26، 33، 38]، يا تفصيل سان بهتر شڪل جي نمائندگي [18، 34] ذريعي بهتر بڻائين ٿا. اهي طريقا پکيڙيندڙ سطحن لاءِ قائل شڪل جو اندازو حاصل ڪري سگهن ٿا جتي فوٽو ميٽرڪ تسلسل صحيح آهي. views.

عڪاسي ڪندڙ مٿاڇري جي تعمير نو مشڪل آهي ڇاڪاڻ ته فوٽوميٽرڪ تسلسل غلط آهي. موجوده طريقا [5، 41، 42] واضح طور تي ماڊل ڪن ٿا view-انحصار ڪندڙ عڪاسي ۽ شڪل کي الڳ ڪرڻ، فضائي طور تي مختلف روشنيون، ۽ عڪاسي خاصيتون جهڙوڪ البيڊو ۽ رفنس. بهرحال، مٿي ڏنل متغيرن جا اندازا غير اطمينان بخش آهن ڇاڪاڻ ته بي ترتيبي انتهائي خراب آهي. NeRO [19] تصوير جي ٺهڻ واري ماڊل جي ورهايل-سم جي لڳ ڀڳ استعمال ڪرڻ جي تجويز پيش ڪري ٿو ۽ اعتراض ماسڪ جي ضرورت کان سواءِ شڪل جي تعمير جي معيار کي وڌيڪ بهتر بڻائي ٿو. بهرحال، مٿي ڏنل طريقن کي عام طور تي گهاٽي تصوير جي گرفتاري جي ضرورت هوندي آهي ته جيئن چئلينجنگ عڪاسي ڪندڙ سطحن لاءِ ممڪن شڪل جي بحالي جي نتيجن جي ضمانت ڏني وڃي.

اسپارس سان ٻيهر تعمير views عملي منظرنامي لاءِ ضروري آهي جن کي موثر گرفتاري جي ضرورت آهي. محدود کان ڪافي خط و ڪتابت جي کوٽ جي ڪري views ۾، شڪل-روشني جي ابهام کي حل نه ٿو ڪري سگهجي، جنهن جي ڪري شور ۽ بگڙيل شڪل جي بحالي ٿيندي آهي. موجوده طريقا هن مسئلي کي ريگيولرائيزيشن شامل ڪندي حل ڪن ٿا جهڙوڪ مٿاڇري جي جاميٽري هموار [25]، ٿلهي کوٽائي اڳواٽ [10، 32]، يا پوزيشنل انڪوڊنگ جي فريڪوئنسي ڪنٽرول [36]. ڪجهه طريقا [7، 20، 39] اسپارس 3D تعمير نو کي هڪ شرطي 3D جنرلائيزيشن مسئلي جي طور تي ٺاهيندا آهن جتي اڳ ۾ تربيت يافته تصويري خاصيتون جنرلائيز ايبل اڳوڻي طور استعمال ڪيون وينديون آهن. S-VolSDF [35] ڪلاسيڪل ملٽي لاڳو ڪري ٿوview اسٽيريو طريقو شروعاتي طور تي استعمال ڪيو ويندو آهي ۽ امڪاني حجم سان نيورل رينڊرنگ آپٽمائيزيشن کي باقاعده بڻائيندو آهي. بهرحال، موجوده طريقن لاءِ عڪاسي ڪندڙ سطحن کي صحيح طور تي بحال ڪرڻ اڃا تائين چئلينجنگ آهي.

پولرائزڊ تصويرن جي استعمال سان ٻيهر تعمير جو مطالعو ٻنهي سنگل- لاءِ ڪيو ويو آهي.view سيٽنگون [1، 2، 16، 23، 29] ۽ ملٽيview سيٽنگون [6، 8، 9، 11، 12، 43]. آر جي بي تصويرن جي برعڪس، پولرائزڊ تصويرن مان AoP مٿاڇري جي نارمل لاءِ سڌو سنئون اشارو فراهم ڪري ٿو. سنگل-view پولرائيزيشن (SfP) ٽيڪنڪ مان شڪل هن ملڪيت مان فائدو حاصل ڪري ٿي ۽ هڪ پري واري روشني [21، 29] يا اڻڄاتل قدرتي روشني [1، 16] هيٺ مٿاڇري جي نارمل جو اندازو لڳائي ٿي. ملٽيview SfP طريقا [8، 43] AoP ۾ π ۽ π/2 ابهام کي ملٽي جي بنياد تي حل ڪن ٿاview مشاهدو. پينڊورا [9] پولرائزڊ تصويرن تي ٻڌل پهريون نيورل 3D تعمير نو جو طريقو آهي، جيڪو مٿاڇري جي شڪل ۽ روشني کي بحال ڪرڻ ۾ اثرائتو ثابت ٿيو آهي. MVAS [6] ڪيترن ئي کان مٿاڇري جي شڪل کي بحال ڪري ٿو.view ازيمٿ نقشا، جيڪي AoP نقشن سان ويجهڙائي سان لاڳاپيل آهن جن مان نڪتل آهن

پولرائزڊ تصويرون. جڏهن ته، اهي طريقا گهٽ تصويرن هيٺ عڪاسي ڪندڙ مٿاڇري جي تعمير نو لاءِ پولرائزڊ تصويرون استعمال ڪندي نه ڳوليندا آهن.

پولاريميٽرڪ تصويري ٺهڻ جو ماڊل

تجويز ڪيل طريقي ۾ غوطه خوري ڪرڻ کان اڳ، اسان پهريان پولاريميٽرڪ تصوير جي ٺهڻ واري ماڊل کي متعارف ڪرايون ٿا ۽ اسان جي طريقي ۾ فوٽو-ميٽرڪ ڪيو ۽ جاميٽري ڪيو حاصل ڪريون ٿا. جيئن شڪل 2 ۾ ڏيکاريل آهي، هڪ سنيپ شاٽ پولرائيزيشن ڪئميرا چار مختلف پولرائيزيشن زاوين تي تصوير جي مشاهدي کي رڪارڊ ڪري ٿو، ان جي پکسل ويليوز کي {I0، I45، I90، I135} طور ظاهر ڪيو ويو آهي. اهي چار تصويرون وصول ٿيل روشنين جي پولرائيزيشن حالت کي ظاهر ڪن ٿيون، جيڪا 4D اسٽوڪس ویکٹر s = [s0، s1، s2، s3] جي طور تي نمائندگي ڪئي وئي آهي جيئن حساب ڪيو ويو آهي.

اسان فرض ڪريون ٿا ته ڪا به گول پولرائزڊ روشني ناهي، تنهن ڪري s3 کي 0 مقرر ڪيو ويو آهي. اسٽوڪس ویکٹر کي پولرائزيشن جي زاويه (AoP) جي حساب لاءِ استعمال ڪري سگهجي ٿو، يعني

AoP ۽ اسٽوڪس ویکٹر جي بنياد تي، اسان جاميٽري ۽ فوٽوميٽرڪ اشارا ساڳئي طرح حاصل ڪريون ٿا.

جاميٽري اشارو
AoP ϕa ڏنو ويو آهي، مٿاڇري جو ازيمٿ زاويه يا ته ϕa + π/2 يا ϕa + π ٿي سگهي ٿو، جيڪو π ۽ π/2 جي ابهام جي نالي سان سڃاتو وڃي ٿو ان تي منحصر آهي ته مٿاڇري اسپيڪيولر آهي يا ڊفيوز غالب آهي. هن حصي ۾، اسان پهريون ڀيرو ملٽي پاران آندو ويو جاميٽري اشارو متعارف ڪرايون ٿا.view ازيمٿ نقشو ٺاهيو ۽ پوءِ ان کي AoP جي صورت ۾ وڌايو.

MVAS [6] جي پٺيان، هڪ منظر پوائنٽ x لاءِ، ان جي مٿاڇري جو نارمل n ۽ هڪ ڪئميرا ۾ پروجيڪٽ ٿيل ازيمٿ زاويه ϕ view رشتي جي پيروي ڪريو جيئن

جتي R = [r1, r2, r3]⊤ ڪئميرا پوز جو گردش ميٽرڪس آهي. اسان هيٺ ڏنل بيان ڪيل سطح جي نارمل ۽ هڪ پروجيڪٽ ٿيل ٽينجنٽ ویکٹر t(ϕ) جي وچ ۾ آرٿوگونل تعلق حاصل ڪرڻ لاءِ مساوات (3) کي وڌيڪ ٻيهر ترتيب ڏئي سگهون ٿا،

AoP ۽ ازيمٿ زاويه جي وچ ۾ π ابهام قدرتي طور تي حل ڪري سگهجي ٿو جيئن مساوات (4) قائم ٿئي ٿي جيڪڏهن اسان ϕ کي π سان شامل ڪريون ٿا. π/2 ابهام کي هڪ pseudo-projected tangent vector tˆ(ϕ) استعمال ڪندي حل ڪري سگهجي ٿو ته جيئن

جيڪڏهن هڪ منظر پوائنٽ x کي f ذريعي ڏٺو وڃي ته views ۾، اسان k مختلف گردشن ۽ مشاهدو ڪيل AoPs جي بنياد تي مساوات (4) ۽ مساوات (5) کي اسٽيڪ ڪري سگھون ٿا، جيڪو هڪ لڪير واري نظام ڏانهن وٺي ٿو.

ٽي (x) ن (x) = 0. (6)

اسين هن لڪير واري نظام کي گھڻ-view پولرائزڊ 3D تعمير نو.

فوٽوميٽرڪ اشارو
فرض ڪيو ته واقعي واري ماحول جي روشني غير قطبي آهي، واقعي واري روشني جي هدايت ω جي اسٽوڪس ویکٹر کي هن طرح پيش ڪري سگهجي ٿو

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

جتي L(ω) روشني جي شدت کي ظاهر ڪري ٿو. پولرائيزيشن ڪئميرا پاران رڪارڊ ڪيل ٻاهر نڪرندڙ روشني انعکاس جي ڪري جزوي طور تي پولرائيز ٿي ويندي آهي. هي عمل 4×4 مولر ميٽرڪس H ذريعي ماڊل ڪيو ويو آهي. هڪ ماحول جي روشني هيٺ، ٻاهر نڪرندڙ اسٽوڪس ویکٹر کي مولر ميٽرڪس سان ضرب ڪيل واقعي اسٽوڪس ویکٹر جي انٽيگرل طور تيار ڪري سگهجي ٿو، يعني.

جتي v ۽ Ω ظاهر ڪن ٿا view هدايت ۽ انٽيگرل ڊومين. پولرائزڊ BRDF (pBRDF) ماڊل [2] جي پيروي ڪندي، آئوٽ پُٽ اسٽوڪس ویکٹر کي ڊفيوز ۽ اسپيڪيولر حصن ۾ تبديل ڪري سگهجي ٿو جيڪي Hd ۽ Hs ذريعي ترتيب ڏنل آهن، يعني

PANDORA [9] مان نڪتل جي پٺيان، اسان آئوٽ پُٽ اسٽوڪس ویکٹر کي وڌيڪ ترتيب ڏئي سگھون ٿا جيئن

جتي Ld =fΩ ρL(ω)ω⊤n T+i T−i dω کي مٿاڇري جي عام n سان لاڳاپيل ڊفيوز ريڊيئنس طور ظاهر ڪيو ويندو آهي، فريسنل ٽرانسميشن ڪوفيشينٽس [2] T+i,o ۽ T−i,o، ڊفيوز البيڊو ρ، ۽ واقعي روشني جو ازيمٿ زاويه ϕn. Ls = fΩ L(ω) DG 4n⊤v dω فريسنل ريفلڪشن ڪوفيشينٽس [2] R+ ۽ R− سان لاڳاپيل اسپيڪيولر ريڊيئنس کي ظاهر ڪري ٿو، واقع ازيمٿ زاويه ϕh اڌ ویکٹر h = ω+v∥ω+v∥22 سان لاڳاپيل آهي، ۽ مائڪروفيڪيٽ ماڊل ۾ عام ورڇ ۽ پاڇو اصطلاح D ۽ G [31].

وڌيڪ تفصيل لاءِ مهرباني ڪري ضمني مواد چيڪ ڪريو. مساوات (10) ۾ ڏيکاريل پولاريميٽرڪ تصوير جي جوڙجڪ ماڊل جي بنياد تي، اسان فوٽوميٽرڪ ڪيو ٺاهيندا آهيون.

تجويز ڪيل طريقو

اسان جو NeRSP اسپارس ملٽي وٺندو آهيview پولرائزڊ تصويرون، ٽارگيٽ شئي جو لاڳاپيل سلائيٽ ماسڪ، ۽ ڪئميرا پوز ان پٽ طور ۽ آئوٽ پُٽ طور تي شئي جي مٿاڇري جي شڪل کي آئوٽ پُٽ ڪري ٿو جيڪا SDF ذريعي واضح طور تي پيش ڪئي وئي آهي. اسان شڪل جي تعمير نو جي ابهام کي حل ڪرڻ ۾ فوٽوميٽرڪ اشارن ۽ جاميٽري اشارن تي بحث سان شروع ڪريون ٿا، جنهن کان پوءِ اسان جي NeRSP جي نيٽ ورڪ structure ۽ نقصان جي فنڪشن تي هدايتون ڏنل آهن.

اسپارس 3D تعمير نو ۾ ابهام
جاميٽري ڪيو ۽ فوٽوميٽرڪ ڪيو اسپارس هيٺ مٿاڇري جي شڪل جي محلول جي جاءِ کي گهٽائڻ ۾ اهم ڪردار ادا ڪن ٿا. views. جيئن شڪل 3 ۾ ڏيکاريل آهي، اسان 2 هيٺ شڪل جي اندازي کي بيان ڪريون ٿا. viewمختلف اشارن سان. صرف آر جي بي تصويرون ان پٽ طور ڏنيون ويون (نيرو [19] ۽ ايس-وول ايس ڊي ايف [35] ۾ سيٽنگ جي مطابق)، منظر پوائنٽ پوزيشن، مٿاڇري جي نارملز، ۽ عڪاسي جي خاصيتن جا مختلف ميلاپ جهڙوڪ البيڊو ساڳئي تصوير جي مشاهدي ڏانهن وٺي سگهن ٿا، ڇاڪاڻ ته ڪئميرا ري سان گڏ هر 3D پوائنٽس لاءِ صرف ٻه آر جي بي ماپون آهن. پولرائزڊ تصويرن مان ڪڍيل اسٽوڪس ویکٹرز سان، فوٽوميٽرڪ ڪيو هر 6D پوائنٽ لاءِ 3 ماپون آڻيندو آهي (اسٽوڪس ویکٹر ۾ 3 عنصر آهن)، سطح جي نارمل اميدوارن کي گهٽائي ٿو جيڪي پولرائميٽرڪ تصوير جي جوڙجڪ ماڊل لاءِ غير مناسب آهن.

ٻئي طرف، پولرائزڊ تصويرن مان AoP نقشن 1 جي بنياد تي، اسان ڪئميرا ري سان گڏ هر منظر جي نقطي لاءِ π ابهام تائين سطح جي نارمل کي منفرد طور تي طئي ڪري سگهون ٿا. بهرحال، اهو اڃا تائين مبهم آهي ته اها پوزيشن ڳوليو وڃي جتي ڪئميرا ري مٿاڇري کي ڪٽي ٿو جيستائين ٽيون view مهيا ڪيل آهي [6]. تنهن ڪري، اسپارس هيٺ views سيٽنگ (مثال طور، 2 viewشڪل 3 ۾)، جاميٽري يا فوٽوميٽرڪ اشارو جي بنياد تي منظر پوائنٽ جي پوزيشن جو تعين ڪرڻ مبهم رهي ٿو.
اسان جو طريقو پولرائزڊ تصويرن مان نڪتل انهن ٻن اشارن کي گڏ ڪري ٿو. جيئن شڪل 3 جي هيٺئين ساڄي حصي ۾ ڏيکاريو ويو آهي، صحيح منظر پوائنٽ پوزيشن جو مٿاڇري جو نارمل لي آئوٽ عام اميدوار گروپن جي چوراهي ۾ هجڻ گهرجي جيڪو فوٽوميٽرڪ ۽ جاميٽري اشارن ٻنهي مان نڪتل آهي. جيئن مختلف s تي مٿاڇري جو نارملampايل اي ڊي سين پوائنٽس منفرد طور تي جاميٽري اشارن ذريعي طئي ڪيا ويندا آهن، اسان آساني سان اهو طئي ڪري سگهون ٿا ته ڇا نقطو فوٽوميٽرڪ اشارن جي مدد سان مٿاڇري تي آهي. هن طريقي سان، اسان اسپارس شاٽ عڪاسي ڪندڙ مٿاڇري جي تعمير نو جي حل جي جڳهه کي گهٽائي ڇڏيندا آهيون.

NeRSP
نيٽ ورڪ جي جوڙجڪ جيئن شڪل 4 ۾ ڏيکاريل آهي، اسان جو NeRSP هڪجهڙائي نيٽ ورڪ جي جوڙجڪ لاڳو ڪري ٿو PANDORA [9] سان جيڪو اصل ۾ Ref-NeRF [30] مان نڪتل آهي. ڪئميرا سينٽر o مان نڪرندڙ روشني جي شعاع لاءِ هدايت v سان، اسان sampشعاع تي هڪ نقطي تي سفر جي مفاصلي سان، ان جي جڳهه کي xi = o + tiv تي ظاهر ڪيو ويو آهي. NeRF [25] ۾ استعمال ٿيل حجم رينڊرنگ جي پٺيان، مشاهدو ڪيل اسٽوڪس ویکٹر s(v) کي حجم اوپيسيٽي σi ۽ اسٽوڪس ویکٹرز سان s تي ضم ڪري سگهجي ٿو.ampشعاع جي چوڌاري پوائنٽس جي اڳواڻي ڪئي، يعني

ڪٿي جي جمع ٿيل ٽرانسميشن کي ظاهر ڪريو جيئنampاڳواڻي وارو نقطو.

تازي نيورل 3D تعمير نو جي طريقي NeuS [33] کان متاثر ٿي، اسان هڪ SDF نيٽ ورڪ مان حجم جي اوپيسيٽي حاصل ڪريون ٿا ۽ SDF جي گريڊينٽ مان مٿاڇري جي نارمل کي پڻ ڪڍون ٿا. s تي so(xi, v) جي حساب ڪرڻ لاءِampليڊ پوائنٽس، اسان مساوات (10) ۾ پولاريميٽرڪ تصوير جي جوڙجڪ ماڊل جي پيروي ڪريون ٿا. خاص طور تي، ڊفيوز ريڊيئنس Ld ڊفيوز البيڊو ۽ فريسنل ٽرانسميشن ڪوئفيشينٽس سان لاڳاپيل آهي، جيڪو منظر جي پوزيشن تي منحصر آهي پر انويرينٽ سان view هدايت. تنهن ڪري، اسان هر منظر جي نقطي جي خاصيتن مان Ld کي نقشي ڪرڻ لاءِ هڪ ڊفيوز ريڊيئنس نيٽ ورڪ استعمال ڪندا آهيون. اسپيڪيولر ريڊيئنس Ls اسپيڪيولر لوب سان لاڳاپيل آهي جيڪو view هدايت، مٿاڇري جو نارمل، ۽ مٿاڇري جي خرابي. تنهن ڪري اسان مٿاڇري جي خرابي جي اڳڪٿي ڪرڻ لاءِ هڪ RoughnessNet استعمال ڪندا آهيون. ڪئميرا سان گڏ view هدايت ۽ اڳڪٿي ڪيل مٿاڇري جي نارمل جي مطابق، اسان Ref-NeRF [30] پاران تجويز ڪيل انٽيگريٽڊ پوزيشنل انڪوڊنگ ماڊيول جي پيروي ڪندي اسپيڪيولر ريڊينس Ls جو اندازو لڳائيندا آهيون. Ld ۽ Ls کي گڏ ڪندي، اسان مساوات (10) جي پٺيان مشاهدو ڪيل اسٽوڪس ویکٹر کي ٻيهر تعمير ڪريون ٿا.

نقصان جو ڪم
فوٽوميٽرڪ نقصان کي مشاهدو ڪيل ˆs(v) ۽ ٻيهر تعمير ٿيل اسٽوڪس ویکٹر s(v) جي وچ ۾ L1 فاصلي جي طور تي بيان ڪيو ويو آهي، يعني،

جتي V مختلف هنڌن تي آبجيڪٽ ماسڪ اندر ڪاسٽ ٿيل سڀني ڪئميرا شعاعن کي ظاهر ڪري ٿو views. جاميٽري نقصان لاءِ. اسان پهريان ڪئميرا ري v سان گڏ 3D منظر پوائنٽ x ڳوليندا آهيون جيستائين مٿاڇري کي ڇهندا آهيون ۽ پوءِ پروجيڪٽ ٿيل 2D-پڪسل پوزيشن کي مختلف هنڌن تي ڳوليندا آهيون. views. جاميٽري نقصان مساوات (6) جي بنياد تي بيان ڪيو ويو آهي، يعني،

جتي X مختلف هنڌن تي اعتراض ماسڪ اندر سڀني شعاعن جي مٿاڇري جي چوراهي کي ظاهر ڪري ٿو views. فوٽوميٽرڪ ۽ جاميٽري نقصان کان علاوه، اسان اعتراض ماسڪ جي نگراني ۾ ماسڪ نقصان ۽ ايڪونل ريگيولرائيزيشن نقصان شامل ڪريون ٿا. ماسڪ نقصان جي وضاحت ڪئي وئي آهي

ڪٿي k-th ڪئميرا ري تي اڳڪٿي ڪيل ماسڪ جي نمائندگي ڪري ٿو، جنهن جي GT ماسڪ ويليو کي Mk طور ظاهر ڪيو ويو آهي. BCE هڪ بائنري ڪراس-اينٽراپي نقصان جي نمائندگي ڪري ٿو.

جتي ni,k مٿاڇري جو نارمل آهي جيڪو i-th s تي SDF نيٽ ورڪ مان نڪتل آهيampk-th ڪئميرا ري سان گڏ ليڊ پوائنٽ. اسان جو NeRSP مٿي ڏنل نقصان جي اصطلاحن جي ميلاپ جي نگراني ۾ آهي، يعني

جتي λe، λm، ۽ λp لاڳاپيل نقصان جي اصطلاحن لاءِ کوٽائي ڪندڙ آهن.

RMVP3D ڊيٽا سيٽ
تجويز ڪيل طريقي جي مقداري طور تي جائزو وٺڻ لاءِ، اسان هڪ حقيقي دنيا جي ملٽي کي پڪڙيون ٿاview پولرائزڊ تصويري ڊيٽا سيٽ سان گڏ زميني سچائي جا ميش. شڪل 5 (کاٻي پاسي) اسان جي ڪيپچرنگ سيٽ اپ کي ظاهر ڪري ٿو، جنهن ۾ هڪ پولاريميٽرڪ ڪئميرا، FLIR BFS-U3-51S5PC-C شامل آهي، جيڪو 12 ايم ايم لينس ۽ گردش ريل سان ليس آهي. اسان خام ڊيٽا کي ڊيموسائيز ڪرڻ لاءِ اوپن سي وي استعمال ڪندا آهيون ۽ 1224، 1024، 0، ۽ 45 درجن تي پولرائزر زاوين سان 90×135 رنگين تصويرون حاصل ڪندا آهيون. ڊيٽا ڪيپچر دوران، اسان ريل جي مرڪز تي ٽارگيٽ شيون رکون ٿا ۽ ڪئميرا کي دستي طور تي منتقل ڪندي هر شئي لاءِ 60 تصويرون پڪڙيندا آهيون. اسان 4 شيون ٽارگيٽ طور گڏ ڪندا آهيون: ڪتو، ڏيڏر، شعر، ۽ بال، جيئن شڪل 5 (وچ) ۾ ڏيکاريل آهي. مقداري تشخيص لاءِ، اسان زميني سچائي جا ميش حاصل ڪرڻ لاءِ 0.01 ايم ايم جي درستگي سان هڪ ليزر اسڪينر ڪريافارم هينڊي اسڪين بليڪ اختيار ڪندا آهيون. پڪڙيل تصوير سان ميش کي ترتيب ڏيڻ لاءِ. views، اسان سڀ کان پهريان PANDORA [9] لاڳو ڪريون ٿا ته جيئن سڀني دستياب استعمال ڪندي هڪ حوالي جي شڪل جو اندازو لڳايو وڃي views ۽ پوءِ اسڪين ٿيل ميش کي ICP الگورتھم [4] ذريعي اندازي مطابق هڪ سان ترتيب ڏيو. زميني سچائي شڪلن ۽ گھڻن کان علاوهview تصويرون، اسان 360-ڊگري ڪئميرا THETA Z1 استعمال ڪندي ماحول جي نقشي کي پڻ پڪڙيندا آهيون، لاڳاپيل نيورل انورس رينڊرنگ ڪمن لاءِ روشني جي اندازي تي مقداري تشخيص کي فائدو ڏيندي.

تجربا

اسين ٽن تجربن سان NeRSP جو جائزو وٺون ٿا: 1) موجوده ملٽي سان مقابلوview هڪ مصنوعي ڊيٽاسيٽ تي مقداري طور تي 3D تعمير نو جا طريقا؛ 2) جاميٽري ۽ فوٽوميٽرڪ نقصان جي اصطلاحن جي تعاون تي ابليشن اسٽڊي 3) حقيقي دنيا جي ڊيٽاسيٽس تي معيار ۽ مقداري تشخيص. اسان BRDF ۽ ناول پڻ مهيا ڪندا آهيون. view نتيجي ۾ اضافي مواد.

ڊيٽا سيٽ ۽ بيس لائينون
ڊيٽا سيٽ. اسين ٻه حقيقي دنيا جا ڊيٽا سيٽ تيار ڪريون ٿا: PAN-DORA ڊيٽا سيٽ [9] ۽ اسان جو تجويز ڪيل RMVP3D، جتي PANDORA ڊيٽا سيٽ [9] صرف معيار جي تشخيص لاءِ استعمال ڪيو ويندو آهي ڇاڪاڻ ته زميني سچائي جا ميش مهيا نه ڪيا ويا آهن. اسين هڪ مصنوعي ملٽي پڻ تيار ڪريون ٿا.view پولرائزڊ تصويري ڊيٽا سيٽ SMVP3D مٽسوبا رينڊرنگ انجن [15] سان، جنهن ۾ 5 شيون شامل آهن جن ۾ اسپيشلي-مختلف ۽ عڪاسي ڪندڙ عڪاسي آهي، جيئن شڪل 6 ۾ ڏيکاريل آهي. شيون ماحول جي نقشن 2 ذريعي روشن ڪيون ويون آهن ۽ 6 پاران قبضو ڪيون ويون آهن. viewشين جي چوڌاري بي ترتيب طور تي ورهايل آهن. پولرائزڊ تصويرن سان گڏ، اسان هر شئي لاءِ اسٽوڪس ویکٹر، GT مٿاڇري جا نارمل نقشا، ۽ AoP نقشا پڻ برآمد ڪندا آهيون.

بنيادي ڳالهيون. اسان جو ڪم گھڻن مسئلن کي حل ڪري ٿوview اسپارس پولرائزڊ تصويرن جي بنياد تي عڪاسي ڪندڙ مٿاڇري لاءِ 3D تعمير نو. تنهن ڪري، اسان عڪاسي ڪندڙ مٿاڇري کي نشانو بڻائيندڙ جديد 3D تعمير نو جا طريقا چونڊيندا آهيون NeRO [19] ۽ اسپارس views S-VolSDF [35]. مٿيان ٻه طريقا RGB تصويري ان پٽ تي ٻڌل آهن. گھڻن لاءِview پولرائزڊ تصويرن تي ٻڌل اسٽيريو، اسان پنهنجي بنيادي طور تي PANDORA [9] ۽ MVAS [6] کي چونڊيندا آهيون. NeRO [19] کي ان پٽ طور سلائيٽ ماسڪ جي ضرورت ناهي. هڪ منصفانه مقابلي لاءِ، اسان NeRO [19] ۾ ان پٽ ڪرڻ کان اڳ لاڳاپيل ماسڪ سان RGB تصويرن ۾ پس منظر کي هٽائي ڇڏيون ٿا. مختلف طريقن جو مقابلو ڪرڻ لاءِ، اسان اندازي مطابق ۽ GT ميشز جي وچ ۾ چيمفر فاصلو (CD) لاڳو ڪريون ٿا، ۽ اندازي مطابق ۽ GT مٿاڇري جي نارملز جي وچ ۾ اوسط ڪولر غلطي (MAE) مختلف تي. viewاسان جي تشخيصي ماپن جي طور تي.

هڪ مصنوعي ڊيٽا سيٽ تي شڪل جي بحالي
جيئن جدول 1 ۾ ڏيکاريل آهي، اسان موجوده طريقن جي شڪل جي تخميني غلطي ۽ SMVP3D تي اسان جي شڪل جي غلطي جو خلاصو ڪريون ٿا. اسان جو طريقو سڀني 5 مصنوعي شين سان گڏ چيمفر جي ننڍڙي فاصلي کي حاصل ڪري ٿو. شڪل 7 ۾ ڏيکاريل بصري شڪل جي تخميني جي بنياد تي، NeRO [19] ۽ S-VolSDF [35] بند ٿيل ۾ نمايان ٿيل سطح جي تفصيلن کي صحيح طور تي بحال نٿا ڪري سگهن. views. هڪ ممڪن سبب اهو آهي ته صرف RGB معلومات جي بنياد تي انهن طريقن لاءِ اسپارس تصويرن مان شڪل ۽ عڪاسي عڪاسي کي الڳ ڪرڻ تمام گهڻو چئلينجنگ آهي. MVAS [6] ۽ PANDORA [9] پولرائزڊ تصويرن جي جاميٽري ۽ فوٽوميٽرڪ اشارن کي الڳ الڳ خطاب ڪن ٿا. تنهن هوندي به، ٻيهر تعمير ٿيل عڪاسي مٿاڇري جون شڪلون اڃا تائين اسپارس جي تحت جاميٽري ۽ فوٽوميٽرڪ اشارن ۾ ابهام جي ڪري غير اطمينان بخش آهن. views سيٽنگ. جيئن بند ٿيل ۾ نمايان ڪيو ويو آهي views، جاميٽري ۽ فوٽوميٽرڪ اشارن ٻنهي مان فائدو حاصل ڪندي، اسان جو طريقو شڪل جي اندازي جي حل جي جڳهه کي گھٽائي ٿو، جنهن جي نتيجي ۾ GT شڪلن جي مقابلي ۾ سڀ کان وڌيڪ معقول شڪل جي وصولي ٿئي ٿي.

ٻيهر تعمير ٿيل ميش جي تشخيص کان علاوه، اسان مٿاڇري جي عام اندازي جي نتيجن کي پڻ جانچيندا آهيون. جيئن جدول 2 ۾ ڏيکاريل آهي، اسان اندازي مطابق مٿاڇري جي نارمل جي سراسري ڪوئلي غلطين کي 6 تي خلاصو ڪريون ٿا. viewمختلف طريقن مان حاصل ڪيل نتيجا. جدول 1 ۾ تشخيص جي نتيجن سان مطابقت رکندڙ، NeRSP سراسري طور تي ننڍين ننڍين سراسري ڪوئلي غلطين کي حاصل ڪري ٿو. اسان اهو پڻ ڏٺو ته NeRO [19]، MVAS [6]، ۽ PANDORA [9] جي نتيجن ۾ نفيس تفصيلن سان گڏ شين تي وڏيون غلطيون آهن، جهڙوڪ DAVID ۽ DRAGON شيون. هڪ مثال طورampلي، MVAS [6] وٽ ٽيبل 1 ۾ ڏيکاريل ٻيو ننڍڙو چيمفر فاصلو آهي، پر سراسري ڪوئلي غلطي 20◦ کان وڌيڪ آهي. هڪ امڪاني سبب اهو آهي ته موجوده طريقا اسپارس ۾ هموار شڪلون ڪڍن ٿا. views سيٽنگ، جتي مٿاڇري جا تفصيل جهڙوڪ ڊريگن جا ڦڙا چڱي طرح بحال نه ٿيا آهن.

ٽيبل 1. چيمفر جي فاصلي (↓) ذريعي جائزو ورتل مصنوعي ڊيٽاسيٽ تي شڪل جي بحالي جو مقابلو. ننڍيون ۽ ٻيون ننڍيون غلطيون بولڊ ۽ انڊر لائن ٿيل آهن. "N/A" تجربي کي ظاهر ڪري ٿو جتي هڪ مخصوص طريقو مناسب شڪل جي اندازي جا نتيجا نه ٿو ڏئي سگهي.

خاتمي جو مطالعو
هن حصي ۾، اسين جاميٽري ۽ فوٽوميٽرڪ اشارن جي اثرائتي کي جانچڻ لاءِ هڪ ابليشن اسٽڊي ڪندا آهيون. ڊريگن شئي کي هڪ مثال طور وٺڻample، اسان فوٽوميٽرڪ نقصان Lp ۽ جاميٽري نقصان Lg سان ۽ ان کان سواءِ پنهنجو طريقو هلائيندا آهيون. جيئن شڪل 8 ۾ ڏيکاريل آهي، اسان مختلف نقصان جي اصطلاحن کي غير فعال ڪندي شڪل ۽ سطح جي عام اندازن کي پلاٽ ڪريون ٿا. فوٽوميٽرڪ نقصان کان سواءِ، اسپارس جي ڪري شڪل جي ابهام views ٿئي ٿو. جيئن بند ٿيل تصوير مان ڏيکاريل آهي views، ٽنگ واري حصي جي ويجهو شڪل ۾ هڪ مقعر نموني آهي، ڇاڪاڻ ته صرف ٻه نظر اچن ٿا viewهن علائقي لاءِ، صرف AoP نقشن جي بنياد تي شڪل لاءِ هڪ منفرد حل تيار ڪرڻ جي قابل ناهي [6]. جاميٽري نقصان کان سواءِ، اسان کي بگڙيل شڪل جا نتيجا پڻ ملن ٿا ڇاڪاڻ ته گهٽ تصويري مشاهدا شڪل، عڪاسي ۽ روشني کي منفرد طور تي ختم ڪرڻ لاءِ ڪافي نه آهن. فوٽوميٽرڪ ۽ جيوميٽرڪ نقصان کي گڏ ڪندي، اسان جو NeRSP شڪل جي بحالي جي ابهام کي گھٽائي ٿو ۽ اندازي مطابق شڪل GT جي ويجهو آهي، جيئن بند ٿيل ۾ نمايان ڪيو ويو آهي. views.

شڪل 8. مختلف نقصان جي اصطلاحن تي ابليشن جو مطالعو. مٿيون ۽ هيٺيون قطارون اندازي مطابق شڪل ۽ مٿاڇري جي نارمل کي تصور ڪن ٿيون، هر ذيلي شڪل جي چوٽي تي ترتيب وار چيمفر فاصلو ۽ سراسري ڪوئلي غلطي ليبل ٿيل آهي.

حقيقي ڊيٽا تي شڪل جي بحالي
پوئين حصي ۾ ڏيکاريل مصنوعي تجربن کان علاوه، اسان حقيقي دنيا جي ڊيٽاسيٽس PANDORA ڊيٽاسيٽ [9] ۽ RMVP3D تي اسان جي طريقي جو جائزو پڻ وٺون ٿا ته جيئن حقيقي دنيا جي 3D تعمير نو جي منظرنامي ۾ ان جي لاڳو ٿيڻ جي جانچ ڪري سگهجي.

PANDORA ڊيٽاسيٽ تي معيار جي تشخيص [9]. جيئن شڪل 9 ۾ ڏيکاريل آهي، اسان PAN-DORA ڊيٽاسيٽ [9] جي معيار جي تشخيص فراهم ڪريون ٿا. S-VolSDF [35] ۽ NeRO [19] جي اندازي مطابق نتيجن سان تصوير جي ظاهر جي مقابلي ۾، شڪل مڪمل طور تي عڪاسي کان الڳ نه آهي، جنهن جي ڪري مٿاڇري جون شڪلون بي ترتيب آهن جيڪي عڪاسي جي بناوت سان ويجهي سان لاڳاپيل آهن. MVAS [6] ۽ PANDORA [9] ۾ اوور-سموٿڊ شڪل جا تخمينو يا مقعر شڪل جا نمونا آهن، صرف جاميٽري يا فوٽوميٽرڪ اشارن کي اسپارس ڪيپچر سيٽنگ جي تحت خطاب ڪرڻ جي ڪري. اسان جي شڪل جي تخميني جي نتيجن ۾ اهڙي ڪا به شڪل جا نمونا نه آهن ۽ اهي تصوير جي مشاهدن سان ويجهي سان ملن ٿا.

جدول 3. چيمفر ڊسٽنس (↓) سان RMVP3D تي مقداري تشخيص. اسان جو طريقو سراسري طور تي ننڍي ۾ ننڍي غلطي حاصل ڪري ٿو.

طريقو	DOG	شعر	FROG	بال	سراسري
نيرو [19]	9.11	10.74	6.21	3.87	7.48
ايس-وول ايس ڊي ايف [35]	9.93	7.39	7.91	18.4	10.91
ايم وي اي ايس [6]	9.23	7.51	9.90	4.77	7.86
پنڊورا [9]	14.3	15.04	11.27	3.96	11.14
اين آر ايس پي (اسان جو)	8.80	5.18	6.70	3.84	6.13

RMVP3D تي مقداري تشخيص. جيئن جدول 3 ۾ ڏيکاريل آهي، اسان چيمفر جي فاصلي جي بنياد تي RMVP3D جو مقداري تشخيص پيش ڪريون ٿا. مصنوعي تجربي سان مطابقت رکندڙ، اسان جو NeRSP سراسري طور تي سڀ کان ننڍي تخميني غلطي حاصل ڪري ٿو. شڪل 10 ۾ ڏيکاريل بصري شڪلون وڌيڪ ظاهر ڪن ٿيون ته عڪاسي ڪندڙ سطحون S-VolSDF [35] لاءِ شڪل کي عڪاسي کان ڌار ڪرڻ لاءِ چئلينج ڪري رهيون آهن، جيئن بند ٿيل ۾ FROG شئي جي ٽڪر واري مٿاڇري پاران نمايان ڪيو ويو آهي. views. NeRO [19] ۽ PANDORA [9] ۾ اسان سان گڏ سادي BALL شئي تي ساڳيا اندازا غلطيون آهن. LION جهڙين پيچيده شڪلن لاءِ، خراب شڪل جي وصولي انهن طريقن مان حاصل ڪئي ويندي آهي ڇاڪاڻ ته اسپارس view سيٽنگ، جڏهن ته اسان جا GT ميشز جي ويجهو آهن، جيڪي اسپارس ان پٽس جي تحت حقيقي دنيا جي عڪاسي ڪندڙ مٿاڇري جي تعمير نو تي اسان جي طريقي جي اثرائتي کي ظاهر ڪن ٿا.

نتيجو

اسان NeRSP پيش ڪريون ٿا، جيڪو اسپارس پولرائزڊ تصويرن هيٺ عڪاسي ڪندڙ سطحن لاءِ هڪ نيورل 3D تعمير نو جو طريقو آهي. شڪل-چمڪندڙ ابهام ۽ پيچيده عڪاسي جي چئلينجن جي ڪري، موجوده طريقا يا ته عڪاسي ڪندڙ سطحن يا اسپارس سان جدوجهد ڪن ٿا. views ۽ RGB تصويرن سان ٻنهي مسئلن کي حل نٿا ڪري سگهن. اسان پولرائزڊ تصويرن کي ان پٽ طور استعمال ڪرڻ جو تجويز ڪريون ٿا. پولرائزڊ تصويرن مان نڪتل جاميٽري ۽ فوٽوميٽرڪ اشارن کي گڏ ڪندي، اسان اندازي مطابق شڪل جي حل جي جڳهه کي گهٽائي ڇڏيون ٿا، جنهن سان عڪاسي ڪندڙ مٿاڇري جي اثرائتي بحالي کي گهٽ ۾ گهٽ 6 سان اجازت ڏني وئي آهي. views، جيئن عوامي طور تي دستياب ۽ اسان جي ڊيٽاسيٽس پاران ڏيکاريل آهي.

حد بندي
هن ڪم ۾ بين الثلاثن ۽ پولرائزڊ ماحولياتي روشني تي غور نه ڪيو ويو آهي، جيڪو شڪل جي تعمير نو جي درستگي تي اثر انداز ٿي سگهي ٿو. اسان هڪ تازو ڪم NeISF [17] ڏٺو جيڪو هن موضوع تي ڌيان ڏئي ٿو، ۽ اسان مستقبل ۾ هن ڪم سان اسان جي اسپارس شاٽ ميرٽ کي گڏ ڪرڻ ۾ دلچسپي رکون ٿا.
اقرار
هن ڪم کي بيجنگ نيچرل سائنس فائونڊيشن پروجيڪٽ نمبر Z200002، نيشنل نيچر سائنس فائونڊيشن آف چائنا (گرانٽ نمبر 62136001، 62088102، 62225601، U23B2052)، BUPT نمبر 2023QNTD02 جي يوٿ انوويٽيو ريسرچ ٽيم، ۽ JSPS KAKENHI (گرانٽ نمبر JP22K17910 ۽ JP23H05491) پاران سهڪار ڪيو ويو. اسان بصيرت واري بحثن لاءِ يووي ليو جو شڪريو ادا ڪريون ٿا.

حوالو

Yunhao Ba، Alex Gilbert، Franklin Wang، Jinfa Yang، Rui Chen، Yiqin Wang، Lei Yan، Boxin Shi، ۽ Achuta Kadambi. پولارائيزيشن کان گہرے شڪل. ECCV ۾، صفحا 554-571، 2020. 2
سيونگ-هوان بيڪ، ڊينئل ايس جيون، زين ٽونگ، ۽ من ايڇ ڪِم. پولاريميٽرڪ ايس وي بي آر ڊي ايف ۽ نارملز جو هڪ ئي وقت حاصل ڪرڻ. اي سي ايم ٽو جي، 37(6):268–1، 2018. 2، 3، 4

جونٿن ٽي بارون، بين ملڊن هال، ميٿيو ٽينڪڪ، پيٽر هيڊمن، ريڪارڊو مارٽن-برولا، ۽ پراتول پي سرينواسن. ميپ-ني آر ايف: اينٽي-ايلائيزنگ نيورل ريڊينس فيلڊز لاءِ هڪ ملٽي اسڪيل نمائندگي. آئي سي سي وي ۾، صفحا 5855–5864، 2021. 2
پال جي بيسل ۽ نيل ڊي ميڪ ڪي. 3-ڊي شڪلن جي رجسٽريشن جو طريقو. سينسر فيوزن IV ۾: ڪنٽرول پيراڊائمز ۽ ڊيٽا اسٽرڪچر، صفحا 586-606، 1992. 6
مارڪ باس، ورون جيampايني، رافيل برائون، سي ليو، جونٿن بارون، ۽ هينڊرڪ لينچ. نيورل-پي آءِ ايل: عڪاسي جي خرابي لاءِ نيورل پري انٽيگريٽڊ لائٽنگ. نيور آءِ پي ايس ۾، صفحا 10691–10704، 2021. 1، 2

Xu Cao، Hiroaki Santo، Fumio Okura، ۽ Yasuyuki Matsushita. گهڻ-View ٽينجنٽ اسپيس ڪنسسٽينسي ذريعي ازيمٿ اسٽيريو. سي وي پي آر ۾، صفحا 825–834، 2023. 2، 3، 4، 6، 7، 8
انپي چن، زيزيانگ سو، فوچيانگ ژاؤ، شياوشوائي ژانگ، فانبو شيانگ، جينگي يو، ۽ هاو سو. MVSNeRF: گھڻن کان تيز عام قابل روشني واري فيلڊ جي تعميرview اسٽيريو CVPR ۾، صفحا 14124-14133، 2021. 2
Zhaopeng Cui، Jinwei Gu، Boxin Shi، Ping Tan، ۽ Jan Kautz. پولاريميٽرڪ ملٽي-view اسٽيريو CVPR ۾، صفحا 1558-1567، 2017. 2

اکشت ڊيو، يونگي زاؤ، ۽ اشوڪ ويراراگھون. پنڊورا: روشني جي پولرائيزيشن جي مدد سان نيورل ڊڪپوزيشن. ECCV ۾، صفحا 538-556، 2022. 1، 2، 4، 6، 7، 8
ڪانگل ڊينگ، اينڊريو ليو، جون-يان زو، ۽ ديوا را-منان. کوٽائي جي نگراني ڪيل NeRF: گهٽ viewمفت ۾ تيز تربيت ۽ سي وي پي آر ۾، صفحا 12882–12891، 2022. 2
يوڪي ڊنگ، يو جي، منگ يوان زو، سنگ بنگ ڪانگ، ۽ جن ويئي. پولاريميٽرڪ هيلم هولٽز اسٽيريوپسس. ICCV ۾، صفحا 5037-5046، 2021. 2

يوشيڪي فوڪائو، ريو ڪوهارا، شوهي نوبوهارا ۽ ڪو نيشينو. پولاريميٽرڪ عام اسٽيريو. CVPR ۾، صفحا 682-690، 2021. 2
وين هانگ جي، تاو هو، هويو زو، شو ليو ۽ ينگ ڪانگ چن. Ref-NeuS: ابهام-گهٽت ٿيل اعصابي مٿاهون مٿاڇري سکيا لاءِ ملٽي-View عڪاسي سان ٻيهر تعمير. arXiv پري پرنٽ arXiv:2303.10840، 2023. 1
رچرڊ هارٽلي ۽ اينڊريو زيسرمين. گھڻا view ڪمپيوٽر ويزن ۾ جاميٽري. ڪيمبرج يونيورسٽي پريس، 2003. 1

وينزيل جيڪب. مٽسبا رينجر، 2010. 6
چنيانگ لي، چينيانگ ڪيو، جياڪسين زي، نا فين، ولادلن ڪولتون، ۽ ڪيفينگ چن. جهنگلي ۾ پيچيده منظرن لاءِ پولرائزيشن مان شڪل. CVPR ۾، صفحا 12632-12641، 2022. 2
چنهاؤ لي، تائيشي اونو، تاڪيشي اوموري، حاجيم ميهارا، اليگزينڊر گٽو، حاجيم ناگهارا، ۽ يوسيڪي موريچي. NeISF: جيوميٽري ۽ مادي تخميني لاءِ نيورل حادثو اسٽوڪس فيلڊ. arXiv پري پرنٽ arXiv:2311.13187، 2023. 8

زاؤشو لي، ٿامس مولر، ايلڪس ايوانز، رسل ايڇ ٽيلر، ميٿياس انبيرٿ، منگ-يو ليو، ۽ چن-هسوان لن. نيو-ڪولانگلو: هاءِ-فيڊيلٽي نيورل سرفيس ريڪنسٽرڪشن. سي وي پي آر ۾، صفحا 8456–8465، 2023. 2
يوان ليو، پينگ وانگ، چينگ لن، زياوڪسائو لانگ، جيپينگ وانگ، لنگجي ليو، تاڪو ڪومورا، ۽ وينپنگ وانگ. نيرو: ملٽي مان عڪاسي ڪندڙ شين جي نيورل جاميٽري ۽ بي آر ڊي ايف جي بحاليview تصويرون. arXiv پري پرنٽ arXiv:2305.17398، 2023. 1، 2، 4، 6، 7، 8
زياوڪسيو لانگ، چينگ لن، پينگ وانگ، تاڪو ڪومورا، ۽ وينپنگ وانگ. اسپارس نيوس: اسپارس کان تيز جنرلائيزبل نيورل مٿاڇري جي تعمير نو viewايس. اي سي سي وي ۾، صفحا 210-227، 2022. 2

يووي ليو، لنگران زاؤ، سي لي، ۽ باڪسين شي. پري روشني جي اندازي سان پولرائيزيشن مان شڪل. IEEE TPAMI، 2023. 2
بين ملڊن هال، پراٽول پي سرينواسن، ميٿيو ٽينڪڪ، جونٿن ٽي بارون، روي رامامورتي، ۽ رين اين جي. ني آر ايف: منظرن کي نيورل ريڊينس فيلڊ طور پيش ڪرڻ لاءِ view سنٿيسس. ECCV ۾، صفحا 405-421، 2020. 1، 2
ميازاڪي، تان، هارا، ۽ ايڪوچي. هڪ سنگل مان پولرائيزيشن تي ٻڌل انورس رينڊرنگ view. ICCV ۾، صفحا 982-987، 2003. 2

مائيڪل نيميئر، لارس ميشيڊر، مائيڪل اوچسل، ۽ اينڊرياس گيگر. فرق ڪرڻ وارو حجمي رينڊرنگ: 3D نگراني کان سواءِ ضمني 3D نمائندگي سکڻ. CVPR ۾، صفحا 3504–3515، 2020. 2
مائيڪل نيميئر، جونٿن ٽي بارون، بين ملڊن هال، مهدي ايس ايم سجادي، اينڊرياس گيگر، ۽ نوها ردوان. ريگ-نيرف: نيورل ريڊينس فيلڊز کي باقاعده ڪرڻ لاءِ view گھٽ مقدار ۾ داخل ٿيندڙ شين مان ترڪيب. CVPR ۾، صفحا 5480–5490، 2022. 2، 4
مائيڪل اوچسل، سونگيو پينگ، ۽ اينڊرياس گيگر. UNISURF: ملٽي- لاءِ نيورل ضمني سطحن ۽ ريڊيئنس فيلڊز کي متحد ڪرڻ.view تعمير نو. ICCV ۾، صفحا 5589–5599، 2021. 2

جيونگ جون پارڪ، پيٽر فلورنس، جولين اسٽراب، رچرڊ نيوڪومب، ۽ اسٽيون لوگروو. ڊيپ ايس ڊي ايف: شڪل جي نمائندگي لاءِ مسلسل دستخط ٿيل فاصلي جي ڪمن کي سکڻ. سي وي پي آر ۾، صفحا 165-174، 2019. 1
ونسنٽ سيٽزمين، جولين مارٽيل، اليگزينڊر برگمين، ڊيوڊ لنڊل، ۽ گورڊن ويٽزسٽائن. وقتي چالو ڪرڻ جي ڪمن سان گڏ ضمني اعصابي نمائندگي. نيور آئي پي ايس، 2020 ۾. 1
وليم اي پي سمٿ، روي رامامورتي، ۽ سلويا ٽوزا. نامعلوم روشني يا البيڊو سان پولرائيزيشن کان اوچائي. IEEE TPAMI، 41(12):2875–2888، 2018. 2

ڊور وربن، پيٽر هيڊمن، بين ملڊن هال، ٽوڊ زڪلر، جونٿن ٽي بارون، ۽ پراتول پي سرينواسن. ريف-ني آر ايف: اسٽرڪچرڊ view- اعصابي شعاع جي شعبن لاءِ منحصر ظاهر. CVPR ۾، صفحا 5481–5490، 2022. 4، 5
بروس والٽر، اسٽيفن آر مارشنر، هانگ سونگ لي، ۽ ڪين-نيٿ اي ٽورنس. خراب مٿاڇري ذريعي ريفرڪشن لاءِ مائڪروفيسٽ ماڊل. رينڊرنگ ٽيڪنڪس تي 18 هين يوروگرافڪس ڪانفرنس جي ڪارروائي ۾، صفحا 195-206، 2007. 4
گوانگ ڪانگ وانگ، زاوزي چن، چن چينج لوئي ۽ زيوي ليو. SparseNeRF: ڪجھ شاٽ ناول لاءِ ڊسٽلنگ ڊيپٿ ريٽنگ view synthesis. arXiv پريپرنٽ arXiv:2303.16196, 2023. 2

پينگ وانگ، لنگجي ليو، يوان ليو، ڪرسچن ٿيوبالٽ، تاڪو ڪومورا، ۽ وينپنگ وانگ. نيو ايس: ملٽي- لاءِ واليوم رينڊرنگ ذريعي نيورل امپليٽ سرفيسس سکڻ.view ٻيهر تعمير. arXiv پري پرنٽ arXiv:2106.10689، 2021. 1، 2، 5
يڪون وانگ، ايوان اسڪوروخودوف، ۽ پيٽر وونڪا. ايڇ ايف-نيو ايس: اعليٰ فريڪوئنسي تفصيلن کي استعمال ڪندي بهتر مٿاڇري جي تعمير نو. نيور آئي پي ايس ۾، صفحا 1966–1978، 2022. 2
هويو وو، اليگزينڊروس گريڪوس ۽ ديميتريس سماراس. S-VolSDF: اسپارس ملٽي-View نيورل امپليٽ سرفيسس جي اسٽيريو ريگيولرائيزيشن. arXiv پري پرنٽ arXiv:2303.17712، 2023. 1، 2، 4، 6، 7، 8

جياوي يانگ، مارڪو پاوون، ۽ يو وانگ. فري اين آر ايف: فري فريڪوئنسي ريگيولرائيزيشن سان فيو شاٽ نيورل رينڊرنگ کي بهتر بڻائڻ. سي وي پي آر ۾، صفحا 8254–8263، 2023. 2
Lior Yariv، Yoni Kasten، Dror Moran، Meirav Galun، Matan Atzmon، Basri Ronen، ۽ Yaron Lipman. گهڻview جاميٽري ۽ ظاهر کي الڳ ڪري اعصابي مٿاڇري جي تعمير نو. نيور آئي پي ايس ۾، صفحا 2492–2502، 2020. 2
Lior Yariv، Jiatao Gu، Yoni Kasten، ۽ Yaron Lipman. حجم رينجرنگ جي اعصابي امڪاني سطحن جي. NeurIPS ۾، صفحا 4805–4815، 2021. 1، 2

ايليڪس يو، وڪي يي، ميٿيو ٽينڪڪ، ۽ انگجو ڪنازوا. pixelNeRF: هڪ يا ڪجهه تصويرن مان نيورل ريڊينس فيلڊز. CVPR ۾، صفحا 4578–4587، 2021. 2
ڪائي ژانگ، گرنوٽ ريگلر، نوح سناويلي، ۽ ولادلن ڪولٽن. NeRF++: نيورل ريڊينس فيلڊز جو تجزيو ۽ بهتري. arXiv پري پرنٽ arXiv:2010.07492، 2020. 2
ڪائي ژانگ، فوجين لوان، ڪيانچيان وانگ، ڪويتا بالا، ۽ نوح سناويلي. فزڪس جي بنياد تي مواد جي ايڊيٽنگ ۽ ري لائٽنگ لاءِ گولائي گاسين سان انورس رينڊرنگ. سي وي پي آر ۾، صفحا 5453–5462، 2021. 1، 2

شيومنگ ژانگ، پراتول پي سرينواسن، بويانگ ڊينگ، پال ڊي-بيول، وليم ٽي فريمن، ۽ جونٿن ٽي بارون. اين اي آر-فيڪٽر: هڪ نامعلوم روشني هيٺ شڪل ۽ عڪاسي جو نيورل فيڪٽرائيزيشن. اي سي ايم ٽي او جي، 40(6):1–18، 2021. 2
جنيو زو، يوسوڪ مونو، ۽ ماساتوشي اوڪوٽومي. پولاريميٽرڪ ملٽي-view انورس رينڊرنگ. IEEE TPAMI، 2022. 2

NeRSP جا فوٽوميٽرڪ ۽ جاميٽري اشارا

جاميٽري ڪييو جو اخذ
جيئن شڪل S1 ۾ ڏيکاريل آهي، مختلف پاران مشاهدو ڪيل منظر واري نقطي کي ڏنو ويو آهي views، نشانو تي ان جي مٿاڇري عام آهي view ازيمٿ ۽ بلندي جي زاوين ϕ ۽ θ سان ترتيب ڏئي سگهجي ٿو، يعني،

ازيمٿ زاويه ۽ مٿاڇري جي نارمل عنصر جي وچ ۾ تعلق کي هن طرح ترتيب ڏئي سگهجي ٿو

نشانو تي مٿاڇري عام آهي view ذريعو تي نارمل کي گھمائي حساب ڪري سگهجي ٿو view، يعني ˆn = Rn. ڪيليبريٽريڊ ڪئميرا مان گردش ميٽرڪس کي ڏنو ويو آهي جيئن R = [r1, r2, r3]⊤، مساوات (2) ˆn تي ٻڌل کي هن طرح ترتيب ڏئي سگهجي ٿو

r⊤1 n cos ϕ − r⊤ 2 n sin ϕ = 0. (3)

MVAS [2] جي پٺيان، اسان مساوات (3) کي ٻيهر ترتيب ڏئي سگھون ٿا ته جيئن مٿاڇري جي نارمل ۽ پروجيڪٽ ٿيل ٽينجنٽ ویکٹر t(ϕ) جي وچ ۾ آرٿوگونل تعلق حاصل ڪري سگھجي جيئن هيٺ بيان ڪيو ويو آهي،

ازيمٿ زاويه تي هي نتيجو پولرائيزيشن جي زاويه (AoP) تائين وڌائي سگهجي ٿو. π ابهام کي قدرتي طور تي حل ڪري سگهجي ٿو جيئن مساوات (4) بيٺو آهي جيڪڏهن اسان ϕ کي π سان شامل ڪريون ٿا. π/2 ابهام کي هڪ pseudo-projected tangent vector tˆ(ϕ) استعمال ڪندي حل ڪري سگهجي ٿو ته جيئن

جيڪڏهن هڪ منظر پوائنٽ x کي f ذريعي ڏٺو وڃي ته views ۾، اسان مختلف گردشن ۽ مشاهدي ڪيل AoPs جي بنياد تي مساوات (4) ۽ مساوات (5) کي اسٽيڪ ڪري سگھون ٿا، جيڪو هڪ لڪير واري نظام ڏانهن وٺي ٿو.

ٽي (x) ن (x) = 0. (6)

اسين هن لڪير واري نظام کي گھڻ-view پولرائزڊ 3D تعمير نو.

فوٽوميٽرڪ ڪيو جو اخذ
پولرائزڊ BRDF ماڊل [1] جي پيروي ڪندي، آئوٽ پُٽ اسٽوڪس ویکٹر کي ڊفيوز ۽ اسپيڪيولر حصن ۾ تبديل ڪري سگهجي ٿو جيڪي Hd ۽ Hs ذريعي ترتيب ڏنل آهن، يعني،

هڪ ئي روشني هيٺ ڊفيوز اسٽوڪس جزو کي هن طرح ترتيب ڏئي سگهجي ٿو

جتي ρd ڊفيوز البيڊو کي ظاهر ڪري ٿو، ϕn مٿاڇري جي نارمل تي عمودي جهاز تي واقع روشني جو ازيمٿ زاويه آهي، T+i,o ۽ T−i,o فريسنل ٽرانسميشن ڪوئفيشينٽس [1] جي حسابن کي ظاهر ڪن ٿا جيڪي وچ ۾ زاويه سان لاڳاپيل آهن. view هدايت ۽ مٿاڇري جو نارمل. PANDORA [3] ۾ ڏنل تصورن تي عمل ڪندي، اسان ماحول جي روشني هيٺ ڊفيوز اسٽوڪس ویکٹر کي ٻيهر لکون ٿا جيئن

ڪٿي ڊفيوز ريڊيئنس طور ظاهر ڪيو ويو آهي. مساوات مان حساب ڪرڻ جي بدران، ڊفيوز ريڊيئنس کي هڪ اسپيشل طور تي مختلف متغير جي طور تي سڌو سنئون هڪ نيورل پوائنٽ فيچر مان نقشو ڪيو ويو آهي جيڪو ڪوآرڊينيٽ تي ٻڌل ايم ايل پي پاران ڪڍيو ويو آهي. ٻئي طرف، پولاريميٽرڪ بي آر ڊي ايف ماڊل ۾ هڪ واحد روشني جي هدايت ω هيٺ اسپيڪيولر اسٽوڪس ویکٹر کي بيان ڪري سگهجي ٿو.

جتي ρs اسپيڪيولر البيڊو کي ظاهر ڪري ٿو؛ D ۽ G مائڪروفيڪيٽ ماڊل [8] ۾ عام ورڇ ۽ ڇانوَ واري اصطلاح کي ظاهر ڪن ٿا، جنهن کي مٿاڇري جي خرابي سان ڪنٽرول ڪري سگهجي ٿو؛ R+ ۽ R− فريسنل ريفلڪشن ڪوئفيشينٽس [1] جي حسابن کي ظاهر ڪن ٿا، جيڪي مٿاڇري جي عام ۽ واقعي روشني جي هدايت جي وچ ۾ زاويه سان لاڳاپيل آهن؛ ϕh اڌ ویکٹر سان واقع ازيمٿ زاويه آهي.. PANDORA [3] ۾ ڏنل تصورن تي عمل ڪندي، اسان ماحولياتي روشني هيٺ اسپيڪيولر اسٽوڪس ویکٹر کي ٻيهر لکون ٿا جيئن

ڪٿي اسپيڪيولر ريڊيئنس کي ظاهر ڪري ٿو. اسپلٽ-سم تقريبن [5] سان، اسان Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω جو وڌيڪ اندازو لڳائي سگهون ٿا. مساوات (9) ۾ ڏيکاريل ڊفيوز اسٽوڪس ویکٹر سان ملائي، اسان هيٺ ڏنل پولاريميٽرڪ تصوير فارميشن ماڊل جي بنياد تي فوٽوميٽرڪ ڪيو ٺاهيندا آهيون.

لاڳو ڪرڻ جا تفصيل

هي حصو اسان جي مصنوعي ملٽي جي رينڊرنگ تفصيل پيش ڪري ٿو.view پولرائزڊ تصويري ڊيٽا سيٽ SMVP3D ۽ NeRSP جي تربيتي تفصيل.

ڊيٽا سيٽ
اسين SMVP3D مهيا ڪريون ٿا، جنهن ۾ قدرتي روشنيءَ هيٺ پنج مصنوعي عڪاسي ڪندڙ شين جون تصويرون شامل آهن. هر شئي لاءِ، اسين 48 پيش ڪريون ٿا views ۽ لاڳاپيل زميني سچائي (GT) مٿاڇري جي عام نقشن کي رڪارڊ ڪريو. اسان Mit-suba3 [4] کي رينڊرنگ انجن طور استعمال ڪريون ٿا، BRDF قسم کي اسان جي رينڊرنگ ۾ پولرائزڊ پلاسٽڪ مواد تي سيٽ ڪيو ويو آهي. ڊف-فيوز البيڊو ρd لاءِ، اسان پنهنجي رينڊرنگ نتيجن جي حقيقت کي وڌائڻ لاءِ هڪ اسپيشل طور تي مختلف البيڊو بناوت استعمال ڪريون ٿا. ساڳئي وقت، اسان اسپيڪيولر البيڊو ρs کي 1.0 جي مسلسل قدر تي رکون ٿا ۽ مٿاڇري جي خرابي کي 0.05 تي سيٽ ڪريون ٿا. هي طريقو شين جي مٿاڇري تي هڪجهڙائي واري عڪاسي کي يقيني بڻائي ٿو. نتيجي ۾ پولرائزڊ تصويرون 512 × 512 پکسلز جي ريزوليوشن تي پيش ڪيون ويون آهن.

تربيت
اسان جي نقصان جي فنڪشن ۾ هائپر پيرا ميٽرز λg، λm، ۽ λe ترتيب وار 1، 1، ۽ 0.1 تي مقرر ڪيا ويا آهن. تربيتي عمل دوران، اسان PAN-DORA [3] جي پيروي ڪندي هڪ وارم اپ حڪمت عملي استعمال ڪندا آهيون، جتي پهرين 1 دورن لاءِ، اسان فوٽوميٽرڪ ڪيو ۾ صرف غير پولرائزڊ معلومات تي غور ڪندا آهيون ۽ فرض ڪندا آهيون ته اعتراض جو اسپيڪيولر جزو 000 آهي. سڀني تجربن ۾، اسان SMVP0D تي تربيت ۽ جانچ لاءِ 512 × 512 جو ريزوليوشن استعمال ڪندا آهيون، ۽ حقيقي دنيا جي ڊيٽاسيٽس لاءِ 3 × 512. اسان جو طريقو عام طور تي 612 دورن جي چوڌاري ڪنورج ٿئي ٿو، جيڪو Nvidia RTX 100 GPU تي لڳ ڀڳ 000 ڪلاڪ وٺندو آهي، ياداشت تقريباً 6 MB استعمال ڪندي آهي.

BRDF جو اندازو ۽ ٻيهر پيش ڪرڻ جا نتيجا

شڪل S4 (مٿي) اسان جي خرابي، ڦهليل، ۽ مخصوص حصن جو اندازو پيش ڪري ٿي. صرف 6 جي ڪري اندازا ٿورو شور مچائيندڙ آهن. views. Ref-NeRF [7] وانگر جتي روشني IDE ذريعي غير واضح طور تي ڪنٽرول ڪئي ويندي آهي، اسان ٻيهر روشني جا تجربا نٿا ڪري سگهون. تنهن ڪري، اسان ناول ڏيکاريون ٿا view ان جي بدران، جيئن شڪل S4 (هيٺ) ۾ ڏيکاريل آهي، سنٿيسس جا نتيجا. موجوده طريقن جي مقابلي ۾، اسان جون ٻيهر پيش ڪرڻ واريون تصويرون لاڳاپيل حقيقي دنيا جي مشاهدن جي ويجهو آهن.

اسان جي ڊيٽاسيٽس تي اضافي نتيجا

هن حصي ۾، اسان SMVP3D ۽ حقيقي دنيا جي ملٽي تي شڪل جي تعمير نو جا اضافي نتيجا پيش ڪريون ٿا.view پولرائزڊ تصويري ڊيٽاسيٽ RMVP3D.

SMVP3D تي جائزو
اسان بنيادي طريقن جي معيار جي تعمير نو جا نتيجا ۽ اسان جي طريقي کي شڪل S2 ۾ پيش ڪريون ٿا. MVAS [2] جا نتيجا تفصيل جي کوٽ آهن، ڇاڪاڻ ته فوٽوميٽرڪ ڪيو کي حساب ۾ نه رکيو ويو آهي. جڏهن ته NeRO [6] بهتر شڪل جي تعمير نو پيش ڪري ٿو، اهو بناوت کان سواءِ شين لاءِ هڪ قابل اعتماد سطح فراهم ڪرڻ ۾ ناڪام ٿئي ٿو، جهڙوڪ DAVID. S-VolSDF [9] هڪ ٿلهي کان باریک ملٽي استعمال ڪري ٿو.View اسٽيريو (MVS) طريقو اعتراض جي مٿاڇري تي بناوت جي معلومات جي حساسيت کي وڌائي ٿو ۽ ڏيکاري ٿو، جيڪو ڪڏهن ڪڏهن بناوت جي تفصيلن کي ساخت جي خاصيتن جي طور تي غلط تشريح ڪرڻ جو سبب بڻجندو آهي. PANDORA [3] کي البيڊو ۽ اسپيڪيولر معلومات کي مؤثر طريقي سان الڳ ڪرڻ ۾ مشڪل آهي، جنهن جي ڪري ناقابل اعتبار تعميراتي نتيجا نڪرندا آهن. اسان جو طريقو، NeRSP، مؤثر طريقي سان فوٽوميٽرڪ ۽ جاميٽري اشارن ٻنهي کي استعمال ڪري ٿو، جنهن جي نتيجي ۾ تعميرات جيڪي GT ساخت کي وڌيڪ صحيح طور تي ظاهر ڪن ٿا.

اسان شڪل S3 ۾ مٿاڇري جي عام تخميني ۽ لاڳاپيل ڪوئلي غلطي جي تقسيم کي پڻ ڏيکاريون ٿا، جيڪي مسلسل ڏيکارين ٿا ته NeRSP اسپارس ان پٽ سان عڪاسي ڪندڙ سطحن لاءِ بهتر شڪل جي تعمير نو جا نتيجا حاصل ڪري ٿو. views.

RMVP3D تي جائزو
هن حصي ۾، اسان RMVP3D تي هڪ ٻيو اعتراض جي تعمير نو جو نتيجو پيش ڪريون ٿا. شڪل S5 ڏيکاري ٿو ته NeRO [6]، MVAS [2]، ۽ NeRSP هڪ سادي گولائي واري شيءِ کي هڪ عڪاسي ڪندڙ مٿاڇري سان صحيح طور تي ٻيهر تعمير ڪري سگهن ٿا. ان جي ابتڙ، S-VolSDF [9] ۽ PANDORA [3] مٿاڇري جي البيڊو ۽ اسپيڪيولر جزو کي ختم نه ٿا ڪري سگهن، جنهن جي نتيجي ۾ شڪل جي تعمير نو جي عمل ۾ بگاڙ پيدا ٿئي ٿو. NeRO [6]، MVAS [2]، ۽ NeRSP جي تعمير نو جي نتيجن ۾ فرق ڪرڻ لاءِ، اسان هر طريقي سان ٻيهر تعمير ڪيل ميشز لاءِ چيمفر فاصلي جو تصور ڪريون ٿا. جيئن شڪل S6 ۾ ڏيکاريل آهي، هر نقطي جو رنگ ان جي چيمفر فاصلي کي ظاهر ڪري ٿو، جيڪو 0 ۽ 5 ملي ميٽر جي وچ ۾ ڪلپ ٿيل آهي. اهي تصويرون ڏيکارين ٿيون ته NeRSP سان لاڳاپيل تعمير نو جي غلطي ٻين ٻن طريقن جي مقابلي ۾ ننڍي آهي.

مٿاڇري جي عڪاسي تي ابليشن جو مطالعو

اسان جو طريقو عڪاسي ڪندڙ مٿاڇري جي تعمير نو جو مقصد رکي ٿو، ۽ ان کي ڪچي مٿاڇري سان شڪل بحال ڪرڻ لاءِ پڻ لاڳو ڪري سگهجي ٿو. هڪ مثال طورample، اسين SNAIL آبجيڪٽ کي ان جي اسپيڪيولر البيڊو ρs سان ٻيهر پيش ڪريون ٿا جيڪو 1.0 کان 0.1 تائين گهٽجي ٿو. 6 ان پٽ تي اندازي مطابق مٿاڇري جي نارمل جي سراسري ڪوئلي غلطي (MAE) viewمختلف طريقن مان حاصل ڪيل نتيجا جدول S1 ۾ ڏيکاريل آهن. مٿاڇري جي عام تخميني جي معيار جي تشخيص ۽ ساڳئي ان پٽ جي تحت مختلف طريقن جي لاڳاپيل ڪوئلي غلطي جي ورڇ. view شڪل S7 ۾ ڏيکاريل آهن. اهي تجربا ظاهر ڪن ٿا ته گهڻا طريقا عڪاسي ڪندڙ سطحن جي مقابلي ۾ ڪنهن نه ڪنهن سطح تي تعمير نو جي معيار کي بهتر بڻائين ٿا. خاص طور تي، اسان جو طريقو مسلسل طور تي اعتراض جي سڀ کان وڌيڪ قابل اعتماد سطح جي تعمير نو فراهم ڪري ٿو.

# تي ابليشن جو مطالعوviews

اسان جي NeRSP جو مقصد گهٽ استعمال جي تحت عڪاسي ڪندڙ سطحن جي تعمير نو آهي. views. مکيه پيپر ۾ ڏيکاريل تجربا 6 اسپارس وٺن ٿا views ان پٽ جي طور تي. ان پٽ جي مختلف انگن جي تحت اسان جي طريقي جو جائزو وٺڻ لاءِ viewايس (يعني، #views)، اسين حقيقي دنيا جي شئي LION تي 3، 6، 12، ۽ 24 جي سيٽنگ تحت تجربا ڪريون ٿا. views. شڪل S8 بحال ٿيل شڪلن کي تصور ڪري ٿي، جڏهن ته چيمفر ڊسٽنس سان معيار جي تشخيص ٽيبل S2 ۾ پيش ڪئي وئي آهي.

اسپارس ان پٽ هيٺ views، جهڙوڪ 3، موجوده طريقا قابل قبول نتيجا حاصل ڪرڻ لاءِ جدوجهد ڪن ٿا. اهو بنيادي طور تي ان ڪري آهي جو اهي يا ته فوٽوميٽرڪ اشارن يا جاميٽري اشارن تي ڌيان ڏين ٿا. S-VolSDF [9] کي هڪ مثال طور وٺڻampلي، اندازي مطابق شڪل، جيئن ويجهي کان ڏٺو ويو آهي views، لاڳاپيل بناوت کان تمام گهڻو متاثر ٿئي ٿو. اهو sparse هيٺ شڪل-چمڪندڙ ابهام جي ڪري غلط شڪلن ڏانهن وٺي ٿو. views. جاميٽري ۽ فوٽوميٽرڪ اشارن ٻنهي کي خطاب ڪندي، اسان جو NeRSP گهٽ ان پٽن جي تحت ابهام کي گهٽائي ٿو. نتيجي طور، اسان وڌيڪ معقول شڪل جي تعمير حاصل ڪندا آهيون. هي مشاهدو صحيح رهي ٿو جڏهن ان پٽ جو تعداد views 12 کان وڌيڪ آهي. جيئن ٽيبل S2 ۾ ڏيکاريل آهي، اسان جو NeRSP مسلسل ان پٽ جي وڌندڙ تعداد سان ننڍو چيمفر فاصلو حاصل ڪري ٿو. views. هي اسان جي طريقي جي اثرائتي کي ظاهر ڪري ٿو ته ڪيتري حد تائين عڪاسي ڪندڙ سطحون آهن views.

ٽيبل S2. مختلف ان پٽ تحت چيمفر فاصلو (↓) ذريعي ماپيل LION تي معيار جي تشخيص views.

#Views	نيرو [6]	ايس-وول ايس ڊي ايف [9]	ايم وي اي ايس [2]	پنڊورا [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

پولاريميٽرڪ MVIR ڊيٽاسيٽ جو جائزو

PANDORA ڊيٽاسيٽ [3] ۽ اسان جي RMVP3D تي حقيقي دنيا جي تجربن کان علاوه، اسان هڪ گھڻ-view پولرائزڊ تصويرون ڊيٽاسيٽ PMVIR [10] ۾ موجود آهن. جيئن شڪل S9 ۾ ڏيکاريل آهي، اسان PANDORA [3] ۽ اسان جي شڪل جي بحالي جي نتيجن کي تصور ڪريون ٿا، 6 اسپارس کڻندي. views کي ان پٽ طور استعمال ڪريو. جيئن ته هن ڊيٽاسيٽ ۾ ڪا به GT شڪل ناهي، اسان PMVIR [10] مان نتيجا هڪ حوالي طور استعمال ڪريون ٿا، جيڪو 31 ۽ 56 وٺندو آهي. views کي ترتيب وار ڪئميرا ۽ ڪار جي منظر لاءِ ان پٽ طور استعمال ڪيو ويو آهي. اسان ڏسون ٿا ته اسان جا نتيجا PANDORA [3] استعمال ڪندڙن جي مقابلي ۾ وڌيڪ معقول آهن، جيڪي اسپارس 3D تعمير نو تي اسان جي طريقي جي اثرائتي کي ظاهر ڪن ٿا.