NeRSP CVPR24 റിഫ്ലെക്റ്റീവ് ഒബ്‌ജക്‌ട്‌സ് ഇൻസ്ട്രക്ഷൻ മാനുവലിനായുള്ള ന്യൂറൽ 3D പുനർനിർമ്മാണം

രചയിതാക്കൾ: യുഫെയ് ഹാൻ, ഹെങ് ഗുവോ, കോക്കി ഫുകായ്, ഹിരോക്കി സാൻ്റോ, ബോക്സിൻ ഷി, ഫ്യൂമിയോ ഒകുറ, ഴാൻയു മാ, യുൻപെങ് ജിയ
അഫിലിയേഷനുകൾ: ബെയ്ജിംഗ് യൂണിവേഴ്സിറ്റി ഓഫ് പോസ്റ്റ് ആൻഡ് ടെലികമ്മ്യൂണിക്കേഷൻസ്, ഒസാക്ക യൂണിവേഴ്സിറ്റി, പെക്കിംഗ് യൂണിവേഴ്സിറ്റി

സംഗ്രഹം: നിലവിലുള്ള രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ പ്രതിഫലിക്കുന്ന പ്രതലങ്ങൾക്കായി NeRSP ഉൽപ്പന്നം മെച്ചപ്പെട്ട രൂപ പുനർനിർമ്മാണ ഫലങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നു.

ഉൽപ്പന്ന ഉപയോഗ നിർദ്ദേശങ്ങൾ

ആമുഖം
വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ ഉപയോഗിച്ച് പ്രതിഫലിക്കുന്ന വസ്തുക്കളുടെ 3D പുനർനിർമ്മാണത്തിനായി NeRSP ഉൽപ്പന്നം രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നു. മൾട്ടി കണ്ടെത്തുന്നതുമായി ബന്ധപ്പെട്ട വെല്ലുവിളികളെ ഇത് മറികടക്കുന്നുview കത്തിടപാടുകളും പരിമിതമായ കത്തിടപാടുകൾക്ക് കീഴിലുള്ള പ്രകാശത്തിൽ നിന്ന് രൂപമാറ്റവും.

ബന്ധപ്പെട്ട ജോലി
NeRSP ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകളിൽ നിന്നും (NeRF) മറ്റ് ന്യൂറൽ 3D പുനർനിർമ്മാണ രീതികളിൽ നിന്നും പ്രചോദനം ഉൾക്കൊണ്ടതാണ്. ഇത് സൈൻഡ് ഡിസ്റ്റൻസ് ഫീൽഡ് (എസ്‌ഡിഎഫ്) വഴി പരോക്ഷമായി ഉപരിതല രൂപത്തെ മാതൃകയാക്കുകയും ആകൃതി പുനർനിർമ്മാണ നിലവാരം മെച്ചപ്പെടുത്തുന്നതിന് വ്യത്യസ്ത സ്‌ഫിയർ ട്രെയ്‌സിംഗും വോളിയം റെൻഡറിംഗും ഉപയോഗിക്കുകയും ചെയ്യുന്നു.
പോളാരിമെട്രിക് ഇമേജ് ഫോർമേഷൻ മോഡൽ
പുനർനിർമ്മാണത്തിനായി ഫോട്ടോമെട്രിക്, ജ്യാമിതീയ സൂചനകൾ ലഭിക്കുന്നതിന് NeRSP ഒരു പോളാരിമെട്രിക് ഇമേജ് രൂപീകരണ മാതൃക ഉൾക്കൊള്ളുന്നു.

പതിവുചോദ്യങ്ങൾ:

ചോദ്യം: എന്താണ് അഡ്വാൻtag3D പുനർനിർമ്മാണത്തിനായി NeRSP ഉപയോഗിക്കുന്നുണ്ടോ?
A: വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ഇമേജുകൾ ഉപയോഗിച്ചുള്ള നൂതനമായ സമീപനം കാരണം നിലവിലുള്ള രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ പ്രതിഫലിക്കുന്ന പ്രതലങ്ങൾക്ക് മികച്ച രൂപ പുനർനിർമ്മാണ ഫലങ്ങൾ NeRSP വാഗ്ദാനം ചെയ്യുന്നു.

ചോദ്യം: വ്യാപിക്കുന്ന പ്രതലങ്ങൾക്ക് NeRSP ഉൽപ്പന്നം അനുയോജ്യമാണോ?
A: NeRSP പ്രാഥമികമായി പ്രതിഫലിപ്പിക്കുന്ന പ്രതലങ്ങൾക്കായി രൂപകൽപ്പന ചെയ്‌തിരിക്കുന്നതാണെങ്കിലും, ഫോട്ടോമെട്രിക് സ്ഥിരത സാധുതയുള്ള പരന്ന പ്രതലങ്ങൾക്ക് ബോധ്യപ്പെടുത്തുന്ന ആകൃതി കണക്കാക്കാനും ഇതിന് കഴിയും. views.

NeRSP:
വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളുള്ള പ്രതിഫലന വസ്തുക്കൾക്കുള്ള ന്യൂറൽ 3D പുനർനിർമ്മാണം

Yufei Han1† Heng Guo1†∗ Koki Fukai2† Hiroaki Santo2 Boxin Shi3,4 Fumio Okura2 Zhanyu Ma1 Yunpeng Jia1

ബീജിംഗ് യൂണിവേഴ്സിറ്റി ഓഫ് പോസ്റ്റ്സ് ആൻഡ് ടെലികമ്മ്യൂണിക്കേഷൻസ്

ഗ്രാജ്വേറ്റ് സ്കൂൾ ഓഫ് ഇൻഫർമേഷൻ സയൻസ് ആൻഡ് ടെക്നോളജി, ഒസാക്ക യൂണിവേഴ്സിറ്റി
മൾട്ടിമീഡിയ ഇൻഫർമേഷൻ പ്രോസസ്സിംഗിനുള്ള നാഷണൽ കീ ലബോറട്ടറി, സ്കൂൾ ഓഫ് കമ്പ്യൂട്ടർ സയൻസ്, പെക്കിംഗ് യൂണിവേഴ്സിറ്റി 4 നാഷണൽ എഞ്ചിനീയറിംഗ് റിസർച്ച് സെൻ്റർ ഓഫ് വിഷ്വൽ ടെക്നോളജി, സ്കൂൾ ഓഫ് കമ്പ്യൂട്ടർ സയൻസ്, പെക്കിംഗ് യൂണിവേഴ്സിറ്റി
- {hanyufei, guoheng, mazhanyu}@bupt.edu.cn shiboxin@pku.edu.cn
- {santo.hiroaki, okura, fukai.koki}@ist.osaka-u.ac.jp xibei156@163.com.

അമൂർത്തമായ

സ്പേസ് പോലറൈസ്ഡ് ഇമേജുകളുള്ള റിഫ്ലെക്റ്റീവ് പ്രതലങ്ങൾക്കായുള്ള ന്യൂറൽ 3D പുനർനിർമ്മാണ സാങ്കേതികതയായ NeRSP ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. സ്പെക്യുലർ പ്രതിഫലനങ്ങൾ പോലെ പ്രതിഫലന ഉപരിതല പുനർനിർമ്മാണം അങ്ങേയറ്റം വെല്ലുവിളി നിറഞ്ഞതാണ് view-ആശ്രിതവും അങ്ങനെ മൾട്ടി ലംഘിക്കുന്നുview മൾട്ടിനുള്ള സ്ഥിരതview സ്റ്റീരിയോ. മറുവശത്ത്, സ്പേസ് ഇമേജ് ഇൻപുട്ടുകൾ, ഒരു പ്രായോഗിക ക്യാപ്‌ചർ ക്രമീകരണം എന്ന നിലയിൽ, കത്തിടപാടുകളുടെ പൊരുത്തത്തിൻ്റെ അഭാവം കാരണം സാധാരണയായി അപൂർണ്ണമോ വികലമോ ആയ ഫലങ്ങൾ ഉണ്ടാക്കുന്നു. ധ്രുവീകരിക്കപ്പെട്ട ഇമേജുകൾ പ്രയോജനപ്പെടുത്തി വിരളമായ ഇൻപുട്ടുകളുടെയും പ്രതിഫലന പ്രതലങ്ങളുടെയും വെല്ലുവിളികൾ ഈ പേപ്പർ സംയുക്തമായി കൈകാര്യം ചെയ്യുന്നു. പോളാരിമെട്രിക് ഇമേജ് ഫോർമുലേഷൻ മോഡലിൽ നിന്നും മൾട്ടിയിൽ നിന്നും ഞങ്ങൾ ഫോട്ടോമെട്രിക്, ജ്യാമിതീയ സൂചനകൾ നേടുന്നുview അസിമുത്ത് സ്ഥിരത, ഇത് പരോക്ഷമായ ന്യൂറൽ പ്രാതിനിധ്യം വഴി രൂപപ്പെടുത്തിയ ഉപരിതല ജ്യാമിതിയെ സംയുക്തമായി ഒപ്റ്റിമൈസ് ചെയ്യുന്നു. ഞങ്ങളുടെ സിന്തറ്റിക്, റിയൽ ഡാറ്റാസെറ്റുകളിലെ പരീക്ഷണങ്ങളെ അടിസ്ഥാനമാക്കി, ഞങ്ങൾ അത്യാധുനിക ഉപരിതല പുനർനിർമ്മാണ ഫലങ്ങൾ 6 ഉപയോഗിച്ച് മാത്രമേ കൈവരിക്കൂ. viewഇൻപുട്ടായി s.

ആമുഖം

മൾട്ടിview 3D പുനർനിർമ്മാണം കമ്പ്യൂട്ടർ ദർശനത്തിലെ (CV) ഒരു അടിസ്ഥാന പ്രശ്നമാണ്, ഇത് വർഷങ്ങളായി വിപുലമായി പഠിച്ചുവരുന്നു [14]. പരോക്ഷമായ ഉപരിതല പ്രാതിനിധ്യം [27, 28] ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾ [22] എന്നിവയുടെ പുരോഗതിയോടെ, സമീപകാല മൾട്ടിview 3D പുനർനിർമ്മാണ രീതികൾ [5, 33, 38, 41] വമ്പിച്ച പുരോഗതി കൈവരിച്ചു. ആകർഷകമായ ആകൃതി വീണ്ടെടുക്കൽ ഫലങ്ങൾ ഉണ്ടായിരുന്നിട്ടും, മിക്കതും മൾട്ടിview സ്റ്റീരിയോ (എംവിഎസ്) രീതികൾ ഇപ്പോഴും തമ്മിലുള്ള കത്തിടപാടുകൾ കണ്ടെത്തുന്നതിൽ വളരെയധികം ആശ്രയിക്കുന്നു views, പ്രതിഫലിക്കുന്ന പ്രതലങ്ങൾക്കും വിരളമായ ഇൻപുട്ടിനും ഇത് പ്രത്യേകിച്ച് വെല്ലുവിളിയാണ് views.

പ്രതിഫലിക്കുന്ന പ്രതലങ്ങൾക്ക്, the view-ആശ്രിത ഉപരിതല AP-

തുല്യ സംഭാവന. ∗ അനുബന്ധ രചയിതാവ്.
പ്രോജക്റ്റ് പേജ്: https://yu-fei-han.github.io/NeRSP-project/.

ചിത്രം 1. 6 വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്ന് ഒരു പ്രതിഫലന പ്രതലത്തിൻ്റെ ആകൃതി വീണ്ടെടുക്കൽ (മുകളിൽ വരികൾ). വിരളമായ ഇൻപുട്ടുകളെ (S-VolSDF [35]) അല്ലെങ്കിൽ പ്രതിഫലിപ്പിക്കുന്ന പ്രതിഫലനത്തെ (PANDORA [9]) അഭിസംബോധന ചെയ്യുന്ന നിലവിലുള്ള രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഞങ്ങളുടെ NeRSP ഒരു മികച്ച ആകൃതി പുനർനിർമ്മാണ ഫലം കൈവരിക്കുന്നു.

എംവിഎസിലെ കറസ്‌പോണ്ടൻസ് എസ്റ്റിമേഷനിൽ ഉപയോഗിക്കുന്ന ഫോട്ടോമെട്രിക് സ്ഥിരത അനുമാനത്തെ പിയറൻസ് തകർക്കുന്നു. ഈ പ്രശ്നം പരിഹരിക്കുന്നതിന്, സമീപകാല ന്യൂറൽ 3D പുനർനിർമ്മാണ രീതികൾ (ഉദാ., Ref-NeuS [13], NeRO [19], PANDORA [9]) പ്രതിഫലനത്തെ വ്യക്തമായി മാതൃകയാക്കുകയും വിപരീത റെൻഡറിംഗ് വഴി പ്രതിഫലനവും പരിസ്ഥിതി മാപ്പുകളും ഒരേസമയം കണക്കാക്കുകയും ചെയ്യുന്നു. എന്നിരുന്നാലും, വൈവിധ്യത്തിന് കീഴിൽ സാന്ദ്രമായ ഇമേജ് ഏറ്റെടുക്കൽ viewആൽബിഡോ, പരുക്കൻത, പരിസ്ഥിതി ഭൂപടം എന്നിവ പോലെയുള്ള രൂപത്തിന് പുറമെ കൂടുതൽ അജ്ഞാതമായ കാര്യങ്ങൾ വിശ്വസ്തതയോടെ കൈകാര്യം ചെയ്യാൻ s ആവശ്യമാണ്.

വിരളമായ ഇൻപുട്ടിൽ നിന്ന് views, മതിയായ മൾട്ടി കണ്ടെത്തുന്നത് പലപ്പോഴും വെല്ലുവിളിയാണ്view കത്തിടപാടുകൾ. പ്രത്യേകിച്ചും പ്രതിനിധീകരിക്കുമ്പോൾ view-ആശ്രിത പ്രതിഫലനങ്ങൾ, പരിമിതമായ എണ്ണം കത്തിടപാടുകൾക്ക് കീഴിൽ പ്രകാശത്തിൽ നിന്ന് ആകൃതി വിച്ഛേദിക്കുന്നത് ബുദ്ധിമുട്ടാണ്, ഇത് ആകൃതി-പ്രഭ അവ്യക്തതയിലേക്ക് നയിക്കുന്നു [40]. വിരളത്തിനുള്ള സമീപകാല ന്യൂറൽ 3D പുനർനിർമ്മാണ രീതികൾ views (ഉദാ, S-VolSDF [35], SparseNeuS [20] എന്നിവയ്ക്ക് ഫോട്ടോമെട്രിക് സ്ഥിരത ഉപയോഗിച്ച് റെഗുലറൈസേഷൻ ആവശ്യമാണ്, ഇത് പ്രതിഫലിക്കുന്ന പ്രതലങ്ങളിൽ ലംഘിക്കപ്പെടാം.

രണ്ട് പ്രശ്‌നങ്ങളും പരിഹരിക്കുന്നതിന്, RGB ഇൻപുട്ടുകൾക്ക് പകരം വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ ഉപയോഗിക്കാൻ ഞങ്ങൾ നിർദ്ദേശിക്കുന്നു. പ്രത്യേകമായി, വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്ന് പ്രതിഫലന പ്രതലങ്ങളുടെ ആകൃതി വീണ്ടെടുക്കുന്നതിനുള്ള ന്യൂറൽ 3D പുനർനിർമ്മാണ രീതിയായ NeRSP ഞങ്ങൾ നിർദ്ദേശിക്കുന്നു. ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ ധ്രുവീകരണ ആംഗിൾ (AoP) ഞങ്ങൾ ഉപയോഗിക്കുന്നു, ഇത് π, π/2 അവ്യക്തതകൾ വരെയുള്ള ഉപരിതല രൂപത്തിൻ്റെ അസിമുത്ത് കോണിനെ നേരിട്ട് പ്രതിഫലിപ്പിക്കുന്നു. ഈ ജ്യാമിതീയ ക്യൂ മൾട്ടി പ്രവർത്തനക്ഷമമാക്കുമെന്ന് അറിയപ്പെടുന്നുview ഉപരിതല പ്രതിഫലന സവിശേഷതകൾ പരിഗണിക്കാതെ രൂപ പുനർനിർമ്മാണം, എന്നാൽ ജ്യാമിതീയ ക്യൂയെ മാത്രം അടിസ്ഥാനമാക്കിയുള്ള ഏകദേശ രൂപം അവ്യക്തമാണ് [6] വിരളമായി view ക്രമീകരണങ്ങൾ. മറുവശത്ത്, പോളാരിമെട്രിക് ഇമേജ് രൂപീകരണ മാതൃകയിൽ നിന്നുള്ള ഒരു ഫോട്ടോമെട്രിക് ക്യൂ ന്യൂറൽ ഉപരിതല പുനർനിർമ്മാണത്തെ സഹായിക്കുന്നു (ഉദാഹരണത്തിന്, PANDORA [2]) വീണ്ടും റെൻഡർ ചെയ്തതും പകർത്തിയതുമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ തമ്മിലുള്ള വ്യത്യാസം കുറയ്ക്കുക. എന്നിരുന്നാലും, ഫോട്ടോമെട്രിക് ക്യൂയെ മാത്രം അടിസ്ഥാനമാക്കിയുള്ള ഏകദേശ രൂപവും ആകാര-പ്രസരണ അവ്യക്തത കാരണം വിരളമായ ഇൻപുട്ടുകൾക്ക് കീഴിൽ മോശമാണ്. നിലവിലുള്ള പോളാരിമെട്രിക് അധിഷ്‌ഠിത രീതിയായ PANDORA [9] ഫോട്ടോമെട്രിക് ക്യൂ മാത്രം പരിഗണിച്ച്, ഞങ്ങളുടെ NeRSP കാണിക്കുന്നത് ജ്യാമിതീയ, ഫോട്ടോമെട്രിക് സൂചകങ്ങളുടെ സംയോജനം ഉപരിതല രൂപത്തിനുള്ള പരിഹാര ഇടം ഫലപ്രദമായി ചുരുക്കുന്നു, വിരളമായ ഇൻപുട്ടുകളെ അടിസ്ഥാനമാക്കിയുള്ള പ്രതിഫലന ഉപരിതല പുനർനിർമ്മാണത്തിൽ ഫലപ്രദമാണെന്ന് കാണിക്കുന്നു. , ചിത്രം 9 ൽ ദൃശ്യമാക്കിയത് പോലെ.

3D പുനർനിർമ്മാണത്തിനായുള്ള നിർദ്ദിഷ്ട NeRSP-ക്ക് പുറമേ, ഞങ്ങൾ ഒരു റിയൽ-വേൾഡ് മൾട്ടി-പ്ലേസറും നിർമ്മിച്ചു.View RMVP6D എന്ന് പേരുള്ള, അലൈൻ ചെയ്ത ഗ്രൗണ്ട്-ട്രൂത്ത് (GT) 3D മെഷുകളുള്ള 3 വസ്തുക്കൾ അടങ്ങിയ പോളറൈസ്ഡ് ഇമേജ് ഡാറ്റാസെറ്റ്. പോളറൈസ്ഡ് ഇമേജുകൾ മാത്രം നൽകുന്ന PANDORA ഡാറ്റാസെറ്റ് [9] പോലുള്ള നിലവിലുള്ള ഡാറ്റാസെറ്റുകളിൽ നിന്ന് വ്യത്യസ്തമായി, അലൈൻ ചെയ്ത GT മെഷുകളും ഓരോന്നിനും ഉപരിതല നോർമലുകളും. view മൾട്ടിയുടെ അളവ് മൂല്യനിർണ്ണയം അനുവദിക്കുകview ധ്രുവീകരിക്കപ്പെട്ട 3D പുനർനിർമ്മാണം.

ചുരുക്കത്തിൽ, ഞങ്ങൾ ഒന്നിലധികം മുന്നോട്ട്view നിർദ്ദേശിച്ചുകൊണ്ട് 3D പുനർനിർമ്മാണം

NeRSP, വിരളത്തിൽ പ്രതിഫലിക്കുന്ന ഉപരിതല പുനർനിർമ്മാണത്തിനായി ധ്രുവരേഖ വിവരങ്ങൾ ഉപയോഗിക്കാൻ നിർദ്ദേശിക്കുന്ന ആദ്യ രീതി views;

ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ ഫോട്ടോമെട്രിക്, ജ്യാമിതീയ ക്യൂവിൻ്റെ സമഗ്രമായ വിശകലനം; ഒപ്പം
RMVP3D, ആദ്യത്തെ യഥാർത്ഥ ലോക മൾട്ടിview അളവ് മൂല്യനിർണ്ണയത്തിനായി GT രൂപങ്ങളുള്ള ധ്രുവീകരിക്കപ്പെട്ട ഇമേജ് ഡാറ്റാസെറ്റ്.

ബന്ധപ്പെട്ട ജോലി

മൾട്ടിview 3D പുനർനിർമ്മാണം പതിറ്റാണ്ടുകളായി വിപുലമായി പഠിച്ചിട്ടുണ്ട്. ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾ (NeRF) [3, 22, 40] നോവലിൽ മികച്ച വിജയം നേടിയിട്ടുണ്ട് view സമീപ വർഷങ്ങളിൽ സിന്തസിസ്. NeRF-ൽ നിന്ന് പ്രചോദനം ഉൾക്കൊണ്ട്, ന്യൂറൽ 3D പുനർനിർമ്മാണ രീതികൾ [24] നിർദ്ദേശിക്കപ്പെടുന്നു, അവിടെ ഉപരിതല ആകൃതി ഒരു സൈൻഡ് ഡിസ്റ്റൻസ് ഫീൽഡ് (SDF) വഴി പരോക്ഷമായി മാതൃകയാക്കുന്നു. ഡിവിആർ [24] മുതൽ, ഫോളോ-അപ്പ് രീതികൾ വ്യത്യസ്ത സ്‌ഫിയർ ട്രെയ്‌സിംഗ് [37], വോളിയം റെൻഡറിംഗ് [26, 33, 38] അല്ലെങ്കിൽ വിശദാംശം-മെച്ചപ്പെടുത്തിയ ആകൃതി പ്രാതിനിധ്യം [18, 34] വഴി ആകൃതി പുനർനിർമ്മാണ നിലവാരം മെച്ചപ്പെടുത്തുന്നു. ഫോട്ടോ-മെട്രിക് സ്ഥിരതയിലുടനീളം സാധുതയുള്ള, വ്യാപിക്കുന്ന പ്രതലങ്ങൾക്ക് ഈ രീതികൾക്ക് ബോധ്യപ്പെടുത്തുന്ന ആകൃതി കണക്കാക്കാൻ കഴിയും. views.

ഫോട്ടോമെട്രിക് സ്ഥിരത അസാധുവായതിനാൽ പ്രതിഫലന പ്രതലങ്ങളുടെ പുനർനിർമ്മാണം വെല്ലുവിളിയാണ്. നിലവിലുള്ള രീതികൾ [5, 41, 42] വ്യക്തമായി മാതൃകയാക്കുന്നു view-ആശ്രിത പ്രതിഫലനം, ആകൃതി വിച്ഛേദിക്കുക, സ്പേഷ്യൽ-വ്യത്യസ്ത ഇൽ-ലുമിനേഷനുകൾ, ആൽബിഡോ, പരുക്കൻത തുടങ്ങിയ പ്രതിഫലന ഗുണങ്ങൾ. എന്നിരുന്നാലും, വിച്ഛേദിക്കൽ വളരെ മോശമായതിനാൽ മുകളിലുള്ള വേരിയബിളുകളുടെ കണക്കുകൾ തൃപ്തികരമല്ല. NeRO [19] ഇമേജ് രൂപീകരണ മോഡലിൻ്റെ സ്പ്ലിറ്റ്-സം ഏകദേശം ഉപയോഗിക്കാനും ഒബ്‌ജക്റ്റ് മാസ്‌ക്കുകൾ ആവശ്യമില്ലാതെ തന്നെ ആകൃതി പുനർനിർമ്മാണ നിലവാരം മെച്ചപ്പെടുത്താനും നിർദ്ദേശിക്കുന്നു. എന്നിരുന്നാലും, വെല്ലുവിളിക്കുന്ന പ്രതിഫലന പ്രതലങ്ങൾക്ക് വിശ്വസനീയമായ ആകൃതി വീണ്ടെടുക്കൽ ഫലങ്ങൾ ഉറപ്പുനൽകുന്നതിന് മുകളിൽ പറഞ്ഞ രീതികൾക്ക് സാന്ദ്രമായ ഇമേജ് ക്യാപ്‌ചർ ആവശ്യമാണ്.

വിരളമായ പുനർനിർമ്മാണം viewകാര്യക്ഷമമായ ക്യാപ്‌ചർ ആവശ്യമായ പ്രായോഗിക സാഹചര്യങ്ങൾക്ക് s അത്യാവശ്യമാണ്. ലിമിറ്റഡിൽ നിന്ന് മതിയായ കത്തിടപാടുകൾ ഇല്ലാത്തതിനാൽ views, ഷേപ്പ്-റേഡിയൻസ് അവ്യക്തത പരിഹരിക്കാൻ കഴിയില്ല, ഇത് ശബ്ദവും വികലവുമായ ആകൃതി വീണ്ടെടുക്കലിലേക്ക് നയിക്കുന്നു. നിലവിലുള്ള രീതികൾ ഉപരിതല ജ്യാമിതി സുഗമമായ [25], പരുക്കൻ ആഴം മുമ്പുള്ള [10, 32] അല്ലെങ്കിൽ പൊസിഷണൽ എൻകോഡിംഗിൻ്റെ ആവൃത്തി നിയന്ത്രണം [36] പോലുള്ള ക്രമപ്പെടുത്തലുകൾ ചേർത്തുകൊണ്ട് ഈ പ്രശ്നം പരിഹരിക്കുന്നു. ചില രീതികൾ [7, 20, 39] സ്പാർസ് 3D പുനർനിർമ്മാണത്തെ ഒരു കണ്ടീഷൻ ചെയ്ത 3D സാമാന്യവൽക്കരണ പ്രശ്നമായി രൂപപ്പെടുത്തുന്നു, അവിടെ മുൻകൂട്ടി പരിശീലിപ്പിച്ച ഇമേജ് സവിശേഷതകൾ സാമാന്യവൽക്കരിക്കാവുന്ന പ്രിയറുകളായി ഉപയോഗിക്കുന്നു. S-VolSDF [35] ക്ലാസിക്കൽ മൾട്ടി പ്രയോഗിക്കുന്നുview ഒരു പ്രോബബിലിറ്റി വോളിയം ഉപയോഗിച്ച് ന്യൂറൽ റെൻഡറിംഗ് ഒപ്റ്റിമൈസേഷനെ ഇനീഷ്യലൈസേഷനായി സ്റ്റീരിയോ രീതി ക്രമപ്പെടുത്തുന്നു. എന്നിരുന്നാലും, പ്രതിഫലിക്കുന്ന പ്രതലങ്ങൾ കൃത്യമായി വീണ്ടെടുക്കുന്നത് നിലവിലെ രീതികൾക്ക് ഇപ്പോഴും വെല്ലുവിളിയാണ്.

ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ ഉപയോഗിച്ചുള്ള പുനർനിർമ്മാണം രണ്ടും സിംഗിൾ-ഇന് വേണ്ടി പഠിച്ചു.view ക്രമീകരണങ്ങൾ [1, 2, 16, 23, 29] കൂടാതെ മൾട്ടിview ക്രമീകരണങ്ങൾ [6, 8, 9, 11, 12, 43]. RGB ഇമേജുകളിൽ നിന്ന് വ്യത്യസ്തമായി, ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്നുള്ള AoP ഉപരിതല നോർമലിനായി നേരിട്ടുള്ള സൂചനകൾ നൽകുന്നു. അവിവാഹിത-view ധ്രുവീകരണത്തിൽ നിന്നുള്ള രൂപം (SfP) ടെക്നിക്കുകൾ ഈ പ്രോപ്പർട്ടിയിൽ നിന്ന് പ്രയോജനം നേടുകയും ഒറ്റ വിദൂര പ്രകാശം [21, 29] അല്ലെങ്കിൽ അജ്ഞാത പ്രകൃതിദത്ത പ്രകാശം [1, 16] ന് കീഴിൽ ഉപരിതല സാധാരണ കണക്കാക്കുകയും ചെയ്യുന്നു. മൾട്ടിview SfP രീതികൾ [8, 43] മൾട്ടിയെ അടിസ്ഥാനമാക്കി AoP-യിലെ π, π/2 അവ്യക്തതകൾ പരിഹരിക്കുകview നിരീക്ഷണങ്ങൾ. ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ള ആദ്യത്തെ ന്യൂറൽ 9D പുനർനിർമ്മാണ രീതിയാണ് പണ്ടോറ [3], ഉപരിതലത്തിൻ്റെ ആകൃതിയും പ്രകാശവും വീണ്ടെടുക്കുന്നതിൽ ഫലപ്രദമാണെന്ന് തെളിയിക്കപ്പെടുന്നു. MVAS [6] മൾട്ടിയിൽ നിന്ന് ഉപരിതല രൂപം വീണ്ടെടുക്കുന്നുview അസിമുത്ത് മാപ്പുകൾ, ഇതിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ AoP മാപ്പുകളുമായി അടുത്ത ബന്ധപ്പെട്ടിരിക്കുന്നു

ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ. എന്നിരുന്നാലും, വിരളമായ ഷോട്ടുകൾക്ക് കീഴിൽ പ്രതിഫലിക്കുന്ന ഉപരിതല പുനർനിർമ്മാണത്തിനായി ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ ഉപയോഗിച്ച് ഈ രീതികൾ പര്യവേക്ഷണം ചെയ്യുന്നില്ല.

പോളാരിമെട്രിക് ഇമേജ് ഫോർമേഷൻ മോഡൽ

നിർദ്ദിഷ്ട രീതിയിലേക്ക് കടക്കുന്നതിന് മുമ്പ്, ഞങ്ങൾ ആദ്യം പോളാരിമെട്രിക് ഇമേജ് രൂപീകരണ മോഡൽ അവതരിപ്പിക്കുകയും ഫോട്ടോ-മെട്രിക് ക്യൂ, ജ്യാമിതീയ ക്യൂ എന്നിവ ഞങ്ങളുടെ രീതിയിലൂടെ നേടുകയും ചെയ്യുന്നു. ചിത്രം 2-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, ഒരു സ്നാപ്പ്ഷോട്ട് ധ്രുവീകരണ ക്യാമറ നാല് വ്യത്യസ്ത ധ്രുവീകരണ കോണുകളിൽ ചിത്ര നിരീക്ഷണങ്ങൾ രേഖപ്പെടുത്തുന്നു, അതിൻ്റെ പിക്സൽ മൂല്യങ്ങൾ {I0, I45, I90, I135} എന്ന് സൂചിപ്പിച്ചിരിക്കുന്നു. ലഭിച്ച ലൈറ്റുകളുടെ ധ്രുവീകരണ നില ഈ നാല് ചിത്രങ്ങൾ വെളിപ്പെടുത്തുന്നു, ഇത് ഒരു 4D സ്റ്റോക്സ് വെക്റ്റർ s = [s0, s1, s2, s3] ആയി കണക്കാക്കുന്നു

വൃത്താകൃതിയിലുള്ള ധ്രുവീകരിക്കപ്പെട്ട പ്രകാശം ഇല്ലെന്ന് ഞങ്ങൾ അനുമാനിക്കുന്നു, അങ്ങനെ s3 0 ആയി നൽകുന്നു. ധ്രുവീകരണത്തിൻ്റെ ആംഗിൾ (AoP) കണക്കാക്കാൻ സ്റ്റോക്സ് വെക്റ്റർ ഉപയോഗിക്കാം, അതായത്

AoP, Stokes വെക്‌ടർ എന്നിവയെ അടിസ്ഥാനമാക്കി, ഞങ്ങൾ ജ്യാമിതീയ, ഫോട്ടോമെട്രിക് സൂചകങ്ങൾ അതിനനുസരിച്ച് നേടുന്നു.

ജ്യാമിതീയ ക്യൂ
AoP ϕa നൽകിയാൽ, ഉപരിതലത്തിൻ്റെ അസിമുത്ത് കോൺ ϕa + π/2 അല്ലെങ്കിൽ ϕa + π ആകാം, ഉപരിതലം സ്‌പെക്യുലർ ആണോ വ്യാപിച്ചുകിടക്കുന്നതാണോ എന്നതിനെ ആശ്രയിച്ച് π, π/2 അവ്യക്തത എന്നറിയപ്പെടുന്നു. ഈ വിഭാഗത്തിൽ, മൾട്ടി കൊണ്ടുവന്ന ജ്യാമിതീയ ക്യൂ ഞങ്ങൾ ആദ്യം അവതരിപ്പിക്കുന്നുview അസിമുത്ത് മാപ്പ്, തുടർന്ന് അത് AoP-യുടെ കേസിലേക്ക് നീട്ടുക.

MVAS [6]-ന് ശേഷം, ഒരു സീൻ പോയിൻ്റ് x-ന്, അതിൻ്റെ ഉപരിതല സാധാരണ n, ഒരു ക്യാമറയിൽ പ്രൊജക്റ്റ് ചെയ്ത അസിമുത്ത് ആംഗിൾ ϕ view എന്ന നിലയിൽ ബന്ധം പിന്തുടരുക

ഇവിടെ R = [r1, r2, r3]⊤ ക്യാമറാ പോസിൻ്റെ റൊട്ടേഷൻ മാട്രിക്സ് ആണ്. നമുക്ക് Eq വീണ്ടും ക്രമീകരിക്കാം. (3) താഴെ നിർവചിച്ചിരിക്കുന്നതുപോലെ ഉപരിതല നോർമലും പ്രൊജക്റ്റ് ചെയ്ത ടാൻജെൻ്റ് വെക്‌ടറും t(ϕ) തമ്മിലുള്ള ഓർത്തോഗണൽ ബന്ധം ലഭിക്കുന്നതിന്,

AoP യും അസിമുത്ത് കോണും തമ്മിലുള്ള π അവ്യക്തത സ്വാഭാവികമായും Eq ആയി പരിഹരിക്കാവുന്നതാണ്. (4) നമ്മൾ π കൊണ്ട് ϕ ചേർത്താൽ നിലകൊള്ളുന്നു. കപട പ്രൊജക്റ്റഡ് ടാൻജെൻ്റ് വെക്റ്റർ tˆ(ϕ) ഉപയോഗിച്ച് π/2 അവ്യക്തത പരിഹരിക്കാൻ കഴിയും.

ഒരു സീൻ പോയിൻ്റ് x നിരീക്ഷിച്ചാൽ f views, നമുക്ക് Eq സ്റ്റാക്ക് ചെയ്യാം. (4) ഒപ്പം സമ. (5) k വ്യത്യസ്‌ത ഭ്രമണങ്ങളെയും നിരീക്ഷിച്ച AoP-കളെയും അടിസ്ഥാനമാക്കി, ഒരു രേഖീയ സംവിധാനത്തിലേക്ക് നയിക്കുന്നു

T(x)n(x) = 0. (6)

ഞങ്ങൾ ഈ ലീനിയർ സിസ്റ്റത്തെ മൾട്ടി-കൾക്കുള്ള ഞങ്ങളുടെ ജ്യാമിതീയ ക്യൂ ആയി കണക്കാക്കുന്നുview ധ്രുവീകരിക്കപ്പെട്ട 3D പുനർനിർമ്മാണം.

ഫോട്ടോമെട്രിക് ക്യൂ
സംഭവ പരിതസ്ഥിതി പ്രകാശം ധ്രുവീകരിക്കപ്പെടാത്തതാണെന്ന് അനുമാനിക്കുകയാണെങ്കിൽ, സംഭവ പ്രകാശ ദിശയുടെ സ്റ്റോക്സ് വെക്റ്റർ ω ഇപ്രകാരം പ്രതിനിധീകരിക്കാം.

si(ω) = L(ω)[1, 0, 0, 0]⊤, (7)

ഇവിടെ L(ω) പ്രകാശ തീവ്രതയെ സൂചിപ്പിക്കുന്നു. പോളറൈസേഷൻ ക്യാമറ റെക്കോർഡ് ചെയ്യുന്ന ഔട്ട്‌ഗോയിംഗ് ലൈറ്റ് പ്രതിഫലനം മൂലം ഭാഗികമായി ധ്രുവീകരിക്കപ്പെടുന്നു. ഈ പ്രക്രിയ 4×4 മുള്ളർ മാട്രിക്സ് എച്ച് വഴിയാണ് രൂപപ്പെടുത്തിയിരിക്കുന്നത്. ഒരു പരിസ്ഥിതി പ്രകാശത്തിന് കീഴിൽ, ഔട്ട്ഗോയിംഗ് സ്റ്റോക്ക്സ് വെക്റ്റർ, മുള്ളർ മാട്രിക്സ് ഉപയോഗിച്ച് ഗുണിച്ച സ്റ്റോക്സ് വെക്റ്റർ സംഭവത്തിൻ്റെ അവിഭാജ്യഘടകമായി രൂപപ്പെടുത്താം, അതായത്.

ഇവിടെ v, Ω എന്നിവ സൂചിപ്പിക്കുന്നു view ദിശയും ഇൻ്റഗ്രൽ ഡൊമെയ്‌നും. ധ്രുവീകരിക്കപ്പെട്ട BRDF (pBRDF) മോഡൽ [2] പിന്തുടർന്ന്, ഔട്ട്‌പുട്ട് സ്റ്റോക്ക്‌സ് വെക്‌ടറിനെ എച്ച്‌ഡി, എച്ച്എസ് എന്നിവ വഴി മാതൃകയാക്കി വ്യാപിക്കുന്നതും സ്‌പെക്യുലർ ഭാഗങ്ങളായി വിഘടിപ്പിക്കാം, അതായത്.

PANDORA [9] എന്നതിൽ നിന്നുള്ള വ്യുൽപ്പന്നത്തെ തുടർന്ന്, നമുക്ക് ഔട്ട്പുട്ട് സ്റ്റോക്സ് വെക്റ്റർ ഇങ്ങനെ രൂപപ്പെടുത്താം

ഇവിടെ Ld =fΩ ρL(ω)ω⊤n T+i T−i dω എന്നത് ഉപരിതല സാധാരണ n, ഫ്രെസ്നെൽ ട്രാൻസ്മിഷൻ ഗുണകങ്ങൾ [2] T+i,o, T−i,o, ഡിഫ്യൂസ് ആൽബിഡോ ρ എന്നിവയുമായി ബന്ധപ്പെട്ട വ്യാപിക്കുന്ന പ്രകാശം എന്നാണ്. , കൂടാതെ സംഭവ പ്രകാശത്തിൻ്റെ അസിമുത്ത് ആംഗിൾ ϕn. Ls = fΩ L(ω) DG 4n⊤v dω ഫ്രെസ്നെൽ പ്രതിഫലന ഗുണകങ്ങളുമായി ബന്ധപ്പെട്ട സ്‌പെക്യുലർ റേഡിയൻസ് [2] R+, R− എന്നിവയെ സൂചിപ്പിക്കുന്നു, സംഭവ അസിമുത്ത് ആംഗിൾ ϕh ഹാഫ് വെക്‌ടറിൻ്റെ wrt h = ω+v∥ω+v∥22, കൂടാതെ മൈക്രോഫാസെറ്റ് മോഡലിലെ സാധാരണ വിതരണവും നിഴൽ പദവും ഡി, ജി.

കൂടുതൽ വിവരങ്ങൾക്ക് അനുബന്ധ മെറ്റീരിയൽ പരിശോധിക്കുക. Eq-ൽ കാണിച്ചിരിക്കുന്ന പോളാരിമെട്രിക് ഇമേജ് രൂപീകരണ മാതൃകയെ അടിസ്ഥാനമാക്കി. (10), ഞങ്ങൾ ഫോട്ടോമെട്രിക് ക്യൂ നിർമ്മിക്കുന്നു.

നിർദ്ദേശിച്ച രീതി

ഞങ്ങളുടെ NeRSP സ്പാർസ് മൾട്ടി എടുക്കുന്നുview ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ, ടാർഗെറ്റ് ഒബ്‌ജക്‌റ്റിൻ്റെ അനുബന്ധ സിലൗറ്റ് മാസ്‌ക്, ക്യാമറ ഇൻപുട്ടായി പോസ് ചെയ്യുകയും എസ്‌ഡിഎഫ് വഴി പരോക്ഷമായി പ്രതിനിധീകരിക്കുന്ന ഒബ്‌ജക്റ്റിൻ്റെ ഉപരിതല രൂപം ഔട്ട്‌പുട്ട് ചെയ്യുകയും ചെയ്യുന്നു. ആകാര പുനർനിർമ്മാണ അവ്യക്തത പരിഹരിക്കുന്നതിനുള്ള ഫോട്ടോമെട്രിക് സൂചകങ്ങളെയും ജ്യാമിതീയ സൂചകങ്ങളെയും കുറിച്ചുള്ള ചർച്ചയിൽ നിന്ന് ഞങ്ങൾ ആരംഭിക്കുന്നു, തുടർന്ന് ഞങ്ങളുടെ NeRSP യുടെ നെറ്റ്‌വർക്ക് ഘടനയെയും നഷ്ടത്തിൻ്റെ പ്രവർത്തനത്തെയും കുറിച്ചുള്ള നിർദ്ദേശങ്ങൾ.

വിരളമായ 3D പുനർനിർമ്മാണത്തിൽ അവ്യക്തത
ജ്യാമിതീയ ക്യൂ, ഫോട്ടോമെട്രിക് ക്യൂ എന്നിവ വിരളമായ ഉപരിതല രൂപത്തിൻ്റെ പരിഹാര ഇടം കുറയ്ക്കുന്നതിൽ ഒരു പ്രധാന പങ്ക് വഹിക്കുന്നു. viewഎസ്. ചിത്രം 3-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, 2-ന് താഴെയുള്ള ആകാരം കണക്കാക്കുന്നത് ഞങ്ങൾ ചിത്രീകരിക്കുന്നു viewവ്യത്യസ്ത സൂചനകളുള്ള എസ്. ഇൻപുട്ടായി RGB ഇമേജുകൾ മാത്രം നൽകിയാൽ (NERO [19], S-VolSDF [35] എന്നിവയിലെ ക്രമീകരണത്തിന് അനുസൃതമായി), സീൻ പോയിൻ്റ് സ്ഥാനങ്ങൾ, ഉപരിതല നോർമലുകൾ, ആൽബിഡോ പോലുള്ള പ്രതിഫലന ഗുണങ്ങൾ എന്നിവയുടെ വ്യത്യസ്ത സംയോജനങ്ങൾ ഒരേ ഇമേജ് നിരീക്ഷണങ്ങളിലേക്ക് നയിച്ചേക്കാം. ക്യാമറ റേയ്‌ക്കൊപ്പം ഓരോ 3D പോയിൻ്റുകൾക്കും രണ്ട് RGB അളവുകൾ മാത്രമേയുള്ളൂ. ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്ന് വേർതിരിച്ചെടുത്ത സ്റ്റോക്സ് വെക്റ്ററുകൾ ഉപയോഗിച്ച്, ഫോട്ടോമെട്രിക് ക്യൂ ഓരോ 6D പോയിൻ്റിനും 3 അളവുകൾ നൽകുന്നു (സ്റ്റോക്സ് വെക്റ്ററിന് 3 ഘടകങ്ങൾ ഉണ്ട്), ഉപരിതല സാധാരണ കാൻഡിഡേറ്റുകളെ ധ്രുവീയ ഇമേജ് രൂപീകരണ മോഡലിന് അനുയോജ്യമല്ലാത്തതായി കുറയ്ക്കുന്നു.

മറുവശത്ത്, ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്നുള്ള AoP മാപ്‌സ്1 അടിസ്ഥാനമാക്കി, ക്യാമറ റേയ്‌ക്കൊപ്പമുള്ള ഓരോ സീൻ പോയിൻ്റിനും ഒരു π അവ്യക്തത വരെയുള്ള ഉപരിതലം നമുക്ക് അദ്വിതീയമായി നിർണ്ണയിക്കാനാകും. എന്നിരുന്നാലും, ക്യാമറ റേ ഉപരിതലത്തെ മൂന്നിലൊന്ന് വിഭജിക്കുന്ന സ്ഥാനം കണ്ടെത്തുന്നത് ഇപ്പോഴും അവ്യക്തമാണ്. view നൽകിയിരിക്കുന്നു [6]. അതിനാൽ, വിരളത്തിന് കീഴിൽ viewക്രമീകരണം (ഉദാ, 2 viewചിത്രം. 3-ലെ s), ജ്യാമിതീയമോ ഫോട്ടോമെട്രിക് ക്യൂയോ അടിസ്ഥാനമാക്കി സീൻ പോയിൻ്റ് സ്ഥാനം നിർണ്ണയിക്കുന്നത് അവ്യക്തമായി തുടരുന്നു.
ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ ഈ രണ്ട് സൂചനകളും ഞങ്ങളുടെ രീതി സംയോജിപ്പിക്കുന്നു. ചിത്രം 3-ൻ്റെ താഴെ-വലത് ഭാഗത്ത് ദൃശ്യമാക്കിയത് പോലെ, ശരിയായ സീൻ പോയിൻ്റ് പൊസിഷൻ ഫോട്ടോമെട്രിക്, ജ്യാമിതീയ സൂചനകളിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ സാധാരണ കാൻഡിഡേറ്റ് ഗ്രൂപ്പുകളുടെ കവലയിൽ അതിൻ്റെ ഉപരിതലം സാധാരണ നിലയിലായിരിക്കണം. വ്യത്യസ്ത സെഷനുകളിൽ ഉപരിതല സാധാരണ പോലെampലീഡ് സീൻ പോയിൻ്റുകൾ ജ്യാമിതീയ സൂചകങ്ങളാൽ അദ്വിതീയമായി നിർണ്ണയിക്കപ്പെടുന്നു, ഫോട്ടോമെട്രിക് ക്യൂവിൻ്റെ സഹായത്തോടെ പോയിൻ്റ് ഉപരിതലത്തിലാണോ എന്ന് നമുക്ക് എളുപ്പത്തിൽ നിർണ്ണയിക്കാനാകും. ഈ രീതിയിൽ, സ്പേസ്-ഷോട്ട് പ്രതിഫലന ഉപരിതല പുനർനിർമ്മാണത്തിൻ്റെ പരിഹാര സ്ഥലം ഞങ്ങൾ കുറയ്ക്കുന്നു.

NeRSP
നെറ്റ്‌വർക്ക് ഘടന ചിത്രം. 4-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, ഞങ്ങളുടെ NeRSP, യഥാർത്ഥത്തിൽ Ref-NeRF [9] ൽ നിന്ന് ഉരുത്തിരിഞ്ഞ PANDORA [30] യ്‌ക്കൊപ്പം സമാനമായ നെറ്റ്‌വർക്ക് ഘടന പ്രയോഗിക്കുന്നു. ക്യാമറ കേന്ദ്രത്തിൽ നിന്ന് v എന്ന ദിശയോടുകൂടിയ പ്രകാശകിരണത്തിന്, ഞങ്ങൾ sampയാത്രാദൂരം ti ഉള്ള കിരണത്തിലെ ഒരു പോയിൻ്റ്, അതിൻ്റെ സ്ഥാനം xi = o + tiv-ൽ രേഖപ്പെടുത്തി. NeRF [25]-ൽ ഉപയോഗിക്കുന്ന വോളിയം റെൻഡറിംഗിനെ പിന്തുടർന്ന്, നിരീക്ഷിച്ച സ്റ്റോക്സ് വെക്റ്റർ s(v) വോളിയം അതാര്യത σi, s-ലെ സ്റ്റോക്സ് വെക്റ്ററുകൾ എന്നിവ ഉപയോഗിച്ച് സംയോജിപ്പിക്കാൻ കഴിയും.ampറേയ്‌ക്കൊപ്പം പോയിൻ്റുകൾ നയിച്ചു, അതായത്

എവിടെ എന്നതിൻ്റെ സഞ്ചിത പ്രക്ഷേപണത്തെ സൂചിപ്പിക്കുന്നുampനയിച്ച പോയിൻ്റ്.

സമീപകാല ന്യൂറൽ 3D പുനർനിർമ്മാണ രീതിയായ NeuS [33] പ്രചോദിപ്പിച്ചത്, ഞങ്ങൾ ഒരു SDF നെറ്റ്‌വർക്കിൽ നിന്ന് വോളിയം അതാര്യത നേടുകയും SDF-ൻ്റെ ഗ്രേഡിയൻ്റിൽ നിന്ന് ഉപരിതല നോർമൽ എക്‌സ്‌ട്രാക്‌റ്റുചെയ്യുകയും ചെയ്യുന്നു. s-ൽ so(xi, v) കണക്കാക്കാൻampലീഡ് പോയിൻ്റുകൾ, ഞങ്ങൾ Eq-ലെ പോളാരിമെട്രിക് ഇമേജ് രൂപീകരണ മാതൃക പിന്തുടരുന്നു. (10) പ്രത്യേകമായി, ഡിഫ്യൂസ് റേഡിയൻസ് എൽഡി ഡിഫ്യൂസ് ആൽബിഡോ, ഫ്രെസ്നെൽ ട്രാൻസ്മിഷൻ കോഫിഫിഷ്യൻ്റുകളുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു, ഇത് സീൻ സ്ഥാനങ്ങളെ ആശ്രയിച്ചിരിക്കുന്നു, പക്ഷേ ഇത് view ദിശ. അതിനാൽ, ഓരോ സീൻ പോയിൻ്റിൻ്റെയും സവിശേഷതകളിൽ നിന്ന് Ld മാപ്പ് ചെയ്യാൻ ഞങ്ങൾ ഒരു ഡിഫ്യൂസ് റേഡിയൻസ് നെറ്റ്‌വർക്ക് ഉപയോഗിക്കുന്നു. സ്പെക്യുലർ റേഡിയൻസ് Ls നിർണ്ണയിക്കുന്നത് സ്പെക്യുലർ ലോബുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു view ദിശ, ഉപരിതല സാധാരണ, ഉപരിതല പരുക്കൻ. അതിനാൽ ഉപരിതല പരുക്കൻത പ്രവചിക്കാൻ ഞങ്ങൾ ഒരു RoughnessNet ഉപയോഗിക്കുന്നു. കൂടെ ക്യാമറയും view ദിശയും പ്രവചിച്ച ഉപരിതല സാധാരണവും, Ref-NeRF [30] നിർദ്ദേശിച്ച സംയോജിത സ്ഥാന എൻകോഡിംഗ് മൊഡ്യൂളിന് താഴെയുള്ള സ്‌പെക്യുലർ റേഡിയൻസ് Ls കണക്കാക്കുന്നു. Ld ഉം Ls ഉം സംയോജിപ്പിച്ച്, Eq പിന്തുടരുന്ന നിരീക്ഷിച്ച സ്റ്റോക്സ് വെക്റ്റർ ഞങ്ങൾ പുനർനിർമ്മിക്കുന്നു. (10)

നഷ്ട പ്രവർത്തനം
നിരീക്ഷിച്ച ˆs(v), പുനർനിർമ്മിച്ച സ്റ്റോക്സ് വെക്റ്ററുകൾ s(v) എന്നിവ തമ്മിലുള്ള L1 ദൂരമാണ് ഫോട്ടോമെട്രിക് നഷ്ടം നിർവചിച്ചിരിക്കുന്നത്, അതായത്,

ഇവിടെ V എന്നത് വ്യത്യസ്‌തമായ ഒബ്‌ജക്‌റ്റ് മാസ്‌കുകൾക്കുള്ളിലെ എല്ലാ ക്യാമറാ കിരണങ്ങളെയും സൂചിപ്പിക്കുന്നു viewഎസ്. ജ്യാമിതീയ നഷ്ടത്തിന്. ഉപരിതലത്തിൽ സ്പർശിക്കുന്നതുവരെ ക്യാമറയുടെ റേ v സഹിതം ഞങ്ങൾ ആദ്യം 3D സീൻ പോയിൻ്റ് x കണ്ടെത്തുകയും തുടർന്ന് വ്യത്യസ്‌തമായ 2D-പിക്‌സൽ സ്ഥാനങ്ങൾ കണ്ടെത്തുകയും ചെയ്യുന്നു. viewഎസ്. ജ്യാമിതീയ നഷ്ടം സമവാക്യത്തെ അടിസ്ഥാനമാക്കി നിർവചിച്ചിരിക്കുന്നു. (6), അതായത്,

ഇവിടെ X എന്നത് വ്യത്യസ്‌തമായ ഒബ്‌ജക്‌റ്റ് മാസ്‌കുകൾക്കുള്ളിലെ എല്ലാ കിരണ-ഉപരിതല കവലകളെയും സൂചിപ്പിക്കുന്നു viewഎസ്. ഫോട്ടോമെട്രിക്, ജ്യാമിതീയ നഷ്ടം കൂടാതെ, ഒബ്‌ജക്റ്റ് മാസ്‌ക്കുകളുടെ മേൽനോട്ടത്തിലുള്ള മാസ്‌ക് നഷ്ടവും ഐക്കോണൽ റെഗുലറൈസേഷൻ നഷ്ടവും ഞങ്ങൾ ചേർക്കുന്നു. മാസ്ക് നഷ്‌ടത്തെ ഇങ്ങനെ നിർവചിച്ചിരിക്കുന്നു

എവിടെ k-th ക്യാമറ റേയിൽ പ്രവചിച്ച മാസ്കിനെ പ്രതിനിധീകരിക്കുന്നു, അതിൻ്റെ GT മാസ്ക് മൂല്യം Mk എന്ന് സൂചിപ്പിക്കുന്നു. ബിസിഇ ഒരു ബൈനറി ക്രോസ്-എൻട്രോപ്പി നഷ്ടത്തെ പ്രതിനിധീകരിക്കുന്നു.

ഇവിടെ ni,k എന്നത് i-th s-ലെ SDF നെറ്റ്‌വർക്കിൽ നിന്ന് ഉരുത്തിരിഞ്ഞ ഉപരിതലമാണ്ampk-th ക്യാമറ റേയ്‌ക്കൊപ്പം ലീഡ് പോയിൻ്റ്. ഞങ്ങളുടെ NeRSP മേൽനോട്ടം വഹിക്കുന്നത് മുകളിലുള്ള നഷ്ട നിബന്ധനകളുടെ സംയോജനമാണ്, അതായത്

ഇവിടെ λe, λm, λp എന്നിവ അനുബന്ധ നഷ്ട നിബന്ധനകളുടെ ഗുണകങ്ങളാണ്.

RMVP3D ഡാറ്റാസെറ്റ്
നിർദ്ദിഷ്ട രീതിയുടെ അളവ് വിലയിരുത്തുന്നതിന്, ഞങ്ങൾ ഒരു റിയൽ വേൾഡ് മൾട്ടി ക്യാപ്‌ചർ ചെയ്യുന്നുview വിന്യസിച്ച ഗ്രൗണ്ട് ട്രൂട്ട് മെഷുകളുള്ള ധ്രുവീകരിക്കപ്പെട്ട ഇമേജ് ഡാറ്റാസെറ്റ്. ചിത്രം 5 (ഇടത്) ഞങ്ങളുടെ ക്യാപ്‌ചറിംഗ് സജ്ജീകരണം ചിത്രീകരിക്കുന്നു, അതിൽ ഒരു പോളാരിമെട്രിക് ക്യാമറ ഉൾപ്പെടുന്നു, FLIR BFS-U3-51S5PC-C, 12 mm ലെൻസും റൊട്ടേഷൻ റെയിലും സജ്ജീകരിച്ചിരിക്കുന്നു. 1224, 1024, 0, 45 ഡിഗ്രിയിൽ പോളറൈസർ ആംഗിളുകളുള്ള 90×135 വർണ്ണ ഇമേജുകൾ നേടുന്നതിനും റോ ഡാറ്റ ഡെമോസൈക്കുചെയ്യുന്നതിനും ഞങ്ങൾ OpenCV ഉപയോഗിക്കുന്നു. ഡാറ്റ ക്യാപ്‌ചർ സമയത്ത്, ഞങ്ങൾ ടാർഗെറ്റ് ഒബ്‌ജക്‌റ്റുകൾ റെയിലിൻ്റെ മധ്യഭാഗത്ത് സ്ഥാപിക്കുകയും ക്യാമറ സ്വമേധയാ ചലിപ്പിച്ച് ഓരോ ഒബ്‌ജക്‌റ്റിലും 60 ചിത്രങ്ങൾ എടുക്കുകയും ചെയ്യുന്നു. ഞങ്ങൾ ടാർഗെറ്റുകളായി 4 വസ്തുക്കൾ ശേഖരിക്കുന്നു: ഡോഗ്, തവള, സിംഹം, പന്ത്, ചിത്രം 5 (മധ്യത്തിൽ) കാണിച്ചിരിക്കുന്നത് പോലെ. ക്വാണ്ടിറ്റേറ്റീവ് മൂല്യനിർണ്ണയത്തിനായി, ഗ്രൗണ്ട് ട്രൂട്ട് മെഷ് ലഭിക്കുന്നതിന് ഞങ്ങൾ 0.01 മില്ലിമീറ്റർ കൃത്യതയുള്ള ഒരു ലേസർ സ്കാനർ ക്രീഫോം ഹാൻഡിസ്കാൻ ബ്ലാക്ക് സ്വീകരിക്കുന്നു. പിടിച്ചെടുത്ത ചിത്രത്തിലേക്ക് മെഷ് വിന്യസിക്കാൻ views, ലഭ്യമായതെല്ലാം ഉപയോഗിച്ച് ഒരു റഫറൻസ് ആകൃതി കണക്കാക്കാൻ ഞങ്ങൾ ആദ്യം PANDORA [9] പ്രയോഗിക്കുന്നു views തുടർന്ന് സ്കാൻ ചെയ്ത മെഷ് ICP അൽഗോരിതം വഴി കണക്കാക്കിയ ഒന്നിലേക്ക് വിന്യസിക്കുക [4]. അടിസ്ഥാന-സത്യ രൂപങ്ങൾ കൂടാതെ മൾട്ടിview ചിത്രങ്ങൾ, ഞങ്ങൾ 360-ഡിഗ്രി ക്യാമറ THETA Z1 ഉപയോഗിച്ച് പരിസ്ഥിതി ഭൂപടം പിടിച്ചെടുക്കുകയും ചെയ്യുന്നു, ഇത് ബന്ധപ്പെട്ട ന്യൂറൽ ഇൻവേഴ്സ് റെൻഡറിംഗ് വർക്കുകൾക്കായുള്ള ലൈറ്റിംഗ് എസ്റ്റിമേഷൻ്റെ അളവ് മൂല്യനിർണ്ണയത്തിന് പ്രയോജനം ചെയ്യുന്നു.

പരീക്ഷണങ്ങൾ

ഞങ്ങൾ മൂന്ന് പരീക്ഷണങ്ങൾ ഉപയോഗിച്ച് NeRSP വിലയിരുത്തുന്നു: 1) നിലവിലുള്ള മൾട്ടിയുമായി താരതമ്യം ചെയ്യുകview ഒരു സിന്തറ്റിക് ഡാറ്റാസെറ്റിൽ അളവ് 3D പുനർനിർമ്മാണ രീതികൾ; 2) ജ്യാമിതീയ, ഫോട്ടോമെട്രിക് ലോസ് നിബന്ധനകളുടെ സംഭാവനയെക്കുറിച്ചുള്ള അബ്ലേഷൻ പഠനം 3) യഥാർത്ഥ ലോക ഡാറ്റാസെറ്റുകളിലെ ഗുണപരവും അളവ്പരവുമായ വിലയിരുത്തലുകൾ. ഞങ്ങൾ ബിആർഡിഎഫും നോവലും നൽകുന്നു view സപ്ലിമെൻ്ററി മെറ്റീരിയലിൽ ഫലം.

ഡാറ്റാസെറ്റുകളും അടിസ്ഥാനരേഖകളും
ഡാറ്റാസെറ്റ്. ഞങ്ങൾ രണ്ട് യഥാർത്ഥ-ലോക ഡാറ്റാസെറ്റുകൾ തയ്യാറാക്കുന്നു: PAN-DORA ഡാറ്റാസെറ്റും [9] ഞങ്ങളുടെ നിർദ്ദിഷ്ട RMVP3Dയും, ഗ്രൗണ്ട് ട്രൂത്ത് മെഷുകൾ നൽകാത്തതിനാൽ ഗുണപരമായ മൂല്യനിർണ്ണയത്തിന് മാത്രമേ പാൻഡോറ ഡാറ്റാസെറ്റ് [9] ഉപയോഗിക്കൂ. ഞങ്ങൾ ഒരു സിന്തറ്റിക് മൾട്ടിയും തയ്യാറാക്കുന്നുview മിത്സുബ റെൻഡറിംഗ് എഞ്ചിൻ [3] ഉള്ള ധ്രുവീകരിക്കപ്പെട്ട ഇമേജ് ഡാറ്റാസെറ്റ് SMVP15D, അതിൽ 5 ഒബ്ജക്റ്റുകൾ അടങ്ങിയിരിക്കുന്നു, അതിൽ ചിത്രം 6-ൽ ദൃശ്യവൽക്കരിച്ചത് പോലെ, സ്പേഷ്യൽ-വ്യത്യസ്തവും പ്രതിഫലിപ്പിക്കുന്നതുമായ പ്രതിഫലനം. viewവസ്തുക്കൾക്ക് ചുറ്റും ക്രമരഹിതമായി വിതരണം ചെയ്യുന്നു. റെൻഡർ ചെയ്‌ത ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ കൂടാതെ, ഓരോ ഒബ്‌ജക്റ്റിനും വേണ്ടി സ്‌റ്റോക്ക് വെക്‌ടറുകൾ, ജിടി ഉപരിതല സാധാരണ മാപ്പുകൾ, എഒപി മാപ്പുകൾ എന്നിവയും ഞങ്ങൾ എക്‌സ്‌പോർട്ടുചെയ്യുന്നു.

അടിസ്ഥാനരേഖകൾ. ഞങ്ങളുടെ ജോലി പലതും പരിഹരിക്കുന്നുview വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ള പ്രതിഫലന പ്രതലങ്ങൾക്കായുള്ള 3D പുനർനിർമ്മാണം. അതിനാൽ, പ്രതിഫലിക്കുന്ന ഉപരിതലങ്ങൾ NeRO [3] ലക്ഷ്യമാക്കിയുള്ള അത്യാധുനിക 19D പുനർനിർമ്മാണ രീതികൾ ഞങ്ങൾ തിരഞ്ഞെടുക്കുന്നു. viewഎസ്-വോൾഎസ്ഡിഎഫ് [35]. മുകളിലുള്ള രണ്ട് രീതികളും RGB ഇമേജ് ഇൻപുട്ടുകളെ അടിസ്ഥാനമാക്കിയുള്ളതാണ്. ഒന്നിലധികംview ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളെ അടിസ്ഥാനമാക്കിയുള്ള സ്റ്റീരിയോ, ഞങ്ങൾ PANDORA [9] ഉം MVAS [6] ഉം ഞങ്ങളുടെ അടിസ്ഥാനമായി തിരഞ്ഞെടുക്കുന്നു. NeRO [19] ഇൻപുട്ടായി സിലൗറ്റ് മാസ്കുകൾ ആവശ്യമില്ല. ന്യായമായ താരതമ്യത്തിനായി, NeRO [19] ലേക്ക് ഇൻപുട്ട് ചെയ്യുന്നതിന് മുമ്പ് ഞങ്ങൾ അനുബന്ധ മാസ്കുകൾ ഉപയോഗിച്ച് RGB ചിത്രങ്ങളിലെ പശ്ചാത്തലം നീക്കംചെയ്യുന്നു. വ്യത്യസ്‌ത രീതികൾ താരതമ്യം ചെയ്യാൻ, ഞങ്ങൾ കണക്കാക്കിയതും ജിടി മെഷുകൾക്കുമിടയിൽ ചാംഫർ ദൂരം (സിഡി), കണക്കാക്കിയതും ജിടി ഉപരിതല നോർമലുകൾക്കും ഇടയിൽ ശരാശരി കോണീയ പിശകും (എംഎഇ) പ്രയോഗിക്കുന്നു. viewഞങ്ങളുടെ മൂല്യനിർണ്ണയ അളവുകോലുകളായി.

ഒരു സിന്തറ്റിക് ഡാറ്റാസെറ്റിൽ ഷേപ്പ് വീണ്ടെടുക്കൽ
പട്ടിക 1-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, നിലവിലുള്ള രീതികളുടെയും SMVP3D-യിൽ ഞങ്ങളുടേതിൻ്റെയും ആകൃതി കണക്കാക്കൽ പിശക് ഞങ്ങൾ സംഗ്രഹിക്കുന്നു. 5 സിന്തറ്റിക് ഒബ്‌ജക്‌റ്റുകൾക്കൊപ്പം ഞങ്ങളുടെ രീതി ഏറ്റവും ചെറിയ ചാംഫർ ദൂരം കൈവരിക്കുന്നു. ചിത്രം 7-ൽ കാണിച്ചിരിക്കുന്ന വിഷ്വലൈസ്ഡ് ഷേപ്പ് എസ്റ്റിമേറ്റുകളെ അടിസ്ഥാനമാക്കി, NeRO [19], S-VolSDF [35] എന്നിവയ്ക്ക് ക്ലോസ്-അപ്പിൽ ഹൈലൈറ്റ് ചെയ്തിരിക്കുന്നതുപോലെ ഉപരിതല വിശദാംശങ്ങൾ കൃത്യമായി വീണ്ടെടുക്കാൻ കഴിയില്ല. viewഎസ്. സാധ്യമായ ഒരു കാരണം, വിരളമായ ചിത്രങ്ങളിൽ നിന്നുള്ള ആകൃതിയും പ്രതിഫലിക്കുന്ന പ്രതിഫലനവും RGB വിവരങ്ങളെ മാത്രം അടിസ്ഥാനമാക്കിയുള്ള ഈ രീതികൾക്ക് വളരെ വെല്ലുവിളിയാണ്. MVAS [6], PANDORA [9] എന്നിവ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളുടെ ജ്യാമിതീയ, ഫോട്ടോമെട്രിക് സൂചകങ്ങളെ പ്രത്യേകം അഭിസംബോധന ചെയ്യുന്നു. എന്നിരുന്നാലും, പുനർനിർമ്മിച്ച പ്രതിഫലന ഉപരിതല രൂപങ്ങൾ അവ്യക്തമായ ജ്യാമിതീയ, ഫോട്ടോമെട്രിക് സൂചകങ്ങളിലെ അവ്യക്തതകൾ കാരണം ഇപ്പോഴും തൃപ്തികരമല്ല. viewയുടെ ക്രമീകരണം. ക്ലോസ്-അപ്പിൽ ഹൈലൈറ്റ് ചെയ്തതുപോലെ views, ജ്യാമിതീയ, ഫോട്ടോമെട്രിക് സൂചകങ്ങളിൽ നിന്ന് പ്രയോജനം നേടുന്നു, ഞങ്ങളുടെ രീതി ആകാരം കണക്കാക്കുന്നതിനുള്ള പരിഹാര ഇടം കുറയ്ക്കുന്നു, ഇത് ജിടി രൂപങ്ങളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഏറ്റവും ന്യായമായ ആകൃതി വീണ്ടെടുക്കലിലേക്ക് നയിക്കുന്നു.

പുനർനിർമ്മിച്ച മെഷിൻ്റെ മൂല്യനിർണ്ണയത്തിനു പുറമേ, ഉപരിതല സാധാരണ എസ്റ്റിമേറ്റ് ഫലങ്ങളും ഞങ്ങൾ പരിശോധിക്കുന്നു. പട്ടിക 2-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, കണക്കാക്കിയ ഉപരിതല നോർമലുകളുടെ ശരാശരി കോണീയ പിശകുകൾ ഞങ്ങൾ 6-ൽ സംഗ്രഹിക്കുന്നു. viewവ്യത്യസ്ത രീതികളിൽ നിന്നുള്ള എസ്. പട്ടിക 1-ലെ മൂല്യനിർണ്ണയ ഫലങ്ങൾക്ക് അനുസൃതമായി, NeRSP ശരാശരി ശരാശരി കോണീയ പിശകുകൾ കൈവരിക്കുന്നു. NeRO [19], MVAS [6], PANDORA [9] എന്നിവയിൽ നിന്നുള്ള ഫലങ്ങൾ, DAVID, DRAGON ഒബ്‌ജക്‌റ്റുകൾ പോലുള്ള സൂക്ഷ്മമായ വിശദാംശങ്ങളുള്ള ഒബ്‌ജക്‌റ്റുകളിൽ വലിയ പിശകുകളുണ്ടെന്നും ഞങ്ങൾ നിരീക്ഷിച്ചു. ഒരു മുൻ എന്ന നിലയിൽample, MVAS [6] ന് പട്ടിക 1-ൽ കാണിച്ചിരിക്കുന്ന രണ്ടാമത്തെ ചെറിയ ചാംഫർ ദൂരം ഉണ്ട്, എന്നാൽ ശരാശരി കോണീയ പിശക് 20◦-ൽ കൂടുതലാണ്. ഒരു സാധ്യതയുള്ള കാരണം നിലവിലുള്ള രീതികൾ വിരളമായ രൂപത്തിൽ മിനുസമാർന്ന രൂപങ്ങൾ നൽകുന്നു viewൻ്റെ ക്രമീകരണം, ഇവിടെ ഡ്രാഗണിൻ്റെ അടരുകൾ പോലെയുള്ള ഉപരിതല വിശദാംശങ്ങൾ നന്നായി വീണ്ടെടുത്തിട്ടില്ല.

പട്ടിക 1. ചാംഫർ ദൂരം (↓) വിലയിരുത്തിയ സിന്തറ്റിക് ഡാറ്റാസെറ്റിലെ ആകൃതി വീണ്ടെടുക്കലുകളുടെ താരതമ്യം. ഏറ്റവും ചെറുതും രണ്ടാമത്തെ ചെറിയതുമായ പിശകുകൾ ബോൾഡിൽ ലേബൽ ചെയ്യുകയും അടിവരയിടുകയും ചെയ്യുന്നു. "N/A" എന്നത് ഒരു നിർദ്ദിഷ്‌ട രീതിക്ക് ന്യായമായ ആകൃതി കണക്കാക്കൽ ഫലങ്ങൾ പുറപ്പെടുവിക്കാൻ കഴിയാത്ത പരീക്ഷണത്തെ സൂചിപ്പിക്കുന്നു.

അബ്ലേഷൻ പഠനം
ഈ വിഭാഗത്തിൽ, ജ്യാമിതീയ, ഫോട്ടോമെട്രിക് സൂചകങ്ങളുടെ ഫലപ്രാപ്തി പരിശോധിക്കുന്നതിനായി ഞങ്ങൾ ഒരു അബ്ലേഷൻ പഠനം നടത്തുന്നു. ഡ്രാഗൺ ഒബ്‌ജക്‌റ്റിനെ ഒരു മുൻ ആയി എടുക്കുന്നുample, ഫോട്ടോമെട്രിക് നഷ്ടം Lp, ജ്യാമിതീയ നഷ്ടം Lg എന്നിവ ഉപയോഗിച്ചും അല്ലാതെയും ഞങ്ങൾ ഞങ്ങളുടെ രീതി നടത്തുന്നു. ചിത്രം 8-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, വ്യത്യസ്ത നഷ്ട നിബന്ധനകൾ പ്രവർത്തനരഹിതമാക്കിക്കൊണ്ട് ഞങ്ങൾ ആകൃതിയും ഉപരിതല സാധാരണ കണക്കുകൂട്ടലുകളും പ്ലോട്ട് ചെയ്യുന്നു. ഫോട്ടോമെട്രിക് നഷ്ടം കൂടാതെ, വിരളമായതിനാൽ ആകൃതി അവ്യക്തത views സംഭവിക്കുന്നു. ക്ലോസ്-അപ്പിൽ നിന്ന് കാണിച്ചിരിക്കുന്നത് പോലെ views, ലെഗ് ഭാഗത്തിന് സമീപമുള്ള ആകൃതിയിൽ ഒരു കോൺകേവ് ആർട്ടിഫാക്റ്റ് ഉണ്ട്, കാരണം രണ്ടെണ്ണം മാത്രമേ ദൃശ്യമാകൂ viewഈ പ്രദേശത്തിനായുള്ള s, കേവലം AoP മാപ്പുകളെ അടിസ്ഥാനമാക്കിയുള്ള ഒരു തനതായ പരിഹാരം രൂപപ്പെടുത്താൻ കഴിയുന്നില്ല [6]. ജ്യാമിതീയ നഷ്ടം കൂടാതെ, രൂപവും പ്രതിഫലനവും പ്രകാശവും അദ്വിതീയമായി വിഘടിപ്പിക്കാൻ വിരളമായ ഇമേജ് നിരീക്ഷണങ്ങൾ പര്യാപ്തമല്ലാത്തതിനാൽ വികലമായ രൂപ ഫലങ്ങളും നമുക്ക് ലഭിക്കും. ഫോട്ടോമെട്രിക്, ജിയോ-മെട്രിക് നഷ്ടം സംയോജിപ്പിക്കുന്നതിലൂടെ, ഞങ്ങളുടെ NeRSP ആകൃതിയുടെ പുനർ-ആവരണത്തിൻ്റെ അവ്യക്തത കുറയ്ക്കുന്നു, ക്ലോസ്-അപ്പിൽ ഹൈലൈറ്റ് ചെയ്തിരിക്കുന്നതുപോലെ, കണക്കാക്കിയ ആകൃതി GT-യോട് അടുത്താണ്. views.

ചിത്രം 8. വ്യത്യസ്ത നഷ്ട വ്യവസ്ഥകളെക്കുറിച്ചുള്ള അബ്ലേഷൻ പഠനം. മുകളിലും താഴെയുമുള്ള വരികൾ യഥാക്രമം ഓരോ ഉപചിത്രത്തിൻ്റെയും മുകളിൽ ചാംഫർ ദൂരവും ശരാശരി കോണീയ പിശകും ലേബൽ ചെയ്‌തിരിക്കുന്ന, കണക്കാക്കിയ ആകൃതിയും ഉപരിതല സാധാരണവും ദൃശ്യവൽക്കരിക്കുന്നു.

യഥാർത്ഥ ഡാറ്റയിൽ ഷേപ്പ് വീണ്ടെടുക്കൽ
മുമ്പത്തെ വിഭാഗത്തിൽ കാണിച്ചിരിക്കുന്ന സിന്തറ്റിക് പരീക്ഷണങ്ങൾ കൂടാതെ, യഥാർത്ഥ ലോക 9D പുനർനിർമ്മാണ സാഹചര്യങ്ങളിൽ അതിൻ്റെ പ്രയോഗക്ഷമത പരിശോധിക്കുന്നതിനായി യഥാർത്ഥ ലോക ഡാറ്റാസെറ്റായ PANDORA ഡാറ്റാസെറ്റിലും [3] RMVP3D ലും ഞങ്ങൾ ഞങ്ങളുടെ രീതി വിലയിരുത്തുന്നു.

PANDORA ഡാറ്റാസെറ്റിലെ ഗുണപരമായ വിലയിരുത്തൽ [9]. ചിത്രം 9-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, ഞങ്ങൾ PAN-DORA ഡാറ്റാസെറ്റിൻ്റെ ഗുണപരമായ വിലയിരുത്തലുകൾ നൽകുന്നു [9]. S-VolSDF [35], NeRO [19] എന്നിവയിൽ നിന്നുള്ള ഏകദേശ ഫലങ്ങളുമായുള്ള ഇമേജ് രൂപവുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ആകാരം പ്രതിഫലനത്തിൽ നിന്ന് പൂർണ്ണമായി വേർപെടുത്തിയിട്ടില്ല, ഇത് പ്രതിഫലന ഘടനയുമായി അടുത്ത ബന്ധമുള്ള കുതിച്ചുചാട്ടമുള്ള ഉപരിതല രൂപങ്ങളിലേക്ക് നയിക്കുന്നു. MVAS [6], PANDORA [9] എന്നിവയ്ക്ക് സ്‌പാർസ് ക്യാപ്‌ചർ ക്രമീകരണത്തിന് കീഴിലുള്ള ജ്യാമിതീയ അല്ലെങ്കിൽ ഫോട്ടോമെട്രിക് സൂചകങ്ങൾ മാത്രം അഭിസംബോധന ചെയ്യുന്നതിനാൽ, ആകൃതി എസ്റ്റിമേറ്റുകളോ കോൺകേവ് ആകൃതിയിലുള്ള ആർട്ടിഫാക്റ്റുകളോ ഉണ്ട്. ഞങ്ങളുടെ ഷേപ്പ് എസ്റ്റിമേഷൻ ഫലങ്ങൾക്ക് അത്തരം ആകൃതിയിലുള്ള ആർട്ടിഫാക്‌ടുകളൊന്നുമില്ല, കൂടാതെ ചിത്ര നിരീക്ഷണങ്ങളുമായി അടുത്ത് പൊരുത്തപ്പെടുന്നു.

പട്ടിക 3. ചാംഫർ ഡിസ്-ടാൻസിനൊപ്പം (↓) RMVP3D-യിലെ ക്വാണ്ടിറ്റേറ്റീവ് മൂല്യനിർണ്ണയം. ഞങ്ങളുടെ രീതി ശരാശരി ഏറ്റവും ചെറിയ പിശക് കൈവരിക്കുന്നു.

രീതി	നായ	സിംഹം	തവള	പന്ത്	ശരാശരി
നീറോ [19]	9.11	10.74	6.21	3.87	7.48
S-VolSDF [35]	9.93	7.39	7.91	18.4	10.91
MVAS [6]	9.23	7.51	9.90	4.77	7.86
പണ്ടോറ [9]	14.3	15.04	11.27	3.96	11.14
NeRSP (നമ്മുടേത്)	8.80	5.18	6.70	3.84	6.13

RMVP3D-യിലെ അളവ് മൂല്യനിർണ്ണയം. പട്ടിക 3-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, ചാംഫർ ദൂരത്തെ അടിസ്ഥാനമാക്കി ഞങ്ങൾ RMVP3D യുടെ ഒരു അളവ് മൂല്യനിർണ്ണയം അവതരിപ്പിക്കുന്നു. സിന്തറ്റിക് പരീക്ഷണത്തിന് അനുസൃതമായി, ഞങ്ങളുടെ NeRSP ശരാശരി ഏറ്റവും ചെറിയ എസ്റ്റിമേഷൻ പിശക് കൈവരിക്കുന്നു. ക്ലോസ്അപ്പിലെ FROG ഒബ്‌ജക്‌റ്റിൻ്റെ കുതിച്ചുചാട്ടമുള്ള പ്രതലം എടുത്തുകാണിച്ചതുപോലെ, പ്രതിഫലനത്തിൽ നിന്ന് ആകൃതിയെ വേർപെടുത്തുന്നതിന് പ്രതിഫലന പ്രതലങ്ങൾ S-VolSDF [10] ന് വെല്ലുവിളിയാണെന്ന് ചിത്രം 35-ൽ കാണിച്ചിരിക്കുന്ന ദൃശ്യവൽകൃത രൂപങ്ങൾ വെളിപ്പെടുത്തുന്നു. viewഎസ്. ലളിതമായ ബോൾ ഒബ്‌ജക്‌റ്റിൽ NeRO [19], PANDORA [9] എന്നിവയ്‌ക്ക് സമാനമായ കണക്കുകൂട്ടൽ പിശകുകൾ ഉണ്ട്. LION പോലെയുള്ള സങ്കീർണ്ണ രൂപങ്ങൾക്ക്, വിരളമായതിനാൽ ഈ രീതികളിൽ നിന്ന് വികലമായ ആകൃതി വീണ്ടെടുക്കലുകൾ ലഭിക്കും view ക്രമീകരണം, നമ്മുടേത് ജിടി മെഷുകൾക്ക് അടുത്തായിരിക്കുമ്പോൾ, വിരളമായ ഇൻപുട്ടുകൾക്ക് കീഴിലുള്ള യഥാർത്ഥ ലോക പ്രതിഫലന ഉപരിതല പുനർനിർമ്മാണത്തിൽ ഞങ്ങളുടെ രീതിയുടെ ഫലപ്രാപ്തി പ്രകടമാക്കുന്നു.

ഉപസംഹാരം

വിരളമായ ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾക്ക് കീഴിലുള്ള പ്രതിഫലന പ്രതലങ്ങൾക്കായുള്ള ന്യൂറൽ 3D പുനർനിർമ്മാണ രീതിയായ NeRSP ഞങ്ങൾ നിർദ്ദേശിക്കുന്നു. രൂപ-പ്രഭ അവ്യക്തതയുടെയും സങ്കീർണ്ണമായ പ്രതിഫലനത്തിൻ്റെയും വെല്ലുവിളികൾ കാരണം, നിലവിലുള്ള രീതികൾ ഒന്നുകിൽ പ്രതിഫലിക്കുന്ന പ്രതലങ്ങളുമായോ വിരളമായോ പോരാടുന്നു. views കൂടാതെ RGB ഇമേജുകളിലെ രണ്ട് പ്രശ്നങ്ങളും പരിഹരിക്കാൻ കഴിയില്ല. ഇൻപുട്ടായി ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ ഉപയോഗിക്കാൻ ഞങ്ങൾ നിർദ്ദേശിക്കുന്നു. ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളിൽ നിന്ന് വേർതിരിച്ചെടുത്ത ജ്യാമിതീയവും ഫോട്ടോമെട്രിക് സൂചനകളും സംയോജിപ്പിക്കുന്നതിലൂടെ, ഞങ്ങൾ കണക്കാക്കിയ ആകൃതിയുടെ പരിഹാര ഇടം കുറയ്ക്കുന്നു, ഇത് പ്രതിഫലന പ്രതലത്തിൻ്റെ ഫലപ്രദമായ വീണ്ടെടുക്കൽ 6 വരെ അനുവദിക്കുന്നു. views, പൊതുവായി ലഭ്യമായതും ഞങ്ങളുടെ ഡാറ്റാസെറ്റുകളും പ്രകടമാക്കുന്നത് പോലെ.

പരിമിതി
ഈ സൃഷ്ടിയിൽ പരസ്പര പ്രതിഫലനങ്ങളും ധ്രുവീകരിക്കപ്പെട്ട പരിസ്ഥിതി വെളിച്ചവും പരിഗണിക്കപ്പെടുന്നില്ല, ഇത് ആകൃതി പുനർനിർമ്മാണ കൃത്യതയെ സ്വാധീനിക്കും. NeISF [17] ഈ വിഷയത്തിൽ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്ന ഏറ്റവും പുതിയ ഒരു കൃതി ഞങ്ങൾ ശ്രദ്ധിച്ചു, ഭാവിയിൽ ഈ സൃഷ്ടിയുമായി ഞങ്ങളുടെ സ്പേസ് ഷോട്ട് മെറിറ്റ് സംയോജിപ്പിക്കാൻ ഞങ്ങൾക്ക് താൽപ്പര്യമുണ്ട്.
അംഗീകാരം
ഈ പ്രവർത്തനത്തെ ബെയ്ജിംഗ് നാച്ചുറൽ സയൻസ് ഫൗണ്ടേഷൻ പ്രോജക്റ്റ് നമ്പർ Z200002, നാഷണൽ നേച്ചർ സയൻസ് ഫൗണ്ടേഷൻ ഓഫ് ചൈന (ഗ്രാൻ്റ് നമ്പർ. 62136001, 62088102, 62225601, U23B2052), BUPT, K2023K02, 22-17910, 23-05491, UXNUMXBXNUMX എന്നിവ പിന്തുണച്ചു. (ഗ്രാൻ്റ് നമ്പർ. JPXNUMXKXNUMX, JPXNUMXHXNUMX). ഉൾക്കാഴ്ചയുള്ള ചർച്ചകൾക്ക് ഞങ്ങൾ യൂവേ ലിയുവിന് നന്ദി പറയുന്നു.

റഫറൻസുകൾ

യുൻഹാവോ ബാ, അലക്സ് ഗിൽബെർട്ട്, ഫ്രാങ്ക്ലിൻ വാങ്, ജിൻഫ യാങ്, റൂയി ചെൻ, യിക്കിൻ വാങ്, ലെയ് യാൻ, ബോക്സിൻ ഷി, അച്യുത കദംബി. ധ്രുവീകരണത്തിൽ നിന്നുള്ള ആഴത്തിലുള്ള രൂപം. ECCV-യിൽ, പേജുകൾ 554–571, 2020. 2
സിയൂങ്-ഹ്വാൻ ബെയ്ക്ക്, ഡാനിയൽ എസ് ജിയോൺ, സിൻ ടോങ്, മിൻ എച്ച് കിം. പോളാരിമെട്രിക് എസ്.വി.ബി.ആർ.ഡി.എഫിൻ്റെയും നോർമലുകളുടെയും ഒരേസമയം ഏറ്റെടുക്കൽ. ACM TOG, 37(6):268–1, 2018. 2, 3, 4

ജോനാഥൻ ടി ബാരൺ, ബെൻ മിൽഡൻഹാൾ, മാത്യു ടാൻസിക്, പീറ്റർ ഹെഡ്മാൻ, റിക്കാർഡോ മാർട്ടിൻ ബ്രൂല്ല, പ്രതുൽ പി ശ്രീനിവാസൻ. Mip-NeRF: ആൻ്റി-അലിയാസിംഗ് ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾക്കായുള്ള ഒരു മൾട്ടിസ്കെയിൽ പ്രാതിനിധ്യം. ഐസിസിവിയിൽ, പേജുകൾ 5855–5864, 2021. 2
പോൾ ജെ ബെസലും നീൽ ഡി മക്കേയും. 3-D ആകൃതികളുടെ രജിസ്ട്രേഷൻ രീതി. സെൻസർ ഫ്യൂഷൻ IV-ൽ: നിയന്ത്രണ മാതൃകകളും ഡാറ്റാ ഘടനകളും, പേജുകൾ 586–606, 1992. 6
മാർക്ക് ബോസ്, വരുൺ ജെampആനി, റാഫേൽ ബ്രൗൺ, സെ ലിയു, ജോനാഥൻ ബാരൺ, ഹെൻഡ്രിക് ലെൻഷ്. ന്യൂറൽ-പിൽ: പ്രതിഫലന വിഘടനത്തിനായുള്ള ന്യൂറൽ പ്രീ-ഇൻ്റഗ്രേറ്റഡ് ലൈറ്റിംഗ്. NeurIPS-ൽ, പേജുകൾ 10691–10704, 2021. 1, 2

സൂ കാവോ, ഹിറോക്കി സാൻ്റോ, ഫ്യൂമിയോ ഒകുറ, യാസുയുകി മത്സുഷിത. മൾട്ടി-View ടാൻജെന്റ് സ്പേസ് കൺസിസ്റ്റൻസി വഴി അസിമുത്ത് സ്റ്റീരിയോ. CVPR-ൽ, പേജുകൾ 825–834, 2023. 2, 3, 4, 6, 7, 8
അൻപേയ് ചെൻ, സെക്സിയാങ് സൂ, ഫുകിയാങ് ഷാവോ, സിയോഷുവായ് ഷാങ്, ഫാൻബോ സിയാങ്, ജിൻഗി യു, ഹാവോ സു. MVSNeRF: മൾട്ടി-കളിൽ നിന്നുള്ള വേഗത്തിലുള്ള സാമാന്യവൽക്കരിക്കാവുന്ന റേഡിയൻസ് ഫീൽഡ് പുനർനിർമ്മാണംview സ്റ്റീരിയോ. CVPR-ൽ, പേജുകൾ 14124–14133, 2021. 2
Zhaopeng Cui, Jinwei Gu, Boxin Shi, Ping Tan, and Jan Kautz. പോളാരിമെട്രിക് മൾട്ടി-view സ്റ്റീരിയോ. CVPR-ൽ, പേജുകൾ 1558–1567, 2017. 2

അക്ഷത് ദവെ, യോങ്‌യി ഷാവോ, അശോക് വീരരാഘവൻ. പണ്ടോറ: റേഡിയൻസിൻ്റെ ധ്രുവീകരണ സഹായമുള്ള ന്യൂറൽ വിഘടനം. ECCV-യിൽ, പേജുകൾ 538–556, 2022. 1, 2, 4, 6, 7, 8
കാംഗ്ലെ ഡെങ്, ആൻഡ്രൂ ലിയു, ജുൻ-യാൻ സു, ദേവ രാ-മനൻ. ആഴത്തിലുള്ള മേൽനോട്ടത്തിലുള്ള NeRF: കുറവ് viewകളും വേഗത്തിലുള്ള പരിശീലനവും സൗജന്യമായി. CVPR-ൽ, പേജുകൾ 12882–12891, 2022. 2
യുകി ഡിംഗ്, യു ജി, മിംഗ്യാൻ ഷൗ, സിങ് ബിംഗ് കാങ്, ജിൻ-വെയ് യെ. പോളാരിമെട്രിക് ഹെൽംഹോൾട്ട്സ് സ്റ്റീരിയോപ്സിസ്. ഐസിസിവിയിൽ, പേജുകൾ 5037–5046, 2021. 2

യോഷികി ഫുക്കാവോ, റിയോ കവാഹറ, ഷൊഹി നോബുഹാര, കോ നിഷിനോ. പോളാരിമെട്രിക് സാധാരണ സ്റ്റീരിയോ. CVPR-ൽ, പേജുകൾ 682–690, 2021. 2
വെൻഹാങ് ഗെ, താവോ ഹു, ഹായു ഷാവോ, ഷു ലിയു, യിംഗ്-കോങ് ചെൻ. Ref-NeuS: അവ്യക്തത-കുറച്ച ന്യൂറൽ ഇംപ്ലിസിറ്റ് സർ-ഫേസ് ലേണിംഗ് ഫോർ മൾട്ടി-View പ്രതിഫലനത്തോടുകൂടിയ പുനർനിർമ്മാണം. arXiv പ്രീപ്രിൻ്റ് arXiv:2303.10840, 2023. 1
റിച്ചാർഡ് ഹാർട്ട്ലിയും ആൻഡ്രൂ സിസെർമാനും. ഒന്നിലധികം view കമ്പ്യൂട്ടർ കാഴ്ചയിൽ ജ്യാമിതി. കേംബ്രിഡ്ജ് യൂണിവേഴ്സിറ്റി പ്രസ്സ്, 2003. 1

വെൻസൽ ജേക്കബ്. മിത്സുബ റെൻഡറർ, 2010. 6
Chenyang Lei, Chenyang Qi, Jiaxin Xie, Na Fan, Vladlen Koltun, Qifeng Chen. കാട്ടിലെ സങ്കീർണ്ണമായ രംഗങ്ങൾക്കുള്ള ധ്രുവീകരണത്തിൽ നിന്നുള്ള രൂപം. CVPR-ൽ, പേജുകൾ 12632–12641, 2022. 2
ചെൻഹാവോ ലി, തൈഷി ഓനോ, തകേഷി ഉമോറി, ഹാജിം മിഹാര, അലക്‌സാണ്ടർ ഗാട്ടോ, ഹാജിം നഗഹാര, യുസെകെ മോറിയൂച്ചി. NeISF: ജ്യാമിതിയ്ക്കും മെറ്റീരിയൽ എസ്റ്റിമേഷനുമുള്ള ന്യൂറൽ ഇൻസിഡൻ്റ് സ്റ്റോക്സ് ഫീൽഡ്. arXiv പ്രീപ്രിൻ്റ് arXiv:2311.13187, 2023. 8

Zhaoshuo Li, Thomas M¨uller, Alex Evans, Russell H Taylor, Mathias Unberath, Ming-Yu Liu, and Chen-Hsuan Lin. ന്യൂ-കൊലാഞ്ചലോ: ഹൈ-ഫിഡിലിറ്റി ന്യൂറൽ സർഫേസ് റീകൺസ്ട്രക്ഷൻ. CVPR-ൽ, പേജുകൾ 8456–8465, 2023. 2
യുവാൻ ലിയു, പെങ് വാങ്, ചെങ് ലിൻ, സിയാവോക്സിയോ ലോംഗ്, ജിപെങ് വാങ്, ലിംഗ്ജി ലിയു, തക്കു കൊമുറ, വെൻപിംഗ് വാങ്. നീറോ: ന്യൂറൽ ജ്യാമിതിയും ബഹുവിധത്തിൽ നിന്നുള്ള പ്രതിഫലന വസ്തുക്കളുടെ BRDF പുനർനിർമ്മാണവുംview ചിത്രങ്ങൾ. arXiv പ്രീപ്രിൻ്റ് arXiv:2305.17398, 2023. 1, 2, 4, 6, 7, 8
Xiaoxiao Long, Cheng Lin, Peng Wang, Taku Komura, and Wenping Wang. SparseNeuS: വിരളത്തിൽ നിന്ന് വേഗത്തിലുള്ള സാമാന്യവൽക്കരിക്കാവുന്ന ന്യൂറൽ ഉപരിതല പുനർനിർമ്മാണം viewഎസ്. ECCV-യിൽ, പേജുകൾ 210–227, 2022. 2

യൂവേ ലിയു, ലിംഗ്രാൻ ഷാവോ, സി ലി, ബോക്സിൻ ഷി. വിദൂര ലൈറ്റിംഗ് എസ്റ്റിമേഷനോടുകൂടിയ ധ്രുവീകരണത്തിൽ നിന്നുള്ള രൂപം. IEEE TPAMI, 2023. 2
ബെൻ മിൽഡൻഹാൾ, പ്രതുൽ പി ശ്രീനിവാസൻ, മാത്യു ടാൻസിക്, ജോനാഥൻ ടി ബാരൺ, രവി രാമമൂർത്തി, റെൻ എൻജി. NeRF: ദൃശ്യങ്ങളെ ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകളായി പ്രതിനിധീകരിക്കുന്നു view സിന്തസിസ്. ECCV-യിൽ, പേജുകൾ 405–421, 2020. 1, 2
മിയാസാക്കി, ടാൻ, ഹാര, ഇക്യുച്ചി. ഒറ്റയടിയിൽ നിന്നുള്ള ധ്രുവീകരണത്തെ അടിസ്ഥാനമാക്കിയുള്ള വിപരീത റെൻഡറിംഗ് view. ഐസിസിവിയിൽ, പേജുകൾ 982–987, 2003. 2

മൈക്കൽ നീമേയർ, ലാർസ് മെഷെഡർ, മൈക്കൽ ഓക്‌സ്ലെ, ആൻഡ്രിയാസ് ഗീഗർ. വ്യത്യസ്‌തമായ വോള്യൂമെട്രിക് റെൻഡറിംഗ്: 3D മേൽനോട്ടമില്ലാതെ അവ്യക്തമായ 3D പ്രാതിനിധ്യങ്ങൾ പഠിക്കുന്നു. CVPR-ൽ, പേജുകൾ 3504–3515, 2020. 2
മൈക്കൽ നീമേയർ, ജോനാഥൻ ടി ബാരൺ, ബെൻ മിൽഡൻഹാൾ, മെഹ്ദി എസ് എം സജ്ജാദി, ആൻഡ്രിയാസ് ഗീഗർ, നോഹ റദ്വാൻ. റെഗ്-നെർഫ്: ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾ റെഗുലറൈസ് ചെയ്യുന്നു view വിരളമായ ഇൻപുട്ടുകളിൽ നിന്നുള്ള സിന്തസിസ്. CVPR-ൽ, പേജുകൾ 5480–5490, 2022. 2, 4
മൈക്കൽ ഓക്‌സ്ലെ, സോങ്യു പെങ്, ആൻഡ്രിയാസ് ഗീഗർ. UNISURF: ന്യൂറൽ ഇംപ്ലിസിറ്റ് പ്രതലങ്ങളും വികിരണ ഫീൽഡുകളും ഒന്നിലധികം-വേണ്ടി ഏകീകരിക്കുന്നുview പുനർനിർമ്മാണം. ഐസിസിവിയിൽ, പേജുകൾ 5589–5599, 2021. 2

ജിയോങ് ജൂൺ പാർക്ക്, പീറ്റർ ഫ്ലോറൻസ്, ജൂലിയൻ സ്ട്രോബ്, റിച്ചാർഡ് ന്യൂകോംബ്, സ്റ്റീവൻ ലവ്ഗ്രോവ്. DeepSDF: ആകൃതി പ്രാതിനിധ്യത്തിനായി തുടർച്ചയായ ഒപ്പിട്ട ദൂര പ്രവർത്തനങ്ങൾ പഠിക്കുന്നു. CVPR-ൽ, പേജുകൾ 165–174, 2019. 1
വിൻസെൻ്റ് സിറ്റ്‌സ്‌മാൻ, ജൂലിയൻ മാർട്ടൽ, അലക്‌സാണ്ടർ ബെർഗ്‌മാൻ, ഡേവിഡ് ലിൻഡെൽ, ഗോർഡൻ വെറ്റ്‌സ്റ്റൈൻ. പീരിയോഡിക് ആക്ടിവേഷൻ ഫംഗ്‌ഷനുകളുള്ള ഇൻപ്ലിസിറ്റ് ന്യൂറൽ പ്രാതിനിധ്യങ്ങൾ. NeurIPS-ൽ, 2020. 1
വില്യം എപി സ്മിത്ത്, രവി രാമമൂർത്തി, സിൽവിയ ടോസ. അജ്ഞാത ലൈറ്റിംഗ് അല്ലെങ്കിൽ ആൽബിഡോ ഉപയോഗിച്ച് ഉയരത്തിൽ നിന്ന് ധ്രുവീകരണം. IEEE TPAMI, 41(12):2875–2888, 2018. 2

ഡോർ വെർബിൻ, പീറ്റർ ഹെഡ്മാൻ, ബെൻ മിൽഡൻഹാൾ, ടോഡ് സിക്ലർ, ജോനാഥൻ ടി ബാരൺ, പ്രതുൽ പി ശ്രീനിവാസൻ. Ref-NeRF: ഘടനാപരമായത് view- ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾക്ക് ആശ്രിത രൂപം. CVPR-ൽ, പേജുകൾ 5481–5490, 2022. 4, 5
ബ്രൂസ് വാൾട്ടർ, സ്റ്റീഫൻ ആർ മാർഷ്‌നർ, ഹോങ്‌സോംഗ് ലി, കെൻ-നെത്ത് ഇ ടോറൻസ്. പരുക്കൻ പ്രതലങ്ങളിലൂടെയുള്ള അപവർത്തനത്തിനുള്ള മൈക്രോഫാസെറ്റ് മോഡലുകൾ. റെൻഡറിംഗ് ടെക്നിക്കുകളെക്കുറിച്ചുള്ള 18-ാമത് യൂറോഗ്രാഫിക്സ് കോൺഫറൻസിൻ്റെ നടപടികളിൽ, പേജുകൾ 195-206, 2007. 4
ഗുവാങ്‌കോങ് വാങ്, ഷാവോക്സി ചെൻ, ചെൻ ചേഞ്ച് ലോയ്, സിവേ ലിയു. SparseNeRF: കുറച്ച് ഷോട്ട് നോവലിനുള്ള ഡെപ്ത് റാങ്കിംഗ് view സിന്തസിസ്. arXiv പ്രീപ്രിൻ്റ് arXiv:2303.16196, 2023. 2

പെങ് വാങ്, ലിംഗ്ജി ലിയു, യുവാൻ ലിയു, ക്രിസ്റ്റ്യൻ തിയോബാൾട്ട്, ടാക്കു കൊമുറ, വെൻപിംഗ് വാങ്. NeuS: മൾട്ടി-കൾക്കായി വോളിയം റെൻഡറിംഗ് വഴി ന്യൂറൽ ഇംപ്ലിസിറ്റ് സർഫേസുകൾ പഠിക്കുന്നുview പുനർനിർമ്മാണം. arXiv പ്രീപ്രിൻ്റ് arXiv:2106.10689, 2021. 1, 2, 5
യികുൻ വാങ്, ഇവാൻ സ്കോറോഖോഡോവ്, പീറ്റർ വോങ്ക. HF-NeuS: ഉയർന്ന ഫ്രീക്വൻസി വിശദാംശങ്ങൾ ഉപയോഗിച്ച് ഉപരിതല പുനർനിർമ്മാണം മെച്ചപ്പെടുത്തി. NeurIPS-ൽ, പേജുകൾ 1966–1978, 2022. 2
ഹായു വു, അലക്‌സാൻഡ്രോസ് ഗ്രൈക്കോസ്, ദിമിട്രിസ് സമരാസ്. S-VolSDF: സ്പേസ് മൾട്ടി-View ന്യൂറൽ ഇംപ്ലിസിറ്റ് സർഫേസുകളുടെ സ്റ്റീരിയോ റെഗുലറൈസേഷൻ. arXiv പ്രീപ്രിൻ്റ് arXiv:2303.17712, 2023. 1, 2, 4, 6, 7, 8

ജിയാവേ യാങ്, മാർക്കോ പാവോൺ, യുവേ വാങ്. FreeNeRF: ഫ്രീ ഫ്രീക്വൻസി റെഗുലറൈസേഷൻ ഉപയോഗിച്ച് കുറച്ച് ഷോട്ട് ന്യൂറൽ റെൻഡറിംഗ് മെച്ചപ്പെടുത്തുന്നു. CVPR-ൽ, പേജുകൾ 8254–8263, 2023. 2
ലിയോർ യാരിവ്, യോനി കാസ്റ്റൻ, ഡോർ മൊറാൻ, മീരവ് ഗലുൻ, മതൻ അറ്റ്‌സ്‌മോൻ, ബസ്രി റോണൻ, യാറോൺ ലിപ്മാൻ. മൾട്ടിview ജ്യാമിതിയും രൂപവും വേർതിരിച്ചുകൊണ്ട് ന്യൂറൽ ഉപരിതല പുനർനിർമ്മാണം. NeurIPS-ൽ, പേജുകൾ 2492–2502, 2020. 2
ലിയോർ യാരിവ്, ജിയാറ്റോ ഗു, യോനി കാസ്റ്റൻ, യാറോൺ ലിപ്മാൻ. ന്യൂറൽ ഇംപ്ലിസിറ്റ് പ്രതലങ്ങളുടെ വോളിയം റെൻഡറിംഗ്. NeurIPS-ൽ, പേജുകൾ 4805–4815, 2021. 1, 2

അലക്‌സ് യു, വിക്കി യെ, മാത്യു ടാൻസിക്, ആങ്‌ജൂ കനസാവ. pixelNeRF: ഒന്നോ അതിലധികമോ ചിത്രങ്ങളിൽ നിന്നുള്ള ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾ. CVPR-ൽ, പേജുകൾ 4578–4587, 2021. 2
കൈ ഷാങ്, ഗെർനോട്ട് റീഗ്ലർ, നോഹ സ്നാവെലി, വ്ലാഡ്ലെൻ കോൾട്ടൺ. NeRF++: ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾ വിശകലനം ചെയ്യുകയും മെച്ചപ്പെടുത്തുകയും ചെയ്യുന്നു. arXiv പ്രീപ്രിൻ്റ് arXiv:2010.07492, 2020. 2
കൈ ഷാങ്, ഫുജുൻ ലുവാൻ, ക്വിയാൻക്യാൻ വാങ്, കവിത ബാല, നോഹ സ്നാവെലി. PhySG: ഫിസിക്‌സ് അടിസ്ഥാനമാക്കിയുള്ള മെറ്റീരിയൽ എഡിറ്റിംഗിനും റിലൈറ്റിംഗിനും ഗോളാകൃതിയിലുള്ള ഗൗസിയനുമായി വിപരീത റെൻഡറിംഗ്. CVPR-ൽ, പേജുകൾ 5453–5462, 2021. 1, 2

Xiuming Zhang, Pratul P ശ്രീനിവാസൻ, Boyang Deng, Paul De-bevel, William T Freeman, and Jonathan T Barron. NeR-Factor: ഒരു അജ്ഞാത പ്രകാശത്തിന് കീഴിലുള്ള രൂപത്തിൻ്റെയും പ്രതിഫലനത്തിൻ്റെയും ന്യൂറൽ ഫാക്‌ടറൈസേഷൻ. ACM TOG, 40(6):1–18, 2021. 2
ജിൻയു ഷാവോ, യൂസുകെ മോണോ, മസതോഷി ഒകുടോമി എന്നിവർ. പോളാരിമെട്രിക് മൾട്ടി-view വിപരീത റെൻഡറിംഗ്. IEEE TPAMI, 2022. 2

NeRSP-യുടെ ഫോട്ടോമെട്രിക്, ജ്യാമിതീയ സൂചനകൾ

ജ്യാമിതീയ ക്യൂവിൻ്റെ ഉത്ഭവം
ചിത്രം S1-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, വ്യത്യസ്തമായി നിരീക്ഷിച്ച ഒരു സീൻ പോയിൻ്റ് നൽകിയിരിക്കുന്നു views, ലക്ഷ്യസ്ഥാനത്ത് അതിൻ്റെ ഉപരിതലം സാധാരണമാണ് view അസിമുത്ത്, എലവേഷൻ കോണുകൾ യഥാക്രമം ϕ, θ എന്നിവയാൽ പ്രതിനിധീകരിക്കാം, അതായത്,

അസിമുത്ത് കോണും ഉപരിതല നോർമലിൻ്റെ മൂലകവും തമ്മിലുള്ള ബന്ധം ഇങ്ങനെ രൂപപ്പെടുത്താം

ലക്ഷ്യസ്ഥാനത്ത് സാധാരണ ഉപരിതലം view ഉറവിടത്തിൽ സാധാരണ തിരിക്കുന്നതിലൂടെ കണക്കാക്കാം view, അതായത് ˆn = Rn. കാലിബ്രേറ്റ് ചെയ്ത ക്യാമറയിൽ നിന്നുള്ള റൊട്ടേഷൻ മാട്രിക്സ് R = [r1, r2, r3]⊤, Eq. (2) ˆn അടിസ്ഥാനമാക്കി ഇങ്ങനെ രൂപപ്പെടുത്താം

r⊤1 n cos ϕ - r⊤ 2 n sin ϕ = 0. (3)

MVAS [2] പിന്തുടർന്ന്, നമുക്ക് Eq പുനഃക്രമീകരിക്കാം. (3) താഴെ നിർവചിച്ചിരിക്കുന്നതുപോലെ ഉപരിതല നോർമലും പ്രൊജക്റ്റഡ് ടാൻജെൻ്റ് വെക്റ്റർ t(ϕ) യും തമ്മിലുള്ള ഓർത്തോഗണൽ ബന്ധം ലഭിക്കുന്നതിന്,

അസിമുത്ത് കോണിലെ ഈ നിഗമനം ധ്രുവീകരണ കോണിലേക്ക് (AoP) നീട്ടാം. π അവ്യക്തത സ്വാഭാവികമായും Eq ആയി പരിഹരിക്കാവുന്നതാണ്. (4) നമ്മൾ π കൊണ്ട് ϕ ചേർത്താൽ നിലകൊള്ളുന്നു. കപട പ്രൊജക്റ്റഡ് ടാൻജെൻ്റ് വെക്റ്റർ tˆ(ϕ) ഉപയോഗിച്ച് π/2 അവ്യക്തത പരിഹരിക്കാൻ കഴിയും.

ഒരു സീൻ പോയിൻ്റ് x നിരീക്ഷിച്ചാൽ f views, നമുക്ക് Eq സ്റ്റാക്ക് ചെയ്യാം. (4) ഒപ്പം സമ. (5) വ്യത്യസ്ത ഭ്രമണങ്ങളെയും നിരീക്ഷിച്ച AoP-കളെയും അടിസ്ഥാനമാക്കി, ഒരു രേഖീയ സംവിധാനത്തിലേക്ക് നയിക്കുന്നു

T(x)n(x) = 0. (6)

ഫോട്ടോമെട്രിക് ക്യൂവിൻ്റെ ഉത്ഭവം
ധ്രുവീകരിക്കപ്പെട്ട BRDF മോഡൽ [1] പിന്തുടർന്ന്, ഔട്ട്‌പുട്ട് സ്റ്റോക്ക്സ് വെക്‌ടറിനെ എച്ച്ഡി, എച്ച്എസ് എന്നിവ വഴി മാതൃകയാക്കി ഡിഫ്യൂസ്, സ്‌പെക്യുലർ ഭാഗങ്ങളായി വിഘടിപ്പിക്കാം, അതായത്,

ഒരൊറ്റ ലൈറ്റിനു കീഴിലുള്ള ഡിഫ്യൂസ് സ്റ്റോക്ക്സ് ഘടകം ഇങ്ങനെ രൂപപ്പെടുത്താം

ρd എന്നത് ഡിഫ്യൂസ് ആൽബിഡോയെ സൂചിപ്പിക്കുന്നു, ϕn എന്നത് ഉപരിതല നോർമലിന് ലംബമായി തലത്തിലേക്ക് വരുന്ന പ്രകാശത്തിൻ്റെ അസിമുത്ത് കോണാണ്, T+i,o, T−i,o എന്നത് ഫ്രെസ്നെൽ ട്രാൻസ്മിഷൻ കോഫിഫിഷ്യൻ്റുകളുടെ [1] കണക്കുകൂട്ടലുകളെ സൂചിപ്പിക്കുന്നു. തമ്മിലുള്ള കോൺ view ദിശയും ഉപരിതലവും സാധാരണമാണ്. PANDORA [3] എന്നതിലെ ആശയങ്ങൾ പിന്തുടർന്ന്, പരിസ്ഥിതി വെളിച്ചത്തിന് കീഴിലുള്ള ഡിഫ്യൂസ് സ്റ്റോക്ക് വെക്റ്ററിനെ ഞങ്ങൾ ഇങ്ങനെ മാറ്റിയെഴുതുന്നു.

എവിടെ ഡിഫ്യൂസ് റേഡിയൻസ് എന്നാണ് സൂചിപ്പിക്കുന്നത്. സമവാക്യത്തിൽ നിന്ന് കണക്കാക്കുന്നതിനുപകരം, ഒരു കോർഡിനേറ്റ് അടിസ്ഥാനമാക്കിയുള്ള MLP എക്‌സ്‌ട്രാക്‌റ്റുചെയ്‌ത ഒരു ന്യൂറൽ പോയിൻ്റ് സവിശേഷതയിൽ നിന്ന് സ്‌പേഷ്യൽ വ്യത്യസ്‌ത വേരിയബിളായി ഡിഫ്യൂസ് റേഡിയൻസ് നേരിട്ട് മാപ്പ് ചെയ്യുന്നു. മറുവശത്ത്, പോളാരിമെട്രിക് BRDF മോഡലിൽ ω ഒരു പ്രകാശ ദിശയ്ക്ക് കീഴിലുള്ള സ്‌പെക്യുലർ സ്റ്റോക്ക് വെക്‌ടറിനെ ഇങ്ങനെ നിർവചിക്കാം

ഇവിടെ ρs സ്പെക്യുലർ ആൽബിഡോയെ സൂചിപ്പിക്കുന്നു; D, G എന്നിവ മൈക്രോഫാസെറ്റ് മോഡലിലെ സാധാരണ വിതരണത്തെയും നിഴൽ പദത്തെയും സൂചിപ്പിക്കുന്നു [8], ഇത് ഉപരിതല പരുക്കനാൽ നിയന്ത്രിക്കാനാകും; R+, R− എന്നിവ ഫ്രെസ്നെൽ പ്രതിഫലന ഗുണകങ്ങളുടെ [1] കണക്കുകൂട്ടലുകളെ സൂചിപ്പിക്കുന്നു, അവ ഉപരിതല സാധാരണവും പ്രകാശ ദിശയും തമ്മിലുള്ള കോണുമായി ബന്ധപ്പെട്ടിരിക്കുന്നു; ϕh എന്നത് അർദ്ധ വെക്റ്ററിൻ്റെ അസിമുത്ത് കോണാണ്. PANDORA [3] എന്നതിലെ ആശയങ്ങൾ പിന്തുടർന്ന്, പരിസ്ഥിതി വെളിച്ചത്തിന് കീഴിലുള്ള സ്പെക്യുലർ സ്റ്റോക്ക് വെക്റ്ററിനെ ഞങ്ങൾ ഇങ്ങനെ മാറ്റിയെഴുതുന്നു.

എവിടെ സ്പെക്യുലർ റേഡിയൻസ് സൂചിപ്പിക്കുന്നു. സ്പിൽറ്റ്-സം ഏകദേശം [5] ഉപയോഗിച്ച്, നമുക്ക് Ls ≈ ρsDG/4n⊤v *fΩ L(ω) dω യെ കൂടുതൽ ഏകദേശമാക്കാം. Eq ൽ കാണിച്ചിരിക്കുന്ന ഡിഫ്യൂസ് സ്റ്റോക്ക്സ് വെക്റ്ററുമായി സംയോജിപ്പിക്കുന്നു. (9), ഇനിപ്പറയുന്ന പോളാരിമെട്രിക് ഇമേജ് രൂപീകരണ മാതൃകയെ അടിസ്ഥാനമാക്കി ഞങ്ങൾ ഫോട്ടോമെട്രിക് ക്യൂ നിർമ്മിക്കുന്നു

നടപ്പാക്കൽ വിശദാംശങ്ങൾ

ഈ വിഭാഗം ഞങ്ങളുടെ സിന്തറ്റിക് മൾട്ടി-യുടെ റെൻഡറിംഗ് വിശദാംശങ്ങൾ അവതരിപ്പിക്കുന്നുview ധ്രുവീകരിക്കപ്പെട്ട ഇമേജ് ഡാറ്റാസെറ്റ് SMVP3Dയും NeRSP-യുടെ പരിശീലന വിശദാംശങ്ങളും.

ഡാറ്റാസെറ്റ്
ഞങ്ങൾ SMVP3D നൽകുന്നു, അതിൽ സ്വാഭാവിക പ്രകാശത്തിന് കീഴിലുള്ള അഞ്ച് സിന്തറ്റിക് പ്രതിഫലന വസ്തുക്കളുടെ ചിത്രങ്ങൾ അടങ്ങിയിരിക്കുന്നു. ഓരോ ഒബ്ജക്റ്റിനും ഞങ്ങൾ 48 റെൻഡർ ചെയ്യുന്നു views കൂടാതെ അനുബന്ധ ഗ്രൗണ്ട് ട്രൂട്ട് (GT) ഉപരിതല സാധാരണ മാപ്പുകൾ രേഖപ്പെടുത്തുക. ഞങ്ങൾ റെൻഡറിംഗ് എഞ്ചിനായി Mit-suba3 [4] ഉപയോഗിക്കുന്നു, ഞങ്ങളുടെ റെൻഡറിംഗിൽ BRDF തരം ധ്രുവീകരിക്കപ്പെട്ട പ്ലാസ്റ്റിക് മെറ്റീരിയലിലേക്ക് സജ്ജീകരിച്ചിരിക്കുന്നു. ഡിഫ്-ഫ്യൂസ് ആൽബിഡോ ρd-യ്‌ക്ക്, ഞങ്ങളുടെ റെൻഡറിംഗ് ഫലങ്ങളുടെ റിയലിസം വർദ്ധിപ്പിക്കുന്നതിന് ഞങ്ങൾ സ്ഥലപരമായി വ്യത്യസ്തമായ ആൽബിഡോ ടെക്സ്ചർ ഉപയോഗിക്കുന്നു. അതേ സമയം, ഞങ്ങൾ സ്പെക്യുലർ ആൽബിഡോ ρs 1.0 ൻ്റെ സ്ഥിരമായ മൂല്യത്തിൽ നിലനിർത്തുകയും ഉപരിതല പരുക്കൻത 0.05 ആയി സജ്ജമാക്കുകയും ചെയ്യുന്നു. ഈ സമീപനം വസ്തുക്കളുടെ ഉപരിതലത്തിലുടനീളം ഏകീകൃത പ്രതിഫലനം ഉറപ്പാക്കുന്നു. തത്ഫലമായുണ്ടാകുന്ന ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങൾ 512 × 512 പിക്സൽ റെസലൂഷനിൽ റെൻഡർ ചെയ്യുന്നു.

പരിശീലനം
ഞങ്ങളുടെ ലോസ് ഫംഗ്‌ഷനിലെ ഹൈപ്പർപാരാമീറ്ററുകൾ λg, λm, λe എന്നിവ യഥാക്രമം 1, 1, 0.1 എന്നിങ്ങനെ സജ്ജീകരിച്ചിരിക്കുന്നു. പരിശീലന പ്രക്രിയയിൽ, ഞങ്ങൾ PAN-DORA [3] പിന്തുടരുന്ന ഒരു സന്നാഹ തന്ത്രം പ്രയോഗിക്കുന്നു, അവിടെ ആദ്യത്തെ 1 യുഗങ്ങളിൽ, ഫോട്ടോമെട്രിക് ക്യൂവിലെ ധ്രുവീകരിക്കാത്ത വിവരങ്ങൾ മാത്രം ഞങ്ങൾ പരിഗണിക്കുകയും വസ്തുവിൻ്റെ സ്പെക്യുലർ ഘടകം 000 ആണെന്ന് അനുമാനിക്കുകയും ചെയ്യുന്നു. പരീക്ഷണങ്ങളിൽ, SMVP0D-യിൽ പരിശീലനത്തിനും പരിശോധനയ്ക്കുമായി ഞങ്ങൾ 512 × 512 റെസല്യൂഷനും യഥാർത്ഥ ലോക ഡാറ്റാസെറ്റുകൾക്ക് 3 × 512 ഉം ഉപയോഗിക്കുന്നു. ഞങ്ങളുടെ രീതി സാധാരണയായി ഏകദേശം 612 യുഗങ്ങൾ സംയോജിപ്പിക്കുന്നു, ഇത് ഒരു Nvidia RTX 100 GPU-യിൽ ഏകദേശം 000 മണിക്കൂർ എടുക്കും, മെമ്മറി ഏകദേശം 6 MB ഉപയോഗിക്കുന്നു.

BRDF എസ്റ്റിമേഷനും റീ-റെൻഡറിംഗ് ഫലങ്ങളും

ചിത്രം S4 (മുകളിൽ) പരുഷത, വ്യാപനം, സ്പെക്യുലർ ഘടകങ്ങൾ എന്നിവയെക്കുറിച്ചുള്ള ഞങ്ങളുടെ അനുമാനം അവതരിപ്പിക്കുന്നു. 6 മാത്രം ഉള്ളതിനാൽ കണക്കുകൾ അൽപ്പം ഗൗരവമുള്ളതാണ് viewഎസ്. Ref-NeRF [7] പോലെ IDE വഴി പ്രകാശം പരോക്ഷമായി നിയന്ത്രിക്കപ്പെടുന്നു, നമുക്ക് റിലൈറ്റിംഗ് പരീക്ഷണങ്ങൾ നടത്താൻ കഴിയില്ല. അതിനാൽ, ഞങ്ങൾ നോവൽ കാണിക്കുന്നു view പകരം സിന്തസിസ് ഫലങ്ങൾ, ചിത്രം S4 (ചുവടെ) ൽ ദൃശ്യമാക്കിയത് പോലെ. നിലവിലുള്ള രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ, ഞങ്ങളുടെ റീ-റെൻഡറിംഗ് ഇമേജുകൾ യഥാർത്ഥ ലോക നിരീക്ഷണങ്ങളോട് കൂടുതൽ അടുത്താണ്.

ഞങ്ങളുടെ ഡാറ്റാസെറ്റുകളിലെ അധിക ഫലങ്ങൾ

ഈ വിഭാഗത്തിൽ, SMVP3D-യിലും റിയൽ-വേൾഡ് മൾട്ടി-യിലും ആകൃതി പുനർനിർമ്മാണത്തിൻ്റെ അധിക ഫലങ്ങൾ ഞങ്ങൾ അവതരിപ്പിക്കുന്നു.view ധ്രുവീകരിക്കപ്പെട്ട ഇമേജ് ഡാറ്റാസെറ്റ് RMVP3D.

SMVP3D-യിൽ വിലയിരുത്തൽ
അടിസ്ഥാന രീതികളുടെ ഗുണപരമായ പുനർനിർമ്മാണ ഫലങ്ങളും ഞങ്ങളുടെ സമീപനവും ചിത്രം S2-ൽ ഞങ്ങൾ അവതരിപ്പിക്കുന്നു. ഫോട്ടോമെട്രിക് ക്യൂ കണക്കിലെടുക്കാത്തതിനാൽ MVAS [2]-ൽ നിന്നുള്ള ഫലങ്ങൾക്ക് വിശദാംശങ്ങളില്ല. NeRO [6] മെച്ചപ്പെട്ട രൂപ പുനർനിർമ്മാണങ്ങൾ വാഗ്ദാനം ചെയ്യുന്നുണ്ടെങ്കിലും, DAVID പോലെയുള്ള ടെക്സ്ചർ ഇല്ലാത്ത വസ്തുക്കൾക്ക് വിശ്വസനീയമായ ഒരു ഉപരിതലം നൽകുന്നതിൽ അത് പരാജയപ്പെടുന്നു. S-VolSDF [9] ഒരു പരുക്കൻ മുതൽ സൂക്ഷ്മമായ മൾട്ടി-ഉപയോഗിക്കുന്നുView സ്റ്റീരിയോ (എംവിഎസ്) സമീപനവും ഒബ്ജക്റ്റ് പ്രതലങ്ങളിലെ ടെക്സ്ചർ വിവരങ്ങളോടുള്ള വർദ്ധിച്ച സംവേദനക്ഷമത കാണിക്കുന്നു, ഇത് ചിലപ്പോൾ ഘടനാപരമായ സവിശേഷതകളായി ടെക്സ്ചർ വിശദാംശങ്ങളെ തെറ്റായി വ്യാഖ്യാനിക്കുന്നതിലേക്ക് നയിക്കുന്നു. ആൽബിഡോയും ഊഹക്കച്ചവട വിവരങ്ങളും ഫലപ്രദമായി വേർതിരിക്കുന്നതിൽ പണ്ടോറയ്ക്ക് [3] ബുദ്ധിമുട്ടുണ്ട്, ഇത് വിശ്വസനീയമല്ലാത്ത പുനർനിർമ്മാണ ഫലങ്ങളിലേക്ക് നയിക്കുന്നു. ഞങ്ങളുടെ രീതി, NeRSP, ഫോട്ടോമെട്രിക്, ജ്യാമിതീയ സൂചനകൾ ഫലപ്രദമായി ഉപയോഗപ്പെടുത്തുന്നു, അതിൻ്റെ ഫലമായി GT ഘടനയെ കൂടുതൽ കൃത്യമായി പ്രതിഫലിപ്പിക്കുന്ന പുനർനിർമ്മാണങ്ങൾ നടക്കുന്നു.

ഞങ്ങൾ ഉപരിതല സാധാരണ എസ്റ്റിമേറ്റുകളും അനുബന്ധ കോണാകൃതിയിലുള്ള പിശക് വിതരണങ്ങളും ചിത്രം S3-ൽ പ്രദർശിപ്പിക്കുന്നു, വിരളമായ ഇൻപുട്ടുള്ള പ്രതിഫലന പ്രതലങ്ങൾക്കായി NeRSP മെച്ചപ്പെട്ട രൂപ പുനർനിർമ്മാണ ഫലങ്ങൾ കൈവരിക്കുന്നുവെന്ന് സ്ഥിരമായി കാണിക്കുന്നു. views.

RMVP3D-യിൽ വിലയിരുത്തൽ
ഈ വിഭാഗത്തിൽ, RMVP3D-യിൽ ഞങ്ങൾ മറ്റൊരു ഒബ്ജക്റ്റ് പുനർനിർമ്മാണ ഫലം അവതരിപ്പിക്കുന്നു. ചിത്രം S5 കാണിക്കുന്നത് NeRO [6], MVAS [2], NeRSP എന്നിവയ്ക്ക് പ്രതിഫലന പ്രതലമുള്ള ഒരു ലളിതമായ ഗോളാകൃതിയിലുള്ള വസ്തുവിനെ കൃത്യമായി പുനർനിർമ്മിക്കാൻ കഴിയുമെന്നാണ്. ഇതിനു വിപരീതമായി, S-VolSDF [9], PANDORA [3] എന്നിവയ്ക്ക് ഉപരിതലത്തിലെ ആൽബിഡോയും സ്പെക്യുലർ ഘടകവും വിഘടിപ്പിക്കാൻ കഴിയില്ല, ഇത് ആകൃതി പുനർനിർമ്മാണ പ്രക്രിയയിൽ വികലമാക്കുന്നു. NeRO [6], MVAS [2], NeRSP എന്നിവയുടെ പുനർനിർമ്മാണ ഫലങ്ങളിൽ നിന്ന് വേർതിരിച്ചറിയാൻ, ഓരോ രീതിയും പുനർനിർമ്മിച്ച മെഷുകൾക്കായുള്ള ചാംഫർ ദൂരം ഞങ്ങൾ ദൃശ്യവൽക്കരിക്കുന്നു. ചിത്രം S6-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, ഓരോ പോയിൻ്റിൻ്റെയും വർണ്ണം അതിൻ്റെ ചാംഫർ ദൂരം സൂചിപ്പിക്കുന്നു, അത് 0 നും 5 മില്ലീമീറ്ററിനും ഇടയിൽ ക്ലിപ്പ് ചെയ്തിരിക്കുന്നു. മറ്റ് രണ്ട് രീതികളുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ NeRSP-യുമായി ബന്ധപ്പെട്ട പുനർനിർമ്മാണ പിശക് ചെറുതാണെന്ന് ഈ ചിത്രീകരണങ്ങൾ കാണിക്കുന്നു.

ഉപരിതല പ്രതിഫലനത്തെക്കുറിച്ചുള്ള അബ്ലേഷൻ പഠനം

ഞങ്ങളുടെ രീതി പ്രതിഫലിപ്പിക്കുന്ന ഉപരിതല പുനർനിർമ്മാണമാണ് ലക്ഷ്യമിടുന്നത്, പരുക്കൻ പ്രതലങ്ങളുള്ള ആകാരം വീണ്ടെടുക്കുന്നതിനും ഇത് പ്രയോഗിക്കാവുന്നതാണ്. ഒരു മുൻ എന്ന നിലയിൽample, SNAIL ഒബ്‌ജക്‌റ്റിനെ അതിൻ്റെ സ്‌പെക്യുലർ ആൽബിഡോ ρs 1.0-ൽ നിന്ന് 0.1 ആയി കുറച്ചുകൊണ്ട് ഞങ്ങൾ വീണ്ടും റെൻഡർ ചെയ്യുന്നു. 6 ഇൻപുട്ടിൽ കണക്കാക്കിയ ഉപരിതലത്തിൻ്റെ ശരാശരി കോണീയ പിശക് (MAE). viewവ്യത്യസ്ത രീതികളിൽ നിന്നുള്ള s പട്ടിക S1 ൽ കാണിച്ചിരിക്കുന്നു. ഉപരിതല സാധാരണ എസ്റ്റിമേഷൻ്റെ ഗുണപരമായ വിലയിരുത്തലും ഒരേ ഇൻപുട്ടിന് കീഴിലുള്ള വ്യത്യസ്ത രീതികളുടെ അനുബന്ധ കോണീയ പിശക് വിതരണവും view ചിത്രം S7 ൽ കാണിച്ചിരിക്കുന്നു. പ്രതിഫലന പ്രതലങ്ങളെ അപേക്ഷിച്ച് പരുക്കൻ പ്രതലങ്ങളിൽ മിക്ക രീതികളും പുനർനിർമ്മാണ നിലവാരം മെച്ചപ്പെടുത്തുന്നുവെന്ന് ഈ പരീക്ഷണങ്ങൾ സൂചിപ്പിക്കുന്നു. പ്രത്യേകിച്ചും, ഞങ്ങളുടെ രീതി സ്ഥിരമായി വസ്തുവിൻ്റെ ഏറ്റവും വിശ്വസനീയമായ ഉപരിതല പുനർനിർമ്മാണം നൽകുന്നു.

അബ്ലേഷൻ പഠനം #views

വിരളമായ ഇൻപുട്ടിന് കീഴിൽ പ്രതിഫലിക്കുന്ന പ്രതലങ്ങളുടെ പുനർനിർമ്മാണമാണ് ഞങ്ങളുടെ NeRSP ലക്ഷ്യമിടുന്നത് viewഎസ്. പ്രധാന പേപ്പറിൽ കാണിച്ചിരിക്കുന്ന പരീക്ഷണങ്ങൾ 6 വിരളമാണ് viewഇൻപുട്ടായി s. ഇൻപുട്ടിൻ്റെ വ്യത്യസ്ത നമ്പറുകൾക്ക് കീഴിൽ ഞങ്ങളുടെ രീതി വിലയിരുത്തുന്നതിന് viewകൾ (അതായത്, #views), 3, 6, 12, 24 എന്നിവയുടെ ക്രമീകരണത്തിന് കീഴിൽ ഞങ്ങൾ യഥാർത്ഥ ലോക വസ്തുവായ ലയണിൽ പരീക്ഷണങ്ങൾ നടത്തുന്നു. viewഎസ്. ചിത്രം S8 വീണ്ടെടുത്ത രൂപങ്ങൾ ദൃശ്യവൽക്കരിക്കുന്നു, അതേസമയം Chamfer Distance ഉള്ള ഗുണപരമായ വിലയിരുത്തൽ പട്ടിക S2-ൽ അവതരിപ്പിച്ചിരിക്കുന്നു.

വിരളമായ ഇൻപുട്ടിന് കീഴിൽ view3 പോലെയുള്ള, നിലവിലുള്ള രീതികൾ വിശ്വസനീയമായ ഫലങ്ങൾ വീണ്ടെടുക്കാൻ പാടുപെടുന്നു. ഫോട്ടോമെട്രിക് സൂചകങ്ങളിലോ ജ്യാമിതീയ സൂചകങ്ങളിലോ അവർ ശ്രദ്ധ കേന്ദ്രീകരിക്കുന്നതാണ് ഇതിന് പ്രധാന കാരണം. S-VolSDF [9] ഒരു മുൻ ആയി എടുക്കുന്നുample, കണക്കാക്കിയ ആകൃതി, ക്ലോസപ്പിൽ നിരീക്ഷിച്ചതുപോലെ views, അനുബന്ധ ഘടനയാൽ വളരെയധികം സ്വാധീനിക്കപ്പെടുന്നു. വിരളത്തിന് കീഴിലുള്ള ആകാര-പ്രഭ അവ്യക്തത കാരണം ഇത് തെറ്റായ ആകൃതികളിലേക്ക് നയിക്കുന്നു viewഎസ്. ജ്യാമിതീയവും ഫോട്ടോമെട്രിക് സൂചകങ്ങളും അഭിസംബോധന ചെയ്യുന്നതിലൂടെ, ഞങ്ങളുടെ NeRSP വിരളമായ ഇൻപുട്ടുകൾക്ക് കീഴിലുള്ള അവ്യക്തത കുറയ്ക്കുന്നു. തൽഫലമായി, ഞങ്ങൾ കൂടുതൽ ന്യായമായ ആകൃതി പുനർനിർമ്മാണം നേടുന്നു. ഇൻപുട്ടിൻ്റെ എണ്ണം കൂടുമ്പോൾ ഈ നിരീക്ഷണം സാധുവായി തുടരും views 12 കവിയുന്നു. പട്ടിക S2-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, വർദ്ധിച്ചുവരുന്ന ഇൻപുട്ടിനൊപ്പം ഞങ്ങളുടെ NeRSP ഏറ്റവും ചെറിയ ചാംഫർ ദൂരം സ്ഥിരമായി കൈവരിക്കുന്നു. viewഎസ്. വിശാലമായ ശ്രേണിയിലുള്ള പ്രതിഫലന പ്രതലങ്ങളിൽ ഞങ്ങളുടെ രീതിയുടെ ഫലപ്രാപ്തി ഇത് കാണിക്കുന്നു views.

പട്ടിക S2. വ്യത്യസ്ത ഇൻപുട്ടിന് കീഴിൽ ചാംഫർ ദൂരം (↓) അളന്ന ലയണിൻ്റെ ഗുണപരമായ വിലയിരുത്തൽ views.

#Views	നീറോ [6]	S-VolSDF [9]	MVAS [2]	പണ്ടോറ [3]	NeRSP
3	34.48	31.50	23.96	24.44	24.01
6	10.74	7.39	7.51	15.04	5.18
12	5.50	6.80	5.31	12.1	4.29
24	4.96	6.14	5.32	12.5	4.11

പോളാരിമെട്രിക് MVIR ഡാറ്റാസെറ്റിൻ്റെ മൂല്യനിർണ്ണയം

PANDORA ഡാറ്റാസെറ്റിലെയും [3] ഞങ്ങളുടെ RMVP3Dയിലെയും യഥാർത്ഥ ലോക പരീക്ഷണങ്ങൾ കൂടാതെ, ഞങ്ങൾ ഒരു മൾട്ടി-യുടെ വിലയിരുത്തലും നൽകുന്നു.view ധ്രുവീകരിക്കപ്പെട്ട ചിത്രങ്ങളുടെ ഡാറ്റാസെറ്റ് PMVIR ൽ ഉണ്ട് [10]. ചിത്രം S9-ൽ കാണിച്ചിരിക്കുന്നതുപോലെ, PANDORA [3] ൽ നിന്നുള്ള ആകൃതി വീണ്ടെടുക്കൽ ഫലങ്ങൾ ഞങ്ങൾ ദൃശ്യവൽക്കരിക്കുന്നു, ഞങ്ങളുടേത്, 6 വിരളമായി എടുക്കുന്നു viewഇൻപുട്ടായി s. ഈ ഡാറ്റാസെറ്റിൽ GT ആകൃതിയില്ലാത്തതിനാൽ, PMVIR [10] ൽ നിന്നുള്ള ഫലങ്ങൾ ഞങ്ങൾ ഒരു റഫറൻസായി ഉപയോഗിക്കുന്നു, ഇതിന് 31 ഉം 56 ഉം എടുക്കും. viewയഥാക്രമം ക്യാമറയ്ക്കും കാർ സീനിനുമുള്ള ഇൻപുട്ടായി s. പണ്ടോറ [3] ഉപയോഗിക്കുന്നവരുമായി താരതമ്യപ്പെടുത്തുമ്പോൾ ഞങ്ങളുടെ ഫലങ്ങൾ കൂടുതൽ ന്യായമാണെന്ന് ഞങ്ങൾ നിരീക്ഷിക്കുന്നു, വിരളമായ 3D പുനർനിർമ്മാണത്തിൽ ഞങ്ങളുടെ രീതിയുടെ ഫലപ്രാപ്തി തെളിയിക്കുന്നു.