എൻവിഡിയ നെമോ ഫ്രെയിംവർക്ക് ഉപയോക്തൃ ഗൈഡ്

GitHub-ലെ NeMo-Framework-Launcher Releases പേജിൽ നിന്ന് ഏറ്റവും പുതിയ പതിപ്പ് ഡൗൺലോഡ് ചെയ്യുക.
കൂടുതൽ വിവരങ്ങൾക്ക് NVIDIA ഉൽപ്പന്ന സുരക്ഷയിലേക്ക് പോകുക.

സുരക്ഷാ അപ്‌ഡേറ്റ് വിശദാംശങ്ങൾ:
കോഡ് എക്സിക്യൂഷനിലേക്കും ഡാറ്റാ നഷ്ടത്തിലേക്കും നയിച്ചേക്കാവുന്ന NVIDIA NeMo ഫ്രെയിംവർക്കിലെ ഒരു ദുർബലതയെ സുരക്ഷാ അപ്‌ഡേറ്റ് അഭിസംബോധന ചെയ്യുന്നു.ampഎറിംഗ്.

സോഫ്റ്റ്‌വെയർ അപ്‌ഗ്രേഡ്:
നിങ്ങൾ മുമ്പത്തെ ബ്രാഞ്ച് പതിപ്പാണ് ഉപയോഗിക്കുന്നതെങ്കിൽ, സുരക്ഷാ പ്രശ്നം പരിഹരിക്കുന്നതിന് ഏറ്റവും പുതിയ ബ്രാഞ്ച് പതിപ്പിലേക്ക് അപ്‌ഗ്രേഡ് ചെയ്യാൻ ശുപാർശ ചെയ്യുന്നു.

കഴിഞ്ഞുview

NVIDIA NeMo ഫ്രെയിംവർക്ക് എന്നത് ഗവേഷകർക്കും ഡെവലപ്പർമാർക്കും വേണ്ടി നിർമ്മിച്ച ഒരു സ്കെയിലബിൾ, ക്ലൗഡ്-നേറ്റീവ് ജനറേറ്റീവ് AI ഫ്രെയിംവർക്കാണ്. വലിയ ഭാഷാ മോഡലുകൾ, മൾട്ടിമോഡൽ, കൂടാതെ സ്പീച്ച് AI (ഉദാ യാന്ത്രിക സംഭാഷണ തിരിച്ചറിയൽ ഒപ്പം ടെക്സ്റ്റ്-ടു-സ്പീച്ച്). നിലവിലുള്ള കോഡും മുൻകൂട്ടി പരിശീലിപ്പിച്ച മോഡൽ ചെക്ക്‌പോസ്റ്റുകളും പ്രയോജനപ്പെടുത്തി പുതിയ ജനറേറ്റീവ് AI മോഡലുകൾ കാര്യക്ഷമമായി സൃഷ്ടിക്കാനും ഇഷ്ടാനുസൃതമാക്കാനും വിന്യസിക്കാനും ഇത് ഉപയോക്താക്കളെ പ്രാപ്തമാക്കുന്നു.

സജ്ജീകരണ നിർദ്ദേശങ്ങൾ: നെമോ ഫ്രെയിംവർക്ക് ഇൻസ്റ്റാൾ ചെയ്യുക

വലിയ ഭാഷാ മോഡലുകളും മൾട്ടിമോഡൽ മോഡലുകളും
ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ (LLM-കൾ), മൾട്ടിമോഡൽ മോഡലുകൾ (MM-കൾ) വികസിപ്പിക്കുന്നതിന് NeMo ഫ്രെയിംവർക്ക് പൂർണ്ണ പിന്തുണ നൽകുന്നു. ഒരു ഡാറ്റാ സെന്ററിലോ നിങ്ങളുടെ ഇഷ്ടപ്പെട്ട ക്ലൗഡ് ദാതാവിനോടൊപ്പമോ പരിസരത്ത് ഉപയോഗിക്കുന്നതിനുള്ള വഴക്കം ഇത് നൽകുന്നു. SLURM അല്ലെങ്കിൽ Kubernetes പ്രാപ്തമാക്കിയ പരിതസ്ഥിതികളിലും ഇത് എക്സിക്യൂഷനെ പിന്തുണയ്ക്കുന്നു.

ഡാറ്റ ക്യൂറേഷൻ
നീമോ ക്യൂറേറ്റർ [1] ഡാറ്റ മൈനിംഗിനും സിന്തറ്റിക് ഡാറ്റ ജനറേഷനുമുള്ള മൊഡ്യൂളുകളുടെ ഒരു സ്യൂട്ട് ഉൾപ്പെടുന്ന ഒരു പൈത്തൺ ലൈബ്രറിയാണ് ഇത്. അവ GPU-കൾക്കായി സ്കെയിലബിൾ ചെയ്യുകയും ഒപ്റ്റിമൈസ് ചെയ്യുകയും ചെയ്യുന്നു, ഇത് LLM-കളെ പരിശീലിപ്പിക്കുന്നതിനോ മികച്ചതാക്കുന്നതിനോ സ്വാഭാവിക ഭാഷാ ഡാറ്റ ക്യൂറേറ്റ് ചെയ്യുന്നതിന് അനുയോജ്യമാക്കുന്നു. NeMo Curator ഉപയോഗിച്ച്, വിപുലമായ raw-യിൽ നിന്ന് ഉയർന്ന നിലവാരമുള്ള ടെക്സ്റ്റ് നിങ്ങൾക്ക് കാര്യക്ഷമമായി വേർതിരിച്ചെടുക്കാൻ കഴിയും. web ഡാറ്റ ഉറവിടങ്ങൾ.

പരിശീലനവും ഇഷ്ടാനുസൃതമാക്കലും

കാര്യക്ഷമമായ പരിശീലനത്തിനും ഇഷ്ടാനുസൃതമാക്കലിനുമുള്ള ഉപകരണങ്ങൾ NeMo ഫ്രെയിംവർക്ക് നൽകുന്നു എൽഎൽഎമ്മുകൾ മൾട്ടിമോഡൽ മോഡലുകൾ. കമ്പ്യൂട്ട് ക്ലസ്റ്റർ സജ്ജീകരണം, ഡാറ്റ ഡൗൺലോഡിംഗ്, മോഡൽ ഹൈപ്പർപാരാമീറ്ററുകൾ എന്നിവയ്‌ക്കായുള്ള ഡിഫോൾട്ട് കോൺഫിഗറേഷനുകൾ ഇതിൽ ഉൾപ്പെടുന്നു, പുതിയ ഡാറ്റാസെറ്റുകളിലും മോഡലുകളിലും പരിശീലിപ്പിക്കുന്നതിന് ഇവ ക്രമീകരിക്കാൻ കഴിയും. പ്രീ-ട്രെയിനിംഗിനു പുറമേ, LoRA, Ptuning, തുടങ്ങിയ സൂപ്പർവൈസ്ഡ് ഫൈൻ-ട്യൂണിംഗ് (SFT), പാരാമീറ്റർ എഫിഷ്യന്റ് ഫൈൻ-ട്യൂണിംഗ് (PEFT) ടെക്നിക്കുകൾ എന്നിവയെ NeMo പിന്തുണയ്ക്കുന്നു.

NeMo-യിൽ പരിശീലനം ആരംഭിക്കുന്നതിന് രണ്ട് ഓപ്ഷനുകൾ ലഭ്യമാണ് - NeMo 2.0 API ഇന്റർഫേസ് ഉപയോഗിച്ചോ അല്ലെങ്കിൽ NeMo റൺ ഉപയോഗിച്ചോ.

NeMo റൺ ഉപയോഗിച്ച് (ശുപാർശ ചെയ്യുന്നത്): വിവിധ കമ്പ്യൂട്ട് പരിതസ്ഥിതികളിലുടനീളമുള്ള പരീക്ഷണങ്ങളുടെ കോൺഫിഗറേഷൻ, നിർവ്വഹണം, മാനേജ്മെന്റ് എന്നിവ കാര്യക്ഷമമാക്കുന്നതിനുള്ള ഒരു ഇന്റർഫേസ് NeMo Run നൽകുന്നു. ഇതിൽ നിങ്ങളുടെ വർക്ക്സ്റ്റേഷനിൽ പ്രാദേശികമായോ വലിയ ക്ലസ്റ്ററുകളിലോ ജോലികൾ സമാരംഭിക്കുന്നത് ഉൾപ്പെടുന്നു - SLURM പ്രവർത്തനക്ഷമമാക്കിയതോ ക്ലൗഡ് പരിതസ്ഥിതിയിലെ Kubernetes-ലോ.
- NeMo Run-നൊപ്പം പ്രീ-ട്രെയിനിംഗ് & PEFT ക്വിക്ക്സ്റ്റാർട്ട്

NeMo 2.0 API ഉപയോഗിക്കുന്നു: ചെറിയ മോഡലുകൾ ഉൾപ്പെടുന്ന ലളിതമായ ഒരു സജ്ജീകരണത്തിൽ ഈ രീതി നന്നായി പ്രവർത്തിക്കുന്നു, അല്ലെങ്കിൽ നിങ്ങളുടെ സ്വന്തം ഇഷ്ടാനുസൃത ഡാറ്റലോഡർ എഴുതാൻ താൽപ്പര്യമുണ്ടെങ്കിൽ, പരിശീലന ലൂപ്പുകൾ, അല്ലെങ്കിൽ മോഡൽ ലെയറുകൾ മാറ്റുക. ഇത് നിങ്ങൾക്ക് കോൺഫിഗറേഷനുകളിൽ കൂടുതൽ വഴക്കവും നിയന്ത്രണവും നൽകുന്നു, കൂടാതെ പ്രോഗ്രാമാറ്റിക് ആയി കോൺഫിഗറേഷനുകൾ വിപുലീകരിക്കാനും ഇഷ്ടാനുസൃതമാക്കാനും എളുപ്പമാക്കുന്നു.
- ട്രാNeMo 2.0 API ഉപയോഗിച്ചുള്ള ക്വിക്ക്സ്റ്റാർട്ട്
- NeMo 1.0 ൽ നിന്ന് NeMo 2.0 API ലേക്ക് മൈഗ്രേറ്റ് ചെയ്യുന്നു

വിന്യാസം

നെമോ-അലൈനർ [1] കാര്യക്ഷമമായ മോഡൽ അലൈൻമെന്റിനുള്ള ഒരു സ്കെയിലബിൾ ടൂൾകിറ്റാണ്. സ്റ്റീർഎൽഎം, ഡിപിഒ, റീഇൻഫോഴ്‌സ്‌മെന്റ് ലേണിംഗ് ഫ്രം ഹ്യൂമൻ ഫീഡ്‌ബാക്ക് (ആർഎൽഎച്ച്എഫ്) തുടങ്ങിയ അത്യാധുനിക മോഡൽ അലൈൻമെന്റ് അൽഗോരിതങ്ങൾക്കുള്ള പിന്തുണ ടൂൾകിറ്റിനുണ്ട്. കൂടുതൽ സുരക്ഷിതവും നിരുപദ്രവകരവും സഹായകരവുമാക്കുന്നതിന് ഭാഷാ മോഡലുകളെ വിന്യസിക്കാൻ ഈ അൽഗോരിതങ്ങൾ ഉപയോക്താക്കളെ പ്രാപ്തമാക്കുന്നു.

എല്ലാ NeMo-Aligner ചെക്ക്‌പോസ്റ്റുകളും NeMo ആവാസവ്യവസ്ഥയുമായി ക്രോസ്-കോംപാറ്റിബിൾ ആണ്, ഇത് കൂടുതൽ ഇഷ്ടാനുസൃതമാക്കലിനും അനുമാന വിന്യാസത്തിനും അനുവദിക്കുന്നു.

ഒരു ചെറിയ GPT-2B മോഡലിൽ RLHF-ന്റെ മൂന്ന് ഘട്ടങ്ങളുടെയും ഘട്ടം ഘട്ടമായുള്ള വർക്ക്ഫ്ലോ:

എസ്.എഫ്.ടി പരിശീലനം
റിവാർഡ് മോഡൽ പരിശീലനം

പിപിഒ പരിശീലനം

കൂടാതെ, മറ്റ് വിവിധ നൂതന വിന്യാസ രീതികൾക്കുള്ള പിന്തുണ ഞങ്ങൾ പ്രകടമാക്കുന്നു:

ഡിപിഒ: ലളിതമായ ലോസ് ഫംഗ്ഷനുള്ള RLHF നെ അപേക്ഷിച്ച് ഒരു ഭാരം കുറഞ്ഞ അലൈൻമെന്റ് അൽഗോരിതം.
സ്വയം കളിക്കുക ഫൈൻ-ട്യൂണിംഗ് (സ്പിൻ)

സ്റ്റീർഎൽഎം: സ്റ്റിയറബിൾ ഔട്ട്‌പുട്ടുള്ള, കണ്ടീഷൻഡ്-എസ്‌എഫ്‌ടി അടിസ്ഥാനമാക്കിയുള്ള ഒരു സാങ്കേതികത.

കൂടുതൽ വിവരങ്ങൾക്ക് ഡോക്യുമെന്റേഷൻ പരിശോധിക്കുക: അലൈൻമെന്റ് ഡോക്യുമെന്റേഷൻ

മൾട്ടിമോഡൽ മോഡലുകൾ

മൾട്ടിമോഡൽ ലാംഗ്വേജ് മോഡലുകൾ, വിഷൻ-ലാംഗ്വേജ് ഫൗണ്ടേഷനുകൾ, ടെക്സ്റ്റ്-ടു-ഇമേജ് മോഡലുകൾ, ന്യൂറൽ റേഡിയൻസ് ഫീൽഡുകൾ (NeRF) ഉപയോഗിച്ച് 2D ജനറേഷന് അപ്പുറം എന്നിങ്ങനെ നിരവധി വിഭാഗങ്ങളിലായി അത്യാധുനിക മൾട്ടിമോഡൽ മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതിനും വിന്യസിക്കുന്നതിനും NeMo ഫ്രെയിംവർക്ക് ഒപ്റ്റിമൈസ് ചെയ്ത സോഫ്റ്റ്‌വെയർ നൽകുന്നു.
ടെക്സ്റ്റ്, ഇമേജുകൾ, 3D മോഡലുകൾ എന്നിവയുൾപ്പെടെ വിവിധ ഡാറ്റാ തരങ്ങൾ കൈകാര്യം ചെയ്യുന്നതിന് അത്യാധുനിക മോഡലുകൾ ഉപയോഗപ്പെടുത്തിക്കൊണ്ട്, മേഖലയിലെ പ്രത്യേക ആവശ്യങ്ങളും പുരോഗതികളും നിറവേറ്റുന്നതിനാണ് ഓരോ വിഭാഗവും രൂപകൽപ്പന ചെയ്തിരിക്കുന്നത്.

കുറിപ്പ്
മൾട്ടിമോഡൽ മോഡലുകൾക്കുള്ള പിന്തുണ ഞങ്ങൾ NeMo 1.0 ൽ നിന്ന് NeMo 2.0 ലേക്ക് മാറ്റുകയാണ്. അതിനിടയിൽ ഈ ഡൊമെയ്ൻ പര്യവേക്ഷണം ചെയ്യണമെങ്കിൽ, NeMo 24.07 (മുൻ) പതിപ്പിനായുള്ള ഡോക്യുമെന്റേഷൻ പരിശോധിക്കുക.

വിന്യാസവും അനുമാനവും
വ്യത്യസ്ത വിന്യാസ സാഹചര്യങ്ങളും പ്രകടന ആവശ്യങ്ങളും നിറവേറ്റുന്നതിനായി എൽഎൽഎം അനുമാനത്തിനായി നെമോ ഫ്രെയിംവർക്ക് വിവിധ പാതകൾ നൽകുന്നു.

NVIDIA NIM ഉപയോഗിച്ച് വിന്യസിക്കുക

NVIDIA NIM വഴി എന്റർപ്രൈസ്-ലെവൽ മോഡൽ ഡിപ്ലോയ്‌മെന്റ് ടൂളുകളുമായി NeMo ഫ്രെയിംവർക്ക് പരിധികളില്ലാതെ സംയോജിപ്പിക്കുന്നു. NVIDIA TensorRT-LLM ആണ് ഈ സംയോജനം നൽകുന്നത്, ഒപ്റ്റിമൈസ് ചെയ്തതും സ്കെയിലബിൾ അനുമാനം ഉറപ്പാക്കുന്നു.
NIM നെക്കുറിച്ചുള്ള കൂടുതൽ വിവരങ്ങൾക്ക്, NVIDIA സന്ദർശിക്കുക webസൈറ്റ്.

TensorRT-LLM അല്ലെങ്കിൽ vLLM ഉപയോഗിച്ച് വിന്യസിക്കുക

രണ്ട് ഇൻഫെഷൻ ഒപ്റ്റിമൈസ് ചെയ്ത ലൈബ്രറികളായ TensorRT-LLM, vLLM എന്നിവയിലേക്ക് മോഡലുകൾ കയറ്റുമതി ചെയ്യുന്നതിനും NVIDIA Triton ഇൻഫെറേഷൻ സെർവറിനൊപ്പം എക്സ്പോർട്ട് ചെയ്ത മോഡൽ വിന്യസിക്കുന്നതിനും NeMo ഫ്രെയിംവർക്ക് സ്ക്രിപ്റ്റുകളും API-കളും വാഗ്ദാനം ചെയ്യുന്നു.
ഒപ്റ്റിമൈസ് ചെയ്ത പ്രകടനം ആവശ്യമുള്ള സാഹചര്യങ്ങളിൽ, NVIDIA GPU-കളിൽ LLM അനുമാനം ത്വരിതപ്പെടുത്തുന്നതിനും ഒപ്റ്റിമൈസ് ചെയ്യുന്നതിനുമുള്ള ഒരു പ്രത്യേക ലൈബ്രറിയായ TensorRT-LLM നെ NeMo മോഡലുകൾക്ക് പ്രയോജനപ്പെടുത്താൻ കഴിയും. nemo.export മൊഡ്യൂൾ ഉപയോഗിച്ച് NeMo മോഡലുകളെ TensorRT-LLM-ന് അനുയോജ്യമായ ഒരു ഫോർമാറ്റിലേക്ക് പരിവർത്തനം ചെയ്യുന്നത് ഈ പ്രക്രിയയിൽ ഉൾപ്പെടുന്നു.
- എൽഎൽഎം വിന്യാസം കഴിഞ്ഞുview
- NIM-ൽ NeMo ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ വിന്യസിക്കുക
- TensorRT-LLM ഉപയോഗിച്ച് NeMo ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ വിന്യസിക്കുക
- vLLM-നൊപ്പം NeMo ലാർജ് ലാംഗ്വേജ് മോഡലുകൾ വിന്യസിക്കുക

പിന്തുണയ്ക്കുന്ന മോഡലുകൾ

വലിയ ഭാഷാ മോഡലുകൾ

വലിയ ഭാഷാ മോഡലുകൾ
വലിയ ഭാഷാ മോഡലുകൾ	പ്രീട്രെയിനിംഗ് & എസ്‌എഫ്‌ടി	പെഫ്റ്റ്	വിന്യാസം	FP8 പരിശീലന സംയോജനം	ടി.ആർ.ടി/ടി.ആർ.ടി.എൽ.എം.	ആലിംഗന മുഖത്തേക്ക് & പുറത്തേക്ക് പരിവർത്തനം ചെയ്യുക	വിലയിരുത്തൽ
ലാമ3 8B/70B, ലാമ3.1 405B	അതെ	അതെ	x	അതെ (ഭാഗികമായി പരിശോധിച്ചു)	അതെ	രണ്ടും	അതെ
മിക്സ്ട്രൽ 8x7B/8x22B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	അതെ	രണ്ടും	അതെ
നെമോട്രോൺ 3 8B	അതെ	x	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	അതെ
നെമോട്രോൺ 4 340B	അതെ	x	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	അതെ
ബൈചുവാൻ2 7B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	അതെ
ചാറ്റ്ജിഎൽഎം3 6ബി	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	അതെ
ജെമ്മ 2B/7B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	അതെ	രണ്ടും	അതെ
ജെമ്മ2 2B/9B/27B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	അതെ
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	x	അതെ
ഫി3 മിനി 4കെ	x	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	അതെ	രണ്ടും	അതെ
സ്റ്റാർകോഡർ 15B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	അതെ	രണ്ടും	അതെ
സ്റ്റാർകോഡർ2 3B/7B/15B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	അതെ	രണ്ടും	അതെ
ബെർട്ട് 110 എം/340 എം	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	x
ടി5 220എം/3ബി/11ബി	അതെ	അതെ	x	x	x	x	x

വിഷൻ ലാംഗ്വേജ് മോഡലുകൾ

വിഷൻ ലാംഗ്വേജ് മോഡലുകൾ
വിഷൻ ലാംഗ്വേജ് മോഡലുകൾ	പ്രീട്രെയിനിംഗ് & എസ്‌എഫ്‌ടി	പെഫ്റ്റ്	വിന്യാസം	FP8 പരിശീലന സംയോജനം	ടി.ആർ.ടി/ടി.ആർ.ടി.എൽ.എം.	ആലിംഗന മുഖത്തേക്ക് & പുറത്തേക്ക് പരിവർത്തനം ചെയ്യുക	വിലയിരുത്തൽ
നെവ (എൽഎൽഎവിഎ 1.5)	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	നിന്ന്	x
ലാമ 3.2 വിഷൻ 11B/90B	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	നിന്ന്	x
LLaVA നെക്സ്റ്റ് (LLaVA 1.6)	അതെ	അതെ	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	നിന്ന്	x

എംബെഡിംഗ് മോഡലുകൾ

എംബെഡിംഗ് മോഡലുകൾ
എംബെഡിംഗ് ഭാഷാ മോഡലുകൾ	പ്രീട്രെയിനിംഗ് & എസ്‌എഫ്‌ടി	പെഫ്റ്റ്	വിന്യാസം	FP8 പരിശീലന സംയോജനം	ടി.ആർ.ടി/ടി.ആർ.ടി.എൽ.എം.	ആലിംഗന മുഖത്തേക്ക് & പുറത്തേക്ക് പരിവർത്തനം ചെയ്യുക	വിലയിരുത്തൽ
എസ്ബർറ്റ് 340 എം	അതെ	x	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	x
ലാമ 3.2 എംബെഡിംഗ് 1B	അതെ	x	x	അതെ (പരിശോധിച്ചിട്ടില്ല)	x	രണ്ടും	x

വേൾഡ് ഫൗണ്ടേഷൻ മോഡലുകൾ

വേൾഡ് ഫൗണ്ടേഷൻ മോഡലുകൾ
വേൾഡ് ഫൗണ്ടേഷൻ മോഡലുകൾ	പരിശീലനത്തിനു ശേഷമുള്ള	ത്വരിതപ്പെടുത്തിയ അനുമാനം
കോസ്മോസ്-1.0-ഡിഫ്യൂഷൻ-ടെക്സ്റ്റ്2വേൾഡ്-7ബി	അതെ	അതെ
കോസ്മോസ്-1.0-ഡിഫ്യൂഷൻ-ടെക്സ്റ്റ്2വേൾഡ്-14ബി	അതെ	അതെ
കോസ്മോസ്-1.0-ഡിഫ്യൂഷൻ-വീഡിയോ2വേൾഡ്-7B	ഉടൻ വരുന്നു	ഉടൻ വരുന്നു
കോസ്മോസ്-1.0-ഡിഫ്യൂഷൻ-വീഡിയോ2വേൾഡ്-14B	ഉടൻ വരുന്നു	ഉടൻ വരുന്നു
കോസ്‌മോസ്-1.0-ഓട്ടോറിഗ്രസീവ്-4B	അതെ	അതെ
കോസ്മോസ്-1.0-ഓട്ടോറിഗ്രസീവ്-വീഡിയോ2വേൾഡ്-5B	ഉടൻ വരുന്നു	ഉടൻ വരുന്നു
കോസ്‌മോസ്-1.0-ഓട്ടോറിഗ്രസീവ്-12B	അതെ	അതെ
കോസ്മോസ്-1.0-ഓട്ടോറിഗ്രസീവ്-വീഡിയോ2വേൾഡ്-13B	ഉടൻ വരുന്നു	ഉടൻ വരുന്നു

കുറിപ്പ്
ഡിഫ്യൂഷൻ, ഓട്ടോറിഗ്രസീവ് ആർക്കിടെക്ചറുകൾക്കുള്ള പ്രീട്രെയിനിംഗിനെയും NeMo പിന്തുണയ്ക്കുന്നു. text2world അടിസ്ഥാന മോഡലുകൾ.

സ്പീച്ച് AI

സംഭാഷണാധിഷ്ഠിത AI മോഡലുകൾ വികസിപ്പിക്കുന്നത് സങ്കീർണ്ണമായ ഒരു പ്രക്രിയയാണ്, അതിൽ പ്രത്യേക ഡൊമെയ്‌നുകൾക്കുള്ളിൽ മോഡലുകൾ നിർവചിക്കുക, നിർമ്മിക്കുക, പരിശീലിപ്പിക്കുക എന്നിവ ഉൾപ്പെടുന്നു. ഉയർന്ന കൃത്യത കൈവരിക്കുന്നതിന് ഈ പ്രക്രിയയ്ക്ക് സാധാരണയായി നിരവധി ആവർത്തനങ്ങൾ ആവശ്യമാണ്. ഉയർന്ന കൃത്യത കൈവരിക്കുന്നതിന് ഒന്നിലധികം ആവർത്തനങ്ങൾ, വിവിധ ടാസ്‌ക്കുകളിലും ഡൊമെയ്‌ൻ-നിർദ്ദിഷ്ട ഡാറ്റയിലും മികച്ച ട്യൂണിംഗ്, പരിശീലന പ്രകടനം ഉറപ്പാക്കുക, അനുമാന വിന്യാസത്തിനായി മോഡലുകൾ തയ്യാറാക്കൽ എന്നിവ ഇതിൽ പലപ്പോഴും ഉൾപ്പെടുന്നു.

സ്പീച്ച് AI മോഡലുകളുടെ പരിശീലനത്തിനും ഇഷ്ടാനുസൃതമാക്കലിനും NeMo ഫ്രെയിംവർക്ക് പിന്തുണ നൽകുന്നു. ഇതിൽ ഓട്ടോമാറ്റിക് സ്പീച്ച് റെക്കഗ്നിഷൻ (ASR), ടെക്സ്റ്റ്-ടു-സ്പീച്ച് (TTS) സിന്തസിസ് തുടങ്ങിയ ജോലികൾ ഉൾപ്പെടുന്നു. NVIDIA Riva ഉപയോഗിച്ച് എന്റർപ്രൈസ്-ലെവൽ പ്രൊഡക്ഷൻ വിന്യാസത്തിലേക്കുള്ള സുഗമമായ മാറ്റം ഇത് വാഗ്ദാനം ചെയ്യുന്നു. ഡെവലപ്പർമാരെയും ഗവേഷകരെയും സഹായിക്കുന്നതിന്, NeMo ഫ്രെയിംവർക്കിൽ അത്യാധുനിക പ്രീ-ട്രെയിൻഡ് ചെക്ക്‌പോസ്റ്റുകൾ, പുനരുൽപ്പാദിപ്പിക്കാവുന്ന സ്പീച്ച് ഡാറ്റ പ്രോസസ്സിംഗിനുള്ള ഉപകരണങ്ങൾ, സ്പീച്ച് ഡാറ്റാസെറ്റുകളുടെ സംവേദനാത്മക പര്യവേക്ഷണത്തിനും വിശകലനത്തിനുമുള്ള സവിശേഷതകൾ എന്നിവ ഉൾപ്പെടുന്നു. NeMo ഫ്രെയിംവർക്കിനുള്ള സ്പീച്ച് AI-യുടെ ഘടകങ്ങൾ ഇനിപ്പറയുന്നവയാണ്:

പരിശീലനവും ഇഷ്ടാനുസൃതമാക്കലും
സംഭാഷണ മോഡലുകളെ പരിശീലിപ്പിക്കുന്നതിനും ഇഷ്ടാനുസൃതമാക്കുന്നതിനും ആവശ്യമായ എല്ലാം NeMo ഫ്രെയിംവർക്കിൽ അടങ്ങിയിരിക്കുന്നു (എഎസ്ആർ, സംഭാഷണ വർഗ്ഗീകരണം, സ്പീക്കർ തിരിച്ചറിയൽ, സ്പീക്കർ ഡയറൈസേഷൻ, ഒപ്പം ടി.ടി.എസ്) പുനരുൽപ്പാദിപ്പിക്കാവുന്ന രീതിയിൽ.

SOTA പ്രീ-ട്രെയിൻഡ് മോഡലുകൾ

നീമോ ഫ്രെയിംവർക്ക് അത്യാധുനിക പാചകക്കുറിപ്പുകളും നിരവധി മുൻകൂർ പരിശീലനം ലഭിച്ച ചെക്ക്‌പോസ്റ്റുകളും നൽകുന്നു. എഎസ്ആർ ഒപ്പം ടി.ടി.എസ് മോഡലുകൾ, അതുപോലെ അവ എങ്ങനെ ലോഡ് ചെയ്യാമെന്നതിനുള്ള നിർദ്ദേശങ്ങളും.
സംഭാഷണ ഉപകരണങ്ങൾ
ASR, TTS മോഡലുകൾ വികസിപ്പിക്കുന്നതിന് ഉപയോഗപ്രദമായ ഒരു കൂട്ടം ഉപകരണങ്ങൾ NeMo ഫ്രെയിംവർക്ക് നൽകുന്നു, അവയിൽ ചിലത്:
- നീമോ ഫോഴ്‌സ്ഡ് അലൈനർ (NFA) ടോക്കൺ-, വേഡ്-, സെഗ്‌മെന്റ്-ലെവൽ എന്നിവ സൃഷ്ടിക്കുന്നതിനുള്ള സമയംampNeMo യുടെ CTC-അധിഷ്ഠിത ഓട്ടോമാറ്റിക് സ്പീച്ച് റെക്കഗ്നിഷൻ മോഡലുകൾ ഉപയോഗിച്ച് ഓഡിയോയിലെ സംഭാഷണത്തിന്റെ സംഖ്യകൾ.
- സ്പീച്ച് ഡാറ്റ പ്രോസസ്സർ (SDP), സംഭാഷണ ഡാറ്റ പ്രോസസ്സിംഗ് ലളിതമാക്കുന്നതിനുള്ള ഒരു ടൂൾകിറ്റ്. ഒരു കോൺഫിഗറേഷനിൽ ഡാറ്റ പ്രോസസ്സിംഗ് പ്രവർത്തനങ്ങളെ പ്രതിനിധീകരിക്കാൻ ഇത് നിങ്ങളെ അനുവദിക്കുന്നു. file, ബോയിലർപ്ലേറ്റ് കോഡ് കുറയ്ക്കുകയും പുനരുൽപാദനക്ഷമതയും പങ്കിടലും അനുവദിക്കുകയും ചെയ്യുന്നു.
- സ്പീച്ച് ഡാറ്റ എക്സ്പ്ലോറർ (SDE), ഡാഷ് അടിസ്ഥാനമാക്കിയുള്ള web സംഭാഷണ ഡാറ്റാസെറ്റുകളുടെ സംവേദനാത്മക പര്യവേക്ഷണത്തിനും വിശകലനത്തിനുമുള്ള ആപ്ലിക്കേഷൻ.
- ഡാറ്റാസെറ്റ് സൃഷ്ടിക്കൽ ഉപകരണം ദൈർഘ്യമേറിയ ഓഡിയോ വിന്യസിക്കുന്നതിനുള്ള പ്രവർത്തനം ഇത് നൽകുന്നു fileഅനുബന്ധ ട്രാൻസ്ക്രിപ്റ്റുകൾ ഉപയോഗിച്ച് അവയെ ഓട്ടോമാറ്റിക് സ്പീച്ച് റെക്കഗ്നിഷൻ (എഎസ്ആർ) മോഡൽ പരിശീലനത്തിന് അനുയോജ്യമായ ചെറിയ ശകലങ്ങളായി വിഭജിക്കുക.
- താരതമ്യ ഉപകരണം വ്യത്യസ്ത ASR മോഡലുകളുടെ പ്രവചനങ്ങളെ പദ കൃത്യതയിലും ഉച്ചാരണ തലത്തിലും താരതമ്യം ചെയ്യാൻ ASR മോഡലുകൾക്കായി.
- ASR ഇവാലുവേറ്റർ ASR മോഡലുകളുടെയും വോയ്‌സ് ആക്റ്റിവിറ്റി ഡിറ്റക്ഷൻ പോലുള്ള മറ്റ് സവിശേഷതകളുടെയും പ്രകടനം വിലയിരുത്തുന്നതിന്.
- ടെക്സ്റ്റ് നോർമലൈസേഷൻ ടൂൾ എഴുത്തിൽ നിന്ന് സംസാര രൂപത്തിലേക്കും തിരിച്ചും വാചകം പരിവർത്തനം ചെയ്യുന്നതിന് (ഉദാ. "31-ാം" vs "മുപ്പത്തിയൊന്നാമൻ").
വിന്യാസത്തിലേക്കുള്ള പാത
നെമോ ഫ്രെയിംവർക്ക് ഉപയോഗിച്ച് പരിശീലിപ്പിച്ചതോ ഇഷ്ടാനുസൃതമാക്കിയതോ ആയ നെമോ മോഡലുകൾ എൻവിഡിയ റിവ ഉപയോഗിച്ച് ഒപ്റ്റിമൈസ് ചെയ്യാനും വിന്യസിക്കാനും കഴിയും. പുഷ്-ബട്ടൺ വിന്യാസത്തിനുള്ള ഘട്ടങ്ങൾ ഓട്ടോമേറ്റ് ചെയ്യുന്നതിനായി പ്രത്യേകം രൂപകൽപ്പന ചെയ്ത കണ്ടെയ്‌നറുകളും ഹെൽം ചാർട്ടുകളും റിവ നൽകുന്നു.

മറ്റ് വിഭവങ്ങൾ

ഗിറ്റ്ഹബ് റിപ്പോകൾ

നീമോ: NeMo ഫ്രെയിംവർക്കിനുള്ള പ്രധാന ശേഖരം
നീമോ–ഓടുക: നിങ്ങളുടെ മെഷീൻ ലേണിംഗ് പരീക്ഷണങ്ങൾ കോൺഫിഗർ ചെയ്യാനും സമാരംഭിക്കാനും കൈകാര്യം ചെയ്യാനുമുള്ള ഒരു ഉപകരണം.

നെമോ-അലൈനർ: കാര്യക്ഷമമായ മോഡൽ വിന്യാസത്തിനായി സ്കെയിലബിൾ ടൂൾകിറ്റ്
നെമോ-ക്യൂറേറ്റർ: എൽഎൽഎമ്മുകൾക്കായുള്ള സ്കേലബിൾ ഡാറ്റ പ്രീ-പ്രോസസ്സിംഗ്, ക്യൂറേഷൻ ടൂൾകിറ്റ്

സഹായം ലഭിക്കുന്നു
NeMo കമ്മ്യൂണിറ്റിയുമായി ഇടപഴകുക, ചോദ്യങ്ങൾ ചോദിക്കുക, പിന്തുണ നേടുക, അല്ലെങ്കിൽ ബഗുകൾ റിപ്പോർട്ട് ചെയ്യുക.

നീമോ ചർച്ചകൾ

നീമോ പ്രശ്നങ്ങൾ

പ്രോഗ്രാമിംഗ് ഭാഷകളും ഫ്രെയിംവർക്കുകളും

പൈത്തൺ: NeMo ഫ്രെയിംവർക്ക് ഉപയോഗിക്കുന്നതിനുള്ള പ്രധാന ഇന്റർഫേസ്

പൈറ്റോർച്ച്: പൈടോർച്ചിന് മുകളിലാണ് നെമോ ഫ്രെയിംവർക്ക് നിർമ്മിച്ചിരിക്കുന്നത്.

ലൈസൻസുകൾ

നെമോ ഗിത്തബ് റിപ്പോ അപ്പാച്ചെ 2.0 ലൈസൻസിന് കീഴിലാണ് ലൈസൻസ് ചെയ്തിരിക്കുന്നത്.

NVIDIA AI ഉൽപ്പന്ന കരാറിന് കീഴിലാണ് NeMo ഫ്രെയിംവർക്ക് ലൈസൻസ് ചെയ്തിരിക്കുന്നത്. കണ്ടെയ്നർ വലിച്ച് ഉപയോഗിക്കുന്നതിലൂടെ, നിങ്ങൾ ഈ ലൈസൻസിന്റെ നിബന്ധനകളും വ്യവസ്ഥകളും അംഗീകരിക്കുന്നു.
Meta Llama3 കമ്മ്യൂണിറ്റി ലൈസൻസ് കരാർ പ്രകാരം നിയന്ത്രിക്കപ്പെടുന്ന Llama മെറ്റീരിയലുകൾ NeMo ഫ്രെയിംവർക്ക് കണ്ടെയ്‌നറിൽ അടങ്ങിയിരിക്കുന്നു.

അടിക്കുറിപ്പുകൾ
നിലവിൽ, മൾട്ടിമോഡൽ മോഡലുകൾക്കുള്ള NeMo Curator, NeMo Aligner പിന്തുണ എന്നിവ പുരോഗമിക്കുന്ന ഒരു ജോലിയാണ്, വളരെ വേഗം ഇത് ലഭ്യമാകും.

പതിവുചോദ്യങ്ങൾ

ചോദ്യം: എന്റെ സിസ്റ്റത്തെ ഈ ദുർബലത ബാധിച്ചിട്ടുണ്ടോ എന്ന് എനിക്ക് എങ്ങനെ പരിശോധിക്കാൻ കഴിയും?
A: ഇൻസ്റ്റാൾ ചെയ്തിരിക്കുന്ന NVIDIA NeMo ഫ്രെയിംവർക്കിന്റെ പതിപ്പ് പരിശോധിച്ചുകൊണ്ട് നിങ്ങളുടെ സിസ്റ്റത്തെ ബാധിച്ചിട്ടുണ്ടോ എന്ന് നിങ്ങൾക്ക് പരിശോധിക്കാൻ കഴിയും. അത് പതിപ്പ് 24 ന് താഴെയുള്ളതാണെങ്കിൽ, നിങ്ങളുടെ സിസ്റ്റം ദുർബലമായേക്കാം.

ചോദ്യം: CVE-2025-23360 സുരക്ഷാ പ്രശ്നം റിപ്പോർട്ട് ചെയ്തത് ആരാണ്?
എ: സുരക്ഷാ പ്രശ്നം ഓർ പെലെസ് - ജെഫ്രോഗ് സെക്യൂരിറ്റി റിപ്പോർട്ട് ചെയ്തു. എൻവിഡിയ അവരുടെ സംഭാവനയെ അംഗീകരിക്കുന്നു.

ചോദ്യം: ഭാവിയിലെ സുരക്ഷാ ബുള്ളറ്റിൻ അറിയിപ്പുകൾ എനിക്ക് എങ്ങനെ ലഭിക്കും?
A: സുരക്ഷാ ബുള്ളറ്റിൻ അറിയിപ്പുകൾ സബ്‌സ്‌ക്രൈബുചെയ്യുന്നതിനും ഉൽപ്പന്ന സുരക്ഷാ അപ്‌ഡേറ്റുകളെക്കുറിച്ച് അറിഞ്ഞിരിക്കുന്നതിനും NVIDIA ഉൽപ്പന്ന സുരക്ഷാ പേജ് സന്ദർശിക്കുക.

പ്രമാണങ്ങൾ / വിഭവങ്ങൾ

എൻവിഡിയ നെമോ ഫ്രെയിംവർക്ക് [pdf] ഉപയോക്തൃ ഗൈഡ്
നീമോ ഫ്രെയിംവർക്ക്, നീമോ, ഫ്രെയിംവർക്ക്

റഫറൻസുകൾ

ഉപയോക്തൃ മാനുവൽ

എൻവിഡിയ നെമോ ഫ്രെയിംവർക്ക്

സ്പെസിഫിക്കേഷനുകൾ

ഉൽപ്പന്ന ഉപയോഗ നിർദ്ദേശങ്ങൾ