និមិត្តសញ្ញា NVIDIA

NVIDIA NeMo Framework

NVIDIA-NeMo-Framework-ផលិតផល

លក្ខណៈបច្ចេកទេស

  • ឈ្មោះផលិតផល៖ NVIDIA NeMo Framework
  • វេទិកាដែលរងផលប៉ះពាល់៖ វីនដូ, លីនុច, macOS
  • កំណែដែលរងផលប៉ះពាល់៖ កំណែទាំងអស់មុន 24
  • ភាពងាយរងគ្រោះផ្នែកសុវត្ថិភាព៖ CVE-2025-23360
  • ពិន្ទុមូលដ្ឋានវាយតម្លៃហានិភ័យ៖ 7.1 (CVSS v3.1)

ការណែនាំអំពីការប្រើប្រាស់ផលិតផល

ការដំឡើងបច្ចុប្បន្នភាពសុវត្ថិភាព៖
ដើម្បីការពារប្រព័ន្ធរបស់អ្នក សូមអនុវត្តតាមជំហានទាំងនេះ៖

  1. ទាញយកការចេញផ្សាយចុងក្រោយបំផុតពីទំព័រ NeMo-Framework-Launcher Releases នៅលើ GitHub ។
  2. សូមចូលទៅកាន់ NVIDIA Product Security សម្រាប់ព័ត៌មានបន្ថែម។

ព័ត៌មានលម្អិតអំពីបច្ចុប្បន្នភាពសុវត្ថិភាព៖
ការធ្វើបច្ចុប្បន្នភាពសុវត្ថិភាពដោះស្រាយភាពងាយរងគ្រោះនៅក្នុង NVIDIA NeMo Framework ដែលអាចនាំទៅដល់ការប្រតិបត្តិកូដ និងទិន្នន័យ tampខ្សែអក្សរ

ធ្វើឱ្យប្រសើរកម្មវិធី:
ប្រសិនបើអ្នកកំពុងប្រើការចេញផ្សាយសាខាមុន វាត្រូវបានណែនាំឱ្យដំឡើងកំណែទៅការចេញផ្សាយសាខាចុងក្រោយបំផុត ដើម្បីដោះស្រាយបញ្ហាសុវត្ថិភាព។

ជាងview

NVIDIA NeMo Framework គឺជាក្របខណ្ឌ AI ជំនាន់ដើមដែលអាចធ្វើមាត្រដ្ឋានបាន និងបង្កើតឡើងសម្រាប់អ្នកស្រាវជ្រាវ និងអ្នកអភិវឌ្ឍន៍ដែលកំពុងធ្វើការលើ គំរូភាសាធំ, ពហុម៉ូដ, និង ការនិយាយ AI (ឧ ការទទួលស្គាល់ការនិយាយដោយស្វ័យប្រវត្តិ និង អត្ថបទទៅការនិយាយ) វាអនុញ្ញាតឱ្យអ្នកប្រើប្រាស់បង្កើត ប្ដូរតាមបំណង និងប្រើប្រាស់គំរូ AI ជំនាន់ថ្មីប្រកបដោយប្រសិទ្ធភាពដោយប្រើប្រាស់កូដដែលមានស្រាប់ និងចំណុចត្រួតពិនិត្យគំរូដែលបានបណ្តុះបណ្តាលជាមុន។

ការណែនាំអំពីការដំឡើងដំឡើង NeMo Framework

គំរូភាសាធំ និងគំរូពហុគំរូ
NeMo Framework ផ្តល់ការគាំទ្រពីចុងដល់ចប់សម្រាប់ការបង្កើតគំរូភាសាធំ (LLMs) និង Multimodal Models (MMs)។ វាផ្តល់នូវភាពបត់បែនក្នុងការប្រើក្នុងបរិវេណ មជ្ឈមណ្ឌលទិន្នន័យ ឬជាមួយអ្នកផ្តល់សេវាពពកដែលអ្នកពេញចិត្ត។ វាក៏គាំទ្រការប្រតិបត្តិលើបរិស្ថានដែលបានបើក SLURM ឬ Kubernetes ផងដែរ។

_images/nemo-llm-mm-stack.png

ការរៀបចំទិន្នន័យ
អ្នកថែរក្សា NeMo [1] គឺជាបណ្ណាល័យ Python ដែលរួមបញ្ចូលនូវសំណុំនៃម៉ូឌុលសម្រាប់ការជីកយករ៉ែទិន្នន័យ និងការបង្កើតទិន្នន័យសំយោគ។ ពួកវាអាចធ្វើមាត្រដ្ឋានបាន និងធ្វើឱ្យប្រសើរសម្រាប់ GPU ដែលធ្វើឱ្យពួកវាល្អសម្រាប់ការរៀបចំទិន្នន័យភាសាធម្មជាតិដើម្បីបណ្តុះបណ្តាល ឬកែសម្រួល LLMs ។ ជាមួយនឹង NeMo Curator អ្នកអាចទាញយកអត្ថបទដែលមានគុណភាពខ្ពស់ពីវត្ថុធាតុដើមយ៉ាងមានប្រសិទ្ធភាព web ប្រភពទិន្នន័យ។

ការបណ្តុះបណ្តាល និងការប្ដូរតាមបំណង

NeMo Framework ផ្តល់នូវឧបករណ៍សម្រាប់ការបណ្តុះបណ្តាលប្រកបដោយប្រសិទ្ធភាព និងការប្តូរតាមបំណង អិលអិលអេម និងម៉ូដែល Multimodal ។ វារួមបញ្ចូលការកំណត់លំនាំដើមសម្រាប់ការដំឡើងចង្កោមកុំព្យូទ័រ ការទាញយកទិន្នន័យ និងប៉ារ៉ាម៉ែត្រខ្ពស់នៃគំរូ ដែលអាចត្រូវបានកែតម្រូវដើម្បីហ្វឹកហាត់លើសំណុំទិន្នន័យ និងម៉ូដែលថ្មី។ បន្ថែមពីលើការបណ្តុះបណ្តាលមុន NeMo គាំទ្រទាំងបច្ចេកទេស Supervised Fine-Tuning (SFT) និង Parameter Efficient Fine-Tuning (PEFT) ដូចជា LoRA, Ptuning និងច្រើនទៀត។

មានជម្រើសពីរដើម្បីចាប់ផ្តើមការបណ្តុះបណ្តាលនៅក្នុង NeMo – ដោយប្រើ NeMo 2.0 API interface ឬជាមួយ NeMo Run។

  • ជាមួយ NeMo Run (បានណែនាំ)៖ NeMo Run ផ្តល់នូវចំណុចប្រទាក់មួយដើម្បីសម្រួលការកំណត់រចនាសម្ព័ន្ធ ការប្រតិបត្តិ និងការគ្រប់គ្រងការពិសោធន៍លើបរិស្ថានកុំព្យូទ័រផ្សេងៗ។ នេះរួមបញ្ចូលទាំងការបើកដំណើរការការងារនៅលើស្ថានីយការងាររបស់អ្នកក្នុងស្រុក ឬនៅលើចង្កោមធំ – ទាំង SLURM បានបើកដំណើរការ ឬ Kubernetes នៅក្នុងបរិយាកាសពពក។
    • ការបណ្តុះបណ្តាលមុន និង PEFT Quickstart ជាមួយ NeMo Run
  • ការប្រើប្រាស់ NeMo 2.0 API៖ វិធីសាស្រ្តនេះដំណើរការបានយ៉ាងល្អជាមួយនឹងការដំឡើងដ៏សាមញ្ញដែលពាក់ព័ន្ធនឹងម៉ូដែលតូចៗ ឬប្រសិនបើអ្នកចាប់អារម្មណ៍ក្នុងការសរសេរកម្មវិធីផ្ទុកទិន្នន័យផ្ទាល់ខ្លួន រង្វិលជុំហ្វឹកហាត់ ឬផ្លាស់ប្តូរស្រទាប់គំរូ។ វាផ្តល់ឱ្យអ្នកនូវភាពបត់បែន និងការគ្រប់គ្រងលើការកំណត់រចនាសម្ព័ន្ធ និងធ្វើឱ្យវាងាយស្រួលក្នុងការពង្រីក និងកំណត់ការកំណត់តាមបំណងតាមកម្មវិធី។
    • ត្រាកំពុងដំណើរការ Quickstart ជាមួយ NeMo 2.0 API
    • ការផ្ទេរពី NeMo 1.0 ទៅ NeMo 2.0 API

ការតម្រឹម

  • NeMo-Aligner [1] គឺជាកញ្ចប់ឧបករណ៍ដែលអាចធ្វើមាត្រដ្ឋានបានសម្រាប់ការតម្រឹមគំរូប្រកបដោយប្រសិទ្ធភាព។ កញ្ចប់ឧបករណ៍មានការគាំទ្រសម្រាប់ក្បួនដោះស្រាយការតម្រឹមគំរូដ៏ទំនើបដូចជា SteerLM, DPO, ការពង្រឹងការរៀនពីមតិយោបល់របស់មនុស្ស (RLHF) និងច្រើនទៀត។ ក្បួនដោះស្រាយទាំងនេះអាចឱ្យអ្នកប្រើប្រាស់តម្រឹមគំរូភាសាឱ្យកាន់តែមានសុវត្ថិភាព មិនបង្កគ្រោះថ្នាក់ និងមានប្រយោជន៍។
  • ចំណុចត្រួតពិនិត្យ NeMo-Aligner ទាំងអស់គឺត្រូវគ្នាជាមួយប្រព័ន្ធអេកូ NeMo ដែលអនុញ្ញាតឱ្យមានការប្ដូរតាមបំណង និងការដាក់ពង្រាយការសន្និដ្ឋានបន្ថែមទៀត។

ដំណើរការការងារជាជំហាន ៗ នៃដំណាក់កាលទាំងបីនៃ RLHF លើគំរូ GPT-2B តូចមួយ៖

  • ការបណ្តុះបណ្តាល SFT
  • ការបណ្តុះបណ្តាលគំរូរង្វាន់
  • ការបណ្តុះបណ្តាល PPO

លើសពីនេះ យើងបង្ហាញការគាំទ្រចំពោះវិធីសាស្ត្រតម្រឹមប្រលោមលោកផ្សេងៗ៖

  • DPO៖ ក្បួនដោះស្រាយការតម្រឹមទម្ងន់ស្រាលធៀបនឹង RLHF ជាមួយនឹងមុខងារបាត់បង់ដ៏សាមញ្ញជាង។
  • ការលេងដោយខ្លួនឯង។ ការលៃតម្រូវការកែលម្អ (SPIN)
  • SteerLM៖ បច្ចេកទេសផ្អែកលើលក្ខខណ្ឌ-SFT ជាមួយនឹងទិន្នផលដែលអាចគ្រប់គ្រងបាន។

សូមពិនិត្យមើលឯកសារសម្រាប់ព័ត៌មានបន្ថែម៖ ឯកសារតម្រឹម

ម៉ូដែលចម្រុះ

  • NeMo Framework ផ្តល់នូវកម្មវិធីដែលប្រសើរឡើងដើម្បីបណ្តុះបណ្តាល និងដាក់ឱ្យប្រើប្រាស់នូវគំរូពហុម៉ូដទំនើបទាន់សម័យនៅទូទាំងប្រភេទមួយចំនួន៖ គំរូភាសាពហុម៉ូឌុល មូលដ្ឋានគ្រឹះនៃចក្ខុវិស័យ គំរូអត្ថបទទៅរូបភាព និងលើសពីជំនាន់ 2D ដោយប្រើ Neural Radiance Fields (NeRF)។
  • ប្រភេទនីមួយៗត្រូវបានរចនាឡើងដើម្បីបំពេញតម្រូវការជាក់លាក់ និងភាពជឿនលឿនក្នុងវិស័យនេះ ដោយប្រើប្រាស់ម៉ូដែលទំនើបៗ ដើម្បីគ្រប់គ្រងប្រភេទទិន្នន័យជាច្រើន រួមទាំងអត្ថបទ រូបភាព និងគំរូ 3D។

ចំណាំ
យើងកំពុងផ្លាស់ប្តូរការគាំទ្រសម្រាប់ម៉ូដែលពហុម៉ូឌុលពី NeMo 1.0 ទៅ NeMo 2.0។ ប្រសិនបើអ្នកចង់រុករកដែននេះក្នុងពេលនេះ សូមមើលឯកសារសម្រាប់ការចេញផ្សាយ NeMo 24.07 (មុន)។

ការដាក់ពង្រាយ និងការសន្និដ្ឋាន
NeMo Framework ផ្តល់នូវផ្លូវជាច្រើនសម្រាប់ការសន្និដ្ឋាន LLM ដែលផ្តល់ដល់សេណារីយ៉ូនៃការដាក់ពង្រាយផ្សេងៗ និងតម្រូវការការអនុវត្ត។

ប្រើជាមួយ NVIDIA NIM

  • NeMo Framework រួមបញ្ចូលគ្នាយ៉ាងរលូនជាមួយឧបករណ៍ដាក់ពង្រាយគំរូកម្រិតសហគ្រាសតាមរយៈ NVIDIA NIM ។ សមាហរណកម្មនេះត្រូវបានដំណើរការដោយ NVIDIA TensorRT-LLM ដែលធានាបាននូវប្រសិទ្ធភាព និងវិចារណញាណដែលអាចធ្វើមាត្រដ្ឋានបាន។
  • សម្រាប់ព័ត៌មានបន្ថែមអំពី NIM សូមចូលទៅកាន់ NVIDIA webគេហទំព័រ។

ប្រើជាមួយ TensorRT-LLM ឬ vLLM

  • NeMo Framework ផ្តល់នូវស្គ្រីប និង APIs ដើម្បីនាំចេញគំរូទៅកាន់បណ្ណាល័យដែលបង្កើនប្រសិទ្ធភាពការសន្និដ្ឋានចំនួនពីរ TensorRT-LLM និង vLLM និងដើម្បីដាក់ពង្រាយគំរូដែលបាននាំចេញជាមួយនឹង NVIDIA Triton Inference Server។
  • សម្រាប់​សេណារីយ៉ូ​ដែល​តម្រូវ​ឱ្យ​មាន​ការ​ធ្វើ​ឱ្យ​ប្រសើរ​ឡើង ម៉ូដែល NeMo អាច​ប្រើ​ប្រាស់ TensorRT-LLM ជា​បណ្ណាល័យ​ឯកទេស​សម្រាប់​ការ​ពន្លឿន និង​បង្កើន​ប្រសិទ្ធភាព​ការ​សន្និដ្ឋាន LLM លើ NVIDIA GPUs ។ ដំណើរការនេះពាក់ព័ន្ធនឹងការបំប្លែងម៉ូដែល NeMo ទៅជាទម្រង់ដែលត្រូវគ្នាជាមួយ TensorRT-LLM ដោយប្រើម៉ូឌុល nemo.export ។
    • ការដាក់ពង្រាយ LLM ចប់ហើយ។view
    • ប្រើគំរូភាសាធំ NeMo ជាមួយ NIM
    • ប្រើគំរូភាសាធំ NeMo ជាមួយ TensorRT-LLM
    • ប្រើម៉ូដែលភាសាធំ NeMo ជាមួយ vLLM

ម៉ូដែលដែលគាំទ្រ

គំរូភាសាធំ

គំរូភាសាធំ
គំរូភាសាធំ ការហ្វឹកហាត់ និង SFT PEFT ការតម្រឹម ការបង្រួបបង្រួមការបណ្តុះបណ្តាល FP8 TRT/TRTLLM បម្លែងទៅជា & ពីការឱបមុខ ការវាយតម្លៃ
Llama3 8B/70B, Llama3.1 405B បាទ បាទ x បាទ / ចាស (បានផ្ទៀងផ្ទាត់ដោយផ្នែក) បាទ ទាំងពីរ បាទ
ល្បាយ 8x7B/8x22B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) បាទ ទាំងពីរ បាទ
Nemotron 3 8B បាទ x x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ បាទ
Nemotron 4 340B បាទ x x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ បាទ
Baichuan2 7B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ បាទ
ChatGLM3 6B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ បាទ
Gemma 2B/7B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) បាទ ទាំងពីរ បាទ
Gemma2 2B/9B/27B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ បាទ
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x x បាទ
ភី ៣ មីនី ៤ គ x បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x x x
Qwen2 0.5B/1.5B/7B/72B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) បាទ ទាំងពីរ បាទ
StarCoder 15B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) បាទ ទាំងពីរ បាទ
StarCoder2 3B/7B/15B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) បាទ ទាំងពីរ បាទ
BERT 110M / 340M បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ x
T5 220M/3B/11B បាទ បាទ x x x x x

 

គំរូភាសាចក្ខុវិស័យ

គំរូភាសាចក្ខុវិស័យ
គំរូភាសាចក្ខុវិស័យ ការហ្វឹកហាត់ និង SFT PEFT ការតម្រឹម ការបង្រួបបង្រួមការបណ្តុះបណ្តាល FP8 TRT/TRTLLM បម្លែងទៅជា & ពីការឱបមុខ ការវាយតម្លៃ
NeVA (LLaVA 1.5) បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ពី x
Llama 3.2 Vision 11B/90B បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ពី x
LLaVA បន្ទាប់ (LLaVA 1.6) បាទ បាទ x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ពី x

 

ម៉ូដែលបង្កប់

ម៉ូដែលបង្កប់
គំរូភាសាបង្កប់ ការហ្វឹកហាត់ និង SFT PEFT ការតម្រឹម ការបង្រួបបង្រួមការបណ្តុះបណ្តាល FP8 TRT/TRTLLM បម្លែងទៅជា & ពីការឱបមុខ ការវាយតម្លៃ
SBERT 340M បាទ x x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ x
ឡាម៉ា 3.2 ការបង្កប់ 1B បាទ x x បាទ/ចាស (មិនទាន់បានផ្ទៀងផ្ទាត់) x ទាំងពីរ x

 

គំរូមូលនិធិពិភពលោក

គំរូមូលនិធិពិភពលោក
គំរូមូលនិធិពិភពលោក ក្រោយការបណ្តុះបណ្តាល ពន្លឿនការសន្និដ្ឋាន
Cosmos-1.0-Diffusion-Text2World-7B បាទ បាទ
Cosmos-1.0-Diffusion-Text2World-14B បាទ បាទ
Cosmos-1.0-Diffusion-Video2World-7B មកដល់ឆាប់ៗនេះ មកដល់ឆាប់ៗនេះ
Cosmos-1.0-Diffusion-Video2World-14B មកដល់ឆាប់ៗនេះ មកដល់ឆាប់ៗនេះ
Cosmos-1.0-Autoregressive-4B បាទ បាទ
Cosmos-1.0-Autoregressive-Video2World-5B មកដល់ឆាប់ៗនេះ មកដល់ឆាប់ៗនេះ
Cosmos-1.0-Autoregressive-12B បាទ បាទ
Cosmos-1.0-Autoregressive-Video2World-13B មកដល់ឆាប់ៗនេះ មកដល់ឆាប់ៗនេះ

ចំណាំ
NeMo ក៏គាំទ្រការហ្វឹកហាត់ជាមុនសម្រាប់ទាំងស្ថាបត្យកម្មនៃការសាយភាយ និងស្ថាបត្យកម្មស្វ័យប្រវត្តិ text2world ម៉ូដែលគ្រឹះ។

ការនិយាយ AI

ការបង្កើតគំរូសន្ទនា AI គឺជាដំណើរការដ៏ស្មុគស្មាញមួយដែលពាក់ព័ន្ធនឹងការកំណត់ បង្កើត និងបណ្តុះបណ្តាលគំរូនៅក្នុងដែនជាក់លាក់។ ដំណើរការនេះជាធម្មតាតម្រូវឱ្យធ្វើម្តងទៀតជាច្រើនដង ដើម្បីឈានដល់កម្រិតខ្ពស់នៃភាពត្រឹមត្រូវ។ ជារឿយៗវាពាក់ព័ន្ធនឹងការធ្វើឡើងវិញច្រើនដង ដើម្បីសម្រេចបាននូវភាពត្រឹមត្រូវខ្ពស់ ការកែសម្រួលយ៉ាងល្អិតល្អន់លើកិច្ចការផ្សេងៗ និងទិន្នន័យជាក់លាក់នៃដែន ធានានូវការអនុវត្តការបណ្តុះបណ្តាល និងការរៀបចំគំរូសម្រាប់ការដាក់ពង្រាយការសន្និដ្ឋាន។

_images/nemo-speech-ai.png

NeMo Framework ផ្តល់ការគាំទ្រសម្រាប់ការបណ្តុះបណ្តាល និងការប្ដូរតាមបំណងនៃគំរូ Speech AI ។ នេះរួមបញ្ចូលទាំងកិច្ចការដូចជា ការទទួលស្គាល់ការនិយាយដោយស្វ័យប្រវត្តិ (ASR) និងការសំយោគអត្ថបទទៅការនិយាយ (TTS) ។ វាផ្តល់នូវការផ្លាស់ប្តូរយ៉ាងរលូនទៅកាន់ការដាក់ពង្រាយផលិតកម្មកម្រិតសហគ្រាសជាមួយ NVIDIA Riva ។ ដើម្បីជួយអ្នកអភិវឌ្ឍន៍ និងអ្នកស្រាវជ្រាវ NeMo Framework រួមបញ្ចូលនូវចំណុចត្រួតពិនិត្យដែលបានទទួលការបណ្តុះបណ្តាលជាមុន ដែលទំនើបបំផុត ឧបករណ៍សម្រាប់ដំណើរការទិន្នន័យការនិយាយដែលអាចផលិតឡើងវិញបាន និងលក្ខណៈពិសេសសម្រាប់ការរុករកអន្តរកម្ម និងការវិភាគនៃសំណុំទិន្នន័យការនិយាយ។ សមាសធាតុនៃ NeMo Framework សម្រាប់ Speech AI មានដូចខាងក្រោម៖

ការបណ្តុះបណ្តាល និងការប្ដូរតាមបំណង
NeMo Framework មានអ្វីគ្រប់យ៉ាងដែលត្រូវការដើម្បីបណ្តុះបណ្តាល និងប្ដូរគំរូការនិយាយតាមបំណង (ASRចំណាត់ថ្នាក់នៃការនិយាយការទទួលស្គាល់វាគ្មិនការបញ្ចេញសំឡេងរបស់វាគ្មិន, និង TTS) តាមរបៀបដែលអាចបន្តពូជបាន។

SOTA គំរូដែលបានបណ្តុះបណ្តាលជាមុន

  • NeMo Framework ផ្តល់នូវរូបមន្តទំនើប និងកន្លែងត្រួតពិនិត្យមុនការបណ្តុះបណ្តាលមួយចំនួន ASR និង TTS ម៉ូដែល ក៏ដូចជាការណែនាំអំពីរបៀបផ្ទុកពួកវា។
  • ឧបករណ៍និយាយ
  • NeMo Framework ផ្តល់នូវសំណុំឧបករណ៍ដែលមានប្រយោជន៍សម្រាប់ការបង្កើតគំរូ ASR និង TTS រួមទាំង៖
    • NeMo Forced Aligner (NFA) សម្រាប់ការបង្កើត token-, word- និង segment-level timesestamps នៃការនិយាយនៅក្នុងអូឌីយ៉ូដោយប្រើប្រាស់គំរូនៃការទទួលស្គាល់ការនិយាយដោយស្វ័យប្រវត្តិដែលមានមូលដ្ឋានលើ CTC របស់ NeMo ។
    • ឧបករណ៍ដំណើរការទិន្នន័យការនិយាយ (SDP)កញ្ចប់ឧបករណ៍សម្រាប់សម្រួលដំណើរការទិន្នន័យការនិយាយ។ វាអនុញ្ញាតឱ្យអ្នកតំណាងឱ្យប្រតិបត្តិការដំណើរការទិន្នន័យនៅក្នុងការកំណត់រចនាសម្ព័ន្ធមួយ។ fileកាត់បន្ថយកូដ boilerplate និងអនុញ្ញាតឱ្យផលិតឡើងវិញ និងចែករំលែក។
    • Speech Data Explorer (SDE)ដែលផ្អែកលើ Dash web កម្មវិធីសម្រាប់ការរុករកអន្តរកម្ម និងការវិភាគនៃសំណុំទិន្នន័យការនិយាយ។
    • ឧបករណ៍បង្កើតសំណុំទិន្នន័យ ដែលផ្តល់មុខងារដើម្បីតម្រឹមសំឡេងវែង files ជាមួយនឹងប្រតិចារិកដែលត្រូវគ្នា ហើយបំបែកវាទៅជាបំណែកខ្លីៗដែលសមរម្យសម្រាប់ការបណ្តុះបណ្តាលគំរូនៃការទទួលស្គាល់ការនិយាយដោយស្វ័យប្រវត្តិ (ASR) ។
    • ឧបករណ៍ប្រៀបធៀប សម្រាប់ ASR Models ដើម្បីប្រៀបធៀបការព្យាករណ៍នៃគំរូ ASR ផ្សេងៗគ្នានៅកម្រិតភាពត្រឹមត្រូវនៃពាក្យ និងការបញ្ចេញសំឡេង។
    • អ្នកវាយតម្លៃ ASR សម្រាប់ការវាយតម្លៃដំណើរការនៃម៉ូដែល ASR និងមុខងារផ្សេងទៀតដូចជាការរកឃើញសកម្មភាពសំឡេង។
    • ឧបករណ៍ធ្វើឱ្យអត្ថបទធម្មតា។ សម្រាប់បំប្លែងអត្ថបទពីទម្រង់សរសេរទៅជាទម្រង់និយាយ និងច្រាសមកវិញ (ឧទាហរណ៍ “ថ្ងៃទី៣១” ទល់នឹង “សាមសិបដំបូង”)។
  • ផ្លូវទៅកាន់ការដាក់ពង្រាយ
  • ម៉ូដែល NeMo ដែលត្រូវបានបណ្តុះបណ្តាល ឬប្ដូរតាមបំណងដោយប្រើ NeMo Framework អាចត្រូវបានធ្វើឱ្យប្រសើរ និងដាក់ឱ្យប្រើប្រាស់ជាមួយ NVIDIA Riva ។ Riva ផ្តល់នូវកុងតឺន័រ និងគំនូសតាង Helm ដែលត្រូវបានរចនាឡើងជាពិសេសដើម្បីធ្វើស្វ័យប្រវត្តិកម្មជំហានសម្រាប់ការដាក់ពង្រាយប៊ូតុងរុញ។

ធនធានផ្សេងទៀត។

GitHub Repos
  • ណេម៉ូ៖ ឃ្លាំងសំខាន់សម្រាប់ NeMo Framework
  • ណេម៉ូរត់៖ ឧបករណ៍សម្រាប់កំណត់រចនាសម្ព័ន្ធ បើកដំណើរការ និងគ្រប់គ្រងការពិសោធន៍រៀនម៉ាស៊ីនរបស់អ្នក។
  • NeMo-Aligner៖ កញ្ចប់ឧបករណ៍ដែលអាចធ្វើមាត្រដ្ឋានបានសម្រាប់ការតម្រឹមគំរូប្រកបដោយប្រសិទ្ធភាព
  • NeMo-Curator៖ កញ្ចប់ឧបករណ៍សម្រាប់ដំណើរការ និងរៀបចំទិន្នន័យជាមុនដែលអាចធ្វើមាត្រដ្ឋានបានសម្រាប់ LLMs
ការទទួលបានជំនួយ
ចូលរួមជាមួយសហគមន៍ NeMo សួរសំណួរ ទទួលបានការគាំទ្រ ឬរាយការណ៍កំហុស។
  • ការពិភាក្សា NeMo
  • បញ្ហា NeMo

ភាសាសរសេរកម្មវិធី និងក្របខ័ណ្ឌ

  • ពស់ថ្លាន់៖ ចំណុចប្រទាក់ចម្បងដើម្បីប្រើ NeMo Framework
  • ភីធរច៖ NeMo Framework ត្រូវបានបង្កើតឡើងនៅលើកំពូលនៃ PyTorch

អាជ្ញាប័ណ្ណ

  • NeMo Github repo ត្រូវបានផ្តល់អាជ្ញាប័ណ្ណក្រោមអាជ្ញាប័ណ្ណ Apache 2.0
  • NeMo Framework ត្រូវបានផ្តល់អាជ្ញាប័ណ្ណក្រោមកិច្ចព្រមព្រៀងផលិតផល NVIDIA AI ។ តាមរយៈការទាញ និងប្រើប្រាស់កុងតឺន័រ អ្នកទទួលយកលក្ខខណ្ឌនៃអាជ្ញាប័ណ្ណនេះ។
  • កុងតឺន័រ NeMo Framework មានសម្ភារ Llama ដែលគ្រប់គ្រងដោយកិច្ចព្រមព្រៀងអាជ្ញាប័ណ្ណសហគមន៍ Meta Llama3 ។

លេខយោង
បច្ចុប្បន្ន ការគាំទ្រ NeMo Curator និង NeMo Aligner សម្រាប់ម៉ូដែល Multimodal គឺជាការងារដែលកំពុងដំណើរការ ហើយនឹងមានក្នុងពេលឆាប់ៗនេះ។

សំណួរគេសួរញឹកញាប់

សំណួរ៖ តើខ្ញុំអាចពិនិត្យមើលថាតើប្រព័ន្ធរបស់ខ្ញុំត្រូវបានប៉ះពាល់ដោយភាពងាយរងគ្រោះដោយរបៀបណា?
A: អ្នកអាចពិនិត្យមើលថាតើប្រព័ន្ធរបស់អ្នកត្រូវបានប៉ះពាល់ដោយការផ្ទៀងផ្ទាត់កំណែនៃ NVIDIA NeMo Framework ដែលបានដំឡើងឬអត់។ ប្រសិនបើវាស្ថិតនៅក្រោមកំណែ 24 ប្រព័ន្ធរបស់អ្នកអាចងាយរងគ្រោះ។

សំណួរ៖ តើអ្នកណាបានរាយការណ៍អំពីបញ្ហាសុវត្ថិភាព CVE-2025-23360?
A: បញ្ហាសន្តិសុខត្រូវបានរាយការណ៍ដោយ Or Peles – JFrog Security ។ NVIDIA ទទួលស្គាល់ការរួមចំណែករបស់ពួកគេ។

សំណួរ៖ តើខ្ញុំអាចទទួលបានការជូនដំណឹងអំពីព្រឹត្តិបត្រសុវត្ថិភាពនាពេលអនាគតដោយរបៀបណា?
ចម្លើយ៖ ចូលទៅកាន់ទំព័រសុវត្ថិភាពផលិតផល NVIDIA ដើម្បីជាវការជូនដំណឹងអំពីព្រឹត្តិបត្រសុវត្ថិភាព និងបន្តជូនដំណឹងអំពីបច្ចុប្បន្នភាពសុវត្ថិភាពផលិតផល។

ឯកសារ/ធនធាន

NVIDIA NeMo Framework [pdf] ការណែនាំអ្នកប្រើប្រាស់
NeMo Framework, NeMo, Framework

ឯកសារយោង

ទុកមតិយោបល់

អាសយដ្ឋានអ៊ីមែលរបស់អ្នកនឹងមិនត្រូវបានផ្សព្វផ្សាយទេ។ វាលដែលត្រូវការត្រូវបានសម្គាល់ *