NVIDIA NeMo Framework

Spesifikasi

• Jeneng produk: NVIDIA NeMo Framework
• Platform sing kena pengaruh: Windows, Linux, macOS
• Versi sing kena pengaruh: Kabeh versi sadurunge 24
• Kerentanan Keamanan: CVE-2025-23360
• Skor Base Assessment Risiko: 7.1 (CVSS v3.1)

Pandhuan Panggunaan Produk

Instalasi Update Keamanan:
Kanggo nglindhungi sistem sampeyan, tindakake langkah iki:

1. Download rilis paling anyar saka kaca Rilis NeMo-Framework-Launcher ing GitHub.
2. Bukak NVIDIA Product Security kanggo informasi luwih lengkap.

Rincian Update Keamanan:
Nganyari keamanan ngatasi kerentanan ing Kerangka NVIDIA NeMo sing bisa nyebabake eksekusi kode lan data tampering

Upgrade Piranti Lunak:
Yen sampeyan nggunakake release cabang sadurungé, dianjurake kanggo nganyarke menyang release cabang paling anyar kanggo ngatasi masalah keamanan.

Swaraview

NVIDIA NeMo Framework minangka kerangka AI generatif sing bisa diukur lan asli awan sing dibangun kanggo peneliti lan pangembang sing nggarap. Model Basa Gedhe, Multimodal, lan Wicara AI (contone Pangenalan Wicara Otomatis lan Text-to-Speech). Iki ngidini pangguna nggawe, ngatur, lan nyebarake model AI generatif anyar kanthi efisien kanthi nggunakake kode sing ana lan titik pamriksa model sing wis dilatih.

Pandhuan Setup: Instal NeMo Framework

Model Basa Gedhe lan Model Multimodal
NeMo Framework nyedhiyakake dhukungan end-to-end kanggo ngembangake Model Basa Gedhe (LLM) lan Model Multimodal (MM). Iki menehi keluwesan kanggo digunakake ing papan, ing pusat data, utawa karo panyedhiya awan sing disenengi. Uga ndhukung eksekusi ing lingkungan aktif SLURM utawa Kubernetes.

Kurasi Data
Kurator NeMo [1] punika perpustakaan Python sing kalebu Suite saka modul kanggo data mining lan generasi data sintetik. Dheweke bisa diukur lan dioptimalake kanggo GPU, saengga cocog kanggo ngatur data basa alami kanggo nglatih utawa nyetel LLM. Kanthi Kurator NeMo, sampeyan bisa ngekstrak teks kanthi kualitas dhuwur saka mentah sing ekstensif web sumber data.

Latihan lan Kustomisasi

NeMo Framework nyedhiyakake alat kanggo latihan lan kustomisasi sing efisien LLMs lan model Multimodal. Iki kalebu konfigurasi standar kanggo persiyapan kluster komputasi, download data, lan hiperparameter model, sing bisa diatur kanggo nglatih set data lan model anyar. Saliyane pre-training, NeMo ndhukung teknik Supervised Fine-Tuning (SFT) lan Parameter Efficient Fine-Tuning (PEFT) kaya LoRA, Ptuning, lan liya-liyane.

Rong opsi kasedhiya kanggo miwiti latihan ing NeMo - nggunakake antarmuka API NeMo 2.0 utawa karo NeMo Run.

• Kanthi NeMo Run (Disaranake): NeMo Run nyedhiyakake antarmuka kanggo nyelarasake konfigurasi, eksekusi lan manajemen eksperimen ing macem-macem lingkungan komputasi. Iki kalebu mbukak proyek ing workstation lokal utawa ing klompok gedhe - loro SLURM aktif utawa Kubernetes ing lingkungan maya.
  • Pra-training & PEFT Quickstart karo NeMo Run
• Nggunakake NeMo 2.0 API: Cara iki dianggo uga karo persiyapan prasaja nglibatno model cilik, utawa yen sampeyan kasengsem ing nulis dataloader adat dhewe, puteran latihan, utawa ngganti lapisan model. Iku menehi luwih keluwesan lan kontrol liwat konfigurasi, lan nggampangake kanggo ngluwihi lan ngatur konfigurasi programmatically.
  • Training Quickstart karo NeMo 2.0 API
  • Migrasi saka NeMo 1.0 menyang NeMo 2.0 API

Alignment

• NeMo-Aligner [1] punika toolkit keukur kanggo alignment model efisien. Toolkit kasebut nduweni dhukungan kanggo algoritma penyelarasan model canggih kayata SteerLM, DPO, Reinforcement Learning from Human Feedback (RLHF), lan liya-liyane. Algoritma iki ngidini pangguna nyelarasake model basa dadi luwih aman, ora mbebayani, lan mbiyantu.
• Kabeh checkpoints NeMo-Aligner kompatibel salib karo ekosistem NeMo, ngidini kanggo kustomisasi luwih lan panyebaran inferensi.

Alur kerja langkah-langkah saka kabeh telung fase RLHF ing model GPT-2B cilik:

• Latihan SFT
• Latihan model ganjaran
• Pelatihan PPO

Kajaba iku, kita nuduhake dhukungan kanggo macem-macem metode keselarasan novel liyane:

• DPO: algoritma alignment entheng dibandhingake RLHF karo fungsi mundhut prasaja.
• Dhewe-Play Fine-Tuning (SPIN)
• SteerLM: technique adhedhasar kahanan-SFT, karo output steerable.

Priksa dokumentasi kanggo informasi luwih lengkap: Dokumentasi Alignment

Model Multimodal

• NeMo Framework nyedhiyakake piranti lunak sing dioptimalake kanggo nglatih lan nyebarake model multimodal sing paling canggih ing sawetara kategori: Model Basa Multimodal, Yayasan Vision-Bahasa, model Teks-kanggo-Gambar, lan ngluwihi Generasi 2D nggunakake Neural Radiance Fields (NeRF).
• Saben kategori dirancang kanggo nyukupi kabutuhan lan kemajuan tartamtu ing lapangan, nggunakake model mutakhir kanggo nangani macem-macem jinis data, kalebu teks, gambar, lan model 3D.

Penyebaran lan Inferensi
NeMo Framework nyedhiyakake macem-macem dalan kanggo inferensi LLM, nyedhiyakake macem-macem skenario penyebaran lan kabutuhan kinerja.

Nyebarake karo NVIDIA NIM

• NeMo Framework lancar nggabungake karo alat penyebaran model tingkat perusahaan liwat NVIDIA NIM. Integrasi iki didhukung dening NVIDIA TensorRT-LLM, njamin inferensi sing dioptimalake lan bisa diukur.
• Kanggo informasi luwih lengkap babagan NIM, bukak NVIDIA websitus.

Pasang nganggo TensorRT-LLM utawa vLLM

• NeMo Framework nawakake skrip lan API kanggo ngekspor model menyang rong perpustakaan sing dioptimalake inferensi, TensorRT-LLM lan vLLM, lan masang model sing diekspor karo NVIDIA Triton Inference Server.
• Kanggo skenario sing mbutuhake kinerja sing dioptimalake, model NeMo bisa nggunakake TensorRT-LLM, perpustakaan khusus kanggo nyepetake lan ngoptimalake inferensi LLM ing GPU NVIDIA. Proses iki kalebu ngowahi model NeMo menyang format sing kompatibel karo TensorRT-LLM nggunakake modul nemo.export.
  • Penyebaran LLM Swaraview
  • Pasang NeMo Model Basa Gedhe karo NIM
  • Pasang NeMo Model Basa Gedhe karo TensorRT-LLM
  • Pasang NeMo Model Basa Gedhe karo vLLM

Model sing didhukung

Model Basa Gedhe

Model Basa Gedhe

Model Basa Gedhe	Pretraining & SFT	PEFT	Alignment	Konvergensi Pelatihan FP8	TRT/TRTLLM	Ngonversi menyang & Saka Ngrangkul pasuryan	Evaluasi
Llama3 8B/70B, Llama3.1 405B	ya wis	ya wis	x	Ya (diverifikasi sebagian)	ya wis	loro-lorone	ya wis
Mixtral 8x7B/8x22B	ya wis	ya wis	x	Ya (ora diverifikasi)	ya wis	loro-lorone	ya wis
Nemotron 3 8B	ya wis	x	x	Ya (ora diverifikasi)	x	loro-lorone	ya wis
Nemotron 4 340B	ya wis	x	x	Ya (ora diverifikasi)	x	loro-lorone	ya wis
Baichuan2 7B	ya wis	ya wis	x	Ya (ora diverifikasi)	x	loro-lorone	ya wis
NgobrolGLM3 6B	ya wis	ya wis	x	Ya (ora diverifikasi)	x	loro-lorone	ya wis
Gemma 2B/7B	ya wis	ya wis	x	Ya (ora diverifikasi)	ya wis	loro-lorone	ya wis
Gemma2 2B/9B/27B	ya wis	ya wis	x	Ya (ora diverifikasi)	x	loro-lorone	ya wis
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	ya wis	ya wis	x	Ya (ora diverifikasi)	x	x	ya wis
Phi3 mini 4k	x	ya wis	x	Ya (ora diverifikasi)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	ya wis	ya wis	x	Ya (ora diverifikasi)	ya wis	loro-lorone	ya wis
StarCoder 15B	ya wis	ya wis	x	Ya (ora diverifikasi)	ya wis	loro-lorone	ya wis
StarCoder2 3B/7B/15B	ya wis	ya wis	x	Ya (ora diverifikasi)	ya wis	loro-lorone	ya wis
BERT 110M / 340M	ya wis	ya wis	x	Ya (ora diverifikasi)	x	loro-lorone	x
T5 220M/3B/11B	ya wis	ya wis	x	x	x	x	x

 

Model Basa Sesanti

 

Embedding Models

 

Model Yayasan Donya

Cathetan
NeMo uga ndhukung pretraining kanggo arsitektur difusi lan autoregresif text2world model dhasar.

Wicara AI

Ngembangake model AI conversational minangka proses rumit sing kalebu nemtokake, mbangun, lan model latihan ing domain tartamtu. Proses iki biasane mbutuhake sawetara iterasi kanggo nggayuh tingkat akurasi sing dhuwur. Asring nglibatake pirang-pirang iterasi kanggo nggayuh akurasi sing dhuwur, nyempurnakake macem-macem tugas lan data khusus domain, njamin kinerja latihan, lan nyiapake model kanggo panyebaran inferensi.

NeMo Framework nyedhiyakake dhukungan kanggo latihan lan kustomisasi model Speech AI. Iki kalebu tugas kaya Automatic Speech Recognition (ASR) lan sintesis Text-To-Speech (TTS). Nawakake transisi lancar menyang penyebaran produksi tingkat perusahaan karo NVIDIA Riva. Kanggo ngewangi para pangembang lan peneliti, NeMo Framework nyakup checkpoints sing wis dilatih kanthi canggih, alat kanggo pangolahan data wicara sing bisa direproduksi, lan fitur kanggo eksplorasi interaktif lan analisis set data wicara. Komponen NeMo Framework for Speech AI kaya ing ngisor iki:

Latihan lan Kustomisasi
NeMo Framework ngemot kabeh sing dibutuhake kanggo nglatih lan ngatur model wicara (ASR, Klasifikasi Wicara, Pangenalan Speaker, Speaker Diarisasi, lan TTS) kanthi cara reproducible.

Model sing wis dilatih SOTA

• NeMo Framework nyedhiyakake resep-resep paling canggih lan checkpoints sing wis dilatih saka sawetara ASR lan TTS model, uga instruksi carane mbukak mau.
• Piranti Wicara
• NeMo Framework nyedhiyakake seperangkat alat sing migunani kanggo ngembangake model ASR lan TTS, kalebu:
  • NeMo Forced Aligner (NFA) kanggo ngasilake wektu tingkat token, tembung lan segmenamps wicara ing audio nggunakake model Pangenalan Speech Otomatis basis CTC NeMo.
  • Prosesor Data Speech (SDP), toolkit kanggo nyederhanakake pangolahan data wicara. Ngidini sampeyan makili operasi pangolahan data ing konfigurasi file, nyilikake kode boilerplate lan ngidini reproducibility lan shareability.
  • Speech Data Explorer (SDE), basis Dash web aplikasi kanggo eksplorasi interaktif lan analisis dataset wicara.
  • Alat nggawe set data sing nyedhiyakake fungsi kanggo nyelarasake audio dawa files karo transkrip sing cocog lan dipérang dadi pecahan sing luwih cendhek sing cocog kanggo latihan model Pangenalan Speech Otomatis (ASR).
  • Alat Perbandingan kanggo Model ASR kanggo mbandhingake prediksi saka model ASR sing beda-beda ing akurasi tembung lan tingkat pocapan.
  • ASR Evaluator kanggo ngevaluasi kinerja model ASR lan fitur liyane kayata Deteksi Aktivitas Swara.
  • Alat Normalisasi Teks kanggo ngowahi teks saka wangun tulisan menyang wangun lisan lan kosok balene (eg "31" vs "telung puluh pisanan").
• Path kanggo Penyebaran
• Model NeMo sing wis dilatih utawa disesuaikan nggunakake NeMo Framework bisa dioptimalake lan disebarake karo NVIDIA Riva. Riva nyedhiyakake kontainer lan grafik Helm sing dirancang khusus kanggo ngotomatisasi langkah-langkah kanggo panyebaran tombol push.

Sumber Daya Liyane

Repos GitHub

• NeMo: Repositori utama kanggo NeMo Framework
• NeMo–Mlayu: Alat kanggo ngatur, miwiti lan ngatur eksperimen machine learning.
• NeMo-Aligner: Toolkit scalable kanggo alignment model efisien
• NeMo-Kurator: Piranti pra-proses lan kurasi data sing bisa diukur kanggo LLM

Njupuk Pitulung
Melu karo komunitas NeMo, takon, njaluk dhukungan, utawa lapor bug.

• Diskusi NeMo
• Masalah NeMo

Basa lan Kerangka Pemrograman

• Python: Antarmuka utama kanggo nggunakake Framework NeMo
• Pytorch: NeMo Framework dibangun ing ndhuwur PyTorch

Lisensi

• Repo NeMo Github dilisensi ing sangisore lisensi Apache 2.0
• NeMo Framework dilisensi ing NVIDIA AI PRODUCT AGREEMENT. Kanthi narik lan nggunakake wadhah, sampeyan nampa syarat lan kahanan lisensi iki.
• Wadah NeMo Framework ngemot bahan Llama sing diatur dening Perjanjian Lisensi Komunitas Meta Llama3.

Cathetan sikil
Saiki, dhukungan NeMo Curator lan NeMo Aligner kanggo model Multimodal lagi ditindakake lan bakal kasedhiya kanthi cepet.

FAQ

P: Kepiye carane bisa mriksa yen sistem saya kena pengaruh kerentanan?
A: Sampeyan bisa mriksa manawa sistem sampeyan kena pengaruh kanthi verifikasi versi NVIDIA NeMo Framework sing diinstal. Yen ing ngisor iki versi 24, sistem sampeyan bisa uga rentan.

P: Sapa sing nglaporake masalah keamanan CVE-2025-23360?
A: Masalah keamanan dilaporake dening Or Peles - JFrog Security. NVIDIA ngakoni kontribusine.

P: Kepiye carane bisa nampa kabar buletin keamanan ing mangsa ngarep?
A: Bukak kaca Keamanan Produk NVIDIA kanggo langganan kabar buletin keamanan lan tetep ngerti babagan nganyari keamanan produk.

Dokumen / Sumber Daya

NVIDIA NeMo Framework [pdf] Pandhuan pangguna NeMo Framework, NeMo, Framework

Referensi

• Manual pangguna