NVIDIA NeMo Framework

Awọn pato

• Orukọ ọja: NVIDIA NeMo Framework
• Awọn iru ẹrọ ti o fowo: Windows, Lainos, MacOS
• Awọn ẹya ti o fowo: Gbogbo awọn ẹya ṣaaju si 24
• Ailewu Ailewu: CVE-2025-23360
• Idiyele Ipilẹ Ewu: 7.1 (CVSS v3.1)

Awọn ilana Lilo ọja

Fifi sori imudojuiwọn aabo:
Lati daabobo eto rẹ, tẹle awọn igbesẹ wọnyi:

1. Ṣe igbasilẹ idasilẹ tuntun lati oju-iwe Awọn idasilẹ NeMo-Framework-Launcher lori GitHub.
2. Lọ si Aabo Ọja NVIDIA fun alaye siwaju sii.

Awọn alaye imudojuiwọn aabo:
Imudojuiwọn aabo n ṣalaye ailagbara ninu NVIDIA NeMo Framework ti o le ja si ipaniyan koodu ati data tampsisun.

Software Igbesoke:
Ti o ba nlo itusilẹ ẹka iṣaaju, o gba ọ niyanju lati ṣe igbesoke si idasilẹ ẹka tuntun lati koju ọran aabo.

Pariview

NVIDIA NeMo Framework jẹ iwọn ati ipilẹ-ara abinibi AI ilana ipilẹ ti a ṣe fun awọn oniwadi ati awọn olupilẹṣẹ ti n ṣiṣẹ lori Awọn awoṣe Ede nla, Multimodal, ati Ọrọ AI (fun apẹẹrẹ Idanimọ Ọrọ Aifọwọyi ati Ọrọ-si-Ọrọ). O fun awọn olumulo laaye lati ṣẹda daradara, ṣe akanṣe, ati ran awọn awoṣe AI ipilẹṣẹ tuntun ṣiṣẹ nipa gbigbe koodu ti o wa tẹlẹ ati awọn aaye ayẹwo awoṣe ti kọkọ tẹlẹ.

Awọn ilana iṣeto: Fi NeMo Framework sori ẹrọ

Awọn awoṣe Ede nla ati Awọn awoṣe Multimodal
Ilana NeMo n pese atilẹyin opin-si-opin fun idagbasoke Awọn awoṣe Ede nla (LLMs) ati Awọn awoṣe Multimodal (MMs). O pese irọrun lati ṣee lo lori awọn agbegbe ile, ni ile-iṣẹ data, tabi pẹlu olupese awọsanma ti o fẹ. O tun ṣe atilẹyin ipaniyan lori SLURM tabi awọn agbegbe ṣiṣẹ Kubernetes.

Iṣeduro data
NeMo Olutọju [1] jẹ ile-ikawe Python ti o pẹlu akojọpọ awọn modulu fun iwakusa data ati iran data sintetiki. Wọn jẹ iwọn ati iṣapeye fun awọn GPUs, ṣiṣe wọn jẹ apẹrẹ fun ṣiṣatunṣe data ede ti ara lati ṣe ikẹkọ tabi tunse LLMs. Pẹlu NeMo Curator, o le yọkuro ọrọ ti o ga julọ daradara lati inu aise nla web awọn orisun data.

Ikẹkọ ati isọdi

NeMo Framework pese awọn irinṣẹ fun ikẹkọ daradara ati isọdi ti LLMs ati Multimodal si dede. O pẹlu awọn atunto aiyipada fun iṣeto iṣupọ oniṣiro, igbasilẹ data, ati awọn hyperparameters awoṣe, eyiti o le ṣe atunṣe lati ṣe ikẹkọ lori awọn ipilẹ data titun ati awọn awoṣe. Ni afikun si ikẹkọ iṣaaju, NeMo ṣe atilẹyin mejeeji Abojuto Fine-Tuning (SFT) ati Awọn ilana Imudara Fine-Tuning Parameter (PEFT) bii LoRA, Ptuning, ati diẹ sii.

Awọn aṣayan meji wa lati ṣe ifilọlẹ ikẹkọ ni NeMo - lilo NeMo 2.0 API ni wiwo tabi pẹlu NeMo Run.

• Pẹlu NeMo Run (Niyanju): NeMo Run n pese wiwo kan lati ṣatunṣe iṣeto ni, ipaniyan ati iṣakoso ti awọn adanwo kọja awọn agbegbe iṣiro pupọ. Eyi pẹlu ifilọlẹ awọn iṣẹ lori ibi iṣẹ rẹ ni agbegbe tabi lori awọn iṣupọ nla - mejeeji SLURM ṣiṣẹ tabi Kubernetes ni agbegbe awọsanma.
  • Ikẹkọ-tẹlẹ & PEFT Quickstart pẹlu NeMo Run
• Lilo NeMo 2.0 API: Ọna yii n ṣiṣẹ daradara pẹlu iṣeto ti o rọrun ti o kan awọn awoṣe kekere, tabi ti o ba nifẹ si kikọ agberu data aṣa tirẹ, awọn losiwajulosehin ikẹkọ, tabi yi awọn fẹlẹfẹlẹ awoṣe pada. O fun ọ ni irọrun diẹ sii ati iṣakoso lori awọn atunto, o jẹ ki o rọrun lati fa ati ṣe awọn atunto ni eto.
  • Training Quickstart pẹlu NeMo 2.0 API
  • Iṣilọ lati NeMo 1.0 si NeMo 2.0 API

Titete

• NeMo-Aligner [1] jẹ ohun elo irinṣẹ iwọn fun titete awoṣe daradara. Ohun elo irinṣẹ naa ni atilẹyin fun awọn algoridimu tito awoṣe-ti-aworan bii SteerLM, DPO, Ẹkọ Imudara lati Idahun Eniyan (RLHF), ati pupọ diẹ sii. Awọn algoridimu wọnyi jẹ ki awọn olumulo ṣe deede awọn awoṣe ede lati jẹ ailewu diẹ sii, laiseniyan, ati iranlọwọ.
• Gbogbo awọn aaye ayẹwo NeMo-Aligner jẹ ibamu-agbelebu pẹlu ilolupo NeMo, gbigba fun isọdi siwaju sii ati imuṣiṣẹ inference.

Ṣiṣan iṣẹ-igbesẹ-igbesẹ ti gbogbo awọn ipele mẹta ti RLHF lori awoṣe GPT-2B kekere kan:

• ikẹkọ SFT
• Ere ikẹkọ awoṣe
• PPO ikẹkọ

Ni afikun, a ṣe afihan atilẹyin fun ọpọlọpọ awọn ọna titete aramada miiran:

• DPO: algorithm isọdi iwuwo fẹẹrẹ ni akawe si RLHF pẹlu iṣẹ isonu ti o rọrun.
• Ara-Play Titun-Tuning (SPIN)
• SteerLM: ilana ti o da lori iloniniye-SFT, pẹlu iṣelọpọ steerable.

Ṣayẹwo awọn iwe-ipamọ fun alaye diẹ sii: Iwe titete

Awọn awoṣe Multimodal

• NeMo Framework n pese sọfitiwia iṣapeye lati ṣe ikẹkọ ati mu awọn awoṣe multimodal ipo-ti-ti-aworan kaakiri awọn ẹka pupọ: Awọn awoṣe Ede Multimodal, Awọn ipilẹ Ede-Iran, Awọn awoṣe Ọrọ-si-Aworan, ati kọja 2D Generation nipa lilo Awọn aaye Radiance Neural (NeRF).
• Ẹka kọọkan jẹ apẹrẹ lati ṣaajo si awọn iwulo pato ati awọn ilọsiwaju ni aaye, fifin awọn awoṣe gige-eti lati mu ọpọlọpọ awọn iru data, pẹlu ọrọ, awọn aworan, ati awọn awoṣe 3D.

Imuṣiṣẹ ati Inference
Ilana NeMo n pese awọn ọna oriṣiriṣi fun itọkasi LLM, ṣiṣe ounjẹ si awọn oju iṣẹlẹ imuṣiṣẹ oriṣiriṣi ati awọn iwulo iṣẹ.

Firanṣẹ pẹlu NVIDIA NIM

• NeMo Framework ṣepọ lainidi pẹlu awọn irinṣẹ imuṣiṣẹ awoṣe ipele-ile-iṣẹ nipasẹ NVIDIA NIM. Iṣepọ yii jẹ agbara nipasẹ NVIDIA TensorRT-LLM, ni idaniloju iṣapeye ati itọkasi iwọn.
• Fun alaye diẹ sii lori NIM, ṣabẹwo si NVIDIA webojula.

Rans pẹlu TensorRT-LLM tabi vLLM

• NeMo Framework nfunni ni awọn iwe afọwọkọ ati awọn API lati okeere awọn awoṣe si awọn ile-ikawe iṣapeye meji, TensorRT-LLM ati vLLM, ati lati fi awoṣe ti a firanṣẹ si okeere pẹlu NVIDIA Triton Inference Server.
• Fun awọn oju iṣẹlẹ ti o nilo iṣẹ iṣapeye, awọn awoṣe NeMo le lo TensorRT-LLM, ile-ikawe amọja kan fun isare ati imudara itọkasi LLM lori NVIDIA GPUs. Ilana yii jẹ iyipada awọn awoṣe NeMo sinu ọna kika ti o ni ibamu pẹlu TensorRT-LLM nipa lilo module nemo.export.
  • LLM imuṣiṣẹ Pariview
  • Ran awọn awoṣe Ede nla NeMo ṣiṣẹ pẹlu NIM
  • Ran awọn awoṣe Ede nla NeMo ṣiṣẹ pẹlu TensorRT-LLM
  • Ran awọn awoṣe Ede nla NeMo ṣiṣẹ pẹlu vLLM

Awọn awoṣe atilẹyin

Awọn awoṣe Ede nla

Awọn awoṣe Ede nla

Awọn awoṣe Ede nla	Ikẹkọ iṣaaju & SFT	PEFT	Titete	Ijọpọ Ikẹkọ FP8	TRT/TRTLLM	Yipada si & Lati Oju Famọra	Igbelewọn
Llama3 8B / 70B, Llama3.1 405B	Bẹẹni	Bẹẹni	x	Bẹẹni (jẹrisi ni apakan)	Bẹẹni	Mejeeji	Bẹẹni
Mixtral 8x7B/8x22B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	Bẹẹni	Mejeeji	Bẹẹni
Nemotron 3 8B	Bẹẹni	x	x	Bẹẹni (ti ko jẹrisi)	x	Mejeeji	Bẹẹni
Nemotron 4 340B	Bẹẹni	x	x	Bẹẹni (ti ko jẹrisi)	x	Mejeeji	Bẹẹni
Baichuan2 7B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	x	Mejeeji	Bẹẹni
ChatGLM3 6B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	x	Mejeeji	Bẹẹni
Gemma 2B/7B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	Bẹẹni	Mejeeji	Bẹẹni
Gemma2 2B/9B/27B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	x	Mejeeji	Bẹẹni
Mamba2 130M/370M/780M/1.3B/2.7B/8B/ Hybrid-8B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	x	x	Bẹẹni
Phi3 mini 4k	x	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	x	x	x
Qwen2 0.5B/1.5B/7B/72B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	Bẹẹni	Mejeeji	Bẹẹni
StarCoder 15B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	Bẹẹni	Mejeeji	Bẹẹni
StarCoder2 3B/7B/15B	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	Bẹẹni	Mejeeji	Bẹẹni
BERT 110M/340M	Bẹẹni	Bẹẹni	x	Bẹẹni (ti ko jẹrisi)	x	Mejeeji	x
T5 220M/3B/11B	Bẹẹni	Bẹẹni	x	x	x	x	x

 

Awọn awoṣe Ede Iran

 

Awọn awoṣe ifibọ

 

World Foundation Models

Akiyesi
NeMo tun ṣe atilẹyin ikẹkọ iṣaaju fun itankale mejeeji ati awọn faaji adaṣe adaṣe text2world awọn awoṣe ipilẹ.

Ọrọ AI

Dagbasoke awọn awoṣe AI ibaraẹnisọrọ jẹ ilana eka kan ti o kan asọye, ṣiṣe, ati awọn awoṣe ikẹkọ laarin awọn agbegbe kan pato. Ilana yii ni igbagbogbo nilo ọpọlọpọ awọn iterations lati de ipele giga ti deede. Nigbagbogbo o kan pẹlu awọn iterations lọpọlọpọ lati ṣaṣeyọri iṣedede giga, iṣatunṣe itanran lori awọn iṣẹ ṣiṣe pupọ ati data-aṣẹ kan pato, ṣiṣe idaniloju iṣẹ ṣiṣe ikẹkọ, ati ngbaradi awọn awoṣe fun imuṣiṣẹ ikasi.

NeMo Framework n pese atilẹyin fun ikẹkọ ati isọdi ti Awọn awoṣe Ọrọ AI. Eyi pẹlu awọn iṣẹ ṣiṣe bii Idanimọ Ọrọ Aifọwọyi (ASR) ati Iṣajọpọ Ọrọ-si-Ọrọ (TTS). O funni ni iyipada didan si imuṣiṣẹ iṣelọpọ ipele ile-iṣẹ pẹlu NVIDIA Riva. Lati ṣe iranlọwọ fun awọn olupilẹṣẹ ati awọn oniwadi, NeMo Framework pẹlu awọn aaye-iṣayẹwo ti iṣaju ikẹkọ-ti-ti-aworan, awọn irinṣẹ fun ṣiṣatunṣe data ọrọ sisọ, ati awọn ẹya fun iṣawari ibaraenisepo ati itupalẹ awọn iwe data ọrọ-ọrọ. Awọn paati ti NeMo Framework fun Ọrọ AI jẹ atẹle yii:

Ikẹkọ ati isọdi
Ilana NeMo ni ohun gbogbo ti o nilo lati ṣe ikẹkọ ati ṣe akanṣe awọn awoṣe ọrọ (ASR, Sọri Ọrọ, Idanimọ Agbọrọsọ, Diarization Agbọrọsọ, ati TTS) ni ọna ti o le ṣe atunṣe.

SOTA Pre-oṣiṣẹ Models

• NeMo Framework n pese awọn ilana-ti-ti-aworan ati awọn aaye ayẹwo ti a ti kọ tẹlẹ ti ọpọlọpọ ASR ati TTS si dede, bi daradara bi awọn ilana lori bi o si fifuye wọn.
• Awọn Irinṣẹ Ọrọ
• Ilana NeMo n pese awọn irinṣẹ to wulo fun idagbasoke ASR ati awọn awoṣe TTS, pẹlu:
  • NeMo Fi agbara mu Aligner (NFA) fun ti o npese token-, ọrọ- ati apa-ipele timestamps ti ọrọ ni ohun ni lilo NeMo ká CTC awọn awoṣe idanimọ Ọrọ Aifọwọyi.
  • Oluṣe Data Ọrọ (SDP), Ohun elo irinṣẹ kan fun sisẹ data sisọ ọrọ sirọ. O faye gba o lati soju data processing mosi ni a konfigi file, Didinku boilerplate koodu ati gbigba reproducibility ati shareability.
  • Explorer Data Ọrọ (SDE), orisun Dash web ohun elo fun iṣawari ibaraẹnisọrọ ati itupalẹ awọn iwe data ọrọ.
  • Ọpa idasile data eyi ti o pese iṣẹ-ṣiṣe lati mö gun iwe ohun files pẹlu awọn iwe afọwọkọ ti o baamu ati pin wọn si awọn ajẹkù kukuru ti o baamu fun ikẹkọ awoṣe Ọrọ-ọrọ Aifọwọyi (ASR).
  • Ọpa Ifiwera fun Awọn awoṣe ASR lati ṣe afiwe awọn asọtẹlẹ ti awọn awoṣe ASR oriṣiriṣi ni deede ọrọ ati ipele ọrọ.
  • ASR Evaluator fun iṣiro iṣẹ-ṣiṣe ti awọn awoṣe ASR ati awọn ẹya miiran gẹgẹbi Ṣiṣawari Iṣẹ Ohun.
  • Ọpa Isọdọtun Ọrọ fun iyipada ọrọ lati fọọmu kikọ si fọọmu sisọ ati idakeji (fun apẹẹrẹ "31st" vs "ọgbọn akọkọ").
• Ona si imuṣiṣẹ
• Awọn awoṣe NeMo ti o ti ni ikẹkọ tabi ti adani nipa lilo Ilana NeMo le jẹ iṣapeye ati gbe lọ pẹlu NVIDIA Riva. Riva pese awọn apoti ati awọn shatti Helm ti a ṣe apẹrẹ pataki lati ṣe adaṣe awọn igbesẹ fun imuṣiṣẹ bọtini-titari.

Miiran Resources

GitHub Repos

• NeMo: Ibi ipamọ akọkọ fun NeMo Framework
• NeMo–Ṣiṣe: Ọpa kan lati tunto, ṣe ifilọlẹ ati ṣakoso awọn adanwo ikẹkọ ẹrọ rẹ.
• NeMo-Aligner: Ohun elo irinṣẹ iwọn fun titete awoṣe daradara
• NeMo-Olutọju: Ṣiṣe data iṣaju iṣaju iwọn ati ohun elo ohun elo itọju fun LLMs

Gbigba Iranlọwọ
Ṣe ajọṣepọ pẹlu agbegbe NeMo, beere awọn ibeere, gba atilẹyin, tabi jabo awọn idun.

• Awọn ijiroro NeMo
• Awọn ọrọ NeMo

Awọn ede siseto ati Awọn ilana

• Python: Ni wiwo akọkọ lati lo NeMo Framework
• Pitorch: NeMo Framework ti wa ni itumọ ti lori oke ti PyTorch

Awọn iwe-aṣẹ

• NeMo Github repo ni iwe-aṣẹ labẹ iwe-aṣẹ Apache 2.0
• Framework NeMo ni iwe-aṣẹ labẹ adehun Ọja NVIDIA AI. Nipa fifaa ati lilo apo eiyan, o gba awọn ofin ati ipo iwe-aṣẹ.
• Apoti Framework NeMo ni awọn ohun elo Llama ni ijọba nipasẹ Adehun Iwe-aṣẹ Agbegbe Meta Llama3.

Awọn akọsilẹ ẹsẹ
Lọwọlọwọ, NeMo Curator ati atilẹyin NeMo Aligner fun awọn awoṣe Multimodal jẹ iṣẹ ti nlọ lọwọ ati pe yoo wa laipẹ.

FAQ

Q: Bawo ni MO ṣe le ṣayẹwo ti eto mi ba ni ipa nipasẹ ailagbara naa?
A: O le ṣayẹwo ti eto rẹ ba ni ipa nipasẹ ṣiṣe ijẹrisi ẹya ti NVIDIA NeMo Framework ti a fi sii. Ti o ba wa ni isalẹ ẹya 24, eto rẹ le jẹ ipalara.

Q: Tani o royin ọran aabo CVE-2025-23360?
A: Ọrọ aabo jẹ ijabọ nipasẹ Tabi Peles - Aabo JFrog. NVIDIA jẹwọ ilowosi wọn.

Q: Bawo ni MO ṣe le gba awọn iwifunni itẹjade aabo ọjọ iwaju?
A: Ṣabẹwo si oju-iwe Aabo Ọja NVIDIA lati ṣe alabapin si awọn iwifunni itẹjade aabo ati ki o wa ni ifitonileti nipa awọn imudojuiwọn aabo ọja.

Awọn iwe aṣẹ / Awọn orisun

NVIDIA NeMo Framework [pdf] Itọsọna olumulo NeMo Framework, NeMo, Framework

Awọn itọkasi

• Itọsọna olumulo